kuroの覚え書き

96の個人的覚え書き

CentOS7

ディープラーニングちょっとずつ

なかなか先に進まないが、とりあえずちょとでもいじってみるか。 jupyter notebookの使い方を確かめながらmnistのデータを使った練習をやってみる。いろいろわからないまま言われるままに入力し、その出力をまずは眺めてみる。

VNCとpyenv

deep learning machineの構成をあれこれいじっているうちに動作がおかしくなってきたので、一旦リセットしてOSインストールからやり直すことにした。ここまでの手順ではCentOS7をデフォルトの最小構成でインストール ネットワーク設定 一般ユーザー追加 gnom…

Deep learning マシンを変更

手持ちのサーバの構成を考え、Deep learningの環境テストを行うノードをPRIMERGY RX200S6に移した。手順は クラスタから切り離す。 一般ユーザを作成。 グラボを移し替え。 NVIDIAのドライバインストール。 CUDAのインストール。 pyenvインストール。 anacon…

キーボードレイアウトの設定

サーバにはCentOS7をインストールして使っている。 基本的にサーバにはsshかvncで接続して使っているわけだが、端末としてはMacOSXを使用しており、キーボードもmacの(それもかなりレガシーな)US配列のものを使っているため、いまいちキーマップが一致せず…

サーバのメモリ構成を整理

サーバ CPU メモリ 理論性能 RX1330M3 E3-1230v6(4C/8T, 3.50GHz) 2400 UDIMM 64GB 224.0GFLOPS RX300S7 E5-2667(6C/12T, 2.90GHz)x2 1600 LV-RDIMM 32GB 278.4GFLOPS RX300S7 E5-2643(4C/8T, 3.30GHz)x2 1600 LV-UDIMM 24GB 211.2GFLOPS RX200S7 E5-2620(6C…

富士通PRIMERGY RX300S7で深層学習の学習環境を構築してみる(2)

続き次にanacondaを入れる 最初普通にanacondaのサイトからインストーラをダウンロードしてきて $ bash Anaconda3-5.3.1-Linux-x86_64.shとインストールしてtensorflowをpipで入れて・・・とやってみたのだが、glibcのバージョンがCentOS7では2.17、tensorfl…

富士通PRIMERGY RX300S7で深層学習の学習環境を構築してみる

データ解析をする上で無視できない深層学習(deep learning)を使えるように勉強中なのだが、手元に実機があったほうがいろいろと試せて良いだろう、ということでサーバの1ノードを深層学習用GPUマシンにすることにした。 当初RX200S7 (XEON E5-2620 x2)の1U…

Macを起動したら自動でsshfsでマウント

まずはサーバの側の公開鍵・秘密鍵を設定秘密鍵をmacの側で~/.ssh/kuro-server などの名前で保存しておく /usr/local/bin/sshfs kuro@192.168.1.100:/home/kuro ./mnt -o IdentityFile=~/.ssh/kuro-serverというスクリプトをautomatorで作成してアプリとして…

homebrewにエラー再び

==> Upgrading ruby ==> Downloading https://linuxbrew.bintray.com/bottles/ruby-2.6.1.x86_64_linux.bo ######################################################################## 100.0% ==> Pouring ruby-2.6.1.x86_64_linux.bottle.tar.gz Error: Th…

homebrewにエラー

いつの頃からか $ brew update fatal: unable to access 'https://github.com/brewsci/homebrew-bio/': error setting certificate verify locations: CAfile: /home/linuxbrew/.linuxbrew/etc/openssl/cert.pem CApath: /home/linuxbrew/.linuxbrew/etc/ope…

redmineのインストールでつまづく

redmineをインストールしようとして Redmineが依存するgemパッケージをインストールのため # bundle install --without development test --path vendor/bundle としようとすると、途中で Gem::Ext::BuildError: ERROR: Failed to build gem native extensio…

Torqueのerror/outputをリアルタイムにチェックする

Torqueでジョブを投げると、errorとoutputが処理がすべて終わった後に書き出される。 しかし、何時間もかかる処理が果たしてちゃんと走っているのか心配になるので、できれば普通にスクリプトを走らせるときのように画面にstdoutを出しておきたいこともある…

3世代5CPU対決

RX1330M3 E3-1230 v6 3.5GHz 4C8T 224.0GFLOPS 18/11/06 13:06:26 [M::bwa_idx_load_from_disk] read 0 ALT contigs [M::process] read 1815774 sequences (80000053 bp)... [M::process] read 1833396 sequences (80000011 bp)... [M::mem_process_seqs] Pr…

UPSを導入ーterastationとサーバの両方を連動してシャットダウンー

停電や不慮の電源トラブルに備えてオムロンのUPSを導入した。全サーバー群の電源を確保できるような大容量のUPSは高価なため、WEBサービス用データを保持しているヘッドノードとNFSサーバとして使っているTeraStationだけでもつないでおけるようにと、750Wの…

RX300S7インストール覚書

RX300S7にCentOS7をインストール。 計算ノードとして。 300GB SASドライブにシステムインストール。 一般ユーザーは作成しない。 NFSでヘッドノードの/home以下、/usr/local以下をマウント NISでヘッドノードで作成したユーザ情報を共有 yum install ypbind …

3世代のサーバの能力を検証してみた

ベンチマークソフトを使ってもいいけど、実際に仕事に使うスクリプトを処理するのにかかる時間を計測したほうが意味があるだろう。 ということで、試しにBAMファイルをcufflinksにかけて遺伝子発現量を算出させてみた。 処理してみたBAMファイルは 1, 4.4GB…

NFSとNISがポートを取り合い

あるとき再起動したあと、NISクライアントがuserを受け付けてくれなくなり、ちょっと途方に暮れる。 NISサーバがどういうわけか起動していないので再起動してみたが、エラーが出て起動してくれない。 systemd[1]: Starting NIS/YP (Network Information Serv…

PXE bootでTeraStationが繋がらない

CentOS7でPXEサーバを立ててディスクレスブートを試しているのだが、どうにもNASのTeraStationがマウントできない。 マシンスペックが異なるがHDDでブートしているノードからはNFSで普通にマウントできているのだが。 どうしても mount.nfs: timeout set for…

PRIMERGY RX200S7にCentOS7をインストール

結局RX200S7を追加入手。やすかったものでつい。 PRIMERGY RX200 S7 ラックベースユニット(2.5インチ×4) / PYR207RQN3 基本スペックは CPU:xeon E5-2520 (2.0GHz 6core 12thread) *2 MEM:16GB UDIMM HDD:なし RAID:オンボードSATAソフトウェアRAIDのみ CD/DV…

クラスタ内においたTerastationにクラスタ外のMacからAFPで接続する

まずはTerastationの設定。 これまでのところNFS以外はすべて切っていたが、Macから接続するならAFPが便利なのでAFPをオンにする。 WEBブラウザでterastationに接続し、ファイル共有設定画面でAFPのスライドスイッチを1にしておく。 次にヘッドノードのポー…

TORQUEでメモリリミットを設定する

中古サーバ主体のクラスタのため、メモリはあまり潤沢にあるとは言えない。(システムとしては1ノードあたり192GBまで乗せることができるが現状1ノードに12GBしか積んでない。26GBまでは増強予定だが。) なので、無茶な計算をさせると一気にメモリを使い切…

TORQUEで計算ノードからヘッドノードへoutput/errorが返せない

Unable to copy file /var/lib/torque/spool/147.HostA.OU to quser@HostA:/home/quser/test.sh.o147, error 1 *** error from copy Host key verification failed. lost connection *** end error output Output retained on that host in: /var/lib/torque…

TORQUEつづき

どうもちゃんと動いていないような気がしてならないので、いろいろテストしてみる。 $ echo "sleep 30" | qsub -l nodes=1:ppn=8こういうふうにジョブを投げると $ qstat -t Job ID Name User Time Use S Queue ------------------------- ---------------- …

TORQUEとopenMPIをインストール

TORQUEのインストールは以前やった通り。3ノードがstatus: freeで認識された。せっかくなのでmpiも入れてベンチマークなどもしてみたいのだが。 # yum install -y openmpi openmpi-develすべてのノードにインストール 使用するユーザ(root以外)についてPAT…

IPマスカレード

ずいぶん昔、まだ世の中にネットワークルータというハードウェアがほとんどなく、あったとしてもマニアックな超高級品であった時代、Linux-boxをルータとして使うIP-Masqueradeを組んだ・・・というのがLinuxとの最初の出会いであったなあ・・・(遠い目時代…

クラスタにするかただの並列にするか

https://qiita.com/yubais/items/7c40227a17569dc9d412http://www.kurobuti.com/linux_server/?page_id=58 ディスクレスクライアント https://www.server-world.info/query?os=CentOS_7&p=pxe&f=4まずは入れてみる。 最初に導入したサーバーのイーサネットポ…

flask runをデーモンサービスに

flaskで作ったwebアプリの起動を python3 manage.py runserver で行っていたが、このままではシステム立ち上げ時にそのまま起動できるようにならないので、uWSGIを介した起動をしないといけないのかなと思っていたが、flaskをpythonから読み込むのじゃなくて…

CentOS7にNGS関連のソフトウェアをインストール

まずとにかくyumでwgetとnanoだけは入れておく。そのうえでlinuxbrewを入れてしまえば、ほぼ問題なく殆どの環境が構築できてしまった。 http://linuxbrew.sh Linuxbrewのインストール方法は上のサイトのままでOK幾つかのソフトは $ brew tap brewsci/science…