kuroの覚え書き

96の個人的覚え書き

CentOS7

Fujitsu PRIMERGY TX1310M3にCentOSをインストールする

昨年度末にディスコン間近と思われるTX1310M3を購入したっきり、全然時間がなくて放置してあったのだが、ちょっと触ってみる。まず、これまでのRX200や300とはBIOSがUEFIになっている点でかなり勝手が違う。同じUEFIのRX1330M3ともなにやら違っていてこのTX1…

最近のサーバ構成

サーバ CPU メモリ 理論性能 RX1330M3 E3-1230v6(4C/8T, 3.50GHz) DDR4-2400 (PC4-19200E) UDIMM 64GB 224.0GFLOPS RX300S7 E5-2667(6C/12T, 2.90GHz)x2 DDR3-1600 (PC3L-12800R) LV-RDIMM 32GB 278.4GFLOPS RX300S7 E5-2643(4C/8T, 3.30GHz)x2 DDR3-1600 (P…

教師なし機械学習

deep learningの本を読めば読むほどに自分のやりたいことが教師あり深層学習ではできないんじゃないかと思い始めた。結局正解、不正解が明確に判定できる例が多数ないと、その特徴を抽出する学習が機能しないわけだが、世の中そんなに白黒はっきりした例が揃…

Clusteringしたデータを折れ線グラフとして一気に作成

%matplotlib inline import matplotlib.pyplot as plt import pandas as pd import matplotlib as mpl color_codes = {1:'#E60012', 2:'#F39800', 3:'#FFF100', 4:'#8FC31F', 5:'#009944', 6:'#009E96', 7:'#00A0E9', 8:'#0068B7', 9:'#1D2088', 10:'#920783…

firewall-cmdのお作法

これまたしょっちゅう・・・activeなゾーンの表示 # firewall-cmd --list-all public (active) target: default icmp-block-inversion: no interfaces: eth0 sources: services: dhcpv6-client ssh ports: protocols: masquerade: no forward-ports: source-…

nmcliのお作法

すぐに忘れてしょっちゅう調べている気がするので、覚書。基本のネットワーク設定 # nmcli c m eth0 ipv4.method manual ipv4.addresses 192.168.1.101/24 ipv4.gateway 192.168.1.1 ipv4.dns 8.8.8.8 connection.autoconnect yesこの例ではDHCPをやめて手動…

CentOS7に仮想環境(続き)

もともとKVMホストeth1にあてがっていた192.168.0.11をブリッジにあてがう。 # nmcli c a type bridge ifname br0 # nmcli c m bridge-br0 bridge.stp no # nmcli c m bridge-br0 ipv4.method manual ipv4.address "192.168.0.11/24" ipv4.gateway "192.168.…

CentOS7に仮想環境を構築

だいぶ仕事がまとまってきて、新しく学生なども入ってくるようになった。こうなるとそのうちインフォマティクスをやりたいという学生もきっと入ってくるだろう。最初のうちはとりあえず自分のPCでどうにかしてもらえばいいが、そのうちきっとサーバを触るこ…

RX200S6のオンボードSATA software RAIDを使わないでCentOS7をインストール

諸般の事情でRX200S6のRAIDカードを他に回したところ、enbedded MegaRAIDがCentOS7ではドライバがなくて使えないということになり、まあ引退して部品取りでもいいかと思っていたのだけれど、せっかくあるハードウェアを眠らせておくのももったいないというこ…

Express5800/R110e-1EにCentOS7をインストールしてファイルサーバにする

ここまで基本FujitsuのPrimergyシリーズでサーバを構築してきたのだが、ファイルサーバを別個に立てる必要性が出てきた。 ファイルサーバなのでそんなに強力なCPUもいらないけど、3.5インチHDDが4台くらいは内蔵できてほしい&ラック型1Uで場所を取らない&…

Anacondaの再インストールで躓く

pyenvで仮想化 $ git clone https://github.com/yyuu/pyenv.git ~/.pyenv $ echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bashrc $ echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bashrc $ echo 'eval "$(pyenv init -)"' >> ~/.bashrc $ source ~/.…

またまたサーバの構成をいじる

サーバ CPU メモリ 理論性能 RX1330M3 E3-1230v6(4C/8T, 3.50GHz) 2400 UDIMM 64GB 224.0GFLOPS RX300S7 E5-2667(6C/12T, 2.90GHz)x2 1600 LV-RDIMM 32GB 278.4GFLOPS RX300S7 E5-2643(4C/8T, 3.30GHz)x2 1600 LV-UDIMM 24GB 211.2GFLOPS RX200S7 E5-2630(6C…

ディープラーニングちょっとずつ

なかなか先に進まないが、とりあえずちょとでもいじってみるか。 jupyter notebookの使い方を確かめながらmnistのデータを使った練習をやってみる。いろいろわからないまま言われるままに入力し、その出力をまずは眺めてみる。

VNCとpyenv

deep learning machineの構成をあれこれいじっているうちに動作がおかしくなってきたので、一旦リセットしてOSインストールからやり直すことにした。ここまでの手順ではCentOS7をデフォルトの最小構成でインストール ネットワーク設定 一般ユーザー追加 gnom…

Deep learning マシンを変更

手持ちのサーバの構成を考え、Deep learningの環境テストを行うノードをPRIMERGY RX200S6に移した。手順は クラスタから切り離す。 一般ユーザを作成。 グラボを移し替え。 NVIDIAのドライバインストール。 CUDAのインストール。 pyenvインストール。 anacon…

キーボードレイアウトの設定

サーバにはCentOS7をインストールして使っている。 基本的にサーバにはsshかvncで接続して使っているわけだが、端末としてはMacOSXを使用しており、キーボードもmacの(それもかなりレガシーな)US配列のものを使っているため、いまいちキーマップが一致せず…

サーバのメモリ構成を整理

サーバ CPU メモリ 理論性能 RX1330M3 E3-1230v6(4C/8T, 3.50GHz) 2400 UDIMM 64GB 224.0GFLOPS RX300S7 E5-2667(6C/12T, 2.90GHz)x2 1600 LV-RDIMM 32GB 278.4GFLOPS RX300S7 E5-2643(4C/8T, 3.30GHz)x2 1600 LV-UDIMM 24GB 211.2GFLOPS RX200S7 E5-2620(6C…

富士通PRIMERGY RX300S7で深層学習の学習環境を構築してみる(2)

続き次にanacondaを入れる 最初普通にanacondaのサイトからインストーラをダウンロードしてきて $ bash Anaconda3-5.3.1-Linux-x86_64.shとインストールしてtensorflowをpipで入れて・・・とやってみたのだが、glibcのバージョンがCentOS7では2.17、tensorfl…

富士通PRIMERGY RX300S7で深層学習の学習環境を構築してみる

データ解析をする上で無視できない深層学習(deep learning)を使えるように勉強中なのだが、手元に実機があったほうがいろいろと試せて良いだろう、ということでサーバの1ノードを深層学習用GPUマシンにすることにした。 当初RX200S7 (XEON E5-2620 x2)の1U…

Macを起動したら自動でsshfsでマウント

まずはサーバの側の公開鍵・秘密鍵を設定秘密鍵をmacの側で~/.ssh/kuro-server などの名前で保存しておく /usr/local/bin/sshfs kuro@192.168.1.100:/home/kuro ./mnt -o IdentityFile=~/.ssh/kuro-serverというスクリプトをautomatorで作成してアプリとして…

homebrewにエラー再び

==> Upgrading ruby ==> Downloading https://linuxbrew.bintray.com/bottles/ruby-2.6.1.x86_64_linux.bo ######################################################################## 100.0% ==> Pouring ruby-2.6.1.x86_64_linux.bottle.tar.gz Error: Th…

homebrewにエラー

いつの頃からか $ brew update fatal: unable to access 'https://github.com/brewsci/homebrew-bio/': error setting certificate verify locations: CAfile: /home/linuxbrew/.linuxbrew/etc/openssl/cert.pem CApath: /home/linuxbrew/.linuxbrew/etc/ope…

redmineのインストールでつまづく

redmineをインストールしようとして Redmineが依存するgemパッケージをインストールのため # bundle install --without development test --path vendor/bundle としようとすると、途中で Gem::Ext::BuildError: ERROR: Failed to build gem native extensio…

Torqueのerror/outputをリアルタイムにチェックする

Torqueでジョブを投げると、errorとoutputが処理がすべて終わった後に書き出される。 しかし、何時間もかかる処理が果たしてちゃんと走っているのか心配になるので、できれば普通にスクリプトを走らせるときのように画面にstdoutを出しておきたいこともある…

3世代5CPU対決

RX1330M3 E3-1230 v6 3.5GHz 4C8T 224.0GFLOPS 18/11/06 13:06:26 [M::bwa_idx_load_from_disk] read 0 ALT contigs [M::process] read 1815774 sequences (80000053 bp)... [M::process] read 1833396 sequences (80000011 bp)... [M::mem_process_seqs] Pr…

UPSを導入ーterastationとサーバの両方を連動してシャットダウンー

停電や不慮の電源トラブルに備えてオムロンのUPSを導入した。全サーバー群の電源を確保できるような大容量のUPSは高価なため、WEBサービス用データを保持しているヘッドノードとNFSサーバとして使っているTeraStationだけでもつないでおけるようにと、750Wの…

RX300S7インストール覚書

RX300S7にCentOS7をインストール。 計算ノードとして。 300GB SASドライブにシステムインストール。 一般ユーザーは作成しない。 NFSでヘッドノードの/home以下、/usr/local以下をマウント NISでヘッドノードで作成したユーザ情報を共有NFSのホスト:rx1330m…

3世代のサーバの能力を検証してみた

ベンチマークソフトを使ってもいいけど、実際に仕事に使うスクリプトを処理するのにかかる時間を計測したほうが意味があるだろう。 ということで、試しにBAMファイルをcufflinksにかけて遺伝子発現量を算出させてみた。 処理してみたBAMファイルは 1, 4.4GB…

NFSとNISがポートを取り合い

あるとき再起動したあと、NISクライアントがuserを受け付けてくれなくなり、ちょっと途方に暮れる。 NISサーバがどういうわけか起動していないので再起動してみたが、エラーが出て起動してくれない。 systemd[1]: Starting NIS/YP (Network Information Serv…

PXE bootでTeraStationが繋がらない

CentOS7でPXEサーバを立ててディスクレスブートを試しているのだが、どうにもNASのTeraStationがマウントできない。 マシンスペックが異なるがHDDでブートしているノードからはNFSで普通にマウントできているのだが。 どうしても mount.nfs: timeout set for…