kuroの覚え書き

96の個人的覚え書き

CentOS7

サーバのメモリ整理

なんだか、ツギハギに増設をしていたら気がついたら規格まちまちになってて、遅いものに足を引っ張られてるんじゃないかという気がしてきたので全部調べてみる。 # dmidecode -t memoryServer#0 RX200S7 Locator: DIMM-1A Size: 2048 MB Type: DDR3 Type Det…

CentOS7にpyenv-virtualenvを噛ましてAnacondaを入れてETE3toolkitをインストールする

なんともややこしいが禁断のAnacondaをCentOS7に入れてみる。 とにかくメインのサービスの邪魔をしないように厳重に環境を切り分けておく必要がある。 単純なPythonの環境切り分けなら、venvが今風なんだろうけど、混ぜるな危険のcondaなのでちょっと面倒だ…

ETE Toolkitで系統解析

ClustalWはお手軽にアライメントをとって系統樹を描くことが出来る。 しかしClustalWで出力されるdndファイルを使った系統樹は近年、系統樹としてはあまり信頼をされない。 ClustalWで実施される解析は近隣結合法(Neighbor joining method)で、計算量は極…

AlphaFold2.1.0登場

さて、Alphafold2の公開から4ヶ月ほど経ったが、その間に出てきた多量体解析のアイデアなどを取り込んでver2.1がアップされた。 GoogleColabの方ではいち早くバージョンアップがされていたわけだが、gitの本体の方も正式に対応したということか。アップグレ…

富士通サーバPRIMERGY RX200S7にIvy BridgeのCPUは搭載可能か

駄目でした。ちーん。 そうとう今更なんだが・・・RX200S7はE5-2600系のSandy Bridge世代のXeon CPUを搭載している。 Intelのtic-toc戦略によりSandy Bridgeとその次の世代のIvy Bridgeは同一アーキテクチャで基本互換性があることになっている。この基本、…

AlphaFold2 総括

一部業界で話題沸騰のAlphaFold2だが、ソースの公開から一月ちょっと遅れで、ようやく自前サーバで解析できる環境を構築した。要求スペック 2.5TB以上のSSD/HDD容量 (必須、SSD推奨) CUDA11に対応しているNVIDIA製GPU(推奨) 大容量(32GB以上)のRAM(推奨…

AlphaFold2のその後2.2

いろいろわけがわからなくなってきている(特にPython絡み)ので、一旦minicondaもbrewで入れたpython3もアンインストールした。(minicondaは~/miniconda3にインストールされているのでフォルダまるごとrm -rf) (python3は $brew uninstall python3したあ…

AlphaFold2のその後2.1

前回、どうもTensorflowのバージョンがなんかコンフリクトしているっぽく、自前で環境インストールしたのがまずかったのかも、と思ったので、一旦Dockerに戻ってみた。Docker自体にエラーの原因はないと思うし、Dockerの中ならバージョンが合わないというこ…

AlphaFold2のその後2

何が問題なのか一つわかった。 WARNING: Ignoring invalid symbol '*' at pos. 492 in line 2 of /tmp/tmp2hwa2yuo/query.a3mこれだ。 なんとなく自分の持っているアミノ酸データでFASTAファイルを自分で作って投げていたわけだが ストップコドンのところの…

Fujitsu Primergy TX1310M3をDeep Learningマシンに仕立てる

手持ち機材をやりくりして深層学習マシンを仕立てようということで、一番遊んでいるTX1310M3に白羽の矢を立てた。 一応16x のPCI Express 3.0スロットがあるし、CPUもXeon E3-1230v6に換装し、64GBメモリ、8TB+1TBのRAIDも組めるし。 ってことでGPUを調達。…

8xのRAIDカードを1xに刺すとダメダメになるのか検証

Haswellなxeonの中古サーバを試験用に保持しているのだが、PCIeスロットが1x/1x/16x/4xと結構しょぼい。 4xにN8103-150というRAIDカードが刺さっており、こちらから2.5inch 450GB SAS HDDが3枚RAID5構成で接続されている。 しかしこのカードがここにいるとせ…

Jetson nanoは学習フェーズに役に立つか

なんといってもまあ、CUDAコアが128コアしかないわけで、きっと学習には不向きだろうよ、という予想はたつがとりあえずmnistで試してみよう。 まずリファレンスとしてCUDAコア192のGT710/xeon e3-1330v6/64GBのCentOS7サーバでやってみる。 ソフトウェア環境…

AlphaFold2の衝撃

とりあえず試してみておかないと。qiita.comただ、GPUがまともなものがない。試してみた環境は以下の通り CPU: Xeon E3-1230V6 Memory: 64GB Storage: 2GB(2GB x2 RAID1) + 8TB(4TBx2 RAID0) GPU: GeForce GT710(1M)まずは何も考えずにランしてみると $ pyth…

linuxbrewをユーザーごとにインストールする

これまでなんだかんだ言ってサーバーへのプログラムのインストールは自分しかやらないし、ほぼシングルユーザーだったので特に問題はなかったんだが、NISサーバでユーザ管理し、クラスタの計算ノードとしつつ、一部はローカルユーザも共存というようなややこ…

CentOS7上のDockerでDeep learning環境を構築

とりあえずDockerをインストールしてrunできる所まで来たのでいよいよDeep learning環境を構築していこうと思う。やることとしてはまずCentOS7にnvidiaのドライバを入れる。これは基本以前にやったとおりでいい。 k-kuro.hatenadiary.jp [kkuro@E5800-T110f-…

CentOS7にDocker

これまでデスクトップサーバで深層学習環境をUbuntuに構築するこころみをしてきたが、やはり時代はDockerだな、ということでUbuntuにDockerをインストールしたりまではやっていたのだが、なんというかやはりサーバとしてはUbuntuって凄く使い難い。なんか専…

React JSはじめました。

さっきやっとこさJSONやらAjaxをつかってフロントエンドとバックエンドのやり取りを成功させたところだが、 気を良くしてReactにも手を出してみる。まずnpmってなんなん?ってとこからですよ。 Node.jsってのをまず入れるんですね。 $ sudo yum install cent…

CentOS7でsambaサーバ

やはりMac、Windowsから共有できるファイルサーバを一つ立てておこうということで。TX1310M3に起動ディスクとして1T (RAID1)、ファイル領域として4T (RAID1)を用意した。 ファイル領域は/mnt/disk2にマウントされている。 基本的にshareグループに入っている…

vncserverが起動しなくなった。

.vncディレクトリのログファイルを見ると Xvnc TigerVNC 1.8.0 - built Nov 16 2020 16:47:50 Copyright (C) 1999-2017 TigerVNC Team and many others (see README.txt) See http://www.tigervnc.org for information on TigerVNC. Underlying X server rel…

drishtiをCentOS7にインストールする

医学用途のフリー3D解析ソフトであるdrishtiをCentOS7にインストールしたい。 $ sudo yum install gcc-c++ $ brew install freeglut $ brew install glew $ brew install qt $ echo 'export PATH="/home/linuxbrew/.linuxbrew/opt/qt/bin:$PATH"' >> ~/.bas…

CentOS7のGitを最新のものにする

CentOS7のyumでインストールされるGitは1.xxとか古くてlinuxbrewのインストールでエラーが出て進まないので最新のGitをインストールする話。まずは # yum remove gitで古いのを消しておく。 次に バイナリをダウンロード https://mirrors.edge.kernel.org/pu…

linuxbrewをCentOS7にいまさらながら入れる

インストールしたまんま放置されていたCentOS7にいまさらながらにLinuxbrewを入れようとしてどつぼにはまり中。自分の覚書の通りにまずやってみたらいきなり怒られる。 $ ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/linuxbrew/go/in…

systemctlでvncserver起動

$ sudo cp /lib/systemd/system/vncserver@.service /etc/systemd/system/vncserver@:1.service $ sudo nano /etc/systemd/system/vncserver@:1.service[Unit] Description=Remote desktop service (VNC) After=syslog.target network.target [Service] Type…

SiGN-SSMをソースからコンパイル

Linux版バイナリとして配布されているSiGN-SSMはrel 1.0.2. Multi-thread supported, MPI support not enabledだった。 だからMPIを指定するとマルチスレッドも働かず激遅になったんだな。 あと You can also use signssm to do this (rel 1.10.0 or later):…

SiGN-SSM

ネットワーク解析がしたいと思い環境構築。結構手こずったので(いつもながら)メモ。まずはHGCからダウンロード。 MacOSバイナリーとLinuxバイナリーを両方ダウンロードしてみる。Linux版は解凍して $ make INSTALLDIR=適当な場所 installでインストール。…

CentOS7のKVMにUbuntuを乗せる

$ sudo virt-install --name kvm3_ubuntu --memory 8192 --disk /home/kvm/images/kvm3,size=100 --location /tmp/ubuntu-20.04-desktop-amd64.iso --network default --vcpu 8 WARNING オペレーティングシステムを検出できません。仮想マシンのパフォーマン…

KVM環境をホストの電源オンオフと連動

ホストの電源を入れたら自動で起動させるには $ sudo virsh list --all Id Name State ---------------------------------------------------- 1 centos7 running - centos8 shut off $ sudo virsh autostart centos7ホストをシャットダウンするとき自動的に…

Linuxbrew + python3でglibcのバージョンが足りない件(解決)

新規構築したCentOS7環境にLinuxbrewでpython3.7をインストールするとmatplotlibがインポートできない現象が出て、どうにかpython3.6を入れてお茶を濁そうとしていたわけだ。 Mac OSXのHomebrewではgit checkoutで古いバージョンのインストールができるよう…

SRAToolkit

公開されているSRAファイルをダウンロードして再解析がしたいとき、データのダウンロードが結構面倒なので(サイトの構造が複雑すぎてなかなかファイル本体にたどり着けない)専用のツールを利用したい。 とおもってインストールをbrewからやってみた。 $ br…

homebrewでpython3.6(前のバージョン)をインストールする

$ cd /home/linuxbrew/.linuxbrew/Homebrew/Library/Taps/homebrew/homebrew-core/Formula $ git log python.rb commit b02eee23d9ac8e1027a212f269da6edd4c1f0f5f Author: BrewTestBot <homebrew-test-bot@lists.sfconservancy.org> Date: Mon Apr 20 06:02:17 2020 +0000 python: update 3.7.7_1 bottl</homebrew-test-bot@lists.sfconservancy.org>…