kuroの覚え書き

96の個人的覚え書き

Rspberry piにnumpy

Raspberry piにpipでnumpyを入れようとしたら動かなかった。これまたARMに対応してないらしいね。対応策としては $ sudo apt install python3-numpyと直接インストールするといいらしい。 一旦 $ python3 -m pip uninstall numpyとしてやってからインストー…

Raspberry piにBlastとSamtoolsをインストール

XREAがいまいち融通がきかない。ちょっと規模の大きいFlaskサイトを動かそうとすると負荷がかかりすぎるのか強制終了されてしまい、サーバエラーを返されてしまう。 一旦XREAはペンディングとし、自宅ネットにRaspberry piでwebアプリ設置テストをすることに…

XREAサーバを使う(3)nano編

brewを入れるのは容量的にも得策ではないな、ということで必要なアプリケーションは個別にbuildしてインストールすることにする。 手始めに、nanoエディタを入れてみる。標準ではviは使えるけれど、nanoは入ってなかったので。viでいいじゃないかという意見…

XREAサーバを使う(2) Flask編

Homebrewのインストールは未完。Gitはインストールできたがcurlなど他にも対応しなければならないし、そもそもそこまでいろんなアプリを入れたいわけでもない。せいぜいblastとsamtoolsくらいなので、個別インストールしたほうが早そうなので、一旦ペンディ…

XREAサーバを使う

以前GMOのvalue serverを利用してデータベースサイトの試験運用を行っていた。今回久しぶりに同系列で完全無料で利用できる(広告は入る)XREAのレンタルサーバを使ってサイト構築をしてみようと思う。 無料で使えるのは1GBまでなので大規模なデータベースは…

AlphaFold2.1.0登場

さて、Alphafold2の公開から4ヶ月ほど経ったが、その間に出てきた多量体解析のアイデアなどを取り込んでver2.1がアップされた。 GoogleColabの方ではいち早くバージョンアップがされていたわけだが、gitの本体の方も正式に対応したということか。アップグレ…

Nvidia Jetson NanoでMacOS

Jetson Nanoを2台も買ってみたけど、いまいち使いみちが定まっていない。 まあこの手のガジェットは明確な目的がなくても手元に転がしておけば、ある時急に役に立ったりするからいいのだけれど。ふとJetsonNano上でDockerのコンテナとしてMacOSが動いたりし…

Express5800/110e-1EのHDDマウンタ

かなーり需要の薄い情報。もう随分前になるが、NECの1UサーバにHDDを増設しようとしてHDDマウンタ(おそらくExpress5800/110d以前のもの、ラッチのパーツが緑色)を入手してみたところ、世代が違うと微妙にフィットせず使用できなかった、ということがあっ…

python 状況整理

メインサーバ(RX1330M3) $ which python3 /home/linuxbrew/.linuxbrew/bin/python3 $ python3 --version Python 3.9.7 $ python3 -m pip list Package Version --------------------- --------- alembic 1.7.1 beautifulsoup4 4.10.0 biopython 1.79 bleac…

富士通サーバPRIMERGY RX200S7にIvy BridgeのCPUは搭載可能か

駄目でした。ちーん。 そうとう今更なんだが・・・RX200S7はE5-2600系のSandy Bridge世代のXeon CPUを搭載している。 Intelのtic-toc戦略によりSandy Bridgeとその次の世代のIvy Bridgeは同一アーキテクチャで基本互換性があることになっている。この基本、…

SDカードの規格

なんかわけわからん。ファイルシステム規格(容量帯)(SD, SDHC, SDXC, SDUC)下位互換性あり。 バスインターフェーススピード規格(無印,UHS-I, UHS-II, UHS-III, SD Express) スピードクラス規格 ビデオスピードクラス(V6, V10, V30, V60, V90) UHS スピー…

AlphaFold2 総括

一部業界で話題沸騰のAlphaFold2だが、ソースの公開から一月ちょっと遅れで、ようやく自前サーバで解析できる環境を構築した。要求スペック 2.5TB以上のSSD/HDD容量 (必須、SSD推奨) CUDA11に対応しているNVIDIA製GPU(推奨) 大容量(32GB以上)のRAM(推奨…

AlphaFold2のその後2.2

いろいろわけがわからなくなってきている(特にPython絡み)ので、一旦minicondaもbrewで入れたpython3もアンインストールした。(minicondaは~/miniconda3にインストールされているのでフォルダまるごとrm -rf) (python3は $brew uninstall python3したあ…

AlphaFold2のその後2.1

前回、どうもTensorflowのバージョンがなんかコンフリクトしているっぽく、自前で環境インストールしたのがまずかったのかも、と思ったので、一旦Dockerに戻ってみた。Docker自体にエラーの原因はないと思うし、Dockerの中ならバージョンが合わないというこ…

AlphaFold2のその後2

何が問題なのか一つわかった。 WARNING: Ignoring invalid symbol '*' at pos. 492 in line 2 of /tmp/tmp2hwa2yuo/query.a3mこれだ。 なんとなく自分の持っているアミノ酸データでFASTAファイルを自分で作って投げていたわけだが ストップコドンのところの…

Fujitsu Primergy TX1310M3をDeep Learningマシンに仕立てる

手持ち機材をやりくりして深層学習マシンを仕立てようということで、一番遊んでいるTX1310M3に白羽の矢を立てた。 一応16x のPCI Express 3.0スロットがあるし、CPUもXeon E3-1230v6に換装し、64GBメモリ、8TB+1TBのRAIDも組めるし。 ってことでGPUを調達。…

AlphaFold2その後

その後、GPUを使わないオプションの与え方がわかったので、やってみたのだが、やはり走りきらない。 $ nohup python3 docker/run_docker.py --fasta_paths=${HOME}/test5.fasta --max_template_date=2021-08-21 --gpu_devices=none > nohup1.out & [1] 24564…

pymolでタンパク質立体構造を見る

AlphaFold2の登場でにわかに活気づいたタンパク質構造化学の分野でデファクトスタンダードとも言える分子ビューワといえばpymolなわけだが、普通にネット検索して出てくるのは pymol.org なのだ。 しかしこのソフトウェアはライセンスがいる。有料だ。 我々…

8xのRAIDカードを1xに刺すとダメダメになるのか検証

Haswellなxeonの中古サーバを試験用に保持しているのだが、PCIeスロットが1x/1x/16x/4xと結構しょぼい。 4xにN8103-150というRAIDカードが刺さっており、こちらから2.5inch 450GB SAS HDDが3枚RAID5構成で接続されている。 しかしこのカードがここにいるとせ…

Docker チートシート1

とりあえず慣れてしまえばなんてことはないはずなんだが、基本(既存のimageをリポジトリからダウンロード、コンテナを作成、起動、停止、削除のサイクル) docker container run hoge --name hoge001 または docker run hoge --name hoge001hogeがdocker ima…

Jetson nanoを使ってDockerの使い方を学習する

とおもって始めてみたが、いきなりハマった。ネットワークをDockerで構築するのを試してみようと $ docker network create test_network001のようにやった。次にWordpressコンテナでも動かしてみよう、と思い、それにはMySQLがいるね、ってことで $ docker r…

Jetson nanoは学習フェーズに役に立つか

なんといってもまあ、CUDAコアが128コアしかないわけで、きっと学習には不向きだろうよ、という予想はたつがとりあえずmnistで試してみよう。 まずリファレンスとしてCUDAコア192のGT710/xeon e3-1330v6/64GBのCentOS7サーバでやってみる。 ソフトウェア環境…

Jetson nanoを無線接続してリモートからsshやRemote Desktopで接続する

相変わらずUbuntuのお作法に慣れない。 JetsonNanoのjetpack4.5特有の現象なのかわからないが、ローカルでログインしていない状態では無線LANが接続してくれない。おそらく有線LANだとそんなことはないのだと思うし、CentOSでも無線LANを使ったことがほぼな…

AlphaFold2の衝撃

とりあえず試してみておかないと。qiita.comただ、GPUがまともなものがない。試してみた環境は以下の通り CPU: Xeon E3-1230V6 Memory: 64GB Storage: 2GB(2GB x2 RAID1) + 8TB(4TBx2 RAID0) GPU: GeForce GT710(1M)まずは何も考えずにランしてみると $ pyth…

linuxbrewをユーザーごとにインストールする

これまでなんだかんだ言ってサーバーへのプログラムのインストールは自分しかやらないし、ほぼシングルユーザーだったので特に問題はなかったんだが、NISサーバでユーザ管理し、クラスタの計算ノードとしつつ、一部はローカルユーザも共存というようなややこ…

local blastをグラフィカルに

モデル植物としてはゲノムデータがあまり完璧でない植物を研究対象にしているためBlast検索も外部データベースサイトに頼らず自分でシークエンスデータをあちこちから集めてきて自分仕様のBlastサーバを立てている。 これまでのところ、まあ自分で見るだけだ…

CentOS7上のDockerでDeep learning環境を構築

とりあえずDockerをインストールしてrunできる所まで来たのでいよいよDeep learning環境を構築していこうと思う。やることとしてはまずCentOS7にnvidiaのドライバを入れる。これは基本以前にやったとおりでいい。 k-kuro.hatenadiary.jp [kkuro@E5800-T110f-…

CentOS7にDocker

これまでデスクトップサーバで深層学習環境をUbuntuに構築するこころみをしてきたが、やはり時代はDockerだな、ということでUbuntuにDockerをインストールしたりまではやっていたのだが、なんというかやはりサーバとしてはUbuntuって凄く使い難い。なんか専…

帰ってきたJetson nano 2GB

というわけで2ヶ月のすったもんだの末、うちに帰ってきたJetson Nano 2GB。 左:帰ってきた2GB、右:買い足した4GB(B01)壊れる前はそもそもMacbookAirのACアダプタ(容量、定格上は十分なスペック)で起動できなかったところからすでに異常だったわけだが…

Jetson Nano 4GBと自作キーボード

壊れたJetson Nano 2GBの保証交換がちっとも進まないまま2ヶ月が過ぎようとしている。ということでもう一台買っちゃった。それも4GB。 今回はアマゾンではなく、日本での正規代理店らしい菱洋エレクトロから購入。アマゾンより安い。 ryoyo-gpu.jp基板丸出…