kuroの覚え書き

96の個人的覚え書き

Deep learning

AlphaFold2 総括

一部業界で話題沸騰のAlphaFold2だが、ソースの公開から一月ちょっと遅れで、ようやく自前サーバで解析できる環境を構築した。要求スペック 2.5TB以上のSSD/HDD容量 (必須、SSD推奨) CUDA11に対応しているNVIDIA製GPU(推奨) 大容量(32GB以上)のRAM(推奨…

AlphaFold2のその後2.1

前回、どうもTensorflowのバージョンがなんかコンフリクトしているっぽく、自前で環境インストールしたのがまずかったのかも、と思ったので、一旦Dockerに戻ってみた。Docker自体にエラーの原因はないと思うし、Dockerの中ならバージョンが合わないというこ…

AlphaFold2のその後2

何が問題なのか一つわかった。 WARNING: Ignoring invalid symbol '*' at pos. 492 in line 2 of /tmp/tmp2hwa2yuo/query.a3mこれだ。 なんとなく自分の持っているアミノ酸データでFASTAファイルを自分で作って投げていたわけだが ストップコドンのところの…

Fujitsu Primergy TX1310M3をDeep Learningマシンに仕立てる

手持ち機材をやりくりして深層学習マシンを仕立てようということで、一番遊んでいるTX1310M3に白羽の矢を立てた。 一応16x のPCI Express 3.0スロットがあるし、CPUもXeon E3-1230v6に換装し、64GBメモリ、8TB+1TBのRAIDも組めるし。 ってことでGPUを調達。…

Jetson nanoは学習フェーズに役に立つか

なんといってもまあ、CUDAコアが128コアしかないわけで、きっと学習には不向きだろうよ、という予想はたつがとりあえずmnistで試してみよう。 まずリファレンスとしてCUDAコア192のGT710/xeon e3-1330v6/64GBのCentOS7サーバでやってみる。 ソフトウェア環境…

AlphaFold2の衝撃

とりあえず試してみておかないと。qiita.comただ、GPUがまともなものがない。試してみた環境は以下の通り CPU: Xeon E3-1230V6 Memory: 64GB Storage: 2GB(2GB x2 RAID1) + 8TB(4TBx2 RAID0) GPU: GeForce GT710(1M)まずは何も考えずにランしてみると $ pyth…

CentOS7上のDockerでDeep learning環境を構築

とりあえずDockerをインストールしてrunできる所まで来たのでいよいよDeep learning環境を構築していこうと思う。やることとしてはまずCentOS7にnvidiaのドライバを入れる。これは基本以前にやったとおりでいい。 k-kuro.hatenadiary.jp [kkuro@E5800-T110f-…

CentOS7にDocker

これまでデスクトップサーバで深層学習環境をUbuntuに構築するこころみをしてきたが、やはり時代はDockerだな、ということでUbuntuにDockerをインストールしたりまではやっていたのだが、なんというかやはりサーバとしてはUbuntuって凄く使い難い。なんか専…

Jetson nano 2GB壊れる

その時は突然やってきた。Jetson Nano 超入門 改訂第2版作者:Jetson Japan User Group,からあげ,北崎 恵凡,古瀬 勉,鶴長 鎮一,中畑 隆拓ソーテック社Amazon書籍も買って、本格的にいじっていこうと思った矢先、絵に書いたようにもわんと煙が立ち上り、あっけ…

Jetson nano 2GBを使う(1)

まずはこのページもJetson上で編集できるように日本語環境を入れておく。Jetsonで日本語が入力できるようにする│FABSHOP.JP -デジタルでものづくり! ファブショップ ! こちらの記事を参考にする。システム設定>言語サポート で日本語をインストールし、キ…

Jetson nano 2GB

とうとう手を出すことに。 https://amzn.to/33zSXVO NVIDIA Jetson Nano 2GB 開発者キットNVIDIAAmazonまずはOSのセットアップから。 developer.nvidia.com 現在の最新版は4.5.1らしい。Getting Started with Jetson Nano 2GB Developer Kit | NVIDIA Develo…

Deep learningをDockerで構築

今どきDockerくらい使えないと、というわけですよ。Install Docker Engine on Ubuntu | Docker Documentation apt パッケージを更新し、必要なパッケージをインストール $ sudo apt-get update $ sudo apt-get -y install curl \ apt-transport-https \ ca-c…

Ubuntu環境をしっかりと入れる

自宅鯖で深層学習の学習環境を整えようと四苦八苦していて、私が主に使っているCentOS7に構築したkvm環境上のUbuntu18.04にNVIDIAのドライバやtensorflowをインストールするところまでやったわけだが。 結局kvmではビデオカードを仮想環境が使うとホストで…

Deep Learning再び

しばらく中断していたDeep Learningをまた再開しようと思う。 なんか、いろいろやっているうちに環境を壊してしまったので、再構築からスタート。 毎回、環境構築で時間がかかって、それだけで疲れてしまって肝心のデータ解析までできてないような。この分野…

Fujitsu Primergy TX1310M3にUbuntuをインストールしたい

ファイルサーバ兼深層学習プラットフォームとして使用するつもりでTX1310M3を入手してみた。 これまで富士通のサーバにはCentOS7をインストールして使ってきたのだが、深層学習プラットフォームとしてはRedhat系のCentOSよりDebian系のUbuntuの方が構築しや…

deeplearning テキストの2値化

:~$ python3 Python 3.6.9 (default, Nov 7 2019, 10:44:02) [GCC 8.3.0] on linux Type "help", "copyright", "credits" or "license" for more information. >>> from keras.datasets import imdb /usr/lib/python3/dist-packages/h5py/__init__.py:36: Fu…