Deep learning
一部業界で話題沸騰のAlphaFold2だが、ソースの公開から一月ちょっと遅れで、ようやく自前サーバで解析できる環境を構築した。要求スペック 2.5TB以上のSSD/HDD容量 (必須、SSD推奨) CUDA11に対応しているNVIDIA製GPU(推奨) 大容量(32GB以上)のRAM(推奨…
前回、どうもTensorflowのバージョンがなんかコンフリクトしているっぽく、自前で環境インストールしたのがまずかったのかも、と思ったので、一旦Dockerに戻ってみた。Docker自体にエラーの原因はないと思うし、Dockerの中ならバージョンが合わないというこ…
何が問題なのか一つわかった。 WARNING: Ignoring invalid symbol '*' at pos. 492 in line 2 of /tmp/tmp2hwa2yuo/query.a3mこれだ。 なんとなく自分の持っているアミノ酸データでFASTAファイルを自分で作って投げていたわけだが ストップコドンのところの…
手持ち機材をやりくりして深層学習マシンを仕立てようということで、一番遊んでいるTX1310M3に白羽の矢を立てた。 一応16x のPCI Express 3.0スロットがあるし、CPUもXeon E3-1230v6に換装し、64GBメモリ、8TB+1TBのRAIDも組めるし。 ってことでGPUを調達。…
なんといってもまあ、CUDAコアが128コアしかないわけで、きっと学習には不向きだろうよ、という予想はたつがとりあえずmnistで試してみよう。 まずリファレンスとしてCUDAコア192のGT710/xeon e3-1330v6/64GBのCentOS7サーバでやってみる。 ソフトウェア環境…
とりあえず試してみておかないと。qiita.comただ、GPUがまともなものがない。試してみた環境は以下の通り CPU: Xeon E3-1230V6 Memory: 64GB Storage: 2GB(2GB x2 RAID1) + 8TB(4TBx2 RAID0) GPU: GeForce GT710(1M)まずは何も考えずにランしてみると $ pyth…
とりあえずDockerをインストールしてrunできる所まで来たのでいよいよDeep learning環境を構築していこうと思う。やることとしてはまずCentOS7にnvidiaのドライバを入れる。これは基本以前にやったとおりでいい。 k-kuro.hatenadiary.jp [kkuro@E5800-T110f-…
これまでデスクトップサーバで深層学習環境をUbuntuに構築するこころみをしてきたが、やはり時代はDockerだな、ということでUbuntuにDockerをインストールしたりまではやっていたのだが、なんというかやはりサーバとしてはUbuntuって凄く使い難い。なんか専…
その時は突然やってきた。Jetson Nano 超入門 改訂第2版作者:Jetson Japan User Group,からあげ,北崎 恵凡,古瀬 勉,鶴長 鎮一,中畑 隆拓ソーテック社Amazon書籍も買って、本格的にいじっていこうと思った矢先、絵に書いたようにもわんと煙が立ち上り、あっけ…
まずはこのページもJetson上で編集できるように日本語環境を入れておく。Jetsonで日本語が入力できるようにする│FABSHOP.JP -デジタルでものづくり! ファブショップ ! こちらの記事を参考にする。システム設定>言語サポート で日本語をインストールし、キ…
とうとう手を出すことに。 https://amzn.to/33zSXVO NVIDIA Jetson Nano 2GB 開発者キットNVIDIAAmazonまずはOSのセットアップから。 developer.nvidia.com 現在の最新版は4.5.1らしい。Getting Started with Jetson Nano 2GB Developer Kit | NVIDIA Develo…
今どきDockerくらい使えないと、というわけですよ。Install Docker Engine on Ubuntu | Docker Documentation apt パッケージを更新し、必要なパッケージをインストール $ sudo apt-get update $ sudo apt-get -y install curl \ apt-transport-https \ ca-c…
自宅鯖で深層学習の学習環境を整えようと四苦八苦していて、私が主に使っているCentOS7に構築したkvm環境上のUbuntu18.04にNVIDIAのドライバやtensorflowをインストールするところまでやったわけだが。 結局kvmではビデオカードを仮想環境が使うとホストで…
しばらく中断していたDeep Learningをまた再開しようと思う。 なんか、いろいろやっているうちに環境を壊してしまったので、再構築からスタート。 毎回、環境構築で時間がかかって、それだけで疲れてしまって肝心のデータ解析までできてないような。この分野…
ファイルサーバ兼深層学習プラットフォームとして使用するつもりでTX1310M3を入手してみた。 これまで富士通のサーバにはCentOS7をインストールして使ってきたのだが、深層学習プラットフォームとしてはRedhat系のCentOSよりDebian系のUbuntuの方が構築しや…
:~$ python3 Python 3.6.9 (default, Nov 7 2019, 10:44:02) [GCC 8.3.0] on linux Type "help", "copyright", "credits" or "license" for more information. >>> from keras.datasets import imdb /usr/lib/python3/dist-packages/h5py/__init__.py:36: Fu…