kuroの覚え書き

96の個人的覚え書き

AlphaFold2のその後2.1

前回、どうもTensorflowのバージョンがなんかコンフリクトしているっぽく、自前で環境インストールしたのがまずかったのかも、と思ったので、一旦Dockerに戻ってみた。Docker自体にエラーの原因はないと思うし、Dockerの中ならバージョンが合わないというこ…

AlphaFold2のその後2

何が問題なのか一つわかった。 WARNING: Ignoring invalid symbol '*' at pos. 492 in line 2 of /tmp/tmp2hwa2yuo/query.a3mこれだ。 なんとなく自分の持っているアミノ酸データでFASTAファイルを自分で作って投げていたわけだが ストップコドンのところの…

Fujitsu Primergy TX1310M3をDeep Learningマシンに仕立てる

手持ち機材をやりくりして深層学習マシンを仕立てようということで、一番遊んでいるTX1310M3に白羽の矢を立てた。 一応16x のPCI Express 3.0スロットがあるし、CPUもXeon E3-1230v6に換装し、64GBメモリ、8TB+1TBのRAIDも組めるし。 ってことでGPUを調達。…

AlphaFold2その後

その後、GPUを使わないオプションの与え方がわかったので、やってみたのだが、やはり走りきらない。 $ nohup python3 docker/run_docker.py --fasta_paths=${HOME}/test5.fasta --max_template_date=2021-08-21 --gpu_devices=none > nohup1.out & [1] 24564…

pymolでタンパク質立体構造を見る

AlphaFold2の登場でにわかに活気づいたタンパク質構造化学の分野でデファクトスタンダードとも言える分子ビューワといえばpymolなわけだが、普通にネット検索して出てくるのは pymol.org なのだ。 しかしこのソフトウェアはライセンスがいる。有料だ。 我々…

8xのRAIDカードを1xに刺すとダメダメになるのか検証

Haswellなxeonの中古サーバを試験用に保持しているのだが、PCIeスロットが1x/1x/16x/4xと結構しょぼい。 4xにN8103-150というRAIDカードが刺さっており、こちらから2.5inch 450GB SAS HDDが3枚RAID5構成で接続されている。 しかしこのカードがここにいるとせ…

Docker チートシート1

とりあえず慣れてしまえばなんてことはないはずなんだが、基本(既存のimageをリポジトリからダウンロード、コンテナを作成、起動、停止、削除のサイクル) docker container run hoge --name hoge001 または docker run hoge --name hoge001hogeがdocker ima…

Jetson nanoを使ってDockerの使い方を学習する

とおもって始めてみたが、いきなりハマった。ネットワークをDockerで構築するのを試してみようと $ docker network create test_network001のようにやった。次にWordpressコンテナでも動かしてみよう、と思い、それにはMySQLがいるね、ってことで $ docker r…

Jetson nanoは学習フェーズに役に立つか

なんといってもまあ、CUDAコアが128コアしかないわけで、きっと学習には不向きだろうよ、という予想はたつがとりあえずmnistで試してみよう。 まずリファレンスとしてCUDAコア192のGT710/xeon e3-1330v6/64GBのCentOS7サーバでやってみる。 ソフトウェア環境…

Jetson nanoを無線接続してリモートからsshやRemote Desktopで接続する

相変わらずUbuntuのお作法に慣れない。 JetsonNanoのjetpack4.5特有の現象なのかわからないが、ローカルでログインしていない状態では無線LANが接続してくれない。おそらく有線LANだとそんなことはないのだと思うし、CentOSでも無線LANを使ったことがほぼな…

AlphaFold2の衝撃

とりあえず試してみておかないと。qiita.comただ、GPUがまともなものがない。試してみた環境は以下の通り CPU: Xeon E3-1230V6 Memory: 64GB Storage: 2GB(2GB x2 RAID1) + 8TB(4TBx2 RAID0) GPU: GeForce GT710(1M)まずは何も考えずにランしてみると $ pyth…

linuxbrewをユーザーごとにインストールする

これまでなんだかんだ言ってサーバーへのプログラムのインストールは自分しかやらないし、ほぼシングルユーザーだったので特に問題はなかったんだが、NISサーバでユーザ管理し、クラスタの計算ノードとしつつ、一部はローカルユーザも共存というようなややこ…

local blastをグラフィカルに

モデル植物としてはゲノムデータがあまり完璧でない植物を研究対象にしているためBlast検索も外部データベースサイトに頼らず自分でシークエンスデータをあちこちから集めてきて自分仕様のBlastサーバを立てている。 これまでのところ、まあ自分で見るだけだ…

CentOS7上のDockerでDeep learning環境を構築

とりあえずDockerをインストールしてrunできる所まで来たのでいよいよDeep learning環境を構築していこうと思う。やることとしてはまずCentOS7にnvidiaのドライバを入れる。これは基本以前にやったとおりでいい。 k-kuro.hatenadiary.jp [kkuro@E5800-T110f-…

CentOS7にDocker

これまでデスクトップサーバで深層学習環境をUbuntuに構築するこころみをしてきたが、やはり時代はDockerだな、ということでUbuntuにDockerをインストールしたりまではやっていたのだが、なんというかやはりサーバとしてはUbuntuって凄く使い難い。なんか専…

帰ってきたJetson nano 2GB

というわけで2ヶ月のすったもんだの末、うちに帰ってきたJetson Nano 2GB。 左:帰ってきた2GB、右:買い足した4GB(B01)壊れる前はそもそもMacbookAirのACアダプタ(容量、定格上は十分なスペック)で起動できなかったところからすでに異常だったわけだが…

Jetson Nano 4GBと自作キーボード

壊れたJetson Nano 2GBの保証交換がちっとも進まないまま2ヶ月が過ぎようとしている。ということでもう一台買っちゃった。それも4GB。 今回はアマゾンではなく、日本での正規代理店らしい菱洋エレクトロから購入。アマゾンより安い。 ryoyo-gpu.jp基板丸出…

Macでzip圧縮してパスワードを掛ける(嘘情報に注意)

Mac

これ、毎回やり方を忘れて検索して騙される。 Finderで”xxxを圧縮”を選んでzipファイルを作成し、ターミナルを開いて、できたzipに対して $ zipcloak xxx.zipとやれ、パスワードを聞いてくるから2回入力してね。という説明がいっぱいされているが、実際これ…

Raspberry piにキャラクタLCDをつける(2)

とりあえず起動したらDHCPで拾ったアドレスなり、接続したESSIDなりを取得してLCDに表示させるようにしてみた。 #!/usr/bin/python3 # coding: utf-8 import subprocess import Adafruit_CharLCD as LCD import time # GPIO lcd_rs = 17 lcd_en = 27 lcd_d4 …

Raspberry piにキャラクタLCDをつける

お遊びではあるが、Raspberry PiにキャラクタLCDをつけてみた。 お遊びなのであえてこじんまりしたLCDをつけてみる。<液晶表示器(LCD)><液晶表示器(LCD)LCM0802A 8文字×2行 バックライト 青>1個<led-180>札幌貿易(Sapporo Boueki)Amazonこれと基本同…

Raspberry piのOSを更新

色々と継ぎ足し継ぎ足しやってきたので、だいぶシステムが汚れてきたし、SDカードの容量も上げたいかなと言うことでOSを入れ直すことにした。単純に容量アップを目指してddを使ってdisk imageのバックアップ、リストアを試みたが、リストア後のパーティショ…

Raspberry Pi でUSBカメラを使う(整理編)

まずは何はなくともV4L2 $ v4l2-ctl General/Common options: --all display all information available -C, --get-ctrl=<ctrl>[,<ctrl>...] get the value of the controls [VIDIOC_G_EXT_CTRLS] -c, --set-ctrl=<ctrl>=<val>[,<ctrl>=<val>...] set the value of the controls [VIDIOC_S_EXT_</val></ctrl></val></ctrl></ctrl></ctrl>…

Jetson nano 2GB壊れる

その時は突然やってきた。Jetson Nano 超入門 改訂第2版作者:Jetson Japan User Group,からあげ,北崎 恵凡,古瀬 勉,鶴長 鎮一,中畑 隆拓ソーテック社Amazon書籍も買って、本格的にいじっていこうと思った矢先、絵に書いたようにもわんと煙が立ち上り、あっけ…

Jetson nano 2GBを使う(1)

まずはこのページもJetson上で編集できるように日本語環境を入れておく。Jetsonで日本語が入力できるようにする│FABSHOP.JP -デジタルでものづくり! ファブショップ ! こちらの記事を参考にする。システム設定>言語サポート で日本語をインストールし、キ…

Jetson nano 2GB

とうとう手を出すことに。 https://amzn.to/33zSXVO NVIDIA Jetson Nano 2GB 開発者キットNVIDIAAmazonまずはOSのセットアップから。 developer.nvidia.com 現在の最新版は4.5.1らしい。Getting Started with Jetson Nano 2GB Developer Kit | NVIDIA Develo…

UVCカメラ

タイムラプス映像のクオリティをあげるべくカメラを買ってもらった。ELP バリフォーカルレンズ USBカメラ 800万画素 フルHD ウェブカメラ 高解像度 2448P 超小型ウェブカメラ ソニーIMX179/プラグ&プレイ/フリードライバー 2.8-12mmバリフォーカルレンズ Us…

Deep learningをDockerで構築

今どきDockerくらい使えないと、というわけですよ。Install Docker Engine on Ubuntu | Docker Documentation apt パッケージを更新し、必要なパッケージをインストール $ sudo apt-get update $ sudo apt-get -y install curl \ apt-transport-https \ ca-c…

Ubuntu環境をしっかりと入れる

自宅鯖で深層学習の学習環境を整えようと四苦八苦していて、私が主に使っているCentOS7に構築したkvm環境上のUbuntu18.04にNVIDIAのドライバやtensorflowをインストールするところまでやったわけだが。 結局kvmではビデオカードを仮想環境が使うとホストで…

React JSはじめました。

さっきやっとこさJSONやらAjaxをつかってフロントエンドとバックエンドのやり取りを成功させたところだが、 気を良くしてReactにも手を出してみる。まずnpmってなんなん?ってとこからですよ。 Node.jsってのをまず入れるんですね。 $ sudo yum install cent…

jExcelでスプレッドシートをwebアプリに仕込む(完成)

最終的にここに落ち着いた。 {% extends "base.html" %} {% import "bootstrap/wtf.html" as wtf %} {% block title %}Freezer list{% endblock %} {% block head %} {{ super() }} <link rel="stylesheet" href="https://bossanova.uk/jspreadsheet/v4/jexcel.css" type="text/css" /> </link>