kuroの覚え書き

96の個人的覚え書き

サーバのメモリ構成を整理

サーバ CPU メモリ RX1330M3 E3-1230v6(4C/8T, 3.50GHz) 2400 UDIMM 64GB RX300S7 E5-2667(6C/12T, 2.90GHz)x2 1600 LV-RDIMM 32GB RX300S7 E5-2643(4C/8T, 2.90GHz)x2 1600 LV-UDIMM 24GB RX200S7 E5-2620(6C/12T, 2.00GHz)x2 1333 RDIMM 24GB RX200S6 E563…

富士通PRIMERGY RX300S7で深層学習の学習環境を構築してみる(2)

続き次にanacondaを入れる 最初普通にanacondaのサイトからインストーラをダウンロードしてきて $ bash Anaconda3-5.3.1-Linux-x86_64.shとインストールしてtensorflowをpipで入れて・・・とやってみたのだが、glibcのバージョンがCentOS7では2.17、tensorfl…

富士通PRIMERGY RX300S7で深層学習の学習環境を構築してみる

データ解析をする上で無視できない深層学習(deep learning)を使えるように勉強中なのだが、手元に実機があったほうがいろいろと試せて良いだろう、ということでサーバの1ノードを深層学習用GPUマシンにすることにした。 当初RX200S7 (XEON E5-2620 x2)の1U…

PCAやMDS plotをpythonで行う

これまでPCAやMDSをやりたいときはRを使っていた。しかしRはどうも肌に合わない。すぐ忘れてしまう。 ということでここはやはりPythonですね、ってことでどうやるのか調べてみた。【python】pca、mds、nmds、tsneとmatplotlibでデータの可視化をしてみる - …

タバコの賢い利用方法

youtu.be Rethinking Tobacco 健康を害すると最近何かと邪険にされるタバコ。 しかしタバコにはこんなポテンシャルがあるのです。

Macを起動したら自動でsshfsでマウント

まずはサーバの側の公開鍵・秘密鍵を設定秘密鍵をmacの側で~/.ssh/kuro-server などの名前で保存しておく /usr/local/bin/sshfs kuro@192.168.1.100:/home/kuro ./mnt -o IdentityFile=~/.ssh/kuro-serverというスクリプトをautomatorで作成してアプリとして…

VALUE-SERVERにRedmine

うまくいかないよー libcのバージョンが古すぎるからbrewでインストールしたけど、そっちを使ってくれない。

Mac mini (2014)のモニタ出力不調

Mac

Mac miniのモニタ出力が調子悪く、しばらく使っていると点滅し始めて非常にストレスが溜まる。 HDMIにつないでいても、mini-display-portでHDMI変換しても、VGA変換しても同じ症状が出るし、モニタを変えても出るので、グラフィックチップに問題があるのだと…

multi fastaファイルを1遺伝子ごとのファイルに分割するには

multi fastaファイルを1個ずつのfastaに分割したい。 まずはfastaのseq部分の改行をなくす $ awk -v ORS= '/^>/ { $0 = (NR==1 ? "" : RS) $0 RS } END { printf RS }1' fasta.txt > fasta_awk.txt次にfastaを2行ごとに分割。多数のファイルが同じ階層にで…

homebrewにエラー再び

==> Upgrading ruby ==> Downloading https://linuxbrew.bintray.com/bottles/ruby-2.6.1.x86_64_linux.bo ######################################################################## 100.0% ==> Pouring ruby-2.6.1.x86_64_linux.bottle.tar.gz Error: Th…

CRISPRで編集がかかったゲノムシークエンスを読むプログラム

CRISPRで編集がかかったと思われるT0サンプルのゲノムをシークエンスすると、変異は2本の染色体にランダムに起こるため、基本的にはヘテロとなってシークエンスデータの波形が2つ分重なって検出されることになるのは先日に書いたとおり。 これをパズルのよ…

CRISPRでknockoutを作ったときにgenotypingをsanger sequenceすることで行う

CRISPRでINDELを誘発したゲノム配列が、実際どういうふうに編集されたかを確認するのにわざわざNGSをつかうのはちょっと大げさなので普通のsangerシークエンサーでシークエンスを読んで確認をしたい。しかし、変異は普通ヘテロに入るので、変異が入った部分…

塩基配列(文字列)のどこにリストに挙げた配列が位置しているかを示すプログラム

モチーフの抽出ができたらそれが一体どこにあるのか列記したい。 import re text = """GACTTTAGATGGCTTCTTCCTTTATAACCAATTGATATTGCATACTCTGATGAGATTTAT AATTAAAGAAGCAGAAACAAAAACAAGTAAAACAGAAACAATCAACACAGAGAAACCACC CCGAGAATATCTCCATTGGTTGGTGACTGATATCCC…

画像の白飛びをなんとかしたい

カメラの露出制御はマニュアルで行えるらしい。Atelier Orchard: ホワイトバランス設定してウェブカメラ録画 なるほど。 というわけでmotionの画面を見ながら明るさやコントラストの調節を手動でできるようにアプリを作成。こんな感じにコントロールできるよ…

avconv (ffmpeg)でmp4ビデオを作成してwebに埋め込む

いやーはまったはまった。 ラズパイ3で作ったwebカメラアプリを3+に入れてやったところ、ほんの数ヶ月の間にソフトウェアの構成がかなり変わったらしく、いろいろ言うことを聞かない。 最後まで手こずったのはタイムラプスで撮った写真をパラパラ漫画的にビ…

連番で同じ処理をさせるためのリストを作る

ファイルを連番を付けて作成していてそれに同じ操作を全部やるとき、excelで編集してコマンドリストを作っていたが、shellでやるほうが簡単なので、その覚え書き seq -w 0 42 | xargs -i echo "python3 seq.py TAIR10_cdna_20101214_updated.fa.split/TAIR10…

塩基配列(文字列)からコンセンサス配列を抽出するプログラム

要するに文章からよく出てくる単語をピックアップしてカウントし、リストを作れれば良い。 辞書型を使って単語を数えるプログラムはpythonのプログラム例としてよく上がっているが、単語の区切りが明確でない遺伝子配列のような文字列から指定文字数の連続し…

homebrewにエラー

いつの頃からか $ brew update fatal: unable to access 'https://github.com/brewsci/homebrew-bio/': error setting certificate verify locations: CAfile: /home/linuxbrew/.linuxbrew/etc/openssl/cert.pem CApath: /home/linuxbrew/.linuxbrew/etc/ope…

motion.confの改変内容メモ

############################################################ # Daemon ############################################################ # Start in daemon (background) mode and release terminal (default: off) daemon on ##########################…

ラズパイでタイムラプスカメラの続き

さて、fswebcamで定期的に写真を撮っていくということで動作も軽く、問題なくどんどん画像が溜まっていくということは確認できた。 しかしやはりカメラとしてはファインダーがないのはちょっとつらい。写真撮ってビューワーで見てカメラ動かして・・・という…

ラズパイでタイムラプスカメラ

研究絡みで植物のタイムラプスムービーをつくりたいという話があったので、それならWEBカメラとラズパイでちょちょいでしょ、ということになってやってみた。まずは参考にしたサイトから RaspberryPiとUSBWebカメラでタイムラプス | Foolean – 備忘録風雑記…

ラズパイをネット環境の無いところでiphoneから直接接続して操作

というのをやりたいので調査。karaage.hatenadiary.jp これかな。要するにアクセスポイントとして動くようにしてついでにdhcpdを入れておくということね。

Pythonの環境を一旦リセットする

どうもややこしくていけないのだが、systemに入っているpython は2.6とかなりふるい目。なので自前でpython3を入れて使いたいわけだが バージョンの使い分けにpyenvというものがある。更にはvirtualenvというものもある。 しかしよく考えると、バージョンを…

value serverでレンタルサーバー

某大学内でサーバを建ててあれこれやっているが、外部からアクセスできるようには、なかなかさせてもらえないので、学外にサーバを建てることにした。 といっても、物理サーバを管理することもできないので、レンタルサーバでお茶を濁す。 とにかく料金が安…

redmineのインストールでつまづく

redmineをインストールしようとして Redmineが依存するgemパッケージをインストールのため # bundle install --without development test --path vendor/bundle としようとすると、途中で Gem::Ext::BuildError: ERROR: Failed to build gem native extensio…

NETGEAR GS716Tv3でVLAN その2 自作LANケーブルを疑え

とりあえずの設定ができて2つのVLANにclusterとLANを分離したのだが、なにやら挙動が安定しない。 LANから外のウェブにアクセスしようとするとどういうわけかpublicではなくinternalの方から接続しようとして つながらなかったり、逆にネットにはつながるの…

wgetでディレクトリごとダウンロード、でもparent directoryはいらないよ

$ wget -r -np http://hogehoge.com/huga/

NETGEAR GS716Tv3でVLAN

なかなか設定に苦労した。 最終的に一番参考になったサイトは beginners-network.com若干機種が違うのでメニュー項目が違っているのだがまず Switching>VLAN>Advanced>VLAN Configuration で、分けたい分のポートのためのVLANを作る。2つに分けたいならとり…

bwa index

毎度忘れるので覚え書き $ bwa index -p dir/index_name reference.fasta

Torqueのerror/outputをリアルタイムにチェックする

Torqueでジョブを投げると、errorとoutputが処理がすべて終わった後に書き出される。 しかし、何時間もかかる処理が果たしてちゃんと走っているのか心配になるので、できれば普通にスクリプトを走らせるときのように画面にstdoutを出しておきたいこともある…