kuroの覚え書き

96の個人的覚え書き

Slurmでノードのstateがdrainedになってしまうとき

サブシステムをクラスタ化しようとしてちょっとハマった。 メインシステムはほぼ同じスペックで各ノード256GBメモリを積んでおり、特に問題なくSlurmがインストールできて NODELIST NODES PARTITION STATE CPUS S:C:T MEMORY TMP_DISK WEIGHT AVAIL_FE REASO…

ネットワークの冗長化

サーバとして売られているPCにはたいていネットワークコネクタ(NIC)が2つ以上ついている。 場合によっては2つのNICを使ってネットワークをブリッジさせる目的に使われるが、多くは冗長化によるネットワークの安定を図る目的で使われていると思う。 チーミ…

Slurmの計算ノードのSTATEがdownになったとき

Slurmを運用していて、原因不明で計算ノードが動かなくなった。 sinfoで確認すると # sinfo PARTITION AVAIL TIMELIMIT NODES STATE NODELIST work* up infinite 1 idle kk3 work* up infinite 2 down kk4,kk5みたいな感じ。 それぞれのノードでslurmdのステ…

bowtie2-RSEM

bowtie2によるローカルアライメントを使い、Poly-Tプライマーで作成したcDNAライブラリのRNA-seq解析を行う。まずはbowtie2をインストールする。 $ git clone https://github.com/BenLangmead/bowtie2.git $ cd bowtie2/ $ make $ sudo make install次にリフ…

Flask2.0.0(3.0.0)のBlueprintの使い方

Flask1系から2系にアップデートしたとき、blueprintの使い方がちょっと変わっていてトラブったので覚書。 manage.py ## 2系以降は不要 sqlite.db app----------+ |-__init__.py |-config.py |-models.py |-views---------+ | |-home.py | |-tools.py | |-tem…

Flaskアプリでbotのアクセスを受けたときに拒否する

Flaskのアクセスログを見ていると半分以上がbotのアクセスであった。さらに、過去に生成して、時間経過のために消去した一時ファイルを参照していたりするので、ことごとくエラーになり、無駄な処理をさせられまくっていたので特にしつこくアクセスしてくるI…

RSEMのインストール

今更ですが。これまでメインにはStringTieを発現解析に使っていたが、RSEMも使ってみようと。現状miniconda3の上に環境構築をしているので、 $ conda install rsemとしてみる。その結果、 $ which rsem-calculate-expression ~/miniconda3/envs/ngs/bin/rsem…

RNA-seqデータをde novo アッセンブリーしてUTR配列を含むトランスクリプトアノテーションを作成する。

前提:ゲノム配列の詳細な解析は実施されている。遺伝子予測はCDS領域に限定して実施されている。 やりたいこと:5’3’UTRがどこまでか推測し、cDNA領域のアノテーションを作る。1. Trinityでde novoアセンブリを実行: Trinityを使用してRNA-seqデータからde…

SDI-12コマンド

SDI-12インターフェースで接続した機器とのコミュニケーションについてSDI-12の規格では Bits per second: 1200 Data bits: 7 Parity: 1 Stop bits: 1 Flow Control: 反転(active LOW) で通信することになっている。Arduino,ESP32,M5stack等で接続するなら …

ESP32-WROOM32Eで複数のシリアル通信を行う

他の機器との通信をシリアルポートで行いつつ、他の機器とも通信をしたいということで、通常使用しているシリアルポート以外を使えるようにしたい。 ESP32にはハードウェアシリアルポートが3組用意されており、何も宣言しなくても使える通常使用しているSeri…

水耕栽培用各種センサーをESP32で読み取る

測りたいもの pH EC 水温(pH,ECの温度補正用でもある)購入した機材(メインとなるもの) pHセンサー(https://akizukidenshi.com/catalog/g/gM-12547/) ECセンサー(https://craft-studios.square.site/product/ec-/30) ESP32WROOM32E基板(https://akizukide…

fastp

fastp: an ultra-fast all-in-one FASTQ preprocessor version 0.23.2 usage: fastp [options] ... options: -i, --in1 read1 input file name (string [=]) -o, --out1 read1 output file name (string [=]) -I, --in2 read2 input file name (string [=]) …

ESP32をアクセスポイントにする

ESP32-WROOM-32EをアクセスポイントにしてWifiネットワークのとりあえずの中継地点とする #include <WiFi.h> #include <WiFiClient.h> #include <WiFiAP.h> // Set these to your desired credentials. const char *ssid = "kuroesp"; //SSID const char *pass = "kk********kk"; //password </wifiap.h></wificlient.h></wifi.h>…

M5STACK Timer Camera X

これまでタイムラプスカメラはラズパイベースで作ってきたが、もっと省電力で大量にばら撒くような使い方が必要となってきたのでESP32ベースに移行を考えた。 Amazonを見ていると1000円くらいで2MピクセルのカメラがついたESP32基板が見つかるが、どれもこれ…

おんどとりをwindows以外でどうにかするための調査

別途公開の通信プロトコルを使用し、お客様ご自身でソフトウェアを作成していただければシリアル通信が可能となります。その場合、オプションのシリアル通信ケーブル( T R - 0 7 C )が 必 要 で す 。 と取説には書かれているが、どこにも公開されている感じ…

Rのベンチマーク

#パッケージのインストール install.packages("devtools") devtools::install_github("csgillespie/benchmarkme")注:色々とエラーが出て、それを一つずつ潰していく必要がある。 あまりに色々やったのでなにがクリティカルだったのかわからん。 Ubuntuの情…

AlmaLinux8.7にRStudioをインストール

あんまりRは得意ではないんですが、入れてくれという希望があったためAlmaLinuxに入れてみる。CentOS8にインストールした事例をいくつかみてみたところ $ sudo dnf install epel-release $ sudo dnf config-manager --set-enabled PowerToolsとしろ、と書か…

WSL2でwindows10にext4フォーマットのHDDをマウント

自宅サーバはほぼラボサーバのデータバックアップ用でしかなかったので、Windowsに置き換えることにした。データバックアップディスクをwindowsのフォーマットにしてもいいといえばいいが、ext4のままのほうが楽といえば楽なのでそのままマウントできる方法…

INGOR.1.0.0

理研の玉田さんのSiGN-BNによるベイジアンネットワーク解析を利用させてもらっている。データサンプルとしてRNA-seqデータを投入しているのだが、久々にやり直してみようと思ったらうまく動かない。 実行履歴をもとに同じコマンドを投げても動かないのだ。ど…

UbuntuでSlurm

ローカルで運用しているUbuntu20.04にジョブスケジューラを入れよう、ということで最初Torqueを入れようとした。 sudo apt install torque-server torque-momしかしそんなものはないと言われる。aptのほうでももうメンテナンスされてないんだね。 ということ…

Raspberry Pi 3BにMX Linux

Raspberry Piの市場流通が減り、明らかに割高な価格で取引されてきたが、最近になってようやくちょっとまともな値段に戻ってきている。とはいえ現在主流のPi4ではもともと定価ベースでもそれなりに高額になってきており、単なるIoT制御基板としてはちょっと…

ssh 鍵認証

ssh鍵認証でログインしようとしたら、 % ssh hogehoge Unable to negotiate with xxx.xxx.xxx.xxx port 22: no matching host key type found. Their offer: ssh-rsa,ssh-dss kex_exchange_identification: Connection closed by remote host Connection clo…

ラズパイを無線ホストにする

ネット環境のない部屋にてラズパイによるデータ取得をする場合、データの回収にこまることがある。これまではそのためだけに無線ホスト(簡単には無線ルーター)をおいて、ラズパイをそこに無線または有線でつないで、別の無線端末(スマホとか)からホスト…

PythonでGO解析

これまでGO解析はDAVIDを使ってきた。特に理由はないが、まあ老舗だし。しかしインターフェースがあんまり使いやすいとは言い難く、植物のデータベースもシロイヌナズナにしか対応していない。ということでAgriGOとか他のサービスを利用してもいいのだけれど…

Excelで値のペースト

Mac

Macでexcelを使っていてよく使うのに一発でできるショートカットのないコマンドとして値のペーストがある。 数式を入れて計算した値だけを別のセルにコピーしたいとき、通常だとコマンド+Cでコピーしたあと、目的セルで右クリック→形式を選択してペースト→…

AlmaLinux8.7でopenMPI

私の用途としては大量のデータの処理、という方がメインなのでクラスタと言ってもノードをまたぐ並列処理よりもバッチシステムのほうがよく使う。しかしノードをまたぐような大規模解析も時々行うことがあって、これまではスパコンを使ってやっていた。せっ…

AlmaLinux8.7でサーバクラスタを構築する

さて、サーバ間でユーザとディレクトリを共有できるようになったので、次にジョブスケジューラを導入してサーバクラスタとしたい。 これまでCentOS7ではTORQUEを使ってきたのだが、どうも8系以降ではインストールができないらしい。有料のSGEという選択肢…

AlmaLinux8.7に移行

新しいサーバマシンが導入されたため、環境をセットアップする。 これまでサーバはCentOS7を並列クラスタ、データベース用に使用し、AlphaFold2用GPUサーバに限ってUbuntu20.04をインストールしていた。 CentOS7のサポート期限が来年ということで、5年はあま…

Raspberry Pi PicoでI2C OLED

ようやくI2Cで接続して通信できるようになったPicoだが、OLED (SSD1306)に表示するのにはなかなか成功していなかった。 Adafruit_SSD1306.hをつかってみたり、ACROBOTIC_SSD1306.hを使ってみたりしたが、いずれもコンパイルでエラーとなって表示できなかった…

Raspberry Pi Picoを使う 〜I2C RTC編〜

買ってはみたもののイマイチ使いこなせてないRaspberry Pi Picoをどうにか使いこなしたい。micropythonでやるのが王道なんだろうけどマイコンはすっかりArduinoに馴染んでいるためArduino IDEでどうにかしたいところ。まずは Raspberry Pi Pico (RP2040) のA…