kuroの覚え書き

96の個人的覚え書き

Server

Slurmでノードのstateがdrainedになってしまうとき

サブシステムをクラスタ化しようとしてちょっとハマった。 メインシステムはほぼ同じスペックで各ノード256GBメモリを積んでおり、特に問題なくSlurmがインストールできて NODELIST NODES PARTITION STATE CPUS S:C:T MEMORY TMP_DISK WEIGHT AVAIL_FE REASO…

UbuntuでSlurm

ローカルで運用しているUbuntu20.04にジョブスケジューラを入れよう、ということで最初Torqueを入れようとした。 sudo apt install torque-server torque-momしかしそんなものはないと言われる。aptのほうでももうメンテナンスされてないんだね。 ということ…

ssh 鍵認証

ssh鍵認証でログインしようとしたら、 % ssh hogehoge Unable to negotiate with xxx.xxx.xxx.xxx port 22: no matching host key type found. Their offer: ssh-rsa,ssh-dss kex_exchange_identification: Connection closed by remote host Connection clo…

AlmaLinux8.7でopenMPI

私の用途としては大量のデータの処理、という方がメインなのでクラスタと言ってもノードをまたぐ並列処理よりもバッチシステムのほうがよく使う。しかしノードをまたぐような大規模解析も時々行うことがあって、これまではスパコンを使ってやっていた。せっ…

AlmaLinux8.7でサーバクラスタを構築する

さて、サーバ間でユーザとディレクトリを共有できるようになったので、次にジョブスケジューラを導入してサーバクラスタとしたい。 これまでCentOS7ではTORQUEを使ってきたのだが、どうも8系以降ではインストールができないらしい。有料のSGEという選択肢…

AlmaLinux8.7に移行

新しいサーバマシンが導入されたため、環境をセットアップする。 これまでサーバはCentOS7を並列クラスタ、データベース用に使用し、AlphaFold2用GPUサーバに限ってUbuntu20.04をインストールしていた。 CentOS7のサポート期限が来年ということで、5年はあま…

ownCloudをWebDAV経由でMacにマウントして使う

ownCloudを運用しだして、とても便利に使っているが、せっかくなのでGoogleドライブのようにMacのデスクトップにディスクとしてマウントして、ドラッグ&ドロップで使えるようにしたい。 実は簡単で、 https://ドメイン/owncloud/remote.pho/webdav を Finde…

CORESERVER V1 CORE-MINIにownCloudをインストール

諸々テスト用にレンタルサーバのCORESERVERを借りているのだが、200GBのうちせいぜい50GB程度しか利用していない。 150GB分を有効利用すべく、自分専用のクラウドサーバを立ち上げたいと思った。GoogleドライブやiCloudの慢性的容量不足をこれで解決したい。…

HomeディレクトリにLinuxbrewをインストールする

覚えrcmdnk.com【CentOS7】gccをソースからインストール | server-memo.net結局 $ which gcc /usr/local/bin/gcc $ gcc --version gcc (GCC) 12.2.0 Copyright (C) 2022 Free Software Foundation, Inc. This is free software; see the source for copying …

Macにnode.jsを入れてJbrowse2 webを動かす

これまでIGVをゲノムブラウザに使ってきたが、見た目がなんとなくショボいので、ハッタリのJBrowse2を入れるぜ、でもあんまり基本環境は汚したくないよ。ってことで今どきならDockerなんだろうけど、まあ、とりあえず原始的に外付けHDDに仕込んでみる。まず…

Ubuntu20.04にしておく

やはり22.04はちょっとまだ心配なので、実績のある20.04でひとまず構築してみることにする。Ubuntuのインストールからディスクのマウントなどは特に違いはない。Nvidia RTX3060がちゃんと認識されているのか $ lspci | grep -i nvidia 01:00.0 VGA compatibl…

CentOS7からUbuntu22.04LTSに移行

CentOS7メインでこれまでやってきたけどワークステーションは徐々にUbuntuに移行していこうと思う。とりあえずAlphaFold2を運用しているサーバをUbuntu22.04にしてみる。富士通Primergy TX1310M3なのだが、CentOS7では使えていたsoftware RAID1がどうしてもU…

サーバのメモリ整理

なんだか、ツギハギに増設をしていたら気がついたら規格まちまちになってて、遅いものに足を引っ張られてるんじゃないかという気がしてきたので全部調べてみる。 # dmidecode -t memoryServer#0 RX200S7 Locator: DIMM-1A Size: 2048 MB Type: DDR3 Type Det…

アバターのアップロード

VRoidで作成したアバターをVRChatにアップロードしてみる。 VRoid StudioはMacにインストールしてMacで作業した。出来上がったアバターをVRMにエクスポートして保存し、UbuntuにUSBメモリで運搬。いろいろ先人のページを見ているとこれをBlenderで微調整して…

XEONサーバにGTX1650をインストールしてVRChat

GTX1650をインストールした。 もっと強力なグラボのほうがいいのは当然なのだが、NEC Express5800 T110f-EのマザーボードはPCI-eスロットの配置が1x、1x、16x、4xとなっていて4xにRAIDカードが乗っており、SASのHDDx3でRAID5が起動ディスクとなっている。グ…

VRChat

メタバースってのがジワジワきてる。 ってことでVRChatというのを始めることにする。まずはとにかくやってみるということで専用にPCを調達することにした。仮想空間、3Dってことなので3Dヘッドセットが必須なのかと思ったら、まああって悪くはないし、没入…

Dockerのコンテナをイメージに書き出して別のJetson Nanoに環境を移す

ここまでJetson Nano 2GBでDocker上にPython3環境を作ってきたが、32GBのSDカードだったためちょいと手狭になってきた。 JetsonNano B01のほうは128GBだったので一旦こっちに環境を移して続きの開発を行いたい。ということでDocker-composeで構築したコンテ…

Rspberry piにnumpy

Raspberry piにpipでnumpyを入れようとしたら動かなかった。これまたARMに対応してないらしいね。対応策としては $ sudo apt install python3-numpyと直接インストールするといいらしい。 一旦 $ python3 -m pip uninstall numpyとしてやってからインストー…

XREAサーバを使う(3)nano編

brewを入れるのは容量的にも得策ではないな、ということで必要なアプリケーションは個別にbuildしてインストールすることにする。 手始めに、nanoエディタを入れてみる。標準ではviは使えるけれど、nanoは入ってなかったので。viでいいじゃないかという意見…

XREAサーバを使う(2) Flask編

Homebrewのインストールは未完。Gitはインストールできたがcurlなど他にも対応しなければならないし、そもそもそこまでいろんなアプリを入れたいわけでもない。せいぜいblastとsamtoolsくらいなので、個別インストールしたほうが早そうなので、一旦ペンディ…

XREAサーバを使う

以前GMOのvalue serverを利用してデータベースサイトの試験運用を行っていた。今回久しぶりに同系列で完全無料で利用できる(広告は入る)XREAのレンタルサーバを使ってサイト構築をしてみようと思う。 無料で使えるのは1GBまでなので大規模なデータベースは…

Express5800/110e-1EのHDDマウンタ

かなーり需要の薄い情報。もう随分前になるが、NECの1UサーバにHDDを増設しようとしてHDDマウンタ(おそらくExpress5800/110d以前のもの、ラッチのパーツが緑色)を入手してみたところ、世代が違うと微妙にフィットせず使用できなかった、ということがあっ…

富士通サーバPRIMERGY RX200S7にIvy BridgeのCPUは搭載可能か

駄目でした。ちーん。 そうとう今更なんだが・・・RX200S7はE5-2600系のSandy Bridge世代のXeon CPUを搭載している。 Intelのtic-toc戦略によりSandy Bridgeとその次の世代のIvy Bridgeは同一アーキテクチャで基本互換性があることになっている。この基本、…

Fujitsu Primergy TX1310M3をDeep Learningマシンに仕立てる

手持ち機材をやりくりして深層学習マシンを仕立てようということで、一番遊んでいるTX1310M3に白羽の矢を立てた。 一応16x のPCI Express 3.0スロットがあるし、CPUもXeon E3-1230v6に換装し、64GBメモリ、8TB+1TBのRAIDも組めるし。 ってことでGPUを調達。…

8xのRAIDカードを1xに刺すとダメダメになるのか検証

Haswellなxeonの中古サーバを試験用に保持しているのだが、PCIeスロットが1x/1x/16x/4xと結構しょぼい。 4xにN8103-150というRAIDカードが刺さっており、こちらから2.5inch 450GB SAS HDDが3枚RAID5構成で接続されている。 しかしこのカードがここにいるとせ…

ラボ内サーバ体制の見直し

これまで、Fujitsu Primergy RX1330m3 をNGS解析用Cluster head node兼データベースサーバ兼WEBアプリサーバ兼開発プラットフォームというふうにフルに使っていた。 しかしデータベース&WEBアプリをラボメンバーがよく使うようになってきて、NGS解析で無理…

vncserverが起動しなくなった。

.vncディレクトリのログファイルを見ると Xvnc TigerVNC 1.8.0 - built Nov 16 2020 16:47:50 Copyright (C) 1999-2017 TigerVNC Team and many others (see README.txt) See http://www.tigervnc.org for information on TigerVNC. Underlying X server rel…

画像解析用サーバを考える。

兎に角デカイ画像ファイルを弄る必要があってメモリがMacminiじゃ足りない。 ということでサーバを一つ拵えようかと思っている。スペックを考えるに CPU:Xeon scalable (2nd Gen)で8コア以上 メモリ:128G以上、予算の許す限り。 MB:シングルCPUボードでも…

linuxbrewをCentOS7にいまさらながら入れる

インストールしたまんま放置されていたCentOS7にいまさらながらにLinuxbrewを入れようとしてどつぼにはまり中。自分の覚書の通りにまずやってみたらいきなり怒られる。 $ ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/linuxbrew/go/in…

KVM環境をホストの電源オンオフと連動

ホストの電源を入れたら自動で起動させるには $ sudo virsh list --all Id Name State ---------------------------------------------------- 1 centos7 running - centos8 shut off $ sudo virsh autostart centos7ホストをシャットダウンするとき自動的に…