kuroの覚え書き

96の個人的覚え書き

Pythonで統計解析

やはりRとはなかなか仲良くなれないな。

といってPythonでサラサラ~っとコードを書けるのかというと、結局は本と検索でどうにかやっているわけだが。
紙媒体の本はとりあえず大まかな感じを掴むのに向いている。
というわけで参考にしている本を並べてみる。

pythonの入門書は書店の棚に溢れんばかりになっているが、まあなんでもいいように思うな。とりあえず本のとおりにコードを書くよいうよりは検索で出てきたコードを解読する参考にする感じである。

実践力を身につける Pythonの教科書

実践力を身につける Pythonの教科書

  • 作者:クジラ飛行机
  • 発売日: 2016/10/26
  • メディア: 単行本(ソフトカバー)
これとか、かなり前に買ったけど、これで一通りは十分役立っている。一通り読んだあとは索引を頼りにコード書くときの参考にしている。もうちょっと索引が充実してるといいのだけれど。まあネットで検索、キーワードを集めて索引から該当するページを見る、という使い方が多い。

統計処理は機械学習ともつながっているので機械学習の入門書から入るのもいいけど。最近は機械学習というより深層学習が流行りでそればっかり、という感じであるが、本来深層学習は機械学習の一部の手法だろうから、まずは機械学習、というかそれにまつわる統計の使い方からきちんとやったほうが良いのだろうな。

オライリーの本は手順通りになぞっていくのはやりやすいのだが、読み物としての面白さ、というか読みやすさの点ではちょっとね。でもとりあえずこの1冊はおさえておきたいところ。

バイオ系データ解析でよく出てくるPCAや系統樹クラスタリング、発現量ヒートマップなどの入門的にはまずはこれ。

Pythonによるバイオデータ解析入門

Pythonによるバイオデータ解析入門

結局、具体的なコードはネット参照が多いのだけど、コードの書き方は結構人によって違うので、説明がちゃんとされている本もあったほうがいい。

ダブルタップでドラッグ

以前はコントロールパネルのトラックパッドの設定のところでできていたと思う設定がどこでやったらいいのかわからなかったので調べてみた。

アイコンやウインドウの位置を動かしたりドラッグドロップでファイルを開いたりしたいとき、マウスなら左クリックボタンを押したまま動かせばいいわけだが、トラックパッドで押したまま動かすというのは結構やりにくい。
そこで以前からずっと使っていた方法がダブルタップをしてそのまま指をパッドにくっつけておき、そのままスーッと滑らせると対象物を動かせる機能。その設定方法が久しぶりに買い替えたMacBookAirのCatarinaではわからなかったのだが。

f:id:k-kuro:20201031200731p:plain
アクセシビリティから設定するのか。

f:id:k-kuro:20201031200902p:plain
ポインタコントロールを開く

f:id:k-kuro:20201031201004p:plain
トラックパッドオプションを開き、「ドラッグを有効にする」にチェックを入れ、「ドラッグロックあり」を選ぶ。

以上。

これで一本指でドラッグドロップも範囲選択も簡単にできる。

画像をカタログ化して共有する

顕微鏡の画像データが蓄積してきているが、いまいち整理されてなくて、バラバラにCD-Rとかに保存されているので一元管理したい。
できればサムネイル付きでカタログ化しておいて、目的の画像をパラパラっと見つけ出せるようであればなお良い。

ということでまず画像の在り処をリストアップする方法から。

./pictures
                /.DS_Store
                /200101
                              /otaku.png
                              /otaku_tshirt_man.png
                /200201
                              /clover_itsutsuba.png
                              /plant_chlamydomonas.png
                              /tree_sequoia.png
                /200301
                              /.DS_Store
                              /fantasy_bird_yatagarasu.png
                              /youkai
                                          /youkai_amabiko.png
                                          /youkai_nurikabe.png
                /200401
                              /pet_darui_cat.png
                              /shigoto_zaitaku_cat_man.png
                /200501
                              /chikyu_inseki_syoutotsu.png
                              /kaseki_kohaku_bug.png
                              /tokusatsu_kaiju_blue.png

こういう構成で保存されているとする。(ちなみに画像はいらすとやからもらってきた画像)
かわいいフリー素材集 いらすとや

import os
dir = "./pictures"     
files = os.walk(dir)
for dirpath, dirs, files in files:
    for f in files:
        print(os.path.join(dirpath, f))

こうすると以下のように返ってくる。

./pictures/.DS_Store
./pictures/200101/otaku.png
./pictures/200101/otaku_tshirt_man.png
./pictures/200201/clover_itsutsuba.png
./pictures/200201/plant_chlamydomonas.png
./pictures/200201/tree_sequoia.png
./pictures/200301/.DS_Store
./pictures/200301/fantasy_bird_yatagarasu.png
./pictures/200301/youkai/youkai_amabiko.png
./pictures/200301/youkai/youkai_nurikabe.png
./pictures/200401/pet_darui_cat.png
./pictures/200401/shigoto_zaitaku_cat_man.png
./pictures/200501/chikyu_inseki_syoutotsu.png
./pictures/200501/kaseki_kohaku_bug.png
./pictures/200501/tokusatsu_kaiju_blue.png

一方、イメージファイルの一覧をHTMLファイルにカタログとして作るプログラムとして次のようなものを見つけた。

import os
from PIL import Image

pic_dir = './pictures/200101/'
filenames = os.listdir(pic_dir)
imgl=[]
ww=[]
hh=[]
for fname in sorted(filenames):
    path, ext = os.path.splitext( os.path.basename(fname) )
    if ext=='.png' or ext=='.jpg' or ext=='.tiff' and path[0:2]!='._':
        pic=path+ext
        im=Image.open(pic_dir + pic)
        w=im.size[0]
        h=im.size[1]
        print(pic, w, h)
        imgl=imgl+[pic]
        ww=ww+[w]
        hh=hh+[h]

f=open(pic_dir+'test1.html','w')
print('<html>',file=f)
print('<body>',file=f)
print('<table>',file=f)
n=len(imgl)
m=int(n/5)+1
k=-1
for i in range(0,m):
    print('<tr>',file=f)
    for j in range(0,5):
        k=k+1
        if k<=n-1:
            pic=imgl[k]
            w1=200
            h1=int(hh[k]/ww[k]*200)
            print('<td align="center"><img src="'+pic+'" alt="pic" width="'+str(w1)+'", height="'+str(h1)+'"><br><a href="'+pic+'">I'+pic+'<a></td>',file=f)
        else:
            print('<td></td>',file=f)
    print('</tr>',file=f)
print('</table>',file=f)
print('</body>',file=f)
print('</html>',file=f)
f.close()

これで画像ディレクトリ内の画像をそのディレクトリにhtmlでカタログ化できる。サムネイルは画像ファイルとしては生成せず、表示を小さくしているだけなので、ファイルサイズがでかくなってくると問題が生じるかもしれない。
1行に5画像まで並ぶ一覧が生成される。
f:id:k-kuro:20201025173553p:plain

import os
from PIL import Image

dir = "./pictures"     
files = os.walk(dir)
for dirpath, dirs, files in files:
    pic_dir = dirpath +'/'
    filenames = os.listdir(pic_dir)
    imgl=[]
    ww=[]
    hh=[]
    for fname in sorted(filenames):
        path, ext = os.path.splitext( os.path.basename(fname) )
        if ext=='.png' or ext=='.jpg' or ext=='.tiff'  and path[0:2]!='._':
            pic=path+ext
            im=Image.open(pic_dir + pic)
            w=im.size[0]
            h=im.size[1]
            print(pic, w, h)
            imgl=imgl+[pic]
            ww=ww+[w]
            hh=hh+[h]

    f=open(pic_dir+'list.html','w')
    print('<html>',file=f)
    print('<body>',file=f)
    print('<table border="1">',file=f)
    n=len(imgl)
    m=int(n/5)+1
    k=-1
    for i in range(0,m):
        print('<tr>',file=f)
        for j in range(0,5):
            k=k+1
            if k<=n-1:
                pic=imgl[k]
                w1=200
                h1=int(hh[k]/ww[k]*200)
                print('<td align="center"><img src="'+pic+'" alt="pic" width="'+str(w1)+'", height="'+str(h1)+'"><br><a href="'+pic+'">I'+pic+'<a></td>',file=f)
            else:
                print('<td></td>',file=f)
        print('</tr>',file=f)
    print('</table>',file=f)
    print('</body>',file=f)
    print('</html>',file=f)
    f.close()

これで各フォルダにそのフォルダに含まれる画像リストを生成する。
あとはフォルダへのリンクをどうにかすればとりあえずのカタログ化は完成なわけだ。

import os
from PIL import Image

dir = "./pictures"     
files = os.walk(dir)
dp=[]
for dirpath, dirs, files in files:
    pic_dir = dirpath +'/'
    filenames = os.listdir(pic_dir)
    imgl=[]
    ww=[]
    hh=[]   
    for fname in sorted(filenames):
        path, ext = os.path.splitext( os.path.basename(fname) )
        if ext=='.png' or ext=='.jpg' or ext=='.tiff'  and path[0:2]!='._':
            pic=path+ext
            im=Image.open(pic_dir + pic)
            w=im.size[0]
            h=im.size[1]
            print(pic, w, h)
            imgl=imgl+[pic]
            ww=ww+[w]
            hh=hh+[h]

    f=open(pic_dir+'list.html','w')
    print('<html>',file=f)
    print('<body>',file=f)
    print('<table border="1">',file=f)
    n=len(imgl)
    m=int(n/5)+1
    k=-1
    for i in range(0,m):
        print('<tr>',file=f)
        for j in range(0,5):
            k=k+1
            if k<=n-1:
                pic=imgl[k]
                w1=200
                h1=int(hh[k]/ww[k]*200)
                print('<td align="center"><img src="'+pic+'" alt="pic" width="'+str(w1)+'", height="'+str(h1)+'"><br><a href="'+pic+'">I'+pic+'<a></td>',file=f)
            else:
                print('<td></td>',file=f)
        print('</tr>',file=f)
    print('</table>',file=f)
    print('<a href="../list.html">back</a><br>',file=f)
    p=len(dirs)
    r=-1
    for q in range(0,p):
        r=r+1
        dpath=dirs[r]
        print('<a href="'+dpath+'/list.html">'+dpath+'</a><br>',file=f)
    print('</body>',file=f)
    print('</html>',file=f)
    f.close()

f:id:k-kuro:20201025202410p:plain
なおここまでは静的なHTMLファイルでの方法なので、Flaskで動的なサイトを作るにはもうちょっと作り込みが必要。
このあと追加したい機能
SQLとの連携
画像ダウンロード
一括ダウンロード
一括アップロード&自動カタログ生成
ImageJSを組み込んでWeb上で画像解析できるようにする。

ADBキーボードをUSB化する(その2)

さて、できるだけもとの基板パターンを利用しつつ、Pro Microを移植していく。

とりあえず半分だけ配線完了したので、ProMicroも乗っけてファームウェアを書き込んでみる。

表から見るとほぼ何事もなかったように見えるが、

f:id:k-kuro:20201017202904j:plain
今回のブツは下側のもの

裏を見るとえらいことになっているのがわかる?
f:id:k-kuro:20201017203002j:plain

アップにするとこんな感じ。

f:id:k-kuro:20201017203028j:plain
各スイッチの片方の足はまあ普通にProMicroとつなぐだけ。マトリックスになっているので8箇所をつなぐだけ。
反対側の足はまずダイオードで整流の後束ねてやる。できるだけジャンパワイヤで遠くを繋がず、ダイオードの足だけでつなごうと頑張ったらこんなことになった。

ショートしないようにある程度完成したらホットボンドか何かで固定しておこう。

さて、入力は・・・完璧です。
とても気持ちよく入力可能。

ADBキーボードをUSB化する

先日入手したADBキーボードがどうも調子が悪い。チャタリングがひどいといえばそうなんだが、特定のキー入力がダブるというよりはランダムにダブる。
これはスイッチがへたれているというよりはキーボードのICか周辺の回路に問題があるんだろうと思う。いっそのことUSB化してしまえ。

f:id:k-kuro:20201004235711p:plain

キーマトリクスを解析するとこんな感じなので、

f:id:k-kuro:20201004235728p:plain

こんな感じに改変してやればいい(太枠は接続を変更するキー)

f:id:k-kuro:20201004235738p:plain

QMKファームウェアでコントロールできるはず。

水色のところだけ元のパターンを切ってつなぎ替える必要がある。それ以外は元の基板パターンをそのまま流用できる。
とは言っても片方の足はダイオードをかませる必要があるから結構な面倒くささになるとは思う。

一旦スイッチのハンダを全部とって3枚おろしにする必要がありそうだ。そのうえでいらないICやコンデンサなどを全部取っ払って代わりにPro microとダイオードをどうにか仕込む。

追記
一部実際の配列と違う点があったため修正

これほしいなあ

SU120を使ってメカニカルキーボードを作る(ソフトウェア編)

キーの配置も決まって配線もできたので、キーボードファームウェアを作る。

コントローラはArduino Pro Micro互換を使い、QMK firmwareで制御することにする。
docs.qmk.fm

かなりシェアの大きい(といってもコアな趣味の人たちにだけど)環境なので、先人の知恵を借りる。

okayu-moka.hatenablog.com
こちらの記述が非常に参考になった。

$ git clone --recurse-submodules https://github.com/qmk/qmk_firmware.git
$ cd qmk_firmware
$ util/qmk_install.sh

これは以前にすでに取得済みであったし、インストールもしてあったが念のため。

$ util/new_keyboard.sh 
Generating a new QMK keyboard directory

Keyboard Name: kuro_sp
Keyboard Type [avr]: 
Your Name: kuro

Copying base template files... done
Copying avr template files... done
Renaming keyboard files... done
Replacing %YEAR% with 2020... done
Replacing %KEYBOARD% with kuro_sp... done
Replacing %YOUR_NAME% with kuro... done

Created a new keyboard called kuro_sp.

To start working on things, cd into keyboards/kuro_sp,
or open the directory in your favourite text editor.

こんな感じに新しい設定を作成すると、
qmk_firmware/keyboards/kuro_sp
というディレクトリが生成され、中に設定ファイルが作成されている。

rules.mk

# MCU name
MCU = atmega32u4 #ここをPro microなのでatmega32u4に

# Bootloader selection
#   Teensy       halfkay
#   Pro Micro    caterina
#   Atmel DFU    atmel-dfu
#   LUFA DFU     lufa-dfu
#   QMK DFU      qmk-dfu
#   atmega32a    bootloadHID
BOOTLOADER = caterina    #ここを上の説明に従って変える

# Build Options
#   change yes to no to disable
#
BOOTMAGIC_ENABLE = lite     # Virtual DIP switch configuration
MOUSEKEY_ENABLE = yes       # Mouse keys
EXTRAKEY_ENABLE = yes       # Audio control and System control
CONSOLE_ENABLE = no         # Console for debug
COMMAND_ENABLE = no         # Commands for debug and configuration
# Do not enable SLEEP_LED_ENABLE. it uses the same timer as BACKLIGHT_ENABLE
SLEEP_LED_ENABLE = no       # Breathing sleep LED during USB suspend
# if this doesn't work, see here: https://github.com/tmk/tmk_keyboard/wiki/FAQ#nkro-doesnt-work
NKRO_ENABLE = no            # USB Nkey Rollover
BACKLIGHT_ENABLE = no       # Enable keyboard backlight functionality
RGBLIGHT_ENABLE = no        # Enable keyboard RGB underglow
BLUETOOTH_ENABLE = no       # Enable Bluetooth
AUDIO_ENABLE = no           # Audio output
SPLIT_KEYBOARD = yes    #分割キーボードなのでこれを追加

オプションに分割キーボードの設定を足しておく。他のオプションはそのままデフォルトでいいと思う。

config.h

/* USB Device descriptor parameter */
#define VENDOR_ID    0xFEED
#define PRODUCT_ID   0x0001
#define DEVICE_VER   0x0001
#define MANUFACTURER kuro
#define PRODUCT      kuro_sp

/* key matrix size */
#define MATRIX_ROWS 12    #6行*2分割で12
#define MATRIX_COLS 7 #左手は6列、右手は7列だが多い方で作成

#define MATRIX_ROW_PINS { D4, C6, D7, E6, B4, B5 }  #結線したポートに合わせて。SU120だと基板にそのままのポート番号が書かれていて便利
#define MATRIX_COL_PINS { B6, B2, B3, B1, F7, F6, F5 }
#define UNUSED_PINS

/* COL2ROW, ROW2COL */
#define DIODE_DIRECTION COL2ROW

/*
 * Split Keyboard specific options, make sure you have 'SPLIT_KEYBOARD = yes' in your rules.mk, and define SOFT_SERIAL_PIN.
 */
#define SOFT_SERIAL_PIN D2  // or D1, D2, D3, E6   #SU120だとD2に結線済み

f:id:k-kuro:20200927162910p:plain

kuro_sp.h

 #define LAYOUT( \
     L00,                                  R00,                           \
     L10, L11, L12, L13, L14, L15,     R10, R11, R12, R13, R14, R15, R16, \
     L20, L21, L22, L23, L24, L25,     R20, R21, R22, R23, R24, R25, R26, \
     L30, L31, L32, L33, L34, L35,     R30, R31, R32, R33, R34, R35, R36, \
     L40, L41, L42, L43, L44, L45,     R40, R41, R42, R43, R44, R45, R46, \
     L50,      L52, L53, L54, L55,     R50, R51,      R53, R54, R55, R56  \
 ) \
 { \
     { L00, KC_NO, KC_NO, KC_NO, KC_NO, KC_NO, KC_NO }, \
     { L10, L11, L12, L13, L14, L15, KC_NO }, \
     { L20, L21, L22, L23, L24, L25, KC_NO }, \
     { L30, L31, L32, L33, L34, L35, KC_NO }, \
     { L40, L41, L42, L43, L44, L45, KC_NO }, \
     { L50, KC_NO, L52, L53, L54, L55, KC_NO }, \
     { R00, KC_NO, KC_NO, KC_NO, KC_NO, KC_NO, KC_NO }, \
     { R10, R11, R12, R13, R14, R15, R16 }, \
     { R20, R21, R22, R23, R24, R25, R26 }, \
     { R30, R31, R32, R33, R34, R35, R36 }, \
     { R40, R41, R42, R43, R44, R45, R46 }, \
     { R50, R51, KC_NO, R53, R54, R55, R56 }  \
 }

スイッチのないところにはKC_NOを入れる。

keymaps/default/keymap.c

#include QMK_KEYBOARD_H

// Defines names for use in layer keycodes and the keymap
enum layer_names {
    _BASE,
    _FN
};

// Defines the keycodes used by our macros in process_record_user
enum custom_keycodes {
    QMKBEST = SAFE_RANGE,
    QMKURL
};

const uint16_t PROGMEM keymaps[][MATRIX_ROWS][MATRIX_COLS] = {
    /* Base */
    [_BASE] = LAYOUT(
        KC_ESC, KC_BSPC, \
        KC_5, KC_4, KC_3, KC_2, KC_1, KC_GRV, KC_6, KC_7, KC_8, KC_9, KC_0, KC_MINS, KC_EQL, \
        KC_T, KC_R, KC_E, KC_W, KC_Q, KC_TAB, KC_Y, KC_U, KC_I, KC_O, KC_P, KC_LBRC, KC_RBRC, \
        KC_G, KC_F, KC_D, KC_S, KC_A, KC_LCTL, KC_H, KC_J, KC_K, KC_L, KC_SCLN, KC_QUOT, KC_ENT, \
        KC_B, KC_V, KC_C, KC_X, KC_Z, KC_LSFT, KC_N, KC_M, KC_COMM, KC_DOT, KC_SLSH, KC_BSLS, KC_RSFT, \
        KC_BSPC, KC_SPC, KC_LGUI, KC_LALT, MO(_FN), KC_ENT, KC_SPC, KC_LEFT, KC_RGHT, KC_UP, KC_DOWN \
        // KC_A,    KC_1,    MO(_FN),
        //     KC_TAB,   KC_SPC
    ),
    [_FN] = LAYOUT(
        KC_DEL, KC_END, \
        KC_F5, KC_F4, KC_F3, KC_F2, KC_F1, KC_CAPS, KC_F6, KC_F7, KC_F8, KC_F9, KC_F10, KC_F11, KC_F12, \
        _______, _______, _______, _______, _______, _______, _______, _______, KC_INS, _______, KC_PAUS, _______, _______, \
        _______, _______, _______, KC_PSCR, _______, _______, KC_HOME, _______, _______, KC_SLCK, _______, _______, _______, \
        _______, _______, _______, _______, _______, _______, _______, _______, _______, _______, _______, _______, _______, \
        _______, _______, _______, _______, _______, _______, _______, _______, _______, KC_PGUP, KC_PGDN \
        // QMKBEST, QMKURL,  _______,
        //     RESET,    XXXXXXX
    )
};

bool process_record_user(uint16_t keycode, keyrecord_t *record) {
    switch (keycode) {
        case QMKBEST:
            if (record->event.pressed) {
                // when keycode QMKBEST is pressed
                SEND_STRING("QMK is the best thing ever!");
            } else {
                // when keycode QMKBEST is released
            }
            break;
        case QMKURL:
            if (record->event.pressed) {
                // when keycode QMKURL is pressed
                SEND_STRING("https://qmk.fm/\n");
            } else {
                // when keycode QMKURL is released
            }
            break;
    }
    return true;
}

まずはこんな感じに設定してみる。

早速書き込む。
その前にビルド
qmk_firmwareのルートで

$ make kuro_sp:default

でビルド。
Pro microを接続して

$ make kuro_sp:default:avrdude

Detecting USB port, reset your controller now.
とでたらリセットボタンを1回押す。
そうすると書き込みが始まる。

で、入力をテストしてみたところ無事に間違いもなく入力できた。
めでたしめでたし。

なんだけど、ちょっと入力をしてみると、左手のdeleteが便利なようでスペースと押し間違える。これはもうちょっと配置を考えるか、そのうち慣れるか?


追記
左手右下のdelはやはり違和感があるためなくし、スペースキーを大きくすることにした。ついでにコマンドキーもちょっと大きくしてやる。
そもそもシンメトリーではないのでかえっていい感じかもしれない。

f:id:k-kuro:20200927182035p:plain

SU120を使ってメカニカルキーボードを作る(ハードウェア編その1)

これまでずっとAppleのM0116とその互換キーボードばっかり使ってきたのだが、さすがに古くなってきて、部品も中古しかないので、この先いつ使えなくなってしまうかという不安もあるため、新たなキーボードを調達することにした。
で、どうせならフルカスタムの自分仕様にしたいので、自作の方向で考えた。
自作ならやっぱり左右分割エルゴノミクスでキー配列も最適化したいし、ということでタイプライターの名残のずれたキー配置は捨てて、格子配列を採用。
e3w2q.github.io
この基板を使って作ることにした。

初期案
f:id:k-kuro:20200927144058p:plain
これはタブなど大きいキーを多用しておりコストがかなりかかるのと、ちょうどいいキーキャップがなかなかないため廃案。

常々リターンキーが遠くて小指が辛いのでどうにかならないかと思っていたので親指で押せる位置に移動させたい。(もしくは追加したい)
第2案
f:id:k-kuro:20200927144542p:plain
これはなかなか良さそうなので基本この方針で行くことに決定。
一応キートップの印字のあるキーキャップもいいのが見つかったので。

というわけで、パーツを手配し組み立てて配線していく。

f:id:k-kuro:20200927152443j:plain
f:id:k-kuro:20200927152536j:plain

配線をわかりやすくするため左右は対称にした。

基板をつなげてみると後2キーほど増やせそうだったので最終的には以下のレイアウトに落ち着いた。
f:id:k-kuro:20200927152934p:plain

ADBキーボードをUSBに変換する(2020年版)

以前一度作成していたADB-USB変換アダプタをまた作ってみた。
以前はCJMCU-beetleというArduino Leonardo互換基板を使って作成したが、無駄に高いので今回はお手頃価格で入手できるArduino Pro MicroというSparkFun(
https://www.sparkfun.com
)というメーカーが出しているATMega 32U4を使ったLeonardo互換基板の中国製コピー商品。


1個あたり安いものだと500円くらいで入手できる。
ただし、製品によって仕様が微妙に違うことがあるらしいので、ここに書く情報はあくまで今回使った製品での記録ということになる。

その他用意したものは
ユニバーサル基板の切れっ端 1枚
どこのご家庭にも2−3個は転がっているADBポート(メス)1個
タクトスイッチ 1個
プルアップ用1kオーム抵抗 1個

機材
Mac mini
ADBケーブル(S端子ケーブル)
ADBキーボード



基本的には
github.com
こちらに書かれている通りでいい。

使用するピンはVCC,GNDそしてD0(data)の3本だけ。ADBキーボードの電源スイッチについては無視した仕様。
で、D0がこの基板でどこに相当するのかというところが唯一の問題となるわけだが、シルク印刷で3と番号が振ってあるところがD0に相当するらしい。
これに関しては
riv-mk.hateblo.jp
こちらの情報を参考にさせていただいた。

さて、基板へのファームウェアの書き込みであるが基本は
https://k-kuro.hatenadiary.jp/entry/20161230/p1
ここでやった時と同じようにすればいい。

ファームウェア
tmk_keyboard/converter/adb_usb/binary/adb_usb_rev1_unimap.hex
を使う。
もしくは設定ファイル群を編集したのち、
tmk_keyboard/converter/adb_usb/
ディレクトリで

make -f Makefile.rev1

とやって出来上がった
.hex
ファイルを書き込む。

なお、Makefile.rev1は

TARGET = adb_usb_rev1
MCU = atmega32u4
include Makefile

となっており、Pro microにあわせてatmege32u4にしてある。
今回チャタリング回避のためにconfig.hに

/* Debounce reduces chatter (unintended double-presses) - set 0 if debouncing is not needed */
#define DEBOUNCE 200

のような記述を加えてみた。



まずまっさらのPro MicroをMacに接続し、Arduino.appを立ち上げる。
ツール>ボード
Arduino Leonardoを選択
ツール>シリアルポート
で/dev/cu.usbmodemHIDP1 (Arduino Leonardo)を選択

Arduino>preference
を開き、「より詳細な情報を表示する」の「書き込み」にチェックを入れる。

で、適当なプログラム(たとえばBlinkなど)を書き込んでみる。

例えば

#define TX_LED 30
#define RX_LED 17

void setup() {
  pinMode(TX_LED, OUTPUT);
  pinMode(RX_LED, OUTPUT);
}

void loop() {
  digitalWrite(TX_LED, LOW);  // turn the TX LED on
  delay(1000);
  digitalWrite(TX_LED, HIGH); // turn the TX LED off
  digitalWrite(RX_LED, LOW);  // turn the RX LED on
  delay(1000);
  digitalWrite(RX_LED, HIGH); // turn the RX LED off
}

こうするとシリアル通信のLEDが交互に点滅するようになるのでわかりやすい。

そうするとAvrdudeのプログラムパスがわかるのであとはコマンドで直接書き込むという手順。

/Applications/Arduino.app/Contents/Java/hardware/tools/avr/bin/avrdude -C/Applications/Arduino.app/Contents/Java/hardware/tools/avr/etc/avrdude.conf -v -patmega32u4 -cavr109 -P/dev/cu.usbmodem14641 -b57600 -D -Uflash:w:/var/folders/bh/ggq7fvb9581379cgprt5p9r40000gn/T/arduino_build_887388/sketch_sep26a.ino.hex:i 

/var/folders/bh/ggq7fvb9581379cgprt5p9r40000gn/T/arduino_build_887388/sketch_sep26a.ino.hex
この部分を書き込みたいファームウェアに置き換える。

実際に書き込む際にはリセットをかけてから書き込まなければならないので、基板上のrstというピンを素早く2回gndに落とす。
結構やりにくいので、あらかじめここにタクトスイッチをつけておくといい。
設定を変えて焼き直す時も同様に接続してからリセットボタンをダブルクリックし、書き込みコマンドをすかさず実行、という手順となる。

タイミングが悪いとエラーが出て進まないので、これはタイミングを色々変えてやってみるしかない。
リセットボタンのダブルクリックの後、だいたい3−4秒くらいおいてコマンドをリターンするくらいがいいようだ。

なお、一旦これで書き込んでしまうとArduino.appからシリアルポートが見えなくなるため、もう一度Arduinoとして使いたい場合はリセットボタンをダブルクリックしたら素早くシリアルポートの設定を合わせ直し、プログラムを書き込むという忙しいことをしなければならない。8秒しか猶予がなく、その間にシリアルポートを設定して書き込み開始までする必要があるため、長いプログラムのコンパイルをしていたら間に合わない。まずはBlinkなど短いプログラムでブートローダを回復させてから、落ち着いて長いプログラムに挑戦した方がいい。

なお、ここでもArduino.appを介さずにAvrdudeを直接使ってコマンドラインArduinoのスケッチを書き込んだほうがやりやすそうではある。

Flaskでhtmlファイルを読み込むとき、ブラウザのキャッシュが読み込まれてしまうのを回避するには

インタラクティブに生成されたhtmlファイルをFlaskで表示させようとしたところブラウザがキャッシュファイルを読みに行ってしまって、作り変えた結果が表示されない。

data = dir + "/data_" + datetime.datetime.now().strftime('%y%m%d%H%M%S') + ".html"
output_file(data)

そこでとりあえずhtmlを書き換えたら、毎回違う名前で保存し直して、読み込む側もそれを指定して読み込むようにする。

@app.route('/clustalw/bokeh/')
def clustalw_bokeh_index():
	user = g.user.name
	target = "./user/" + user + "/clustalw/*.html"
	file = glob.glob(target)[0]
	if os.path.exists(file):
		return render_template(file)

こんな感じでタイムスタンプをファイル名に入れておき、ターゲットのファイル名を読み取ってそれをrender_templateで受け渡す。

sequence alignmentをBokehを使ってインタラクティブに表示してみる

clustalwでsequenceのアライメントをとると、テキストで.alnというファイルが生成されるが、文字の並びとアスタリスクではわかりにくいことが多い。
なのでclustalxだとかMEGAだとかで表示するとカラフルに色分けで表示できるのでぱっと直感的に分かるのだが、いちいちファイルをアプリで開き直すとか、面倒くさいし。
ということでpythonでそういうのができないかやってみた。できたらそれをいつものウェブアプリに実装してやる。
Bioinformatics and other bits - A sequence alignment viewer with Bokeh and Panel
こちらの記事を参考に

import string
import numpy as np
from Bio import AlignIO
import panel as pn
pn.extension()
from bokeh.plotting import figure, output_file, save
from bokeh.models import ColumnDataSource, Plot, Grid, Range1d
from bokeh.models.glyphs import Text, Rect
from bokeh.layouts import gridplot

#output_file("out.html")
aln = AlignIO.read('Phylo.aln','clustal')
seqs = [rec.seq for rec in (aln)]
ids = [rec.id for rec in aln]    
text = [i for s in list(seqs) for i in s]
clrs =  {'A':'red','T':'green','G':'orange','C':'blue','-':'white'}
colors = [clrs[i] for i in text]
N = len(seqs[0])
S = len(seqs)
width = .4

x = np.arange(1,N+1)
y = np.arange(0,S,1)
xx, yy = np.meshgrid(x, y)

gx = xx.ravel()
gy = yy.flatten()

recty = gy+.5
h= 1/S

source = ColumnDataSource(dict(x=gx, y=gy, recty=recty, text=text, colors=colors))
plot_height = len(seqs)*15+50
x_range = Range1d(0,N+1, bounds='auto')
plot_width=800
fontsize="9pt"
if N>100:
    viewlen=100
else:
     viewlen=N

view_range = (0,viewlen)
tools="xpan, xwheel_zoom, reset, save"

p = figure(title=None, plot_width= plot_width, plot_height=50,
        x_range=x_range, y_range=(0,S), tools=tools,
        min_border=0, toolbar_location='below')

rects = Rect(x="x", y="recty",  width=1, height=1, fill_color="colors",
        line_color=None, fill_alpha=0.6)
p.add_glyph(source, rects)
p.yaxis.visible = False
p.grid.visible = False
p1 = figure(title=None, plot_width=plot_width, plot_height=plot_height,
                x_range=view_range, y_range=ids, tools="xpan,reset",
                min_border=0, toolbar_location='below')#, lod_factor=1)          
glyph = Text(x="x", y="y", text="text", text_align='center',text_color="black",
                text_font="monospace",text_font_size=fontsize)
rects = Rect(x="x", y="recty",  width=1, height=1, fill_color="colors",
                line_color=None, fill_alpha=0.4)
p1.add_glyph(source, glyph)
p1.add_glyph(source, rects)

p1.grid.visible = False
p1.xaxis.major_label_text_font_style = "bold"
p1.yaxis.minor_tick_line_width = 0
p1.yaxis.major_tick_line_width = 0

p = gridplot([[p],[p1]])

pn.pane.Bokeh(p)
#save(p)

できた。
f:id:k-kuro:20200902171838p:plain
Bokehって色々可能性を感じさせるね。

一番最初に
output_file("out.html")
と保存先を指定して
save(p)
でhtmlファイルとして保存してやるとwebアプリからも利用しやすいな。

f:id:k-kuro:20200902172541p:plain

系統樹とアライメントを一気に解析。ああなんて快適。