UPDATEの速度

Programing SQLAlchemy

SQLAlchemyでUPDATEを行うときの書式は for target in session.query(tableA).filter(tableA.gene.in_(session.query(tableB.gene))).all(): target.Gene_comments = target.Gene_comments + 'commentXXX' session.commit()まあこんな感じ。色々関係ない要素…

2017-12-25

SQLite版とMySQL版の比較

Programing Python Flask SQLAlchemy

Macローカルで初期画面をロードしてから、すぐにデータベースを開く操作をしてみるとSQLite版 127.0.0.1 - - [25/Dec/2017 19:24:29] "GET / HTTP/1.1" 200 - elapsed_time:0.0034799575805664062[sec] 127.0.0.1 - - [25/Dec/2017 19:24:36] "GET /exome/ H…

2017-12-22

MySQLへの移植2

Programing Flask SQLAlchemy MySQL

メインのデータベーステーブルexome_subが子テーブルになっていて、親テーブルexome_countからカラムを読み込んでいるときに、exome_countをDropしようとしたら Cannot delete or update a parent row: a foreign key constraint failsというエラーが出て消…

2017-12-21

MySQLへの移植

Programing Flask SQLAlchemy MySQL

データベースをSQLiteからMySQLに移植し始めた。出来上がったテーブルを検索したり、カラムにコメントを書き込むだけだと、SQLAlchemyのお陰で、ほとんど手を加えることなく移行ができた。しかし、データベース（テーブル）にデータを追加し、そこから情報を…

2017-12-20

MySQLにTSVファイルをインポート

Programing shell MySQL

$ mysqlimport -u ユーザー名 --password=パスワード --local データベース名テーブル名.txtであり、.my.cnfをホームディレクトリに [mysqlimport] user=ユーザー名 password=パスワード default-character-set=utf8 localこんな感じで作っておけば $ mysql…

2017-12-19

リレーションでテーブル結合したときの検索

Programing SQLalchemy

リレーションを張ってテーブルを結合したとき、普通にメインテーブルのカラムでfilterするときは特に変わりがないが、結合先のカラムでfilterするときはちょっと工夫がいる。 session = Session() q = session.query(Test) q = q.filter(Test.sample == "N00…

2017-12-18

やっとリレーションの使い方がわかってきた

Programing Flask SQLAlchemy

テーブル定義を class User_comments(Base): __tablename__ = 'user_comments' id = Column(Integer, primary_key=True, autoincrement=True) user1_comments = Column(String(255)) user2_comments = Column(String(255)) user3_comments = Column(String(2…

2017-12-15

Pythonのスクリプトをデスクトップアプリ化する

Programing Python

自分で作成したアプリを自分の環境において使う分にはコマンド操作で全然問題ないが、人にわたして使ってもらうとなるとモジュール等揃えてインストールしてもらって・・・となかなかハードルが高くなる。なので簡単にデスクトップアプリ化できるならそれ…

2017-12-15

PythonでCSVのリストに従ってGoogleで検索し、結果をスクレイピングする

programing Python

詳細検索画面の初期設定で検索キーワードを入れて検索をする動作を自動化する。 https://www.google.co.jp/advanced_search?q= たとえば上の検索は https://www.google.co.jp/search?as_q=Python+Flask+SQLAlchemy+k-kuro&as_epq=&as_oq=&as_eq=&as_nlo=&as_…

2017-12-14

csvファイルを読み込んでgoogleに検索を投げてトップヒット10件を集めてくる

Programing Python

import requests r = requests.get('http://www.google.co.jp/search?as_q=キーワード１+キーワード２・・・・') r.textとりあえずこれだけで検索の結果のhtmlファイルが得られる。なので import csv with open('some.csv', 'r') as f: reader = csv.reader(…

2017-12-14

SelectMultipleFieldでなくBooleanFieldを使って複数選択

Programing Flask

これまで、複数項目を選択してORで検索項目に使うとき func = SelectMultipleField('Function', choices=[('exonic', 'exonic'), ('splicing', 'splicing'),・・・・ if form.func.data: exome = exome.filter(Exome_sub.Func_wgEncodeGencodeCompV19.in_(fo…

2017-12-13

検索条件等をアコーディオンで折りたたむ

Programing Flask

http://kishiken.com/bootstrap/collapse.html インターフェイスをすっきりさせるべく、こちらの記事を参考に、項目の折りたたみを導入してみた。 1項目をボタンで開閉するパターンと複数項目を順に開閉するパターンを付けてみた。

2017-12-08

実際一番時間がかかっているのは

Programing Flask SQLAlchemy

elapsed_time:0.0021708011627197266[sec] elapsed_time:0.0022499561309814453[sec] elapsed_time:0.002342700958251953[sec] elapsed_time:0.0023527145385742188[sec] elapsed_time:0.002480745315551758[sec] elapsed_time:0.002567768096923828[sec] el…

2017-12-08

NULLと空白文字

Programing SQLite

SQLiteでテーブルにinsertするとき、一部のカラムを指定しないままに行うと、指定されていないカラムにはNULLが入る。これをSQLAlchemyでクエリを実行し、Python/FlaskでHTMLにレンダリングすると、NULLのカラムにはすべてNoneと表示される。このままで別…

2017-12-07

一体どこで時間がかかっているのか

Programing Flask SQLAlchemy

データベースの検索速度がどうにも遅いわけだが、はたしてプログラムのどこで時間を食っているのか？ import time .... @app.route('/exome_s/', methods=['GET', 'POST']) def exome_s_index(): start = time.time() .... .... elapsed_time = time.time() …

2017-12-07

multiprocessor, multithread

Programing Python Flask SQLAlchemy

https://qiita.com/petitviolet/items/64965e9ba236ebbdd37fhttps://qiita.com/yukiB/items/d6a70da802cb5731dc01

2017-12-07

select count distinct

Programing SQLite

重複せずに行を数えるには SELECT COUNT(DICTINCT column) FROM tablehttp://d.hatena.ne.jp/nyoe3/20100313/1268468670

2017-12-07

ユーザー個別データベースにもコメント欄を

Programing Flask

やはりデータベース上に各自でコメントを入れておきたいという需要はあるだろうから、ユーザーテーブルにもコメント入力できるようにしよう。データを書き換える可能性を考えて、書き換え時にユーザーごとのコメント保存テーブルにIDと紐付けて保存し、再構…

2017-12-01

インプットファイルの整形からSQLiteへのインポートまでを１スクリプトで

Programing Python

import glob import csv import os def cat_input_files(lst): for f in lst: with open(f, 'r') as inp: reader = csv.reader(inp, delimiter='\t') next(reader) for row in reader: with open('./temp/temp.txt', 'a') as oup: writer = csv.writer(oup, …

2017-12-01

多数のテキストファイルからヘッダ行を除いて１つのファイルにまとめる

Programing Python

#!/bin/sh #ls /target/multiannovar/filtered/files > list.txt #list.txtを引数として # $ sh ./input_files.sh list.txt mkdir -p ./temp filename=$1 for line in `cat ${filename}` do fname="${line##*/}" #ファイルからヘッダ行を除く sed -e '1d' $l…

2017-11-26

ユーザーページのデータベーステーブル

Programing Flask SQLite SQLAlchemy

さて、ユーザーごとにカスタマイズしたページを作るならば、テーブルの構成も自由に設定できるようになるのでないかということでmodels.pyのテーブル設定を考えてみた。実際にコピーできるカラムは元のテーブルにすでに載っているカラムからだけなわけだが、…

2017-11-23

Raspberry pi でexome database

Programing Flask Raspberry Pi

試しにRaspberry piで動くかやってみた。結果、まあ動きます。ただし、ものすごく遅い。やっぱりメモリが足らんのだろうか。サーバ上でローカルにアクセスしてて、より遅いかもしれないな。別PCからアクセスしたらどうだろうか。多分変わらんだろうな。名…

2017-11-22

速度向上の秘策

Programing SQLite

さて、いろいろ考えてみたものの、なかなか速度が改善しないSQLデータベース検索だが、そもそも、レコード数を前もって間引いとけばいいんじゃない？というアイデアが出た。つまり、現在の検索の順序として Variant countでカットオフ Gene countを計算し、…

2017-11-22

ToDo

Programing

in memoryデータベース multiprocessing データインポート protein データベース

2017-11-21

ディスク保存のデータベースからテーブルをメモリーデータベースに読み込んで利用するには

Programing Flask SQLAlchemy SQLite

いろいろやってみているんだけど、なかなか成功しない。 https://stackoverflow.com/questions/4019081/how-to-copy-a-sqlite-table-from-a-disk-database-to-a-memory-database-in-python https://stackoverflow.com/questions/3850022/how-to-load-existin…

2017-11-15

Pythonを使ってSQLiteにTSVファイルをimport

Programing Flask SQLite

sqlite3からは > .separator "\t" > .import hoge.txt hogeとすればhoge.txtというTSVファイルからデータをhogeテーブルにインポートできる。これをshell scriptからやるには $ sqlite3 -separator $'\t' ./data.db ".import ./hoge.txt hoge"これでいい。 …