ちょっと無茶なSQL文でアップデートをしようとして、ちっとも処理が終わらないので、強制終了したら見事にデータベースファイルが破損してしまった。
sqlite> drop table exome; Error: database disk image is malformed
とすげなくエラーメッセージがでて言うことを聞かない。
https://qiita.com/tsunet111/items/2c21706fd67f5ecb047d
こちらを参考にSQLiteのサイトからツールをダウンロードしてきて回復を試みることにした。
結果はアウト...
仕方がない。バックアップから作り直すか・・・トホホ。
ちなみに無茶なSQLは
３カラムの組み合わせが一致し、かつ１カラムの内容が２つの条件を満たし、もう１つのカラムでの条件もクリアするレコードを探して、あるカラムにフラグを立てる
というもの。
この３つのカラムの組み合わせパターンが５７００通り位ある。
最初、SQLAlchemyから一気に処理を試みるも、流石にメモリスワップが大量に発生するのか全然進んでる気配がない。
そこで１００件ごとにconnection.commit()を入れて一旦書き込んで次に進むというスクリプトを用意して順に書き換えていくことにした。そうすると１００件処理するのに７分半位かかっている。１件あたり4.5秒というところ。レコード総数が160万行あるし、こりゃ持久戦だな。
