kuroの覚え書き

96の個人的覚え書き

300カラムx160万件超になるとめっちゃ動作が遅くなってしまった。

データベースを構築するのにかかる時間も飛躍的にかかるようになったが、なにより検索、表示にものすごく時間がかかるようになってしまった。

カラムは300くらいあるけど、実際に参照して表示に使っているのは30くらい。
そういう場合、データベースとしては保持しておいて、Flaskから参照するときはmodels.pyのデータベース定義をコメントアウトして、実際に使うところだけにしてしまうといいかもしれない。

必要が出たらいつでも出せますよ。という形で。

試してみたが、結局のところFlaskとのやり取りではなくて、SQLite内でのqueryに時間がかかっているようなので、Flaskでのdatabase定義をいじっても実行速度は変わらなかった。

カラムを実際に減らしたテーブルを用意してみたところ劇的に速度が上がったので、やはりいらないカラムはないに越したことがないようだ。フルスペックのデータベース(テーブル)一旦作成した上で、必要に応じたサブセットを作成して使うというのがやはり良さそうだが、それを動的にできるといいのだがな。

テーブルを分割しておいてjoinでつなげて表示、検索をすれば速度は上がるのか、それとも逆に落ちるのか・・・?