過去ログの要約の再生成

要約システムはその公開以降もいろいろ改良・バグ修正を重ねてきました。しかし基本的には、変更されたアルゴリズムはその時点での最新スレッドからの適用としてきました。これは要約アルゴリズムの修正のたびに再生成するのはあまりに手間が掛かるからです。
とはいってもずっと過去ログを放置するのもしのびないですし、id:tk4168:20090808の様な修正はすべてのページに適用しないと意味がないので、定期/不定期的に全ログの要約再生成を行なう必要があります。
というわけで先ほど全ログの再生成を行ないました。手順としては、2chのDATファイルを用意しローカルでそれに対してスクリプトを実行して得られたHTMLをアップするとなるのですが、時間が掛かる掛かる。只のテキスト処理のくせに何分「も」掛かるとは・・・。さすがに100MBを越えるDATファイルを処理するのは重たい。
その後サーバーにアップするのですが、HTMLが1600ファイル20MBもあるのでそのままアップはかなり苦しい。
なので、ZIPで固めてレンタルサーバ付属のファイルマネージャでアップしたのですが、全ファイルを固めてアップしたら処理が強制中断してしまいました。仕方ないので分割してZIPに固めてアップ。これでやっと更新完了。

結論
こんな面倒なことは極力やめよう。多分今後これほどアルゴリズムが変更されることはないはず。多分・・・