2007年9月23日日曜日

PHP CrawlerをPostgreSQLで

特定のWebをCrawlしてDBに入れ込むスクリプトを見つけた
MySQLで動作する様子だが、ちょっと手を入れるだけでPostgreSQLでも動きそうな気がした

やってみた

変更点は、
・mysql_関数を、pg_関数に置き換え
・MySQLは文字コードチェックがいい加減だが、PostgreSQLは結構厳しいので、ひとまずSQL_ASCIIで動くように各部分を確認
・MySQLのnot null制約は、どうも厳密に動いてない(default値にNULLがあっても無視される)ようなので、動作に不具合のあるnot null制約を取る
・primary keyにnot null制約?なぜ?
・MySQLの全文検索機能を使っているのをILIKE構文にした(検索性能は今求めないので)

といったあたり。

やっつけなのとBSDライセンスをいいことに、これはこれで放置。
理由は0.8が検索側に凝り出したので、0.7.7alphaをベースにしたこと。0.8の仕様は好ましいと思っていないこと。

今日はここまで

0 件のコメント: