Work Report

サイト情報クローラー

  • PCサイト、クローラー

特定の形式を持つサイトから情報をクロール収拾し、マーケティングデータを集計するツールを開発しました。
サイトごとに情報構造がちがうため、クロールロジックを共通とし、サイト解析についてはプロファイルドリブンとして、汎用化させています。
 

  • 動作環境

OS: Linux
Apache,PHP4,Ruby