Work Report

クローリング型WEB監視システム

  • スマートフォン(iPhone/Android)、PCサイト

特定のサイトを特定の遷移でクロールし、データをダウンロードのうえ、データの正当性と、ダウンロード速度を定期的に測定するシステムを開発しました。
基本的には、ブラウザを模倣、または制御して、人が行うログインやクリックを自動化しているだけです。最近では「RPA」(Robotic Process Automation)といわれている分野に属するのかもしれませんが、要素技術的には一昔前の「自動試験」の分野と基本的には変わらないと考えており、自動操作を「運用」業務に適用しただけという理解です。この種のシステムはエンジニアにとっては単なる「自動化」にすぎず、手段については多様な選択肢が存在しますので、環境に適するものを選べば良いと考えています。

  • 動作環境

Linux
PHP、Java、Perl、AWK、Ruby、SHELL
MySQL、Postgres、MongoDB