- スマートフォン(iPhone/Android)、PCサイト
AWS上で稼動するサーバに関する負荷について調査対応を行いました。基本的には不要なプロセスや過剰に負荷がないか確認する作業となり、本作業は定期的に実施している運用項目となります。
今回の調査結果では「数時間にわたり 1CPU を占有する処理」が見つかりましたので、対応を行っています。
事象としては、「locate」コマンド(ファイル検索コマンド)が参照するデータベース更新に過剰にCPUリソースが割かれているといった現象です。ある時点より(サービス上の理由から)、別サーバに配置されるデータ(diskやS3)に関するマウントポイントを増やしているのですが、それらに関するファイル情報も収集(updatedb)の対象としていることが原因のようです。別サーバ(ネットワーク越し)のファイルシステムに対する操作ですので、ローカルディスクのようには速度が出ない故、そこがボトルネックとなり、処理が長時間に及んでいたようです。対策として、該当するマウントポイントについては収集対象(updatedb対象)から外す対応を行うことで、過剰な負荷を抑えることができています。
長くサービスを続けているシステムでも、今回のように当初想定していない負荷などが起こることはあり得ます。負荷について常時監視に努めるのは当然のこととしても、定期的に見直す機会を設ける運用についてもまた、同じように必要だろうと改めて考えさせられます。
- 動作環境
AWS/Linux
AWS/S3
NFS