第37回「スクレイピング（9）」運用しやすいスクリプトに整える

一般社団法人Pythonエンジニア育成推進協会はコラム「第37回「スクレイピング（9）」運用しやすいスクリプトに整える」を公開しました。

＃＃＃

こんにちは、小澤です。

前回は、スクレイピングで取得したデータをpandasで読み込み、整形や集計、簡単な可視化につなげる方法を紹介しました。スクレイピングは、Webページから情報を取得するだけでなく、保存し、確認し、必要に応じてグラフなどにして使える形にすることが大切だという内容でした。

今回は、その処理をもう少し運用しやすくするために、スクリプトの整理について考えていきます。これまでのサンプルでは、説明を分かりやすくするために、ひとつのファイルの中に処理を書いてきました。しかし、実務で何度も使うようになると、URL、保存先、ログ、エラー処理などを整理しておかないと、後から直しにくくなります。

スクレイピングは、最初に動いたときはそれで十分に見えるのですが、あとから対象ページが変わったり、保存先を変えたくなったりします。そのときに、どこを直せばよいか分かるようにしておくことが、運用では重要になります。

この続きは以下をご覧ください
(リンク »)