第34回「スクレイピング（6）」スクレイピングを定期実行して自動化する

一般社団法人Pythonエンジニア育成推進協会はコラム「第34回「スクレイピング（6）」スクレイピングを定期実行して自動化する」を公開しました。

＃＃＃

こんにちは、小澤です。

前回は、取得したデータをCSVやExcelとして保存する方法を紹介しました。スクレイピングで取り出した情報は、画面に表示して終わりではなく、あとから見返せる形で保存しておくことで、分析や共有に使えるデータになります。pandasを使えば、取得した一覧データをDataFrameにまとめ、CSVやExcelに出力できることも確認しました。

今回は、その処理をさらに一歩進めて、スクレイピングを定期的に実行する方法について解説します。毎朝ニュースを取得する、毎時価格を確認する、1日1回だけ更新情報を保存する、といった処理は、人が手で実行するよりも、決まった時刻に自動で動かすほうが実務では扱いやすくなります。

スクレイピングは「取得する」だけでなく、「保存する」「整形する」「自動化する」「活用する」までを含めて考えると、業務で使える仕組みに近づきます。今回は、自動化の入口として、cronやWindowsタスクスケジューラ、ログ出力、エラー時の考え方を整理していきましょう。

この続きは以下をご覧ください
(リンク »)