第32回「スクレイピング（4）」複数ページを自動で巡回する（ページネーション）

一般社団法人Pythonエンジニア育成推進協会はコラム「第32回「スクレイピング（4）」複数ページを自動で巡回する（ページネーション）」を公開しました。

＃＃＃

こんにちは、小澤です。

前回は、BeautifulSoupを使ったスクレイピングの基本パターンについて整理しました。テンプレートの書き方や、find / find_all の使い分け、class や id を使った絞り込み、ブロック単位での処理など、実際にコードを書くための土台を確認しました。今回は、その続きとして、複数ページにまたがる情報を取得する方法、いわゆる「ページネーション（pagination）」について解説することにしましょう。

実際のWebサイトでは、情報が1ページに収まっていることは少なく、

・商品一覧（1ページ目、2ページ目…）
・ニュース記事一覧（次へ、前へ）
・検索結果ページ
といったように、複数ページに分割されているケースが一般的です。スクレイピングを実務で使う場合、この「ページをまたぐ処理」ができるかどうかで、取得できるデータ量が大きく変わってきます。

この続きは以下をご覧ください
(リンク »)