Appleがサポートページを更新し、ウェブクローラー「Applebot」が、音声制御アシスタント「Siri」や「Spotlight」検索候補などの製品に使われていることを明らかにした。
Appleによると、このウェブクローラーは検索エンジン用のエントリを作成するためにウェブサイトのページを巡回し、慣習的なrobots.txtの規則とrobots metaタグを尊重する。アクセス元は、17.0.0.0ネットワークブロックであるという。 同ページには次のように記されている。User-agent文字列には、「Applebot」と補足のエージェント情報が記載されます。下記は、その例です。
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)
robotsの制御指示でApplebotには言及していなくてもGooglebotについて指定されている場合、AppleのロボットはGooglebotに対する指示に従うという。
同社は開発者らに対し、このロボットに関する質問や疑問があれば同社に問い合わせるよう求めている。
この記事は海外CBS Interactive発の記事を朝日インタラクティブが日本向けに編集したものです。
