グーグル、「robots.txt」プロトコルの仕様標準化を推進

Charlie Osborne (Special to ZDNet.com) 翻訳校正: 編集部 2019年07月03日 11時39分

  • このエントリーをはてなブックマークに追加
  • 印刷

 Googleは米国時間7月1日、Robots Exclusion Protocol(REP)が将来安定したインターネット標準になることを願って、「Google Robots.txt Parser and Matcher Library」をオープンソースコミュニティに向けて公開した。REPはrobots.txtを使う際の仕様で、その解析やマッチングに使われてきたC++のライブラリなどが公開されている。

 REPはウェブ管理者がサイトを巡回するクローラーの行動を制御するためのものだ。考案者のMartijn Koster氏は、自分のウェブサイトがクローラーの巡回にあい、サーバーの負荷を減らすために1994年に最初の標準を開発した。

 テキストファイルにはクローラーへの指示が書かれており、これがクローラーがドメインを訪問する権限があるかどうかを決定するなど、クローラーの行動を決定する。

 REPは正式な標準ではないため、1990年代より様々に解釈され、新しいユースケースに合わせてアップデートされてこなかった。

 「曖昧なデファクト標準となってしまっているためにルールを正確に記述するのが難しくなっており、ウェブサイト所有者にとって難しい課題になっている」とGoogleは記している。「ウェブサイト所有者と開発者がクローラーの管理に頭を悩ませることなく、素晴らしい体験をインターネット上に構築するのを支援したいと思っている」。

 GoogleはREP文書のドラフトを作成し、インターネット標準化団体のIETFに提出している。

 ドラフトでは、1994年にKoster氏が作成したルールを変更していないが、HTTPに加えてFTP、CoAPを対象に入れるなど、現代的なウェブサイトに合うように、robots.txtの解析とマッチングに関して今まで定義されていなかったシナリオの定義を明確にした。

 Googleは合わせて、サーバーの負荷を削減するために最初の500キビバイトのrobots.txtファイルがパーシングされるように提案している。また、最大のキャッシュ時間を24時間として実装することで、ウェブサイトがインデックスリクエストに対応できない事態を防ぐことも提案している。

この記事は海外CBS Interactive発の記事を朝日インタラクティブが日本向けに編集したものです。

ZDNet Japan 記事を毎朝メールでまとめ読み(登録無料)

  • このエントリーをはてなブックマークに追加

関連ホワイトペーパー

SpecialPR

連載

CIO
月刊 Windows 10移行の心・技・体
ITアナリストが知る日本企業の「ITの盲点」
シェアリングエコノミーの衝撃
デジタル“失敗学”
コンサルティング現場のカラクリ
Rethink Internet:インターネット再考
インシデントをもたらすヒューマンエラー
トランザクションの今昔物語
エリック松永のデジタルIQ道場
研究現場から見たAI
Fintechの正体
米ZDNet編集長Larryの独り言
大木豊成「仕事で使うアップルのトリセツ」
山本雅史「ハードから読み解くITトレンド放談」
田中克己「展望2020年のIT企業」
松岡功「一言もの申す」
松岡功「今週の明言」
内山悟志「IT部門はどこに向かうのか」
林 雅之「デジタル未来からの手紙」
谷川耕一「エンプラITならこれは知っとけ」
大河原克行「エンプラ徒然」
内製化とユーザー体験の関係
「プロジェクトマネジメント」の解き方
ITは「ひみつ道具」の夢を見る
セキュリティ
セキュリティインシデント対応の現場
エンドポイントセキュリティの4つの「基礎」
企業セキュリティの歩き方
サイバーセキュリティ未来考
ネットワークセキュリティの要諦
セキュリティの論点
スペシャル
エンタープライズAIの隆盛
インシュアテックで変わる保険業界
顧客は勝手に育たない--MAツール導入の心得
「ひとり情シス」の本当のところ
ざっくり解決!SNS担当者お悩み相談室
生産性向上に効くビジネスITツール最前線
ざっくりわかるSNSマーケティング入門
課題解決のためのUI/UX
誰もが開発者になる時代 ~業務システム開発の現場を行く~
「Windows 10」法人導入の手引き
ソフトウェア開発パラダイムの進化
エンタープライズトレンド
10の事情
座談会@ZDNet
Dr.津田のクラウドトップガン対談
Gartner Symposium
IBM World of Watson
de:code
Sapphire Now
VMworld
Microsoft Inspire
Microsoft Connect()
HPE Discover
Oracle OpenWorld
Dell Technologies World
AWS re:Invent
AWS Summit
PTC LiveWorx
吉田行男「より賢く活用するためのOSS最新動向」
古賀政純「Dockerがもたらすビジネス変革」
中国ビジネス四方山話
ベトナムでビジネス
日本株展望
企業決算
このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]