robots.txt

用語の解説

robots.txtとは

(ロボットテキスト)
robots.txtとは、Googleやgooなどのロボット型検索エンジンのクローラに対する指示を記述したファイルのことである。
クローラが各Webサイトを巡回(クローリング)する場合、まず、ターゲットとなるWebサイトのルートディレクトリにrobots.txtが配置されているかどうかを確認する。 配置されていれば、そのファイルを読み込み、記述された内容に従って情報を収集していく。 robots.txtにディレクトリ名やクローラ名などを記述することで、情報を収集されないようにすることが可能になる。 例えば、すべてのクローラに対して、すべてのファイルを収集して欲しくない場合には、1行目に「User-agent: *」、2行目に「Disallow: /」と記述する。 また、クローラのアクセス頻度を制限したい場合には、「Crawl-delay:10」(アクセス間隔を10秒間に設定)のように記述する。 クローラに対する指示は、robots.txtを置くという方法の他にもmetaタグで記述する方法もある。 なお、robots.txtは、クローラに対しての強制力がないため、クローラの一部には、robots.txtの内容を無視してクローリングするところもある。

用語解説出典   powered by. Weblio

CNET Japan

ホワイトペーパー

新着

ランキング

  1. セキュリティ

    「デジタル・フォレンジック」から始まるセキュリティ災禍論--活用したいIT業界の防災マニュアル

  2. 運用管理

    「無線LANがつながらない」という問い合わせにAIで対応、トラブル解決の切り札とは

  3. 運用管理

    Oracle DatabaseのAzure移行時におけるポイント、移行前に確認しておきたい障害対策

  4. 運用管理

    Google Chrome ブラウザ がセキュリティを強化、ゼロトラスト移行で高まるブラウザの重要性

  5. ビジネスアプリケーション

    技術進化でさらに発展するデータサイエンス/アナリティクス、最新の6大トレンドを解説

ZDNET Japan クイックポール

注目している大規模言語モデル(LLM)を教えてください

NEWSLETTERS

エンタープライズ・コンピューティングの最前線を配信

ZDNET Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]