Cloudflareは米国時間7月1日、許可や対価なくインターネット上のコンテンツにアクセスするAIクローラーをデフォルトでブロックすると発表した。
同日から、ウェブサイトの所有者は、AIクローラーによるコンテンツへのアクセスを許可するか否かを選択できるようになり、AI企業が収集したコンテンツをどのような目的で利用するかについても、所有者側が判断できるようになる。また、AI企業側も、AIクローラーを通じて取得したコンテンツを、学習、推論、検索など、どの用途に使用するかを明確に示すことが可能となった。
同社の説明によれば、AIクローラーはインターネット上から文章、記事、画像などのコンテンツを収集・抽出し、それをもとに回答を生成するが、ユーザーを参照元に誘導することはない。その結果として、コンテンツクリエーターは収益の機会や、自らの創作物が求められているという満足感を失っているという。さらに同社は、オリジナルで質の高いコンテンツの制作に対して正当な対価が支払われなくなれば、社会全体が損失を被り、インターネットの未来は危機にさらされるとの認識を示している。
Cloudflareは、インターネット全体の約20％に相当するトラフィックの管理および保護を支援している。毎日数兆件のリクエストを処理しており、人間のユーザーとAIクローラーを正確に識別するボット管理ソリューションを提供している。2024年9月には、AIクローラーをワンクリックでブロックできる機能を導入した。この機能は、スクレイピング対策として有効であり、これまでに100万人以上のユーザーが利用している。
新規ドメインに対しては、AIクローラーのアクセスを許可するかどうかを確認し、事前にアクセスの可否を選択できるようにする。この変更により、新規ドメインはデフォルトでAIクローラーのアクセスを制御可能となり、ウェブページの所有者が手動でオプトアウト設定をする必要がなくなる。コンテンツへの自由なアクセスを許可したい場合は、設定をいつでも簡単に変更し、クローリングを許可できるとしている。
