AI技術の急速な発達の裏で、AIモデルの学習にウェブ上のコンテンツが収集されています。
コンテンツの制作者にとって、自分が書いた記事や作った画像が勝手にAIの学習データとして使われるのを好ましく感じない人も多いでしょう。
「自分のブログ記事や商品情報が、勝手にAIの学習に使われているかもしれない」
そんな心配をしているウェブサイト運営者の方は多いのではないでしょうか。

実際に、以下のような問題がおきています
・許可なくサイトデータがダウンロードされ勝手に使われる
・普通の訪問者よりもはるかに多い頻度でアクセスしてくるため、サーバーに負担がかかる
・エンドユーザーの疑問にAIが直接答えてくれるので、サイトを見に来る人が減る
・サイトに設置した広告が見られなくなる（広告での収入が激減）

Cloudflareでは、追加費用なしでそんなAIクローラーをブロックしてコンテンツを守る機能があります。

普通のボットとAIクローラーの違い

ところで、AIのことをAIクローラーと呼ばれたりしますが、ボットとAIクローラーは何が違うのでしょうか？

分類としては、いずれも人間ではないコンピュータを示しています。
ウェブ上にはいろんな「ボット」がありますが、みんな同じことをしているわけではありません。

検索エンジン（クローラー）

わかりやすい例として、たとえば、Googlebot、Bingbotなどの検索エンジンもボットの一種です。
これらは、検索結果に表示するためにサイトの情報を集める、無害なボット（許可された）です。

AI（LLM）

一方、　ChatGPTのGPTBot、ClaudeBotなどはAIクローラーと呼ばれます。
これらは、大規模言語モデル（ChatGPTやClaudeなど）の学習データとしてコンテンツを集めています
集めたデータは主にAIの学習や応答に使われます。

AIクローラーは、冒頭に挙げたような問題を引き起こしています。

CloudflareならAIクローラーだけをブロックできる

CloudflareのAIブロック機能は、SEOに大切な検索エンジンボットはそのままにして、AI学習目的のボットだけをブロックできます。
これで、検索結果に表示される効果は保ちながら、AIに情報収集されるのを防げます。

CloudflareのAIブロック機能をオンにすると、これらのAIクローラーが自動的にブロックされます。

ブロックされるAIクローラー一覧

ボット名 運営会社 何に使われる？
GPTBot OpenAI ChatGPTの学習用
ClaudeBot Anthropic Claudeの学習用
Amazonbot Amazon AmazonのAIサービス用
Applebot Apple AppleのAI機能用
Bytespider ByteDance TikTokの親会社のAI用
Google-CloudVertexBot Google Google CloudのAI用（普通のGooglebotとは別物）
GoogleOther Google その他GoogleのAI用
Meta-ExternalAgent Meta MetaのAI学習用
PetalBot Huawei HuaweiのAI用
TikTokSpider ByteDance TikTok関連のAI用
DuckAssistBot DuckDuckGo DuckDuckGoのAI機能用
CCBot Common Crawl 大規模なウェブデータ収集用

このリストは定期的に更新されて、新しいAIクローラーも追加されます。

CloudflareのAIブロック機能の設定はとても簡単

Cloudflareの管理画面にログインし、右側にある「AIクローラーを制御する」という項目の
「AIトレーニング ボットをブロックする」をオンにするのみです。

たったワンクリックで、上に書いたAIクローラーがすべて自動でブロックされます。

「このAIだけは許可したい」という細かい調整も可能

さきほどの設定は、AI監査（AI Crawl Control）という画面で確認・調整（許可orブロック）ができます。
先ほどの「AIトレーニング ボットをブロックする」をONにすることでいくつかのボットがブロックになっている状態です。

アクションの箇所で「ブロック」になっているものがある

設定するとAIからはどう見える？

実際にAIブロック機能をオンにすると、AIクローラーがサイトにアクセスしようとした時はこうなります。

Cloudflareが何故ボットを遮断できるか？

Cloudflareは世界中でCDN・WAFとして使用されているため、世界のトラフィックのトレンドを熟知しています。
このノウハウによって、ボットを正確に判断しコントロールすることができます。

AIボットに対価をの請求する「Pay Per Crawl」

さらに、新機能として「Pay Per Crawl」のプライベートベータ版が登場しました。
これは単純にブロックするだけでなく、AIクローラーのアクセスに対して実際に課金できる機能です。
現在はベータ版ですが、将来的にはコンテンツとAIが共存する今後のスタンダードになるかもしれません。

Cloudflareの導入・各種機能のサポートはドーモまでご相談ください。

Web表示スピード改善・セキュリティ対策のCloudflare

導入のご相談だけでなく、運用フェーズでのサポートも承ります。
DDoS攻撃や悪質なBot（ボット）からのアクセスを防ぎたい方、WAF機能やプランの詳細を知りたい方、
国内エンジニアによる安心の運用サポートをご希望の方も、ぜひお気軽にお問い合わせください。

さらに詳しい情報を見る
資料をダウンロード（PDF） 無料の診断や導入トライアルご希望など
お問い合わせはこちら