Cloudflareでクローラーを管理！「AIの無断学習」を防ぎ自社のコンテンツを守る

2026年8月5日

Webサイトを運営する上で、GoogleやBingなどの「検索エンジンクローラー」による巡回は、SEO（検索順位）の向上に不可欠です。

しかし昨今では、ChatGPT（OpenAI）やClaude（Anthropic）、ByteDance（Bytespider）といった「AIクローラー」が急増しています。
これらは自社のオリジナルコンテンツをAIの学習（トレーニング）や検索エンジンでの回答生成に無断で使用するため、サーバーへの負荷増大やトラフィックの横取りといった新たな課題を生んでいます。

Cloudflareには、これら多様なクローラーを識別し、「正規の検索エンジンは歓迎し、AIクローラーはブロック・誘導する」といった高度な制御をノーコードで実現する機能が揃っています。本記事では、Cloudflareを活用した最新のAIクローラー管理術に加え、robots.txt のカスタマイズ方法まで詳しく解説します。

1. ドメイン上のAIトラフィックを管理・監視する「AI Crawl Control」

Cloudflareの「AI Crawl Control（AIクローラー制御）」機能を使用すると、生成AIのトレーニングやAI検索（RAG）を目的としたクローラーを、ダッシュボードから一クリックで一元的に監視・制御できます。

Cloudflareのネットワークでは、どのAIクローラー（ByteDance、Apple、OpenAI、Anthropic、Metaなど）が、どのパスにどれだけアクセスしているかをリアルタイムに検出します。これをただブロックするだけでなく、最新のCloudflareでは以下のような高度なアプローチを組み合わせてコンテンツを保護できます。

① 管理された robots.txt（Managed robots.txt）

従来の robots.txt を手動で更新し、新しいAIクローラーのUser-Agentをすべて網羅するのは非常に困難です。 Cloudflareの「管理された robots.txt（Managed robots.txt）」を有効にすると、Cloudflareが既知のAIクローラー向けに最適化した指示文を自動で生成・維持し、コンテンツがAIのトレーニングに使用されないようシグナルを送ってくれます。既存のファイルがある場合は自動でマージ（結合）されます。

② AIトレーニング用リダイレクト（Redirects for AI training）

AIトレーニング用クローラーがサイトを巡回した際、最新のサーバーリソースを消費させないために、古いコンテンツの正規（canonical）バージョンや特定の保護されたエンドポイントへ自動的にリダイレクトさせる機能です。これにより、本番環境のサーバー負荷を最小限に抑えつつ、スクレイピングの効率を落させることができます。

③ AI Crawl Control（技術的な強制ブロック）

robots.txt による制限はあくまでクローラー側の「自主規制」に依存するため、中には指示を無視してスクレイピングを行うものも存在します。そこで、Cloudflareの「AI Crawl Control」タブ画面のクローラー一覧（Crawlers）から、特定のAIクローラーやAIオペレーター単位でアクションを 「Block（ブロック）」 に指定することで、エッジ（WAF層）で技術的な通信ブロックを強制執行できます。

2. クローラー制御の具体的な設定手順

Cloudflareのダッシュボードから、AIクローラーの制限機能を有効化する手順は以下の通りです。

Cloudflareダッシュボードにログインし、対象のドメイン（ゾーン）を選択します。
左側メニューの 「Security（セキュリティ）」 ＞ 「Bots（ボット）」 （または「AI Crawl Control」）をクリックします。
概要画面で以下の機能を必要に応じて 「オン」 に切り替えます。
1. 管理された robots.txt
2. AIトレーニング用リダイレクト
さらに特定のクローラーを確実に遮断したい場合は、同画面内のクローラー一覧から、対象のクローラー（例：Bytespider、GPTBotなど）のActionsを 「Block（ブロック）」 に変更します。

3. 基礎知識：robots.txt の「Disallow」と「Allow」の仕組み

Cloudflareの「管理された robots.txt」と組み合わせる、あるいはオリジンサーバー側で robots.txt をカスタマイズするにあたり、基本となる Disallow と Allow の挙動を理解しておく必要があります。

Disallow:（アクセス拒否） 指定したディレクトリーやファイルへの、クローラーの巡回（クロール）を禁止します。
- 例：Disallow: /wp-admin/（管理画面配下の巡回を禁止）
- 例：Disallow: /（サイト全体の巡回を禁止）
Allow:（アクセス許可） 基本的にはすべてが許可状態ですが、「Disallowで拒否した範囲の中から、特定のページやファイルだけを例外的に許可したい場合」に使用します。
- 例：Disallow: /wp-admin/ で全体を拒否しつつ、Allow: /wp-admin/admin-ajax.php と書くことで、システムに必要な特定のファイルだけをクローラーに読み込ませることができます。

クローラーの解釈ルール（優先順位）

Googleなどの主要な検索エンジンクローラーは、Disallow と Allow の記述が競合した場合、「パターン（文字列）の長さが長い（より具体的な）指示」を優先します。例えば、/images/（長さ8）をDisallowし、/images/public/（長さ15）をAllowした場合、/images/public/ 配下へのアクセスは許可されます。

4. Managed robots.txt は変更可能？記述サンプルを紹介

Cloudflareの「管理された robots.txt」機能は、オリジンサーバーに配置されている既存の robots.txt ファイルを完全に上書きするわけではありません。「既存の記述」と「Cloudflareが自動生成するAIブロック用の記述」を動的にマージして配信する仕組みになっています。

そのため、サーバー上のファイルを書き換えるだけで、独自の拒否設定を追加できます。以下に、実務でよく使われる実践的な変更サンプルを紹介します。

サンプル1：特定のAIクローラーを追加で個別に拒否する（基本形）

Cloudflareの自動機能に加え、特定のAIボットを明示的に指定して拒否・制御したい場合の記述です。

# 既存の検索エンジン（Google等）への指示
User-agent: *
Allow: /

# 特定のAIクローラーをピンポイントで拒否
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

サンプル2：管理画面や特定のディレクトリーを全クローラーから隠す

WordPressの管理画面（wp-admin）や開発中のテスト環境など、検索エンジンも含めたすべてのクローラーに巡回されたくないページを指定するサンプルです。

# すべてのクローラーに対して、特定のディレクトリーを拒否
User-agent: *
Disallow: /wp-admin/
Disallow: /preview/
Disallow: /search/
Allow: /wp-admin/admin-ajax.php

サンプル3：特定の検索エンジンだけ巡回を許可し、他をすべて拒否する

会員制サイトや社内向けポータルなど、Googleだけにインデックスさせ、他の海外検索エンジンやAIボット、スクレイピングツールをまとめて拒否したい場合の高度な設定です。

# Googlebotにはすべてを許可
User-agent: Googlebot
Allow: /

# それ以外のすべてのクローラー（AI含む）はサイト全体を拒否
User-agent: *
Disallow: /

変更・運用時の注意点

大文字・小文字の区別： 命令文やディレクトリー名は、大文字と小文字が正確に区別されるため、記述ミスに注意してください。
WAFとの組み合わせ： robots.txt はクローラー側の善意に依存します。悪質なボットは指示を無視するため、完全に通信を遮断したい場合は、Cloudflareダッシュボード上の「AI Crawl Control」による強制ブロック（WAF）を必ず併用してください。

5. 運用の注意点：Verified Bots（確認済みボット）との関係

Cloudflareには、GooglebotやBingBotなど、サイトの成長に必要な主要クローラーを誤ってブロックしないよう、独自に安全性を検証した「Verified Bots（確認済みボット）」という仕組みがあります。

WAF（カスタムルール）などで独自のBot遮断ルールを作成する場合は、条件式に not cf.client.bot （確認済みボットではない場合）を含めることで、検索エンジンのインデックスを維持したまま、悪質なスクレイピングクローラーだけを安全に弾くことが可能です。ルールを自作する際は、SEOトラフィックを巻き添えにしないよう必ず注意しましょう。