Cloudflareの新機能「Bot Preference Sync」で実現するAIボットポリシーの自動制御とrobots.txt自動生成

2026年10月15日

AIの急速な普及に伴い、ウェブサイト運営者にとって「AIクローラーに自社サイトをどう扱わせるか」のコントロールは重要なテーマとなっています。
Cloudflareは、ダッシュボード上の設定とrobots.txtの記述を完全に同期させる新機能「Bot Preference Sync」の提供を開始しました。

この記事では、Cloudflareでの設定方法と、AIボットポリシーの分類、「Bot Preference Sync」によって実際のファイルがどのように生成・制御されるのかを詳しく解説します。

1. Cloudflareでの設定方法

Cloudflare上でAIボットのポリシーを構成するには、ダッシュボードの以下のメニューから設定を行います。

設定パス: 「セキュリティ」＞「設定」＞「AI ボットポリシーを設定」

ここでは、サイトへのアクセスを試みるAIボットを以下の3つの目的に分類し、それぞれ個別にポリシーを設定できるようになっています。

検索（Search）
- 検索エンジンの結果に自社サイトが表示されるように、サイトをスキャンするボット。
エージェント（Agent）
- ユーザーの質問に対して直接回答を提供するため、サイトから情報を取得・引用するAIエージェントのボット。
トレーニング（Training）
- LLM（大規模言語モデル）などのAIモデルを学習させるために、コンテンツをごっそり取得するクローラー。

従来の「すべて許可するか、すべてブロックするか」という極端な選択肢ではなく、「検索やAI要約による露出は維持したいが、無断でのAIモデル学習には使わせたくない」といった、現代のニーズに合わせた細やかなコントロールが可能です。

2. 「Bot Preference Sync」を有効にすると何が起きるのか？

ダッシュボード上で「Enable Bot Preference Sync」にチェックを入れて設定を保存すると、サイトのルート直下（[example.com/robots.txt](https://example.com/robots.txt)）に、Cloudflareが自動管理するブロックセクションが動的に生成・プレペン（先頭への挿入）されます。

実際の出力例は以下のようになります。

Plaintext

# As a condition of accessing this website, you agree to abide by the following
# content signals:
# … (中略：Content-Signalのルール定義とEU著作権指令に関する留保事項) …

# BEGIN Cloudflare Managed content

User-agent: *
Content-Signal: search=yes,ai-train=no,use=reference
Allow: /

# Training crawlers
User-agent: Amazonbot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: ClaudeBot
Disallow: /
# (中略：各社AIトレーナーや各種クローラーのUser-agentごとのDisallow設定が自動網羅される)

# END Cloudflare Managed Content

# — ここから下は既存の独自設定（例：WordPressなどの記述） —
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/wp-sitemap.xml

生成されるファイルの重要なポイント

Content-Signal（コンテンツシグナル）の明示: ファイル冒頭および設定行にて、search=yes, ai-train=no, use=reference といった機械可読なシグナルが自動出力されます。これにより、AIクローラー側に対して「検索（search）は許可、AIトレーニング（ai-train）は拒否」といったポリシーを明確に伝達できます。
EU著作権指令（DSM指令）第4条に基づく権利留保の宣言: ファイル上部には、EU指令に基づくコンテンツのデータマイニング（TDM）に対する権利留保の定型文が自動挿入され、法的・ポリシー的な保護を強固にします。
主要AIクローラーの網羅的ブロック: Amazonbot, Applebot-Extended, ClaudeBot, GPTBot, Bytespider など、国内外の主要なAIトレーナーやクローラーのユーザーエージェントが自動的にリストアップされ、個別に手動メンテする手間なく一括ブロックされます。
既存の設定との共存: Cloudflareによって自動管理される範囲（# BEGIN Cloudflare Managed content から # END Cloudflare Managed Content まで）が明確に区切られるため、その下部に配置しているWordPress等の既存の記述（Disallow: /wp-admin/ や Sitemap など）を壊すことなく、安全に共存・統合されます。