ウェブの世界はいま、人間や検索エンジンだけでなく「AIエージェント」に正しく情報を伝えることが求められる大きな転換期を迎えています。しかし、実際にどれほどのサイトが対応できているのでしょうか。
Cloudflareの調査によると、robots.txt自体は8割近いサイトが導入していますが、その大半は従来のクローラー向けの設定にとどまっています。AIへの利用条件を明示する「Content Signals」や、効率的なデータ提供を行う「Markdownコンテンツ交渉」を導入しているサイトはわずか4%未満であり、MCPサーバーやAPIカタログといった最新標準に至っては、調査対象の中で20サイトにも満たない状況です。
これは、今これらを採用するだけで、他社に先駆けてAIエージェントにとって最も使いやすいサイトとして差別化できる大きなチャンスがあることを示しています。
先日、CloudflareはAIエージェントがサイトを適切に利用できるか診断できるツール http://isitagentready.comを公開しました。
このツールは、自社のウェブサイトがAIエージェントにとってどれだけ最適化できているかを可視化することができます。

診断をもとにAIへのウェブサイト最適化を行えばよりAIフレンドリーなサイトになります。
診断ツールは完全に無料で利用できます。Cloudflareのユーザーである必要はなく、診断したいサイトのURLを入力するだけで誰でもすぐに診断結果を確認することができます。

診断の項目と内容
診断は数秒で完了します。
①Discoverability(発見可能性)
robots.txtやsitemap.xmlでエージェントがサイト構造を把握できるか、またLinkヘッダー(RFC 8288)でAPIなどの重要リソースを直接案内できるかを確認します。
②Content(コンテンツ品質)
AIエージェントがAccept: text/markdownヘッダーを送った際にMarkdown形式で応答できるかをチェック。
③Bot Access Control(ボットアクセス制御)
Content Signalsを使いAI学習・推論・検索それぞれへの利用可否を細かく宣言できるか、またWeb Bot Auth(IETF標準草案)でボットが署名付きリクエストにより自己認証できるかを評価します。
④API, Auth, MCP & Skill Discovery(エージェント連携機能)
MCP Server CardでAIエージェントがツールの存在を事前に把握できるか、API Catalog(RFC 9727)でAPIを一括公開しているか、OAuthサーバー検出(RFC 9728)でエージェントが認証フローを自動処理できるかなどを確認します。
改善の方法
診断結果でスコアが低かった項目については、 AIが理解しやすい形式でのコンテンツ提供や最新の技術標準への準拠、という点での改善が必要になってきます。
まずは、最も効果が高く、かつ着手しやすい以下の2つから始めるのがおすすめです。
1. 「Markdown for Agents」を使用する
AIが「Markdownで読みたい」とリクエストしてきた時だけ、HTMLではなくMarkdownを返すように設定します。
これにより、AIが読むデータ量が最大80%減り、回答が速く・正確になります。
Cloudflareのユーザーであれば、ダッシュボードから機能を有効化するだけで設定完了です。
サーバー側のコードを書き換える必要はありません。
2. 診断ツールの「専用プロンプト」をコピーして使う
自分でコードを考える必要はありません。
診断結果に表示されるAIへの指示書(プロンプト)をコピーします。
それをChatGPTやClaudeなどのAIエディタに貼り付けるだけ。必要な設定ファイルやコードをAIが勝手に生成してくれます。

本機能の詳細については、Cloudflareのブログも併せてご確認ください。
https://blog.cloudflare.com/agent-readiness
Web表示スピード改善・セキュリティ対策のCloudflare
導入のご相談だけでなく、運用フェーズでのサポートも承ります。
DDoS攻撃や悪質なBot(ボット)からのアクセスを防ぎたい方、WAF機能やプランの詳細を知りたい方、
国内エンジニアによる安心の運用サポートをご希望の方も、ぜひお気軽にお問い合わせください。
