AIクローラーとは、ChatGPT・Gemini・Claudeなどの生成AIサービスがWebサイトのコンテンツを収集するために自動巡回するプログラムです。
クローラーを許可するとAI検索での引用・紹介につながる一方、コンテンツが無断でAIモデルの学習に使われるリスクもあります。
Cloudflareで管理できる各AIクローラーの説明と、判断の参考情報をまとめました。
Cloudflareの「AI Crawl Control」を使えば、こうしたAIクローラーの情報を一つの管理画面で網羅的に把握・制御できます。
各クローラーの運営元・目的・リスクを確認し、サイトの方針に合わせてブロックするかどうかをご判断ください。
AI Crawler
AIモデルの学習データ収集を主目的とするクローラー。許可・ブロックの判断がサイト運営者のコンテンツ戦略に直接影響します。
ClaudeBot
Anthropic
AI Crawler
AnthropicのAI「Claude」のモデル学習・知識更新を目的とするクローラーです。ClaudeBotをブロックしてもClaude上でのリアルタイム参照（Claude-User / Claude-SearchBot）は止まりません。robots.txtを適切に尊重するため、許可・拒否の制御が可能です。
robots.txtで許可・拒否を制御できます
GPTBot
OpenAI
AI Crawler
OpenAIのChatGPTモデルの学習・改善専用のクローラーです。収集データはモデルトレーニングに使用されます。GPTBotをブロックしてもChatGPT上でのリアルタイム参照（ChatGPT-User / OAI-SearchBot）は止まりません。robots.txtのGPTBot指定を尊重するため、許可・拒否の制御が可能です。
robots.txtで許可・拒否を制御できます
Claude-User
Anthropic
AI Crawler
ClaudeのユーザーがWeb参照機能を使用した際のクローラー。実際のユーザーの質問に応じてリアルタイムでコンテンツを取得します。実質的なユーザー訪問に近い形でのアクセスであり、AI経由のトラフィックに直結します。
許可推奨
FacebookBot
Meta
AI Crawler
FacebookがURLのプレビュー（OGP）を取得するためのクローラー。SNSでURLがシェアされた際にタイトル・説明・画像を取得します。ユーザーがコンテンツをFacebookでシェアする際に必要なため、基本的に許可することを推奨します。
SNSでURLをシェアする際に必要なクローラーです
Google-CloudVertexBot
Google
AI Crawler
Google Cloud Vertex AIのためのクローラー。GoogleのエンタープライズAIサービス向けのデータ収集に使用されます。Googleのエコシステム内での利用であり、基本的に許可を推奨します。
許可推奨
Cloudflare Crawler
Cloudflare
AI Crawler
CloudflareのAIサービス向けクローラー。自社インフラのサービス改善・AI機能向上のためのデータ収集が目的です。すでにCloudflareを利用している場合、許可することを推奨します。
許可推奨
Bytespider
ByteDance（TikTok）
AI Crawler
TikTok親会社ByteDanceが運用するAIクローラー。大規模言語モデルの学習データ収集が主目的とされています。収集したコンテンツの利用範囲が不透明で、中国企業という背景からコンテンツ権利・データ主権の観点でリスクを懸念する声があります。転送量が多い場合は特に注意が必要です。
コンテンツの性質・利用規約を確認の上、ご判断ください
Meta-ExternalAgent
Meta（Facebook / Instagram）
AI Crawler
MetaのAIサービス（Meta AI）向けのコンテンツ収集クローラー。Facebook・Instagram・WhatsApp上のAI機能の回答生成・改善に使用されます。Metaの利用規約ではコンテンツの学習利用が広範に認められており、制限したい場合はブロックを検討してください。
Metaのデータ利用方針を確認の上、ご判断ください
Amazonbot
Amazon
AI Crawler
AmazonのAlexa・AWS AIサービス向けクローラー。Amazon AIへの学習データ提供目的の可能性があります。転送量が急増している場合はコンテンツを大量収集している可能性があり、動向を監視してください。
転送量が多い場合はコンテンツが大量収集されている可能性があります
CCBot
Common Crawl
AI Crawler
非営利団体Common Crawlのクローラー。収集データは無償公開されており、多くのAI企業がモデル学習に利用しています。GPT・LLaMA等の多くの大規模言語モデルの学習データ源となっています。直接的な商業利用はないものの、間接的にあらゆるAIモデルの学習に使われる可能性があります。
AIモデルの学習データとして利用される可能性があります。提供を避けたい場合はブロックをご検討ください
PetalBot
Huawei
AI Crawler
HuaweiのPetal Search（スマートフォン向け検索エンジン）およびAIサービス向けクローラー。主にHuaweiデバイスユーザーへのリーチに使用されます。中国企業という背景からデータの取り扱いに懸念を持つ場合はブロックを検討してください。
Huaweiデバイスユーザー向けのクローラーです。対象外の場合はブロックをご検討ください
Factset Spyderbot
Factset
AI Crawler
金融データ企業FactSetが運用するクローラー。金融・ビジネス情報の収集が目的で、企業の財務情報・ニュース等を対象にします。金融関連コンテンツを持つサイトの場合、データが商業利用される可能性があります。
金融・ビジネス情報を商業利用する可能性があります。サイトの性質に合わせてご判断ください
Novellum AI Crawl
Novellum
AI Crawler
AIスタートアップNovellumのクローラー。詳細な利用目的・データの取り扱い方針が不明確なため、慎重な対応を推奨します。
詳細な利用目的が不明確です。ご判断ください
ProRataInc
ProRata.ai
AI Crawler
AI収益分配プラットフォームProRata.aiのクローラー。コンテンツクリエイターへの収益還元を目的としたデータ収集を行うとされていますが、詳細な利用方針の確認を推奨します。
利用規約を確認の上、ご判断ください
Timpibot
Timpi
AI Crawler
分散型検索エンジンTimpiのクローラー。ブロックチェーンベースの検索インデックス構築が目的とされています。新興サービスのため実績・信頼性の確認を推奨します。
新興サービスのため実績・信頼性の確認をお勧めします
TikTok Spider
ByteDance
AI Crawler
ByteDanceが運用するもう一つのクローラー。TikTokのコンテンツ推薦・AI機能向けのデータ収集が目的とみられます。Bytespiderと同じByteDance傘下であり、作成したコンテンツがTikTokのAI機能に無断で利用される可能性があります。
⚠ 注意が必要
AI Search
AI検索エンジンがサイトのコンテンツをインデックスするためのクローラー。許可することでAI検索経由の新規流入が期待できます。
Applebot
Apple
AI Search
AppleのSiriおよびSpotlight検索向けクローラー。Apple Intelligence（生成AI機能）のWeb参照にも使用されます。iPhoneユーザーへのリーチに重要で、robots.txtを適切に尊重します。Apple製品ユーザーへの露出向上につながるため許可を推奨します。
iPhoneユーザーへのリーチに関わります。許可するかご判断ください
PerplexityBot
Perplexity
AI Search
AI検索エンジンPerplexity.aiのインデックスクローラー。ユーザーの質問への回答にサイトのコンテンツが引用されます。Perplexityは引用元URLを明示するため直接流入が期待でき、急成長中のAI検索プラットフォームからの流入として注目されています。
引用元としてサイトへの直接流入が期待できます
OAI-SearchBot
OpenAI
AI Search
OpenAIのAI検索エンジン（SearchGPT）専用インデックスクローラー。GPTBotがモデル学習用なのに対し、こちらは検索結果へのインデックス登録が目的です。SearchGPT経由の検索流入を獲得するために必要なクローラーで、今後のAI検索市場拡大を見据えて許可を推奨します。
AI検索経由の流入獲得に関わります。許可するかご判断ください
Claude-SearchBot
Anthropic
AI Search
AnthropicのClaude AI検索機能専用クローラー。Claude上でのWeb検索・情報参照に使用されます。Claude経由のコンテンツ参照・引用増加につながるため許可を推奨します。
許可推奨
Seekport
SISTRIX
AI Search
SEOツールSISTRIXのクローラー。検索順位・可視性の分析データ収集が目的で、Webサイトのパフォーマンス指標の測定に使用されます。SEO分析目的のクローラーで悪意はなく、許可を推奨します。
SEO分析目的のクローラーです
AI Assistant
AIアシスタントがユーザーの質問にリアルタイムで回答する際に使用するクローラー。実際のユーザー操作に基づくアクセスで、AI経由の集客に直結します。
ChatGPT-User
OpenAI
AI Assistant
ChatGPTのユーザーがブラウズ機能（Browse with Bing）でサイトにアクセスした際のクローラー。GPTBotと異なり、実際のユーザーの質問に応じてリアルタイムでコンテンツを取得します。実質的なユーザー訪問に近く、AI経由の集客に直結します。
実際のユーザー操作に基づくアクセスです
Perplexity-User
Perplexity
AI Assistant
Perplexityのユーザーが質問した際にリアルタイムでコンテンツを取得するクローラー。PerplexityBotがインデックス用なのに対し、こちらはユーザーの質問への即時回答用です。引用元として流入増加が期待できます。
許可推奨
ChatGPT agent
OpenAI
AI Assistant
ChatGPTのAIエージェント機能が使用するクローラー。タスク実行・情報収集のためにWebページを参照します。AIエージェントによる自動タスク実行に伴うアクセスで、実際のユーザー操作に基づくものです。
許可推奨
ShapBot
Parallel
AI Assistant
AIアシスタントサービスParallelのクローラー。ユーザーの質問への回答のためWebコンテンツを参照します。新興AIサービスながら基本的な礼儀（robots.txt尊重）を守っているとされています。
許可推奨
DuckAssistBot
DuckDuckGo
AI Assistant
DuckDuckGoのAI機能（DuckAssist）が使用するクローラー。プライバシーを重視するユーザー層への回答生成に使用されます。DuckDuckGoはプライバシー保護を重視しており、データの取り扱いは比較的安全です。
プライバシー重視のユーザー層へのリーチに関わります
MistralAI-User
Mistral AI
AI Assistant
欧州発AIスタートアップMistral AIのアシスタントが使用するクローラー。EUのAI規制に準拠した形で運用されており、ユーザーの質問への回答用にコンテンツを参照します。欧州ユーザー層へのリーチが期待できます。
欧州ユーザー層へのリーチに関わります
Manus Bot
Manus
AI Assistant
AIエージェントサービスManusが使用するクローラー。ユーザーのタスク実行のためにWebコンテンツを参照します。実際のユーザー操作に基づくアクセスで、基本的に許可を推奨します。
許可推奨
Google NotebookLM
Google
AI Assistant
GoogleのAIノートツール「NotebookLM」が使用するクローラー。ユーザーが指定したWebページの内容を要約・分析するために使用します。ユーザーの明示的な操作に基づくアクセスで、許可を推奨します。
許可推奨
YouBot
You.com
AI Assistant
AI検索・アシスタントサービスYou.comのクローラー。ユーザーの質問への回答とWeb検索のためにコンテンツを参照します。引用元として流入が期待でき、robots.txtを尊重します。
許可推奨
Browserbase
Browserbase
AI Assistant
AIエージェント向けのブラウザ自動化サービスBrowserbaseのクローラー。開発者がAIエージェントにWebブラウジングを行わせるためのインフラです。利用者の目的によっては自動スクレイピングに使われる可能性があります。
利用者の目的によってはスクレイピングに使われる可能性があります
Devin
Devin AI
AI Assistant
AIソフトウェアエンジニア「Devin」が使用するクローラー。コーディングタスクの実行中にWeb上の技術ドキュメントや情報を参照します。開発関連の情報収集が主目的で、大量アクセスには至りにくいです。
技術ドキュメントの参照が主目的です。サイトの性質に合わせてご判断ください
Meta-ExternalFetcher
Meta
AI Assistant
Meta AIアシスタントがユーザーの質問への回答用にコンテンツを取得するクローラー。Meta-ExternalAgentと異なり、リアルタイムの情報取得が目的です。Metaのデータ利用方針を確認の上判断してください。
Metaのデータ利用方針を確認の上、ご判断ください
Search Engine Crawler
従来型の検索エンジンがインデックス構築に使用するクローラー。Google・Bingなど主要検索エンジンのクローラーはSEOの観点から原則許可が必要です。
BingBot
Microsoft
Search Engine Crawler
MicrosoftのBing検索エンジンのクローラー。BingおよびMicrosoft Copilot（AI検索）へのインデックス登録に使用されます。WindowsのEdgeブラウザデフォルト検索エンジンであり、ビジネスユーザーへのリーチに重要です。許可を強く推奨します。
✅ 許可強く推奨。Bing・Copilot流入に必要
Googlebot
Google
Search Engine Crawler
Google検索エンジンのクローラー。Google検索結果およびGoogle AI Overview（AIによる概要回答）へのインデックス登録に使用されます。SEOの基本中の基本であり、ブロックすると検索流入がゼロになります。必ず許可してください。
ブロックするとGoogle検索からの流入がなくなります。原則許可をお勧めします
Toutiao
ByteDance
Search Engine Crawler
ByteDance（TikTok親会社）が運営するニュースアプリ「今日頭条（Toutiao）」のクローラー。中国国内向けのニュースコンテンツ配信が目的です。中国ユーザーへのリーチが不要な場合や、ByteDanceのデータ利用に懸念がある場合はブロックを検討してください。
中国国内ユーザー向けのクローラーです。対象外の場合はブロックをご検討ください
Baidu
Baidu
Search Engine Crawler
中国最大の検索エンジンBaiduのクローラー。中国ユーザー向けの検索インデックス構築が目的です。日本語サイトへの中国からのアクセスが必要かどうかで判断してください。中国向けビジネスがない場合はブロックしても支障ありません。
中国向けビジネスがない場合はブロックしても支障ありません
Coveo Bot
Coveo
Search Engine Crawler
エンタープライズ向け検索・AI推薦プラットフォームCoveoのクローラー。企業内検索システムやECサイトの商品推薦エンジンのデータ収集に使用されます。自社がCoveoを利用している場合は許可、そうでない場合は不要なクローラーです。
自社でCoveoを利用していない場合は不要なクローラーです
Dataprovider.com
Dataprovider.com
Search Engine Crawler
Webデータ収集・分析企業Dataprovider.comのクローラー。Webサイトの技術情報・コンテンツを収集して販売するビジネスモデルです。収集データが第三者に販売される可能性があるため、ブロックを検討してください。
収集データが第三者に販売される可能性があります
Terracotta Bot
Ceramic
Search Engine Crawler
分散型データプロトコルCeramicのクローラー。Web3・ブロックチェーン関連のデータ収集が目的とされています。利用目的・データの取り扱いが不明確なため、詳細確認を推奨します。
利用目的・データの取り扱いが不明確です。確認の上ご判断ください
Archiver
Webページの歴史的保存・アーカイブを目的とするクローラー。非営利目的のものが多く、基本的に許可しても問題ありません。
archive.org_bot
Internet Archive
Archiver
非営利団体Internet ArchiveのWayback Machine用クローラー。Webページを定期的に保存し、過去のコンテンツを誰でも閲覧できる公開アーカイブとして提供します。商業目的はなく、コンテンツの長期的な保存と歴史的記録への貢献が目的です。
非営利の歴史的保存目的のクローラーです
Arquivo Web Crawler
Arquivo
Archiver
ポルトガルの国立図書館が運営するWebアーカイブサービスArquivoのクローラー。主にポルトガル語のWebコンテンツの保存が目的の非営利サービスです。学術・歴史的目的のアーカイブで問題はありません。
非営利・学術目的のクローラーです
Anchor Browser
Anchor（旧称）
Archiver
AIエージェントが人間の代わりにWebブラウジングを行うためのクラウド型ブラウザ自動化プラットフォームです。Googleが提供するアーカイバーではなく、AIエージェントによるスクレイピング・自動操作に使用されます。利用者の目的によっては自動データ収集に使われる可能性があります。
利用者の目的によっては自動データ収集に使われる可能性があります
Web表示スピード改善・セキュリティ対策のCloudflare
導入のご相談だけでなく、運用フェーズでのサポートも承ります。
DDoS攻撃や悪質なBot（ボット）からのアクセスを防ぎたい方、WAF機能やプランの詳細を知りたい方、
国内エンジニアによる安心の運用サポートをご希望の方も、ぜひお気軽にお問い合わせください。
