このチェッカーで確認できること
robots.txtのグループを読み取り、主要なAI検索、学習、ユーザー起点、制御トークンが明示的に指定されているか、一般クローラールールだけを継承しているかを確認します。
AIクローラーアクセス
Robots.txt AIクローラーチェッカー
robots.txtを貼り付けると、主要なAI検索、学習、ユーザー起点、制御トークンが許可、ブロック、不明確のどれかを確認できます。
貼り付けて即時に確認できます。robots.txtの内容はこのデバイス内に留まります。
AIクローラールールを確認できます
robots.txtを貼り付けると、OpenAI、Anthropic、Google、Perplexity、Common Crawlに関するアクセスシグナルを確認できます。
AIクローラールールが重要な理由
robots.txtは、AI回答エンジン、ブラウジング型Agent、モデル学習クローラー、データセットクローラーが公開ページへ到達できるかに影響します。
結果の使い方
まず混在ルールを解消し、そのうえで各AIクローラーを可視性のために許可するか、コンテンツ管理のためにブロックするか決めてください。
関連するAI検索ツール
FAQ
どのAIクローラーを確認しますか？
OAI-SearchBot、GPTBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、Google-Extended、PerplexityBot、CCBot、および全クローラー向けのフォールバックルールを確認します。
GPTBotやClaudeBotは許可すべきですか？
AI検索での可視性を重視する場合は検索向けAgentの許可を検討してください。学習向けAgentは、コンテンツ再利用の管理方針に応じて別途判断するのが適切です。
Google-ExtendedはGooglebotと同じですか？
いいえ。Google-Extendedはrobots.txtの制御トークンであり、別個のHTTPクローラーUser-Agentではありません。また通常のGoogle検索掲載を制御するものでもありません。
robots.txtでAIシステムによるコンテンツ利用を完全に防げますか？
robots.txtは協調的なクローラー向けのアクセス方針であり、すべてのコンテンツ利用を法的または技術的に保証して防ぐものではありません。
© 2026 Felo Inc.