这个工具检查什么
它会读取 robots.txt 分组，判断主要 AI 搜索、训练、用户触发和控制 token 是被单独覆盖，还是只继承通用爬虫规则。
AI 爬虫访问规则
Robots.txt AI 爬虫检查器
粘贴 robots.txt，检查主要 AI 搜索、训练、用户触发和控制 token 是允许、阻止还是规则不清，明确 AI 搜索抓取策略。
即时粘贴和检查。robots.txt 内容只保留在当前设备上。
准备检查 AI 爬虫规则
粘贴 robots.txt 后，可检查 OpenAI、Anthropic、Google、Perplexity 和 Common Crawl 相关访问信号。
为什么 AI 爬虫规则重要
robots.txt 会影响 AI 答案引擎、浏览型 Agent、模型训练爬虫和数据集爬虫能否访问公开页面，从而影响发现或引用。
如何使用结果
优先处理混合规则，然后决定每个 AI 爬虫是为了可见性允许，还是为了内容控制阻止。
相关 AI 搜索工具
常见问题
这个工具会检查哪些 AI 爬虫？
会检查 OAI-SearchBot、GPTBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、Google-Extended、PerplexityBot、CCBot，以及通用爬虫规则。
我应该允许 GPTBot 和 ClaudeBot 吗？
如果你重视 AI 搜索可见性，应优先允许搜索型 Agent；训练型 Agent 要单独判断，取决于你是否希望内容进入模型训练相关流程。
Google-Extended 和 Googlebot 一样吗？
不一样。Google-Extended 是 robots.txt 控制令牌，不是单独的 HTTP 爬虫 UA，也不控制普通 Google 搜索收录。
robots.txt 能保证 AI 系统不使用内容吗？
robots.txt 是给合作爬虫看的访问策略，不是对所有内容使用场景的法律或技术保证。
© 2026 Felo Inc.