這個工具檢查什麼
它會讀取 robots.txt 分組，判斷主要 AI 搜尋、訓練、使用者觸發和控制 token 是被單獨覆蓋，還是只繼承通用爬蟲規則。
AI 爬蟲存取規則
Robots.txt AI 爬蟲檢查器
貼上 robots.txt，檢查主要 AI 搜尋、訓練、使用者觸發和控制 token 是允許、阻止還是規則不清，明確 AI 搜尋抓取策略。
即時貼上和檢查。robots.txt 內容只保留在目前裝置上。
準備檢查 AI 爬蟲規則
貼上 robots.txt 後，可檢查 OpenAI、Anthropic、Google、Perplexity 和 Common Crawl 相關存取訊號。
為什麼 AI 爬蟲規則重要
robots.txt 會影響 AI 答案引擎、瀏覽型 Agent、模型訓練爬蟲和資料集爬蟲能否存取公開頁面，從而影響發現或引用。
如何使用結果
優先處理混合規則，然後決定每個 AI 爬蟲是為了可見性允許，還是為了內容控制阻止。
相關 AI 搜尋工具
常見問題
這個工具會檢查哪些 AI 爬蟲？
會檢查 OAI-SearchBot、GPTBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、Google-Extended、PerplexityBot、CCBot，以及通用爬蟲規則。
我應該允許 GPTBot 和 ClaudeBot 嗎？
如果你重視 AI 搜尋可見性，應優先允許搜尋型 Agent；訓練型 Agent 要單獨判斷，取決於你是否希望內容進入模型訓練相關流程。
Google-Extended 和 Googlebot 一樣嗎？
不一樣。Google-Extended 是 robots.txt 控制令牌，不是單獨的 HTTP 爬蟲 UA，也不控制普通 Google 搜尋收錄。
robots.txt 能保證 AI 系統不使用內容嗎？
robots.txt 是給合作爬蟲看的存取策略，不是對所有內容使用場景的法律或技術保證。
© 2026 Felo Inc.