实操指南 · 2026-08-03 robots.txt 要不要拦截 GPTBot、ClaudeBot 等 AI 爬虫 拦不拦 AI 爬虫取决于你是否希望内容进入训练或检索。要被生成式搜索引用,通常应允许抓取核心页,同时拦后台和上传目录。