robots.txt 多了 AI 训练退出键：按下前要分清三个开关

结论先说：10 月 30 日那条"统一退出键"管的是能不能拿去训练，不是能不能被抓取，更不是能不能出现在 AI 答案里。

三件事被压成一句话传播，才有了这一轮密集的误配：有人以为加上就安全了，有人以为加上就从此消失。

这篇把三个开关拆开，说清每个开关影响什么、不影响什么，以及在 robots.txt 里怎么写才不会写反。

现象与数据：四家同日表态，生效时间各不同

一句话结论：一次声明可以跨厂商表达，但四家的落地时间差了一年多，写下去不等于立刻生效。

2026 年 10 月 30 日，Anthropic 标准事务负责人 Kevin Kelley 向 IETF 提交草案，编号 draft-kelley-aipref-training-preference-signal-00，定义了一个新的 robots.txt 策略标记 `__usage_ai-training`。

同日，Google 由 John Mueller 署名、微软必应由 Krishna Madhavan 署名、OpenAI 在其政策栏目，分别表态支持同一信号。

草案本身是个人提交（individual submission），IETF 明确声明"未获背书、在标准流程中无正式地位"，有效期至 2027 年 5 月 3 日。

厂商	覆盖的开关	时间口径	关键前提
Google	训练，等同禁止 Google-Extended	目标 2027 年	显式允许 Google-Extended 的站点仍可进入 Gemini 应用的回答
微软必应	训练 + grounding 两个偏好	2027 年 2 月 1 日起	取代 2023 年的 NoArchive 与 NoCache
OpenAI	训练	未来数月落地	实现时另行发布说明
Anthropic	训练	已开始实现	草案由其标准负责人提交
Meta	——	未承诺	仅公开表态支持共同信号

这张表按各家官方文档与同题报道交叉核对，时间口径以厂商文档为准，条款口径以草案原文为准。

开关一：训练偏好，写法比想象中窄

一句话结论：这个标记必须显式写出，写给所有爬虫的通配组不会被当成训练偏好。

标记写在爬虫名的位置

草案没有新增指令名，也没有改语法。站点在原本写爬虫名的地方写策略标记，后面照常用允许与禁止：`User-Agent: __usage_ai-training` 加 `Disallow: /`。

路径匹配与最长匹配优先级沿用 RFC 9309，现有解析器即使不认识这个标记，也只会忽略对应分组，不会破坏原有搜索抓取规则。

通配符不算数

草案用大写 MUST NOT 规定：`User-Agent: *` 组不得被解读为命中该策略标记。这句话的实用含义是——很多站点已经写了全局禁止，但那不等于表达了训练偏好。

反过来也成立：如果文件里没有任何一组包含该标记，则视为"未表达任何偏好"，厂商拿不到可执行的信号。

可以只拒绝一部分目录

路径级写法保留了例外空间。比如整站拒绝训练、但开放品牌资料目录，就在标记组里写禁止全站、再允许该目录。

这条对媒体站与品牌站的意义不同：前者常用它保住新闻正文，后者常用它放开资料页。

开关二：抓取是另一套规则，草案写得很直白

一句话结论：训练偏好不是抓取指令，想拦爬虫还得按爬虫名一个个来，或者用访问控制。

草案原文有一句边界声明：这个策略标记不是抓取行为的指令。原文还用"独立且正交"来描述内容用途偏好与流量管理信号的关系。

所以要限制访问，仍要针对具体爬虫写分组，或者用 403、登录墙、WAF 规则这类访问控制手段。两套信号写在同一份文件里，各管各的。

这一条最容易写反。把训练偏好当成"封站开关"，结果是抓取没拦住，训练偏好倒是表达了；而如果只拦抓取、没表达训练偏好，内容依旧可能进了训练集。这两类误配在实测里都出现过。

开关三：grounding 才是"进不进答案"的那一环

一句话结论：真正决定品牌能否出现在回答里的，是检索落地这一层，而它被微软单独拆成了一个开关。

微软在共享的训练偏好之外，另设了 AI Grounding 偏好：可以只允许自家的 AI Mode、AI Overviews、Copilot 与 Microsoft 365 使用站点内容来生成回答，同时排除 Web IQ、Foundry API 等第三方 grounding 服务。

Google 的说法方向一致但更简短：显式允许 Google-Extended 的站点，仍有资格出现在 Gemini 应用的 grounding 回答里并获得点击。这句表述的口径来自其搜索中心博文，措辞是"仍有资格"，不是"必然出现"。

换句话说，"拒绝训练"和"允许被引用"是可以同时成立的组合，而且这恰好是多数内容站与品牌站想要的组合。

三个开关的四种组合，结果完全不同

一句话结论：把三个开关当成一个总开关来配，是这一轮最贵的错误。

训练	抓取	grounding	企业实际会看到什么
允许	允许	允许	内容既进模型也可被引用，代价是独家内容失去稀缺性
拒绝	允许	允许	不进训练集，仍可被抓取与引用，多数内容站的默认选择
拒绝	拒绝	不允许	AI 侧长期拿不到新内容，可见度随存量衰减
允许	拒绝	不允许	模型"记得"你，但引不到具体页面，无法作为信源出现

四种组合里，第三种最常见于情绪化决策：一次性全关，看到当月没出事，半年后发现 AI 答案里提都不提。

反直觉：该先查的不是训练开关，是抓取

结论与直觉相反：想让品牌少出现在 AI 答案里，关训练没用；想让它多出现，先看抓取有没有被别的规则挡住。

Muck Rack 与 Generative Pulse 在 2026 年 10 月 28 日发布的报告给了一组对照：屏蔽 Claude 检索爬虫的发布方中，81% 几乎没有 Claude 引用；允许抓取的发布方中，该比例只有 12%。

同一份报告的 9 月分析覆盖 1,020 条 prompt、四个平台，样本期内四家平台同时引用的域名只有 212 个。抓取资格与平台覆盖，直接决定可被引用的机会。

所以站点体检的顺序应当是先抓取、再索引、后引用，训练偏好排在最后。灵曦 GEO 在给企业做站点体检时，也把这个顺序写进了检查表，先跑可访问性，再谈内容结构。

如果对抓取到引用的链路还不熟，可以先看页面被引用前的八级流水线那篇。

robots 自查怎么做：5 个步骤的清单

1. 先看现状：直接打开站点根的 robots.txt，确认有没有针对 GPTBot、ClaudeBot、Google-Extended、PerplexityBot 的独立分组，以及有没有 `User-Agent: *` 的全局禁止。
2. 把三个开关分行写：训练偏好一组、抓取分组一组、访问控制另一层。三者写在同一个文件里可以，但不要用一条规则去表达三个意思。
3. 要拒绝训练就显式写标记：`User-Agent: __usage_ai-training` 加 `Disallow: /`，不要指望通配组替你表达。
4. 留出例外目录：品牌资料、产品参数、新闻稿这类希望被反复引用的页面，用 Allow 单独放开，别整站一刀切。
5. 三个月后复测一次：用固定 User-Agent 抓一次页面看是否 200，再用固定问题集在目标平台跑一轮，比对引用条数是否变化。

五步里前四步是配置，最后一步才是验证。没有复测的配置，等于没配。

常见问题

加了 `__usage_ai-training` 会不会从 AI 答案里消失？

不会直接导致。这个标记只表达训练用途的偏好，草案明确它不是抓取指令。能否出现在答案里取决于抓取、索引与 grounding 三层，与训练偏好是并列关系。

`User-Agent: *` 写了 Disallow 是不是就等于拒绝训练？

不是。草案用 MUST NOT 规定通配组不得被解读为命中该策略标记。没写标记，等于没表达偏好。

我只想拒绝训练、还想被 AI 引用，该怎么配？

写训练标记表达拒绝，抓取与 grounding 保持开放，并确认目标厂商的 grounding 偏好没有被一起关掉。微软把这层单独拆成了开关，可以分开设置。

现在配了有法律效力吗？

目前没有强制力。草案是个人提交，IETF 未背书，执行靠厂商自愿；私有合同与商业协议可以覆盖这条偏好信号，也可以反过来要求站点开放。

已经训练过的数据能撤回吗？

不能。信号只约束后续抓取与使用，草案没有追溯条款。这也是不少内容方转向访问控制的实际原因。

网站已经在用 CDN 的默认拦截，还要配这个吗？

要分开看。默认拦截管的是访问层，训练偏好管的是用途层，两者不互相替代。拦了抓取但没表达偏好，内容仍可能通过其他渠道进入训练集。

国内平台认这条规则吗？

目前公开表态的四家都是海外厂商，草案也没有约束未参与的爬虫。豆包、DeepSeek、千问、元宝的抓取与引用规则，要看各自文档与实际行为，不能套用这条标记的语义。

数据与来源

• IETF Datatracker，draft-kelley-aipref-training-preference-signal-00，Kevin Kelley（Anthropic）提交，2026-10-30，有效期至 2027-05-03；标记定义、通配组 MUST NOT、非抓取指令等表述均出自原文。原文
• AI 产品库，四家厂商表态与生效时间表综述（综合 Google Search Central、Bing 博客、OpenAI 博客与 The Verge 同题报道），2026-10-30。原文
• 拓实科技，译介 PPC Land 报道，含四条易错细节（通配符不算数、管用途不管抓取、训练定义来自 IETF 词汇表），2026-10-30。原文
• Muck Rack × Generative Pulse，What Is AI Reading? 2026 年 10 月版，2026-10-28 发布；爬虫屏蔽与引用关系（81% 对 12%）、9 月分析 1,020 条 prompt、四平台共同引用域名 212 个。原文

边界与不适用

一句话结论：这是一条还没有强制力的行业约定，把它当合规义务或技术防火墙都会失望。

草案未获 IETF 背书，四家厂商的落地时间从"未来数月"到 2027 年不等，未参与的爬虫不受约束。配了不等于生效，生效也不等于所有平台都遵守；进度以各家文档的当期口径为准。

它只约束后续使用，不追溯已经完成的训练。指望一条标记解决内容被无偿使用的问题，方向就错了。

国内平台是另一套变量。豆包、DeepSeek、千问、元宝的抓取策略、引用结构与国内内容生态绑定，海外的策略标记语义不能直接迁移；做国内项目的站点，应当以各平台文档和实测为准，而不是照抄海外配置。

结语

三个开关，三个不同的后果。按下之前先想清楚要的是哪一个，比写对语法更重要。

如果对"被采用"和"被读取"的区别还没分清，可以先看llms.txt 的采用率与读取率那篇，逻辑是一样的。

需要一次按抓取、索引、引用三段拆开的站点体检，可以看灵曦 GEO 的生成式引擎优化服务页面。

河南灵曦文化传媒有限公司 · 灵曦 GEO