摘要
10 月 30 日提交的 IETF 草案 draft-kelley-aipref-training-preference-signal-00 定义了共享 User-agent 令牌 __usage_ai-training，站点用一条组就能向所有遵守方表达"禁止训练"的偏好，不必逐个列厂商爬虫。微软将于 2027-02-01 起执行，Google 计划 2027 年初跟进。要点：它只是偏好声明，不阻止抓取，也替代不了各家独立 UA 规则。
事件
2026 年 10 月 30 日，Anthropic 的 K. Kelley 向 IETF 提交 Internet-Draft《Machine-Readable Training Preference Signal》，文档编号 draft-kelley-aipref-training-preference-signal-00，Intended status 为 Standards Track，有效期至 2027-05-03。草案不引入新指令名、不改变 robots.txt 语法——路径语言、最长匹配优先级、组结构全部沿用，只是把"按用途命名的策略令牌"放进 User-Agent 行。
关键条款
User-agent: __usage_ai-training Disallow: / Allow: /press-kit/
Disallow表示反对该路径被用于生成式 AI 训练，Allow表示同意；这是一种偏好声明，不产生抓取限制。没有任何爬虫需要发送这个名称，草案本身也不阻止任何抓取动作。
User-agent: *组不计入本机制，泛匹配下的Disallow: /不构成训练偏好表达；文件里没有该组等于完全没有表达。厂商自有令牌优先：Google 仅在未显式指定
Google-Extended时才应用共享退出规则。草案为个人提交，尚未成为工作组文档，细节可能变化。
各厂商执行时间表
| 厂商 | 状态 |
|---|---|
| Microsoft | 2027-02-01 起执行 |
| 计划 2027 年初执行，且仅在未显式设置 Google-Extended 时生效 | |
| OpenAI | 目标为未来数月内支持 |
| Anthropic | 已开始实现 |
采用率现状
HTTP Archive 2026 年 9 月桌面样本显示：668,523 个站点中，13.059% 已为具名 AI 爬虫设置显式规则。各厂商标配 UA 已稳定分层——
| 类别 | 令牌 |
|---|---|
| 训练型 | GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、Bytespider、CCBot、anthropic-ai（旧） |
| 检索型 | OAI-SearchBot、Claude-SearchBot、PerplexityBot |
| 按需抓取 | ChatGPT-User、Claude-User |
规范信息
规范/草案号：draft-kelley-aipref-training-preference-signal-00（Internet-Draft，Standards Track，2027-05-03 到期）
发布日期：2026-10-30
生效日：Microsoft 2027-02-01 起执行；Google 计划 2027 年初；全网强制生效日未披露（草案尚未成为 RFC）
对站长的实操含义
保留逐厂商规则。共享令牌与独立规则并列存在，不构成替代；只写共享组，等于放弃对单个爬虫的精确控制。
新增共享组即可，不必重构。在现有 robots.txt 末尾追加
__usage_ai-training组，声明训练侧偏好，改动成本近乎为零。检索与训练分开配置。放行 OAI-SearchBot / Claude-SearchBot / PerplexityBot 以保住实时引用，拦 GPTBot / ClaudeBot / Google-Extended / CCBot 以退出训练——这是目前最主流的组合。
别把它当抓取闸门。想限制抓取，仍然只能靠每个爬虫自己的 UA；robots.txt 也不是安全边界，付费内容要靠鉴权。
上线后用日志验证。规则改完，观察目标 UA 是否在 24—72 小时内退避，再决定是否需要 WAF 侧补充。
原文出处
IETF Datatracker：https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/
robots.txt for AI crawlers（Web Pulse，2026-11-02）：https://wpnews.pro/news/robots-txt-for-ai-crawlers
robots.txt 成 AI 训练闸门：四大巨头共推退出标准（腾讯新闻，2026-11-02）：https://news.qq.com/rain/a/20261102A01RHF00