【ALENG 自媒体】10月31日早间自媒体专稿，如果你在网上写过点什么——博客、论坛、公众号、一个小工具的使用说明——从今天起，你手里多了一张正经的护身符。而它只有两行长。
先说今天这桩事。当地时间10月30日，OpenAI 在官方博客宣布，将遵守 robots.txt 里一个跨厂商统一的“策略令牌”，名字叫 __usage_ai-training。同一天，谷歌在 Search Central 发文说会跟进来，微软 Bing 的博客挂出了《你的内容，你选择》，Anthropic 则已经在默默实现。The Verge 报道说，Meta 的传播主管 Andy Stone 也表了态，但没说自己会不会真的照做。
用法简单到有点不像话。在网站根目录放一个叫 robots.txt 的文件，写三行：
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
意思是：所有拿去训练模型的爬虫，别进；但 /press-kit/ 下面的新闻稿可以拿去用。这套写法出自 Anthropic 标准技术负责人 Kevin Kelley 提交给互联网工程任务组的草案，标题《机器可读的训练偏好信号》，10月30日发布，2027年5月3日到期。草案里那句话很实在：文件里没有这一行，就等于你什么偏好都没表达过——沉默，仍然是默认可用。
在此之前，这事有多碎。2023年谷歌先给了 Google-Extended，之后每来一家新的模型公司，站长就得往 robots.txt 里多加一段：GPTBot、ClaudeBot、OAI-SearchBot、CCBot……名单永远追不上。Cloudflare 后来干脆在网络层默认拦截 AI 爬虫，还有出版商弄了个 RSL 标准，想反过来向爬虫收费。Cloudflare 在中间拦，RSL 在旁边收费，而现在，多家大模型公司第一次愿意听同一句话。
微软这步走得最细。它把“训练”和“引用”拆成了两个开关：你可以不让它拿去训练，同时允许 Copilot 在回答时引用你的页面。更要紧的是微软说明了一句——退出训练，你的网站照样出现在 Bing 搜索结果里，不会因此掉排名。新偏好从2027年2月1日起随抓取生效；那些还在用 NoArchive、NoCache 老标签挡 AI 的站点，得在2027年3月1日前改过来。
谷歌那边的算盘更直白：如果站点用了这个统一令牌说“不训练”，又没有单独写 Google-Extended，谷歌就当你禁了 Google-Extended；反过来，明确放行 Google-Extended 的站点，就还留着在 Gemini 回答里被引用、能拿到点击的资格。想要流量，还是想要清白，你选一个。
然后是这件事真正有意思的地方。robots.txt 诞生于1994年，最初的用途只有一个：让网站别被搜索引擎爬走，别被塞进索引。三十多年后，同一个文件里多了一行，要表达的却是完全相反的意思——可以爬我，但别学我。
博尔赫斯在《图书馆》里写过那个著名的幻象：人类造了一座图书馆，把世上所有书都收进去。互联网就是那座图书馆，而且真的造出来了。可造出来之后，人们开始给图书馆的门装锁。锁是新的，钥匙是两行代码。他大概没想到，那个关于完美占有的梦，会先一步以参数的形式被人取走。
更有意思的是，规则是谁写的。这份草案不是四家公司内部商量好再通知别人，而是提交进 IETF 公开的工作组，走 RFC 那套“粗略共识加可运行代码”的流程。工作组叫 AI Preferences，常任主席是 Cloudflare 的 Mark Nottingham 和 Cisco 的 Suresh Krishnan。参与的不只是巨头：Meta、Common Crawl、新闻集团、《金融时报》、BBC、电子前哨基金会、Creative Commons、互联网档案馆，名字都在贡献者名单上。
凯文·凯利在《失控》里写过，成熟的系统必须学会把控制权分散，不能指望中心那只手里握得住每一个关节。今天这件事正好相反：规则没有回到任何一个中心，而是回到一个公开的工作组——这大概是三十年来互联网治理少有的、往正确方向走的一步。老子说“为之于未有，治之于未乱”，两行代码就是那点毫末。
但也别急着感动。这份草案在 IETF 页面写得很清楚：个人提交的 Internet-Draft 不代表 IETF 立场，只约束自愿遵守的公司。它不是一把锁，是一张贴在外面的告示牌。另一个更实在的限制是：这一行只管训练，不管实时检索，不管 AI 回答引不引用你，更不管已经被抓走的数据——清单和时间表只朝前看，不朝回看。加拿大几家大报纸告 Anthropic 的官司，争的正是这部分。
名单也很说明问题。承诺遵守的是 OpenAI、谷歌、微软和 Anthropic；Meta 表了态没说死；苹果、亚马逊，以及马斯克的 xAI，昨晚收盘前都没跟进。而 OpenAI 和 xAI 出自同一段历史，同一种对数据的饥渴。所以当同一套规矩开始跨公司通行时，谁在座上、谁不在，就是未来十年这张权力地图的草稿。
回到你。Anthropic 说已经开始了；OpenAI 说未来几个月内实现，并承诺现有的 GPTBot 开关照旧有效；谷歌和微软都指向2027年。也就是说，眼下还不用改任何文件，但如果你有博客、论坛，或者一份产品文档，现在值得花十分钟把 robots.txt 打开看一眼：哪些爬虫已经在名单里，哪些漏了。名单这东西，最贵的不是写下来，是忘了更新。
我们这一代人大概正在经历互联网的第二次立规矩。上一次是“我要被看见”，用的是同一份文件的另一行；这一次是“被看见可以，但别拿去学”。人类和自己的作品分开的日子，不远了。下一个十年，值得盯的不是下一个模型有多大，而是这份文件里还会长出第几行。
【配图】