2026年9月底的旧金山开发者日活动上,OpenAI一口气给出了二十多项发布,但有一项容易被当成技术细节:它计划在未来几个月内推出一套通用信号,让网站运营商能够同时向多家人工智能提供商传达自己的选择。你如果细品,会发现一个微妙的反差——全网最需要大规模抓取内容的公司之一,却先站出来,给网站们装一个能说“不”的接口。
这种局面,三十年前出现过一次。1994年前后,搜索引擎刚刚开始跑遍全球网页,一群网络管理员和技术爱好者弄出了一个后来被称为“机器人排除协议”的东西,也就是现在网站根目录里常见的 robots.txt。它本质上就是让网站告诉搜索爬虫“哪些页面你别来”的自愿节拍器。表面上看,今天 OpenAI 提议的通用选择信号,和当年的 robots.txt 神似:都是在一个新技术范式刚刚铺开的早期,由最积极的参与者之一提出一个统一格式,把零散的口头约定变成可执行的机器协议。但真正的变化在于,当年的爬虫带来的还是可点击的网址入口;今天的网站被 AI 爬一遍,可能并不会获得同等的直接流量回馈。所以这个“说‘不...