四大AI公司支持网站拒绝抓取标准

IT时代网10月31日消息,OpenAI、谷歌、微软与Anthropic宣布将采用一项新的共享标准,网站出版商可借此统一表达对AI训练抓取的偏好,一次设置即可对多家AI公司的爬虫生效,无需逐家配置。

该方案被称为策略令牌信号,由Anthropic标准事务技术负责人提出,目前处于互联网工程任务组的草案阶段。它部署在网站的robots.txt文件中,这一文件长期用于告知各类爬虫哪些内容可以抓取。当前网站若想拒绝AI训练,需要针对每家AI公司分别设置规则。

OpenAI、谷歌、微软和Anthropic均表示,其AI爬虫遇到该令牌后将停止访问对应站点。Meta方面表态支持建立统一信号的做法,但未承诺实际执行。此前业界已有RSL授权许可标准允许出版商向爬虫收费,Cloudflare也已默认拦截AI爬虫。

注:本文配图由AI生成,文中包含AI辅助创作的内容。

编辑:刘宁

THE END