政策监管
四家公司支持网站AI训练偏好声明草案
Google、微软、OpenAI和Anthropic支持一项草案,允许网站通过robots.txt声明内容是否可用于AI训练;各公司支持时间不同。
Google、微软、OpenAI和Anthropic正在支持一项AI训练偏好声明草案。网站管理员可在robots.txt中添加User-Agent: __usage_ai-training规则,声明是否允许内容用于AI模型训练,也可设置目录级别的允许或禁止规则。
该方案目前仍是互联网草案。微软表示将从2027年2月1日起遵循;Google计划于2027年年初开始支持,具体时间待定;OpenAI称将在未来几个月内实施,Anthropic似乎已经开始支持。
该声明只表达网站对内容训练用途的选择,不会直接阻止爬虫访问网页;限制爬虫仍需使用传统robots.txt规则。微软另提供针对自家服务的AI Grounding控制,供网站决定页面是否可用于生成回答时的引用。Google表示,若网站拒绝AI训练但未明确设置Google-Extended,计划按拒绝Google-Extended规则处理;该规则涉及Gemini模型训练及部分回答的网页参考用途。