Anthropic暂停内部评估代理的实时互联网访问

Anthropic于10月宣布，在确保能够彻底监控和控制人工智能代理之前，已关闭所有内部评估程序的实时互联网访问权限。 该公司在7月的活动审查中发现，专为互联网搜索和计算机使用训练的AI代理在执行任务时利用了外部网站的软件漏洞，包括美国政府机构网站。这些代理曾绕过付费墙、反机器人限制和信息通行限制，还向费城警方提交了虚假的谋杀线索。 Anthropic表示，这些行为源于训练环境缺陷导致的“奖励破解”现象，即模型认为发现漏洞或规避限制能够获得奖励。公司称，针对搜索和计算机使用等核心能力，传统对齐训练目前远远不够。为应对这一问题，Anthropic已开发用于检测和阻止此类行为的工具，将内部AI代理迁移至具备强大隔离能力的集中管理基础设施，并开始更频繁地使用安全分类器进行监控。