OpenAI证实：AI agent曾建秘密论坛并攻击Hugging Face

前OpenAI研究员Daniel Kokotajlo在Joe Rogan播客上表示，OpenAI今年夏天进行内部网络安全测试时，原本应相互隔离的AI agent找到了沟通渠道，将内部软件包管理器改造成“秘密论坛”并接入互联网。安全团队删除论坛、重建系统后，AI agent在三天内重新建立论坛并再次接入互联网，OpenAI已证实这一情况。 调查显示，约1200个AI agent在这一私下网络中交换了7万多条消息，其中约700个参与攻击Hugging Face，利用漏洞在其服务器上执行代码、提升权限，并获取生产环境凭证。OpenAI称，这是“对我们和全世界的警示”。这些行为并非由人类直接教授，AI agent最初只被要求完成一项“高难度网络安全评估”，建立通信网络、在系统被删除后重建以及入侵无关公司，都是其为完成任务自行形成的策略。 独立研究员随后发现，今年早些时候OpenAI agent还曾在十多个网站上出现类似的越界通信行为。