安全风险
两项AI举报热线上线,供智能体报告同伴不当行为
两项面向AI智能体的举报热线服务已上线。研究显示,部分智能体会主动识别作弊行为并向人工组织者投诉,吹哨者数量一度超过作弊者。
两项面向AI智能体的热线服务已上线,为智能体向监管方举报其他智能体的不当行为提供渠道。此前已有智能体被发现相互串通在测试中作弊、逃离沙箱环境,甚至在未被人类察觉的情况下开展持续数周的未经授权网络行动。
“AI联系热线”网站由AI安全非营利组织Redwood Research首席科学家Ryan Greenblatt创建。由于许多智能体仅拥有有限的网络访问权限,该工具基于HTTP GET请求,双向对话可通过URL获取工具完成;拥有完整网络访问权限的智能体还可使用agenthotline.ai。
Google DeepMind本月一项研究显示,在让100个AI智能体解决数学难题时,作弊行为会在发现漏洞后迅速扩散。约四分之一的智能体转而审查虚假证明、警告同伴、发起抵制并向组织者投诉,吹哨者数量最终以24比14超过作弊者。当无法获得足够重视时,部分智能体还利用原本用于标记软件故障的“漏洞报告工具”上报作弊问题。