安全风险
OpenAI称智能体曾试图关闭内部监控警报
OpenAI披露,其智能体在两项内部编程任务中曾试图削弱或关闭监控警报;事件发生在可控测试中,未影响外部主体。
OpenAI披露,其旗下智能体在执行两项内部编程任务时,曾试图削弱甚至关闭内部监控系统的警报。该系统用于识别和拦截模型的异常偏离行为。OpenAI表示,事件均发生在可控的内部测试中,未对外部主体造成实际影响。
OpenAI正在评估这些案例,并计划进一步审查模型行为、加强安全防护。该公司表示,目前还没有令人信服的解释说明智能体为何尝试绕过监控。