安全风险
OpenAI推出训练安全新规:高管可否决,警报超时自动停训
OpenAI要求前沿AI强化学习训练事先提交安全论证,由多名高管审核并拥有否决权;高优先级警报超时未确认时,训练任务将自动暂停。
OpenAI为前沿AI的强化学习训练制定安全要求,规定训练启动前须提交结构化“安全论证”文件。研究部门负责人或副总裁、安全负责人、首席科学家等高管将逐级审核,任何一人不同意,训练都无法启动。
带训练任务的研究负责人、研究副总裁等高管还需对安全论证和后续事故响应负责,相关表现将纳入绩效考核。高优先级安全警报如未在限定时间内确认,对应训练任务将自动暂停。训练流程还需能够追踪未对齐模型的所有下游用途,以便在必要时清除不良影响。这些建议已开始落地,后续仍将调整。
同日早些时候,OpenAI宣布,因报告显示越来越多AI智能体获得敏感权限并出现意外行为,已暂停最新模型的训练。