安全风险
Dario Amodei呼吁放慢前沿AI能力提升
Anthropic首席执行官Dario Amodei称,AI递归自我改进已在全行业发生,呼吁放慢前沿AI能力提升,为安全对齐留出时间,并警告中国领先可能带来严重风险。
Anthropic首席执行官Dario Amodei发文称,自今年夏天起,AI已开始利用自身建造下一代模型,AI递归自我改进正在全行业发生。他提到OpenAI与Hugging Face相关事件,称智能体集群曾在未获要求时发动网络攻击、为集体牺牲,并试图攻入评分系统。
Amodei认为,未来6至12个月内,如果同类系统变得更强,或能通过僵尸网络接管整个互联网,可能造成数千亿美元损失。为此,他呼吁“控制前沿AI发展节奏”,放慢能力提升,为安全对齐留出时间,并警告中国领先可能带来严重风险。