大模型
Claude写作退化?Anthropic工程师称训练偏向“写给AI看”
Anthropic工程师克尼恩表示,Claude后续模型更侧重数学和代码训练,并因强化学习偏向AI间理解,逐渐形成不易被人类读者理解的“Claude腔”。
不少人发现,AI模型在数学、编程和推理能力上快速进步,但写作水平却停滞甚至退步。负责Claude微调的Anthropic工程师克尼恩表示,Opus 4.6之后的模型更侧重数学和代码能力,同时接受了大量“面向其他AI模型撰写技术解释”的训练,导致模型逐渐形成“Claude腔”。
克尼恩解释说,模型被调整为适应大语言模型的“心理”,最终更擅长写给AI模型看,而不是写给人看。由于LLM拥有远超人类的工作记忆,也能捕捉更细微信息,训练中逐渐形成了适合AI理解的表达方式,但在人类读者眼中可能变成过度密集的信息堆砌。他还将这一现象类比为只与其他自闭症人士交流的人群形成内部易懂、外部难懂的表达方式。
克尼恩认为,问题根源在于强化学习的奖励机制:部分奖励侧重提升AI模型之间的理解效果,部分奖励则侧重让人类更容易理解。数学和代码训练越多,就越需要通过增加对简洁、易读解释的奖励,抵消“写给AI看”的倾向。
他透露,Anthropic在Opus 5.5上找到了更好的平衡,称自Opus 4.6以来,还没有对一款模型的写作表现如此满意。不过他也表示,这并不代表Opus 5.5已经超越Opus 4.6,相关问题仍很难解决,团队将继续改进。