Seed团队揭示长文本模型性能波动原因

字节跳动旗下Seed团队在最新研究论文中指出，大语言模型处理超长文本时出现性能波动，主要源于分块KV缓存压缩技术带来的“相位敏感性”。 为降低长上下文推理的内存消耗，该技术通过固定步幅将连续标记窗口压缩为更少条目，同时引入新的位置坐标，即Token相对于压缩窗口边界的“相位”。实验显示，在信息完全相同的情况下，不同相位会显著影响模型的检索难度；在部分大型开源模型中，由此造成的长文本检索准确率差距最高可达40个百分点。 研究认为，这一发现显示传统平均基准测试可能掩盖模型的周期性弱点，并可为模型架构优化及长上下文推理稳定性提升提供理论依据。