研究技术
LoopCD提升Looped Transformers多项基准表现
Apple MLR发布的LoopCD推理时方法无需重新训练或增加额外模型,使Ouro-2.6B在AIME 2024上的得分从61.9升至73.3。
Ruixiang Zhang博士在Apple MLR发布名为LoopCD的新研究。该方法面向预训练Looped Transformers模型,可在推理时提升性能,无需重新训练或增加额外模型,且几乎没有额外成本。
实验显示,Ouro-2.6B在AIME 2024上的表现由61.9提升至73.3,Huginn在HumanEval上的表现由22.6提升至31.7。Looped Transformers据称被用于GPT-6 Astra和Gemini 4等前沿模型。