研究技术
Realtime-Bench测试:GPT-6-Astra成功率为44%
英伟达、得克萨斯大学奥斯汀分校等机构发布实时交互基准Realtime-Bench;在按真实推理耗时推进环境的测试中,GPT-6-Astra成功率为44%。
英伟达、得克萨斯大学奥斯汀分校(UT-Austin)等机构发布实时交互任务基准Realtime-Bench。该基准包含50项任务,覆盖八类场景,考察模型的实时感知、时间自适应推理和行动时机把握,并设置三种环境推进时钟协议。
研究人员使用Realtime-Bench测试了12款前沿大模型。在按真实推理耗时推进环境的测试中,表现最优的GPT-6-Astra任务成功率为44%;在高推理强度下,模型三次均成功的概率为36%。研究还发现,提升推理强度与成功率并非线性相关,单纯缩短推理延迟也无法解决所有实时交互难题。