研究技术
商汤评测GPT-6-Astra:仿真接近满分,真机操作仍易失误
商汤联合多家高校与企业团队,在12项仿真评测和8个真实机器人平台上评估GPT-6-Astra,发现其仿真表现突出,但真机操作仍有明显短板。
商汤联合多家高校与企业团队,对OpenAI的GPT-6-Astra开展具身智能评测,覆盖12项仿真评测和8个真实机器人平台。在借助上下文学习并放宽动作步数限制后,该模型在多项传统具身评测中取得接近满分的成绩;但在真实机器人执行精细接触和长程任务时,失误有所增加。
研究发现,GPT-6-Astra在物理操作中常误判抓取、放置是否成功,操作出错后补救困难,真机试错成本也较高。团队认为,模型已跨过具身能力门槛,但距离实用部署仍有差距;传统评测基准与真实家庭需求距离较远,可能高估模型表现。
团队还提出SenseNova-RoboRSI具身系统框架,无需更新基础模型权重,而是利用执行反馈推动机器人递归式自我改进。该框架已在多项仿真评测中验证效果。