ReTrace：把后段失败追溯到前段决策，大模型操控机械臂插头插入成功率由0%升至80%
复旦大学团队在预印本中报告，前沿大模型操控Franka Research 3机械臂，从自身失败中学习后，在不使用示教数据、不改动模型权重的情况下，插头插入成功率由0%升至80%，倒球任务由0%升至100%，每项数据均基于10次真机试验。
直接操控机器人的通用多模态模型，能否通过找出导致后段失败的前段决策，仅凭自身真实尝试提升多阶段任务能力？
大模型已能直接驱动机械臂，但在“前一步局部成功、却毁掉后一步”的任务上会失灵：以错误角度抓起的插头可以被抬起和旋转，插入时却发生碰撞。即时反馈只指向最后一步而非真正原因，简单重试无济于事。
已有系统通过接口向前沿模型提供运动指令，让其在单个回合内自我纠正，或借助人工示教和任务经验提升表现；Reflexion类方法在收到失败信号后重试。这些方法都无法在没有外部数据的情况下，在长任务的各阶段之间判定责任。
ReTrace分为三部分：执行器负责闭环规划和控制机械臂；归因器在失败后回看完整轨迹，指出需要修改的前段决策；经验记忆在多次尝试之间保存待验证的修正、结果和历史。在后续尝试中被证实有效的修正被整合为可复用的文本技能。作者用高推理强度的OpenAI GPT-6 Astra学习技能，再测试其他模型配置能否使用。
在Franka Research 3上每种配置试验10次：低推理强度的GPT-6 Astra借助所学技能，插头插入由0%升至80%，倒球由0%升至100%；超高推理强度的GPT-6 Sol分别由0%升至10%和90%。叠积木方面，Sol由30%升至80%，Astra低强度由80%升至100%；抓香蕉在无技能时已达90%和100%。不带技能、以高推理强度运行的Astra在两项难任务上仅为10%和20%，说明技能比加大推理更关键。技能在多数配置下还减少了平均决策调用次数。
这是预印本，仅4项任务、1台机器人、每种配置10次试验，成功率以10个百分点为单位变动，不确定性较大。技能按任务学习，论文未展示向新物体或新场景的迁移。控制器是版本和价格可能变化的闭源商用模型，每次决策调用的成本和延迟仅以调用次数呈现。
这为多品种小批量自动化提供了低成本路径：不必采集示教数据，而是让通用模型练习新任务，把经验沉淀为文本技能文件，再由更小或更便宜的模型配置复用。对电子返修、实验室自动化和协作机器人小批量装配颇具吸引力，国内协作机器人厂商和集成商可将其视为降低部署门槛的软件层。但10次试验的可靠性和对闭源接口的依赖仍是障碍，预计一到两年内先在科研和测试工位试点。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。