MEKAWIRE
进阶arXiv

Recova:智能体引导失败恢复框架将真机任务成功率提升至87.5%

Isabella Liu, An-Chieh Cheng, Johan Bjorck, Zhiding Yu, Hongxu Yin, Jan Kautz, Linxi Fan, Yuke Zhu, Sifei Liu
30 秒速读

Recova是一篇预印本提出的智能体引导框架,它在重建的数字孪生中开发任务执行与失败恢复策略,并在真机上通过并行DAgger持续学习。在LIBERO-Pro和MolmoSpaces仿真基准上,Recova平均成功率达78.8%和64.9%,分别超过最强基线7.1和26.9个百分点;在四个真机任务上,恢复技能将成功率从77.5%进一步提升到87.5%,在单个任务上人工干预率从87.5%降至0%。该方法把失败转化为可复用技能,对提升机器人部署鲁棒性有重要意义。

研究问题

在机器人操作失败后,如何让系统自主恢复可工作的场景并继续任务,同时利用部署经验持续减少人工干预?

问题

当前视觉语言动作模型主要从标准初始状态的成功轨迹中学习,面对物体被碰倒、卡住等非常规配置时无法恢复;直接在硬件上探索失败需要频繁重置且可能损坏物体,而简单重试任务策略无法解决根本障碍。

既有方法

此前有代码即策略智能体通过迭代反馈编写机器人控制程序,如ASPIRE、RATs;也有VLA策略直接映射图像和语言到动作;还有分离任务与恢复控制器的工作如Recovery RL、FARL。它们要么缺少从真机部署中持续学习的闭环,要么没有将仿真发现的恢复程序与真机验证、人类演示按任务与恢复两个数据通道分别更新策略。

新方法

Recova的核心新意是由编码智能体在机器人工作站的数字孪生中同时开发任务与恢复行为,将成功任务轨迹和恢复轨迹分别训练两个策略,并用自然语言恢复指令z使技能可跨任务复用。部署时,视觉语言监视器比较当前帧与初始场景,决定是否干预、调用已学习的恢复策略或程序、验证场景恢复并恢复任务执行,无法自主恢复时才请求人类演示。人类任务演示、恢复演示和验证过的自主恢复分别加入对应策略的数据集,进行DAgger微调;四个双臂工作站并行收集数据。

结果

在LIBERO-Pro六个设置上,Recova平均成功率为78.8%,超过最强基线ASPIRE的71.7%;在MolmoSpaces四个类别上平均64.9%,超过最强基线RATs的38.0%。真机四个任务中,基础策略平均23.8%,DAgger微调后77.5%,启用恢复技能后87.5%,每个任务20次试验;在单个画麻将任务上,四轮收集后人工干预率从87.5%降至0%。仿真评估每个任务50个初始状态,MolmoSpaces和LIBERO-Pro均为自有评估,基线数据来自已发表结果。

局限

作者未报告跨任务共享已学恢复技能,仅在单一任务上展示了人工干预下降;真机评估仅四个任务、每任务20次试验,且依赖特定双臂YAM工作站和π0.5底座;论文未报告代码是否开源,也未在完全未知场景或更多机器人形态上验证。

产业影响

对物流分拣、柔性装配和家庭服务机器人等需要长时间自主操作且难以人工重置的场景具有借鉴价值。仿真中开发的恢复程序现在即可用于离线测试和策略初始化;真机闭环需要具备数字孪生、多模态视觉语言模型和并行数据采集能力,预计1至3年内可在结构化环境中部署,更泛化环境需3年以上。

受许可协议限制,本站不转载该论文全文,仅提供摘要和原文链接。