MEKAWIRE
专业arXiv

EF-GAIfO用机器人经验在线评估演示可行性,提升跨形态模仿学习成功率

Yoshiki Takebayashi, Giovanni Perantoni, Hikaru Sasaki, Matteo Saveriano, Takamitsu Matsubara
30 秒速读

本文是一篇预印本,提出EF-GAIfO,利用策略学习过程中机器人自身经验估计状态演示的可行性,并在GAIfO判别器目标中加权,降低不可行演示的影响。在点质量环境和Unitree Go2四足机器人仿真及真机实验中,EF-GAIfO的成功率显著高于GAIfO和WGAIfO,真机目标抓取任务成功率最高达80%。该方法无需显式动力学模型或先验探索数据,为存在形态差异的机器人模仿学习提供了新思路。

研究问题

机器人能否利用自身在线交互经验估计状态演示的可行性,并在形态不匹配下提高模仿学习性能?

问题

人类通过无机器人接口提供的状态轨迹可能包含机器人因形态和动力学差异而无法执行的转换,直接用于模仿学习会降低策略性能,现有方法依赖显式动力学模型、置信标签或先验数据,难以在线适应策略学习阶段。

既有方法

此前方法包括基于机器人动力学模型的可行性预测、演示质量加权(如WGAIfO)以及需要预收集机器人执行数据的可行性估计;这些方法需要精确模型、额外标签或大量先验探索,且可行性准则固定,不能随策略能力增强而动态扩展可行区域。

新方法

EF-GAIfO在GAIfO框架中引入基于经验的重构模型:用策略收集的状态转换训练VAE重构机器人经历,以重构误差计算每个演示转换的可行性权重,并将权重乘入判别器的演示对数项。重构阈值随训练逐步调整,使可行区域随策略经验积累而扩展,无需显式动力学模型或先验数据集。

结果

在点质量环境两个设置下,EF-GAIfO成功率分别为多速度90.0±30.0%、多路径100.0±0.0%,高于GAIfO的15.0±35.7%和50.0±50.0%,以及WGAIfO的20.0±44.7%和20.0±41.0%;Hausdorff距离均最小。四足机器人仿真中,三个固定目标及随机目标成功率分别为83.6±9.2%、88.0±5.7%、84.8±10.0%和85.8±7.4%,基线GAIfO最高仅42.0%,WGAIfO最高39.0%;每项为5个种子、每种子100次试验的均值。真机实验中EF-GAIfO在固定目标成功率为70%、70%、80%,随机目标为80%,GAIfO最高20%,WGAIfO最高30%,每设置10次试验。论文未报告代码开源和更多机器人型号验证。

局限

作者指出EF-GAIfO的可行性估计主要捕捉机器人形态相关的运动可行性,不能处理地形、障碍物、物体摆放和接触条件等环境依赖的可行性;未来需融合视觉、深度等环境观测。此外,真机实验只使用Unitree Go2单一平台,人类演示仅30条轨迹,论文未报告开源代码或数据,也未与其他四足机器人对比。

产业影响

适用于机器人公司利用人类视频或动捕数据进行机器人技能学习,尤其是四足、人形机器人抓取与移动操作;可嵌入现有GAIfO/对抗模仿学习流水线,减少对精细动力学建模的依赖。1至3年内可能在仿真到真机迁移的机器人操作场景落地,前提是企业具备在线策略训练能力、仿真环境与一定量人类状态演示;若需应对复杂地形或环境变化,需进一步扩展可行性估计器。

受许可协议限制,本站不转载该论文全文,仅提供摘要和原文链接。