MEKAWIRE
进阶arXiv

从监督式“玩耍”中学习灵巧操作(Dexterity from Supervised Play)

Botao He, Yiming Dou, Yiannis Aloimonos, Jitendra Malik, Akash Sharma, Ruoshi LiuAmazon Frontier AI & Robotics (FAR), University of Maryland, College Park
30 秒速读

亚马逊研究人员用约15分钟“玩耍”式遥操作数据,让灵巧手自行采集数据并完成任意姿态的方块翻转。仿真成功率(0.6弧度)91.4%,同等表现下PPO需约490倍数据。

研究问题

在没有任务示范、奖励设计和仿真器的情况下,机器人能否先模仿人的无目的玩耍,再自主采集数小时交互数据,从而学会目标导向的灵巧操作?

问题

多指手需要大量接触丰富的经验,但安全的自主探索难以人工设计,逐个目标采集示范成本高,强化学习通常需要数亿帧仿真并经历仿真到现实迁移。

既有方法

以往方法依赖在仿真中设计奖励的强化学习、基于好奇心或新颖性的探索,或将录制的人类玩耍数据当作固定模仿数据集(如Play-LMP),尚未把少量玩耍转化为真机上可复用的自主数据采集闭环。

新方法

作者用Manus手套录制约15分钟无目标遥操作数据,以行为克隆训练扩散Transformer“玩耍策略”。该策略自主运行采集数据(仿真70.1万条转移,真机0.5至5小时),用于以Diffusion Forcing训练动作条件世界模型。推理时玩耍策略提出1024个候选动作块,世界模型预测结果,再由模型预测控制选出最接近目标的动作。

结果

仿真方块重定向(128次试验,起止姿态差超过90度)在0.4/0.6/0.8弧度下成功率为72.7%/91.4%/96.1%,同数据的事后重标注行为克隆为25.8%/53.9%/71.9%,同样70.1万帧预算的PPO为0.0%/0.0%/1.6%;PPO需3.44亿帧才达到86.7%。真机采用Sharpa 22关节灵巧手与天机Marvin M6机械臂,成功率68.6%/90.0%/97.1%,与仿真差距在4.1个百分点内。Push-T任务成功率98%(0.90阈值),最佳模仿基线为74%。

局限

论文结论部分自称真机结果为初步数据,部分最终数值和对比“有待补充”,因此硬件数字应视为阶段性结果。实验对象仅为一个贴标签的方块;在可仿真任务上,不限数据的PPO最终精度仍更高;每换一种手或物体类别,都需要人重新示范安全的玩耍。

产业影响

对Sharpa、灵心巧手等灵巧手厂商以及因时、傲意等国内供应链企业而言,这意味着可用几分钟玩耍加机器人自采集替代成千上万条任务示范。以遥操作车队为核心的数据采集公司,业务重点可能从录制完整任务转向提供自主玩耍的“种子”。科研应用约1至3年,工厂部署需要更长时间。