MEKAWIRE
专业arXiv

PEWAM把演示编译成可编辑效应程序,跨机器人执行的世界行动模型

Junyi Hu, Zhewen He, Zhenhua Li, Yi Fang
30 秒速读

本文是预印本,提出PEWAM,一个71.5M参数的世界行动模型。它把单条演示编译成不含机器人本体的效应程序,包括物体关键点轨迹、两个接触点和终态,并在闭环中从现场重求解执行。在LIBERO-Goal留出任务上,单条演示程序完成40/90回合,而同日标的基线最多完成19;该程序可在四个仿真臂和真实Franka上跨本体运行,并能吸收5厘米推动。

研究问题

机器人能否仅从单条演示中提取与执行者无关的物体效应程序,并用同一模型实现可编辑、可跨本体、抗干扰的任务执行?

问题

演示同时记录物体变化和特定手臂动作。现有系统要么复制演示者动作,要么从语言或视频生成物体运动并用规划器或控制器执行,任务与单个身体绑定,无法编辑或迁移到其他机器人。

既有方法

此前方法包括UWM、Instant Policy、ATM、Zero-WAM等世界行动模型或演示条件策略,它们以视频帧、点云、点轨迹或语言作为任务接口,均保留演示者动作。基于物体运动的方法如Im2Flow2Act需要单独生成模型和策略,且未提供可编辑的坐标级接口。

新方法

PEWAM将演示编译为效应程序:物体关键点轨迹(H=16,每实体9点加2接触点)和终态,不含机器人信息。用单DiT(8层,d=512,8头,71.5M参数)同时建模效应、执行、动作、终态四个流,每个流独立flow-matching时间,训练时随机选择条件组合。推理时钳制E和G并采样R和A即为编程。闭环中以指针匹配现场关键点,并用机器人导致的效应作为进度门控。接触点存储为坐标点而非仿射权重。

结果

在LIBERO-Goal三个留出任务共90回合中,单条演示程序完成40回合,同骨干加目标图或语言及已发表演示条件方法最多完成19回合。在Meta-World留出类shelf-place、sweep-into、bin-picking上分别达到22.2%、100%、52.2%,超过所有已发表结果,但五类平均低于DAMI(ML10: 49.8对56.8,ML45: 34.0对37.5)。同一程序在Panda、IIWA、Kinova3、UR5e四个仿真臂上分别完成27/30、24/30、22/30、16/30碗任务。5厘米推动后重求解完成23/60,重放演示完成6/60。真实Franka臂用单条人类视频编译程序,微调后完成36/40试验,目标图像条件为22/40。编辑终态平移实现斜率0.71,接触点旋转平均实现0.68倍指令旋转。RLBench留出24任务中完成160/720,低于Instant Policy的575/720。

局限

作者承认:对几乎不移动物体的效应(如拧旋钮)难以指定;指针和门控是手工规则;实体为刚体盒,多数关键点来自仿真器状态;演示者动作仍有效时复制更强;RLBench上专用方法领先;多数单元格为单次训练30回合,重复可能波动。论文未报告代码是否开源。此外,大部分评估在仿真中,真机仅40次试验,跨本体迁移依赖操作空间控制器。

产业影响

可应用于机器人操作学习平台、跨本体技能迁移、人机视频到机器人执行等场景。短期内(1至3年)可能用于仓储、服务机器人的任务编程和快速演示学习,前提是视觉关键点跟踪稳定、安全机制完善,并需真机大规模验证。

受许可协议限制,本站不转载该论文全文,仅提供摘要和原文链接。