MEKAWIRE
专业arXiv

ProWAM用渐进式视觉子目标刷新WAM基准,零样本真机成功率70.0%

Fei Zhang, Zhaochong An, Duncan Frost, Yikai Wang, Pengfei Liu, Ya Zhang, Michal Drozdzal, Amir Bar
30 秒速读

ProWAM是一种世界动作模型,通过预测按归一化任务进度索引的稀疏视觉子目标来引导动作生成,避免生成稠密视频。在LIBERO-Plus上达到85.8%,RoboTwin随机场景75.7%,零样本真机任务70.0%,超过最强基线DreamZero的55.0%。该论文为arXiv预印本,尚未经过同行评审。

研究问题

能否用按任务进度索引的稀疏视觉子目标替代稠密视频或单一终点帧,在保持高效推理的同时提升长时程机器人的分布外泛化能力?

问题

现有世界动作模型存在权衡:全想象WAM生成稠密视频引导动作,计算成本高且推理效率低;零想象WAM不预测未来视觉状态,缺乏长时程引导;仅预测单个终点帧的ImageWAM无法表达中间执行路径。经典层次化规划依赖独立的子目标生成模块,增加系统复杂度并带来误差级联。

既有方法

此前WAM分为全想象(如DreamZero)、零想象(如Fast-WAM)和单帧终点(ImageWAM)。全想象需要多轮视频去噪,推理慢;零想象缺乏视觉前瞻;单帧终点没有中间进度。层次化方法使用单独的高层目标生成器,与底层策略解耦,容易传播误差。

新方法

ProWAM在视频生成专家中直接加入按归一化进度r∈[0,1]索引的k个稀疏子目标槽位,通过进度条件调制(adaLN偏移)和子目标与视频转移序列的联合流匹配训练。采用Wan2.2-TI2V-5B作为视频骨干,动作专家为轻量扩散Transformer,二者以非对称注意力耦合:视频通路不感知动作,动作专家关注当前观测和缓存子目标特征。训练分两阶段:先在大规模无动作视频上预训练视频专家学习视觉动态和子目标预测,再在机器人演示上联合微调。推理时只用一次视频前向生成并缓存子目标KV特征,后续动作去噪仅使用轻量动作专家,省去迭代全视频生成。

结果

LIBERO零样本LIBERO-Plus上ProWAM达到85.8%,ProWAM-Base为80.3%,超过此前最强WAM Image-WAM的83.1%和VLA ABot-M0的80.5%。RoboTwin随机场景下ProWAM达到75.7%,此前最强的MV-WAM为55.7%,绝对提升+20.0,相对提升+35.9%;干净场景ProWAM为85.8%,ProWAM-Base为87.6%。RoboCasa365上总体成功率48.1%,公开榜单排第4;Atomic-Seen 76.0%,Composite-Seen 46.5%,Composite-Unseen 18.2%。零样本真机在Franka上完成4个任务,平均成功率70.0%,DreamZero为55.0%,π0.5为50.0%,相对提升+27.3%。效率方面,在H100上16动作块联合去噪为115.5 TFLOPs、581 ms,KV缓存后为18.7 TFLOPs、313 ms,计算减少84%,延迟降低46%,且OOD成功率提升3.3个百分点。子目标数k=4时OOD最高75.7%,相比k=1增加3.5 TFLOPs;近程进度Near(r∈[0.1,0.5])取得75.7%,优于Mid的70.2%和Far的68.4%。论文未报告各基准的评估轮数和方差。

局限

作者承认子目标生成可能模糊接触几何,导致夹爪提前释放,例如Cube Stacking失败案例中两个方块视觉边界不清。单次视频前向生成的子目标可能带有纹理伪影,虽然保留场景结构。该方法仅用Franka单臂机器人真机评估,任务数为4,论文未报告具体试验次数和方差。RoboCasa365总体仅排第4,Composite-Unseen只有18.2%,长时程组合任务仍具挑战。模型依赖5B视频骨干,训练和推理需要H100级GPU,313 ms延迟可能限制高频闭环控制。论文未说明是否开源代码或模型权重。此外,去掉视频预训练的ProWAM-Base在RoboTwin随机场景下降到67.4%,表明分布外鲁棒性依赖大规模动作无关视频预训练。

产业影响

该技术适用于仓储、物流、家庭服务等需要长时程操作和分布外泛化的机器人产品。对开发通用机器人基础模型的公司有参考价值,可通过动作无关视频预训练降低对昂贵机器人演示数据的依赖,再用少量任务数据微调。短期内(1至3年)可能影响WAM架构设计,推动稀疏视觉子目标与轻量动作专家的结合。若进一步优化延迟和边缘部署,3年以上可能用于消费级或人形机器人。前提是需要大量动作无关视频数据、H100级GPU训练资源,以及针对目标场景的机器人演示微调。

受许可协议限制,本站不转载该论文全文,仅提供摘要和原文链接。