ACE Robotics在英伟达Cosmos世界动作模型前加动作推理器，模糊指令成功率由20.6%升至31.6%
ACE Robotics联合浙江大学、香港大学和江南大学在10月14日发布的预印本中称，先让推理器说明下一步原子动作，世界动作模型在120项任务的RoboLab仿真基准上，模糊指令成功率由20.6%升至31.6%，默认指令由36.8%升至39.6%。该系统在英伟达Cosmos3-Nano之上加装推理器，并以机器人是否真正完成动作作为奖励训练推理器。
面对“把红色的东西放进桶里”这类任务级指令，在基于视频的世界动作模型生成动作之前，先由推理器写出下一步原子动作（操作哪个物体、抓哪里、移到哪里），是否有帮助？
世界动作模型（WAM）把视频基础模型改造用于机器人控制，同时预测未来画面与动作。任务指令在接近、抓取、搬运、放置全过程保持不变，且常常省略目标物体和空间关系，模型只能自行推断语义和当前阶段。语言描述越具体，预测画面差异越明显。
英伟达基于DROID数据训练的Cosmos3-Nano-Policy直接把指令和当前相机画面映射为视频与动作块。分层VLA会增加规划器，但只按语言合理性训练的规划器，常会提出底层策略无法执行的动作。
Atomic-WAM把任务拆成两步。由Cosmos3-Nano初始化的视觉语言推理器读取指令和最近几帧画面，写出下一步原子动作的简短描述，包括目标、可见抓取点和夹爪位置；同样基于Cosmos3-Nano的WAM据此预测未来画面和32步动作块。自动标注流水线把5.7万条成功的DROID示范切分为36.9万段原子动作，用于监督训练。随后以执行落地的GRPO（EG-GRPO）强化学习微调推理器，既奖励描述是否恰当，也奖励冻结的WAM是否真正完成该动作。
在RoboLab 120项任务、每项10个随机种子的评测中，Atomic-WAM默认指令下成功率39.6%、子任务进度得分53.7，模糊指令下为31.6%和46.7；官方Cosmos3-Nano-Policy权重分别为36.8%和20.6%。指令变模糊时成功率仅下降8.0个百分点，基线下降16.2个百分点。视觉定位类任务由26.1%升至34.0%（默认）、由13.5%升至26.3%（模糊）；程序类任务为25.9%，略低于基线的27.3%。消融中，原子动作描述使复现基线由30.0%升至32.5%，加入抓取点和夹爪信息后为36.7%，再经EG-GRPO为39.2%，而去掉执行奖励的GRPO反降至34.2%。改用基于GPT-5.6的Codex智能体作推理器，64项任务完成33项，允许回溯时完成50项，训练所得推理器为23项。
本文为预印本，主要数字均来自仿真（real-to-sim基准），并非真机。在翻转、堆叠等程序类技能上没有提升，瓶颈仍在WAM本身。EG-GRPO的执行奖励依靠人工判定960次回放，难以扩展。由于缩小了批量，作者复现的基线只有30.0%，低于官方权重的36.8%，消融对比需谨慎解读。
这项工作给出了在英伟达Cosmos体系的视频式机器人模型前端接入语言推理的可行路径。更强的通用智能体只有在获得执行反馈时才明显有效，这对把大模型叠加在运动策略之上的国内具身团队是重要的设计经验。ACE Robotics的参与也说明产业界研究团队正直接在开放世界模型之上开发。自动执行评判器等后续工作有望在数月内出现，真机落地则更远。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。