UniWALM：亚马逊世界-动作-语言模型在真机灵巧抓放上达95%，记忆任务61%
亚马逊、布朗大学和东北大学研究人员在预印本论文中报告，一个在同一模型内同时生成视频、动作和自写简短笔记的机器人策略，在三项真实双臂灵巧任务上平均成功率为68.7%，高于MolmoBot的44.4%、FastWAM的43.7%、英伟达GR00T N1.7的33.7%和pi0.5的21.9%。这些笔记充当工作记忆，在寻找被遮挡物品的任务上得分61.1%，最佳基线为33.3%。
视频-动作机器人模型如果同时学习生成语言，共享表征能否更丰富、操作能否更好，模型又能否把自己写的文字当作记忆？
同时预测未来视频和动作的世界-动作模型擅长短程操作，但没有显式的任务状态。按了几次按钮、物品藏在哪里这类依赖历史的任务会让它们失灵。
以往方案在视频-动作主干外再挂一个视觉语言模型或规划器，推理和执行分阶段运行，既增加延迟，也可能出现前后判断不一致。
UniWALM以Wan2.2视频模型为基础，把视频、动作和语言放进同一个混合Transformer主干。每种模态各有扩散头，三者在同一次前向中同步去噪，模型在输出动作的同时写出下一个子任务和累积记忆文本，并在下一步作为输入回读。名为带校正的流匹配的训练方法让动作头学会从扰动中恢复，LoRA让微调更轻量。语言模块约增加5亿参数，语言和动作部分从零训练。
仿真MolmoSpaces每项任务1000个分布外回合中，UniWALM在Pick&Place、Pick&Place-Color和Pick&Place-NextTo上分别为68.0%、70.8%和38.8%，高于带历史的MolmoBot（66.5%、67.8%、26.4%），比共享主干的FastWAM平均高14.8个百分点；在只需抓取的Pick上为49.2%，低于MolmoBot的64.0%。消融显示成功率从31.0%依次升至35.9%（加语言）、38.9%（加校正）和41.0%（加LoRA）。RMBench按钮记忆任务训练10万步后达51%，FastWAM为0%。在两台Flexiv Rizon机械臂配Sharpa Wave或帕西尼灵巧手的真机上，方块抓放95.0%（次优80.0%），清空容器50.0%与FastWAM持平，记忆任务18次中成功率61.1%。
真机样本少（每项灵巧任务20次，记忆任务18次），置信区间宽。开启语言模块后生成32步动作块需123毫秒，关闭时为76毫秒，可能难以满足高频控制。在步数预算紧的纯抓取任务上落后。作者列出的失败模式包括完成信号早发或晚发、相似场景下子任务判断错误以及复杂物体抓取精度。论文为预印本，未经同行评审。
亚马逊在仓储领域运营规模最大的机器人队伍之一，并在测试灵巧拣选。能自记任务笔记的单一模型针对计数、核对和重试等当前VLA策略容易遗忘的多步作业。论文的真机实验用了中国厂商帕西尼的灵巧手，也说明中国灵巧手和触觉部件已进入美国一线研究平台。对国内做具身大模型的团队而言，世界-动作模型加语言生成的路线在真机灵巧任务上超过语言预训练策略，值得关注；商业影响取决于延迟改进，预计在一到三年。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。