UniWAM统一世界-动作模型：融合物理推理、视觉生成与动作预测，LIBERO与RoboTwin刷新SOTA
UniWAM是一个统一世界-动作模型，将物理推理、视觉生成和动作预测集成在单一混合Transformer架构中，并在约1万小时人类与机器人数据及829万VQA样本上预训练。该预印本在LIBERO、RoboTwin等基准上取得SOTA，真机实验指令跟随与长程任务也优于π0.5和Motus。其重要之处在于展示了人类-机器人联合预训练的对数线性扩展规律，为通用机器人模型提供数据与架构路径。
如何将视觉语言模型的语义推理泛化能力与世界模型的物理动态理解能力结合，构建能同时完成物理推理、视觉预测和动作生成的通用机器人模型？
现有VLA模型仅以动作作为监督，缺乏对世界动态的深入理解；WAM继承视频生成先验但语义理解与分布外泛化、复杂推理能力不足。两者难以同时满足通用机器人对物理常识、语言指令跟随和鲁棒动作生成的要求。
此前方法包括VLA（如π0.5、OpenVLA）主要联合训练视觉语言与动作，以及WAM（如Motus、Cosmos-Policy）基于视频生成模型预测未来帧或隐空间。VLA对物理动态建模弱，WAM在语言指令跟随与OOD场景中表现有限，且两者通常独立优化，缺乏统一的语义-动态-动作联合训练框架。
UniWAM采用Mixture-of-Transformers架构，将基于Qwen3-VL-2B-Instruct的物理推理器、基于Wan2.2-TI2V-5B的世界生成器和动作预测器通过联合注意力连接。预训练使用机器人数据约4958小时、人类自我中心数据约5072小时和829.3万VQA样本，并将低层动作转成自然语言描述作为物理语言监督，分别将VQA、人类和机器人数据分配给不同组件。后训练引入未来帧视觉噪声增强和历史条件流匹配，用动作历史初始化动作生成，减少去噪步数并提升效率。同时开发了严格的数据清洗与标注流水线，包括EgoANT自动标注人类视频子任务。
在LIBERO标准套件上，UniWAM平均成功率达99.2%，比此前最佳Xiaomi-Robotics-0的98.7%高0.5个百分点。在RoboTwin 2.0 Clean2Clean上为75.14%，Clean2Rand为68.32%，平均71.73%，在表中所列模型中平均最高；从C2C到C2R仅下降6.82个百分点，而π0.5下降24.70、Spatial Forcing下降50.46。LIBERO-Plus七类扰动总体达92.6%，在机器人、语言、光照、背景扰动上分别达89.5%、92.2%、97.9%、97.6%，均为已列方法最高。真机实验中，基于AgileX Piper双臂平台，每任务200个演示、8张H100训练80K步；四项指令跟随任务平均任务成功率67.5%、指令跟随率82.5%，分别超π0.5 13.1和21.9个百分点；Diverse-Interaction成功率从40.0%提升到72.5%，指令跟随率从50.0%到80.0%；长程整理任务进度5.0 vs π0.5的4.8和Motus的3.2。数据扩展实验中，OOD成功率从250小时机器人数据的0.35增长至5k小时的0.67；验证损失拟合L(D)≈0.03205-0.00302ln(D)，R²=0.983。
论文未在正文中单列局限性章节。从实验设计看，真机评估仅覆盖单一AgileX Piper双臂平台和少数任务（4个指令跟随+1个长程），每任务采集200个演示，长期部署鲁棒性和跨本体泛化未充分验证；仿真基准部分指标已接近饱和，且RoboTwin 2.0 C2C中UniWAM 75.14%并非最高（OpenWAM-α为89.4%），综合C2R后平均最高但单列C2C低于部分WAM。数据扩展规律基于250至5000小时5个数据点拟合，人类数据在小规模时反而有害，大规模收益的具体机制尚不明确，训练与推理算力成本未见详细报告。论文提供了代码与模型权重链接，但未在正文说明开源许可证或完整复现细节。
该模型架构与训练配方可服务于人形机器人、双臂操作、服务机器人等厂商，尤其是希望将视觉语言理解、世界模型与动作生成一体化部署的团队。在1至3年内，具备大规模人类与机器人数据采集能力、多源数据处理管线和高性能GPU集群的公司可能将其用于预训练通用操作策略，提升指令跟随与分布外鲁棒性；3年以上，若数据规模继续扩展且跨本体迁移验证充分，有望成为通用机器人基础模型的核心组件。前提包括获得高质量多源数据、解决现实世界长程任务的安全与可靠性问题，以及降低推理延迟和算力成本。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。