Magic-W0 提出结构化世界-动作基础模型，RoboDojo-Sim 与真机任务均领先
Magic-W0 是一个结构化世界-动作基础模型，联合建模物理状态演化和连续动作生成。该预印本论文显示，模型在 RoboDojo-Sim 上平均 Score 达到 27.10，位居所有对比 WAM 之首，并在五个真机任务上平均成功率 94.6%，超过 π0.5 的 91.8%。其通过 Current 3D Geometry、3D Motion 和 Future Semantics 显式编码当前状态、动作引起的三维转移和未来语义，为机器人策略提供更强的预测与泛化能力。
如何让机器人策略显式建模动作引起的环境演化，并将该世界预测与连续动作生成在统一模型中紧密耦合？
现有 VLA 模型隐式学习世界知识，缺少对物理状态变化的独立约束；而现有 WAM 要么预测完整未来观测，引入大量控制无关细节，要么预测通用潜在特征，缺乏面向控制的显式结构化表示，并且世界预测与动作生成之间缺乏多层双向交互。
此前 WAM 分为两类：显式方法如 UniPi、RoboDreamer 预测未来图像或视频；潜在方法如 DINO-WM、Fast-WAM 预测通用视觉特征。这些方法虽然引入动作条件环境预测，但未来表示未按当前状态、转移、未来状态组织，世界信息往往作为辅助目标或在最后阶段作为条件，未能与动作生成过程持续相互影响。
Magic-W0 提出 Structured World Transition，将环境演化组织为 Current State（VLM 上下文 + Current 3D Geometry）、Transition（3D Motion）和 Future State（Future Semantics）。采用层对齐联合注意力架构，使 3D 流、语义流和动作专家在 24 层网络中多次交换信息，实现 action-conditioned world transition 与 world-informed action generation。模型在约 201.4 万条来自人类自我中心、UMI、真机和仿真数据上预训练，通过 34 维统一状态-动作接口处理跨具身差异，并使用冻结的 Track4World 和 DINOv3 提供几何、运动和语义潜在监督。
在 RoboDojo-Sim 官方评测中，Magic-W0 平均 Score 27.10，平均成功率 20.84%，在所有对比 WAM 中排名第一，平均 Score 比 OpenWAM-α 高 9.92 分；其中 Generalization 维度 Score 28.20，超过最强开源 VLA Xiaomi-Robotics-1 对应分数 4.66 分。在 LIBERO 上微调后平均成功率 99.1%，Spatial 和 Goal 子任务分别达到 99.4% 和 99.6%。真机实验在五个任务上各进行 100 次独立试验，Magic-W0 平均成功率 94.6%，超过 π0.5 的 91.8%，在物体收纳和厨房收纳等需要持续跟踪环境变化的任务上优势明显。
作者承认多层世界-动作交互带来额外计算成本，推理速度与最先进 VLA 仍有差距，并计划扩展到灵巧手精细操作以及引入触觉和力信号。此外，真机评估仅限于五个任务，任务多样性有限；论文为预印本，尚未经过同行评审。论文未报告在更多机器人平台或长期部署中的表现。
该模型可服务于机器人操作、仓储物流、家庭服务等场景的 VLA 基础模型研发，尤其适合需要精细环境预测和跨具身迁移的企业。开源代码和权重已提供，有望在 1 至 3 年内被工业界采用，前提是进一步优化推理速度、在更多真机任务上验证，并解决高维灵巧操作和触觉集成问题。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。