WorldOracle：用真实执行结果检验动作条件世界模型的基准
智元机器人与英伟达研究人员在预印本中发布一项基准：把真实机器人执行过的动作原样输入世界模型，检查预测视频是否与真实结果一致，包括抓空和洒水。受测的七个模型在长时预测中全部退化，即便机械臂轨迹跟得最好的模型也常把物理结果预测错，这对打算在世界模型中评测或训练机器人的企业是一个提醒。
在相同初始画面和相同底层动作序列下，动作条件世界模型能否准确预测真实机器人执行这些动作的结果，包括失误和失败，并且跨机型、跨数分钟而非数秒都成立？
越来越多研究把视频生成模型改造成动作条件世界模型（ACWM），根据机器人动作预测场景变化，期望不占用真机时间就能生成训练数据、评测策略。但画面逼真不等于结果正确：论文开篇示例中，真实夹爪没抓住水果，模型却生成了成功抓取的画面。现有基准或评画质，或按文本指令评，或在仿真中测可执行性，没有一个把动作条件预测与包含失败的长时真实执行逐一对照。
通用视频基准评估画质、可控性和物理合理性。EWMBench、PAI-Bench、WoW-World-Eval、RBench等具身基准以图像加任务指令为条件，而非具体动作轨迹。WorldArena和WorldArena 2.0把世界模型当作数据引擎、策略评估器和规划器来测，但主要在仿真器内进行；RoboWM-Bench则把从生成视频中提取的动作放到实景重建的仿真里回放。
WorldOracle将记录的真实动作轨迹开环输入各模型，从四个维度把生成视频与真实视频对比：物理状态正确性（每次操作尝试结束时由VLM判定“绿色杯子被夹爪抓住”等标注条件）、交互空间对齐（在SAM3分割出的机械臂、人手和物体区域上做DINOv3特征匹配）、关键交互区域保真度（仅在这些区域内计算PSNR、LPIPS和V-JEPA相似度）以及头部与双腕相机之间的多视角动作一致性。基准覆盖摘水果、挂毛巾、倒水、拉抽屉四类物理特性不同的任务，以及智元G2、YAM双臂工作站和人手三种本体。新采集的G2训练集有1779条约一分钟的轨迹，失败片段约占20%；评测集包括约两分钟的G2轨迹100条、YAM 75条、人手100条，失败比例约40%，另有60条由π0.5策略实际驱动G2的轨迹，用来检验带犹豫和纠正动作的不同分布。分数按前30秒和完整轨迹分别报告。
指标排序在成对比较中与人工判断一致率为88.1%至93.2%，斯皮尔曼相关系数0.72至0.82。七个模型（IRASim、Ctrl-World、DreamDojo、Cosmos 3 Nano、GE-Sim 2.0、JointControlVideo、OSCAR）中，GE-Sim 2.0在G2上单视角综合分领先，前30秒73.86，全程63.33；同期DreamDojo从50.56降至27.08，Cosmos 3从53.99降至26.60。GE-Sim 2.0在两种机器人上的空间对齐均居首，G2为81.40和73.49，YAM为74.97和59.78，策略轨迹集上为78.70。但在G2全程中，其多视角一致性高达96.96，物理状态正确性只有60.26，关键区域保真度56.24，说明手臂轨迹跟得准，抓取、接触和最终结果却常出错。G2四项任务平均单视角分，GE-Sim 2.0为73.9，第二名为54.0。
该文为预印本，未经同行评审。作者说明三种本体之间并非对照比较：G2模型用基准自带训练集适配，YAM用公开的ABC-130K数据集适配、训练与测试差距更大，人手为零样本测试；模型设计与分数的关系也只作为假设提出。我们认为，排名第一的GE-Sim 2.0来自智元一方，其论文与本基准作者有重叠，G2又是智元自家机器人且训练集为本次测试专门构建，其领先需要独立团队复核。物理正确性依赖VLM评判，四项桌面任务也只覆盖工厂和家庭作业的一小部分。数据、代码和排行榜尚未发布。
把世界模型当作机器人仿真器推广的企业，包括英伟达Cosmos和智元GE系列，今后要接受与真实结果对照的检验，而不仅是画面质量。对计划在世界模型中评测策略或生成训练数据的整机厂而言，所有模型长时退化、可能“幻想”成功的结论意味着现阶段仍需保留真机验证。智元以自家本体和数据主导这一基准，也是在争夺国内具身智能世界模型评测标准的话语权。排行榜一旦公开，一年内可能成为采购参考，但可靠的长时仿真仍有距离。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。