新加坡国立大学SkeLAM：机器人世界模型末端轨迹误差较DreamDojo降低19.5%

从视频中自行学习动作表示的世界模型，如果把这种表示拆分为与机器人关节运动绑定的部分和其余场景变化部分，能否更忠实地执行真实机器人指令？

世界模型可以让开发者在生成视频中而非真机上测试和规划机器人行为，但大多数机器人视频没有动作标注。潜在动作模型通过相邻帧推断代理动作来弥补这一点，但这些代理动作把机械臂运动、物体响应和其他场景变化混在一起，真实关节指令难以对应，生成的机械臂会偏离指令轨迹。

DreamDojo和CD-LAM等潜在动作世界模型通过重建下一帧学习代理动作。IRASim、Ctrl-World、Cosmos-Predict2.5、Cosmos3和GE-Sim直接以机器人动作为条件，EnerVerse-AC和OSCAR则以机器人的几何渲染或骨架序列为条件，生成的每一步都需要这些输入。

SkeLAM把每对视频帧编码为两个32维潜变量：一个是被强制与渲染出的机器人骨架运动一致的运动学分量，另一个是保留其余视觉变化的残差分量。交换重建步骤让图像解码器在用骨架运动编码替换图像自身编码时仍能重建同一画面，使二者可以互换。世界模型以英伟达Cosmos-Predict2.5-2B为底座，用DROID和智元AgiBot World数据训练，两个分量走独立通路，训练中随机丢弃通路，因此部署时仅靠运动学通路即可运行。最后用一个小型适配器把真实机器人动作映射到运动学空间。骨架只在训练时使用。

在DROID的400个测试片段上（输入1帧，以480x640分辨率预测12帧），SkeLAM在动作条件模型中8项指标有7项排名第一。末端执行器平均位移误差为41.15像素，低于DreamDojo的51.11、CD-LAM的53.90和Ctrl-World的42.96；LPIPS感知误差为0.1310，低于对应的0.1473、0.1586和0.4029。方向F1上Ctrl-World（0.589）和OSCAR（0.581）仍高于SkeLAM（0.547）。去掉骨架监督后轨迹误差升至64.59像素，去掉交换重建升至66.74像素。在RoboArena策略评估中（7个策略、105个回合，生成视频的成功与否由人工判定），SkeLAM平衡准确率63.0%、成功召回率33.3%，Cosmos-Predict2.5分别为48.4%和0%；成功率误差4.76个百分点对7.62个百分点，与真实结果的皮尔逊相关系数为0.61。用人类示范视频在不重新训练的情况下驱动机械臂，仅给出定性示例。

这是预印本。策略评估为开环方式，回放的是录制好的动作，模型不会对策略的决策作出反应，作者也把闭环评估列为后续工作。33%的成功召回率意味着大多数真实成功仍被漏判，生成视频的成功标签来自人工标注。人到机器人的动作迁移只有定性结果。训练需要渲染机器人骨架，前提是已知机器人模型并完成相机标定，单次训练在A100上约需两天。所有测试都基于DROID和RoboArena的桌面机械臂。