DeltaWorld：动作条件潜变量增量学习让机器人世界模型更物理一致

如何让世界模型在机器人操作中准确预测动作引起的小范围物体变化，并在长周期自回归生成中保持物理一致？

现有世界模型通常直接预测下一时刻的完整潜变量状态，容易忽略机器人动作引起的小幅物体位移或形变，导致长时间预测中出现物体漂移、穿透和过度形变等物理不合理结果。

此前方法如IWS、LeWorld、Cosmos3等通常在潜空间预测完整未来状态或直接生成未来帧，JEPA类方法预测学习到的视觉特征，较少显式建模由动作引起的潜状态增量。这些方法在场景大部分不变时可能丢失对受控物体的小幅动作响应，自回归误差会累积。

DeltaWorld采用两阶段训练。第一阶段用一致性条件解码器训练自编码器，编码128x128图像为2D潜表示，并在潜状态中加入高斯噪声提升解码鲁棒性。第二阶段冻结编解码器，训练Delta-LTM，它根据最近10帧潜状态和对应动作序列预测潜状态增量，再通过残差更新得到下一状态；其底层使用3D卷积、FiLM动作注入、空间注意力和时间注意力。Interaction-aware Latent Alignment通过构造移除机器人手臂和被操作物体的反事实图像，比较两者编码差异并二值化得到交互区域掩码，对交互区域内的增量预测误差施加额外L1和L2损失。训练数据来自IWS基准的5个任务，每个任务约500到600个片段，两个相机视角；以及自采跨机器人数据集4个任务，片段数分别为127、329、886、893，覆盖Imeta、UR5、Franka三个平台。评估从单帧初始条件自回归预测最长150帧。

在IWS基准五个任务、两个视角的平均结果中，DeltaWorld的FID为36.04，FVD为231.98，LPIPS为0.0490，PSNR为31.22，SSIM为0.9011，MSE为0.0039；IWS基线分别为44.16、264.52、0.0661、28.80、0.8537、0.0054。在自采跨机器人数据集四个任务、三个机器人平台的平均结果中，DeltaWorld的FVD从IWS基线的168.98降至90.31，相对降低46.6%，LPIPS从0.0440降至0.0303，相对降低31.1%；其余指标为FID 37.26，PSNR 30.21，SSIM 0.9022，MSE 0.0047。消融实验在IWS和自采数据集的合并平均中，完整DeltaWorld的FVD为191.50，去掉Interaction-aware Latent Alignment后FVD升至207.60，去掉Delta-LTM后FVD升至228.03。以上均为离线视频预测评估，未报告真实机器人执行或策略成功率。

论文未报告是否开源代码、训练和推理的计算成本，以及是否将预测视频用于下游策略训练或真实机器人闭环评估。实验主要使用离线视频指标，没有报告任务成功率或物理穿透的定量测量。自采数据集部分任务训练片段仅127个，预测分辨率128x128，最长150帧。Interaction-aware Latent Alignment需要构造移除物体和机械臂的反事实图像，论文未说明掩码来源，可能依赖额外标注。该研究为预印本。