哈工大（深圳）物体刚体3D世界模型：长程预测误差降83%，真机推物成功率90%

如果不每步重建整个场景，而只预测每个刚体如何运动，机器人世界模型能否在多步预测中保持物体形状，并快到足以实时规划？

世界模型让机器人在行动前预演结果。基于视频或稠密3D点的模型每一步都重新生成场景，预测越长，物体越容易变形、漂移或运动不一致，难以用于需要几十步的推动和放置规划。

视频世界模型预测未来帧，PointWorld等点模型预测逐点场景流。两者都要隐式学会“杯子始终是同一个杯子”，且每一步预测回灌都会累积误差。V-JEPA 2式规划器在潜空间中工作，同样没有强制刚体结构。

ORD-WM用以有符号距离场监督、具旋转等变性的向量神经元自编码器，把每个物体点云编码为由3D向量组成的潜变量。以机器人动作为条件的动力学网络预测每个物体的旋转和平移增量，并解析地作用于潜变量，形状天然保持，只改变位姿。模型预测控制器采样8步候选动作序列，在潜空间推演后执行最优的第一步。

在LIBERO留出轨迹上，运动点误差单步为1.58毫米，LIBERO微调PointWorld为10.04毫米（约低6.4倍，MEKAWIRE计算）；10步为7.71对79.62毫米；全轨迹为37.60对225.68毫米，低83.3%，比公开版PointWorld（321.11毫米）低88.3%（MEKAWIRE计算）。衡量形状漂移的倒角距离为0.00，对比3.58和19.87毫米。在Franka Research 3加三台RealSense D435的真机推物中，成功（最终误差小于2厘米）率在64个候选时为10%，256个为70%，1024个为90%；平均最终误差从3.72厘米降至0.97厘米，执行步数从367降至85（减少76.8%，MEKAWIRE计算）。每步规划耗时55.4、115.7和269.9毫秒。

这是预印本。物体只建模为自由或固定刚体，铰接、关节式和可变形物体不在范围内。质量、摩擦和接触为隐式学习，刚体更新也不阻止物体互相穿透。真机证据为只给成功率、表中未列试验次数的推物实验以及定性的抓放演示。训练数据为LIBERO加1000条推物轨迹，作者表示尚未在更大、更多样的数据上测试。