DeltaWorld、動作条件付き潜在増分で物理的に整合的な操作世界シミュレータを実現

ロボット動作がシーンのごく一部にしか影響しない操作映像において、動作による潜在状態の変化を明示的に予測することで、長時間の自己回帰予測でも物理的整合性を維持できるか。

既存の世界モデルは次フレームや次潜在状態全体を直接予測するため、静止した背景が支配的な操作シーンでは動作による微小な物体位置変化や接触変化を捉えにくい。その誤差が自己回帰ロールアウトで蓄積し、物体のドリフト、物体同士の貫通、過度な変形など物理的に不自然な予測を生じる。また、一様な損失では背景の寄与が大きく、相互作用領域の学習信号が埋もれる。

従来手法には、DINO-WMやIWSのように潜在空間で将来状態を直接予測するモデル、LeWorld、動画生成モデルをロボットデータで微調整するCosmos3などがある。IWSはオートエンコーダの潜在空間で動作条件付きダイナミクスを学習し、LeWorldも将来潜在状態を対象とする。これらは将来の絶対状態を予測するため、動作による差分を明示的に学習せず、小さい変化の取りこぼしが起きやすい。

DeltaWorldは2段階で構成される。第1段階では、潜在表現にガウスノイズを加えて整合性デコーダを訓練し、予測誤差に頑健な潜在空間を得る。第2段階ではDelta-LTMが最新N個の潜在状態と動作列から潜在増分を予測し、現在の潜在状態に加算して次状態を求める。これにより、静止した背景を保持しつつ動作による変化のみを学習する。さらに、操作物体とロボットアームを除去した反事実観測と元観測の潜在差分から相互作用領域マスクを作り、その領域の増分予測誤差を強調するInteraction-aware Latent Alignmentを導入した。ダイナミクスモデルには3D畳み込み、FiLM条件付け、空間注意と時間注意を用いる。

評価はオフラインの操作データセット上での自己回帰映像予測であり、最大150フレームである。IWS操作ベンチマーク5タスク、2カメラビューの平均では、DeltaWorldがFID 36.04、FVD 231.98、LPIPS 0.0490、PSNR 31.22、SSIM 0.9011、MSE 0.0039を達成した。同条件でIWSはFID 44.16、FVD 264.52、LPIPS 0.0661、PSNR 28.80、SSIM 0.8537、MSE 0.0054、LeWorldはFID 149.89、FVD 1647.68、LPIPS 0.1655、PSNR 24.89、SSIM 0.8551、MSE 0.0048、Cosmos3はFID 75.38、FVD 612.39、LPIPS 0.2948、PSNR 16.86、SSIM 0.4091、MSE 0.0853だった。独自収集のクロスロボットデータセット4タスク、3ロボットプラットフォームの平均では、DeltaWorldがFID 37.26、FVD 90.31、LPIPS 0.0303、PSNR 30.21、SSIM 0.9022、MSE 0.0047で、IWSのFID 39.37、FVD 168.98、LPIPS 0.0440、PSNR 28.20、SSIM 0.8700、MSE 0.0075に対し、FVDを46.6%、LPIPSを31.1%削減した。LeWorldとCosmos3も同時に評価し、いずれもIWSより劣る結果だった。アブレーションでは、IWSベンチマークとクロスロボットデータセットの平均で、DeltaWorld完全版がFVD 191.50、Delta-LTM除去が228.03、Interaction-aware Latent Alignment除去が207.60となり、両方の寄与を確認した。

論文では限界として明示していないが、以下の点が未検証である。実ロボット上でポリシー訓練や評価にDeltaWorldを組み込んだ結果は報告されていない。評価は記録済みデータセットに対する映像予測指標に限定され、閉ループでの制御性能や計画性能は示されていない。反事実観測の作成には操作物体とロボットアームの領域除去が必要で、自動化方法や遮蔽、視点変化への頑健性は示されていない。コード公開の有無や計算コストにも言及がない。プレプリントであるため、査読を経ていない。