シンガポール国立大のSkeLAM、ロボット世界モデルのアーム軌道誤差をDreamDojo比19.5%削減

動画から行動表現を自ら学ぶ世界モデルは、その表現をロボットの関節運動に結びついた部分と、それ以外のシーン変化の部分に分けることで、実際のロボット指令により忠実に従えるか。

世界モデルを使えば、ロボットの動作を実機ではなく生成動画の中で試験し計画できる。だがロボット動画の大半には行動ラベルがない。潜在行動モデルは連続フレームから代理行動を推定して補うが、その代理行動にはアームの動きと物体の反応、その他のシーン変化が混ざる。このため実際の関節指令を対応付けにくく、生成されたアームが指令した経路からずれる。

DreamDojoやCD-LAMなどの潜在行動世界モデルは、次のフレームを復元しながら代理行動を学ぶ。IRASim、Ctrl-World、Cosmos-Predict2.5、Cosmos3、GE-Simはロボット行動を直接条件として与え、EnerVerse-ACとOSCARはロボットの幾何レンダリングや骨格系列を条件に使うため、生成の各ステップでその入力が必要になる。

SkeLAMは各フレーム対を32次元の潜在ベクトル2つに分ける。1つはレンダリングしたロボット骨格の動きと一致するよう強制した運動学成分、もう1つは残りの視覚変化を保持する残差成分である。入れ替え復元の工程により、画像デコーダーは画像自身の運動コードの代わりに骨格の運動コードを受け取っても同じ場面を復元できるようになる。世界モデルはエヌビディアのCosmos-Predict2.5-2Bを基盤にDROIDとAgiBot Worldのデータで学習し、2つの成分を別経路で受け取る。学習中に経路を無作為に遮断するため、運用時は運動学経路だけで動く。最後に小型アダプターが実際のロボット行動をこの運動学空間に写像する。骨格は学習時にのみ使う。

DROIDの評価用400クリップ（入力1フレーム、480x640で12フレームを予測）で、SkeLAMは行動条件付きモデルのうち8指標中7指標で首位だった。エンドエフェクターの平均変位誤差は41.15ピクセルで、DreamDojoの51.11、CD-LAMの53.90、Ctrl-Worldの42.96を下回り、知覚誤差LPIPSは0.1310とそれぞれ0.1473、0.1586、0.4029より低かった。方向F1ではCtrl-World（0.589）とOSCAR（0.581）がSkeLAM（0.547）を上回った。骨格監督を外すと軌道誤差は64.59ピクセル、入れ替え復元を外すと66.74ピクセルに悪化した。RoboArenaでの方策評価（7方策、105エピソード、生成動画の成否は人が判定）では、バランス精度63.0%、成功再現率33.3%で、Cosmos-Predict2.5の48.4%、0%を上回り、成功率の誤差は4.76ポイント対7.62ポイント、実結果とのピアソン相関は0.61だった。人の実演動画で再学習なしにアームを動かせることは定性例のみで示した。

プレプリントである。方策評価は記録済みの行動を再生する開ループ方式で、モデルは方策の判断に反応しない。著者も閉ループ評価を今後の課題に挙げる。成功再現率33%は実際の成功の大半をまだ見逃すことを意味し、生成動画の成功ラベルは人手による。人からロボットへの動作転移は定性結果にとどまる。学習にはロボット骨格のレンダリングが必要で、ロボットモデルとカメラ校正が前提となり、A100で1回の学習に約2日かかる。評価はすべてDROIDとRoboArenaの卓上アームで行った。