World Motion Models、SE(3)軌道をトークン化し単一モデルで方策から再ターゲティングまで対応

動的3D世界の任意のSE(3)軌道集合について、単一の生成モデルが任意の既知・未知トークン分割に対応する条件付き分布を学習・推論できるか、という問いに答える。

既存の動き生成・世界モデルは、人物・ロボット・物体といった主体ごとに形態固有のパラメータ化や専用ネットワークで断片化しており、密な点群やビデオ表現では3D運動と見た目・照明・視点変化が絡み合う。また標準的な世界モデルは因果的な未来予測に限定され、目標状態や非連続な対応関係など任意条件付き推論が難しい。

従来はSMPLやMANO、URDFなど形態別パラメトリックモデル、TraceGenのような密な3D点軌道、Diffusion Forcingに代表されるトークン単位ノイズ付き系列モデル、ビデオ世界モデルなどが用いられてきた。これらは単一主体・固定カテゴリ、密な観測空間、因果的な系列順序、または見た目に依存する表現に制約され、複数形態や非因果的条件付けを同一モデルで扱うことが困難だった。

WMMは各時刻の6Dポーズを、位置と回転行列の最初の2列に微小スカラーδを掛けた3点からなる9次元ベクトルとしてトークン化し、同一エンティティの軌道に意味特徴と幾何特徴を付与する。学習は、時刻・エンティティごとに独立なノイズレベルλをサンプリングし、クリーンなポーズからノイズへ向かう速度場を単一損失で回帰するフローマッチングで行う。推論では観測トークンのλを0、目標トークンのλを1に設定するマスクだけで任意の条件付きサンプリングを実現し、さらにエピソード外の目標や対応例を保持する仮想タイムラインのコンテキストトークン機構を追加した。アーキテクチャはAdaLNによるトークン別条件付け、レジスタと時間軸・エンティティ軸に分解した5種の注意を備え、欠損期間はλ=1の純ノイズとして扱う。

Language Tableの5タスク平均成功率はWMMが87.2%（LCB 80.0%、ActionVLA 76.8%、LangTable orig. 77.0%）。WMMの政策出力をMPCで最適化するとB2Bは90.0%から100.0%、B2ALは76.0%から80.0%に向上し、平均ステップ数も減少した。TraceGenのDroidではMSE 0.151（TraceGen 0.206）、EpicKitchenではMSE 0.322（TraceGen 0.445）で全指標最良、P=128の方がP=400より良好だった。OMOMOのHOI生成ではMPJPE 12.07（CHOIS 15.30）を達成。ヒト型再ターゲティングでは、物理シミュレーション上でクリーン入力の成功率SR-seqが0.8690（GMR 0.7945、PHUMA 0.8255）、スパース3FPS補間で0.8525、ノイズ入力σ=0.1で0.8530を記録し、推論速度は86.97 FPSだった。アブレーションではAdaLN除去でB2B成功率が0.860から0.800に低下、トークン別ノイズを同期ノイズにすると0.000になった。TraceGenでは効率的注意を除去するとMAE 2.356、plain DiTにするとMAE 32.05に悪化した。WMMのパラメータ数は438.8M、400トラック32ステップの推論時間は4.18秒と報告された。

著者らは、ベンチマークごとに個別のWMMチェックポイントを学習しておりドメイン横断の統合学習は未実施、SE(3)を超えるスケーリングやせん断などの一般線形群への拡張は将来課題、幾何情報（深度や現在・過去状態）を必要としRGB動画からの直接推論は未対応、訓練中に存在しない新規形態への一般化はできない、と述べた。加えて、査読の記録がなくプレプリントであり、コード公開の有無は論文では報告されていない。推論時間もTraceGenの既存手法より遅い（4.18秒対2.66秒）。