知覚と予測と計画を一つに：一人称の器用な操作のための統合ワールドアクションモデルP3-WAM

手とカメラの動きの復元（知覚）、行動条件付き予測、目標指向の計画を一つのワールドアクションモデルで同時に学習すると、個別に学習するより全てが良くなるか。

人間動画からロボットを学習させるには、手の姿勢推定、行動条件付き動画予測、計画という通常は別々の3モデルが要る。別々のモデルは手と物体の相互作用について学んだことを共有できず、明示的な3D行動を持たない動画生成モデルは指定した動きからずれやすい。

手の復元にはHaMeRやDyn-HaMRなどの推定器を使ってきた。DreamDojo、Hand2World、EgoSimといった行動条件付き世界モデルや、Wan2.2、エヌビディアのCosmos 3などの汎用動画モデルは映像を予測や生成するが、構造化した3D行動計画までは出力しない。

P3-WAMは手とカメラの軌跡を表す小さな3D表現を、事前学習済みの動画拡散トランスフォーマー（Wan2.2-Fun A14B-Control）に組み込んだ。重みを共有するミクスチャー・オブ・トランスフォーマー構造に、モダリティ別の適応と映像と行動の双方向アテンションを加えた。学習時に映像や行動を無作為に隠すことで、同じモデルが映像から行動（知覚）、行動から映像（予測）、画像と指示と任意の目標画像から両方（計画）を生成できるようにした。

同じ学習ステップで単一モード学習と比べると、統合学習はEgoDex、ARCTIC、HOT3D、EgoLiveの平均でカメラ座標の手の誤差を23.5%減らし、予測のFVDを1106から1010に下げた。EgoDexではカメラ座標の手の誤差が32.9mmで、HaMeRの112.9mm、Dyn-HaMRの115.5mmを大きく下回った。行動条件付き予測では4データセット全てで全画面指標の首位となり、自身の基盤モデル比で平均PSNRが15.9dBから19.0dBに上がり、FVDは1218から622に下がった。計画では、モデル名を伏せたQwenのVLM審査で指示順守が5点満点中3.74点となり、Wan2.2やCosmos 3-Nanoの最良設定（3.12点）を上回った。

著者らは単眼カメラで手の3D全体位置を推定するのは本質的に曖昧で、ロボット実行がオープンループのため自己修正できないと認めている。ロボットでの根拠はリターゲティング後の定性的な2例のみで成功率はない。計画の質は課題達成ではなくVLMの採点で測っており、一部の比較モデルはそれぞれの入力方式で実行した。