Magic-W0、構造化世界・行動基盤モデルがRoboDojoでWAM最高スコア、実機成功率94.6%

ロボット制御において、行動候補が引き起こす環境変化を制御指向の構造化された世界表現としてモデル化し、行動生成と相互に結合できるか。

既存のVLAは視覚言語事前学習と行動模倣を組み合わせるが、行動が環境に及ぼす状態変化を独立した予測目的として明示的に制約しない。従来のWAMは将来観測の再構成や汎用潜在状態予測に依存し、3次元幾何や行動による遷移を制御向けに構造化できていない。画素ベースの将来予測はテクスチャや照明など制御に無関係な情報に容量を割き、2次元観測から3次元空間の構造と運動を明示的に捉えられない。また、多くの手法では世界予測が補助目的や条件付けに留まり、行動候補が将来予測に継続的に影響し、予測が行動更新に継続的にフィードバックする双方向結合がない。

従来手法は、RT-1、RT-2、OpenVLA、π0.5などのVLAが行動生成を中心に世界理解を暗黙的に学習した。WAMではDINO-WM、Fast-WAM、Unified World Models、V-JEPA 2などが将来観測や潜在表現を予測するが、将来画像の再構成は制御に無関係な情報を含み、潜在予測は構造が制御向けでなかった。世界予測と行動生成の結合も、Video Prediction PolicyやFast-WAMのように予測特徴を条件付けに使う、あるいは共有生成フレームワークに留まり、行動候補と将来予測が多段階で相互に条件付け合う設計はなかった。

Magic-W0は、現在状態、遷移、未来状態の3段階で構成するStructured World Transitionを導入する。現在状態はVLM文脈とCurrent 3D Geometryを組み合わせ、遷移は3D Motion、未来状態はFuture Semanticsで表現する。3Dストリームが幾何と運動を共有の隠れ状態でモデル化し、セマンティックストリームが未来意味を担当する。行動ストリームはフローマッチングで連続行動を生成し、VLMバックボーンQwen3.5-2Bの各層に対応する24層の層整合ジョイントアテンションで、3D・セマンティック・行動ストリームが相互に情報交換する。これにより行動候補が将来遷移を条件づけ、世界表現が行動生成を条件づける。学習は自己中心人間操作、UMI、実ロボット、シミュレーションの約201.4万エピソードを統一34次元状態行動インタフェースに統合し、Track4WorldとDINOv3の潜在特徴を教師として幾何、運動、未来意味を学習する。事前学習では勾配分離とランダムマスキングを用いる。

RoboDojo-Simでは平均Score 27.10、平均成功率20.84%を記録し、比較したWAMの中で最高だった。OpenWAM-αより9.92ポイント高く、GeneralizationではScore 28.20、成功率22.01%でXiaomi-Robotics-1を4.66ポイント上回った。LIBEROにファインチューニングした評価では平均成功率99.1%、Spatial 99.4%、Goal 99.6%を達成した。実機では衣類折りたたみ、ボトル直立、ペン収納、物体収納、キッチン収納の5タスクを各100試行で評価し、平均成功率94.6%を達成した。π0.5の91.8%を2.8ポイント上回り、物体収納は90%から95%、キッチン収納は91%から95%に改善した。ボトル直立は100%でπ0.5と同率だった。

著者は、器用なハンドによる精密操作への拡張、触覚・力覚信号の統合、多層世界・行動相互作用による追加計算コストと推論速度のギャップ解消を今後の課題としている。本論文は査読前プレプリントであり、実機評価は単一の研究チームによる5タスク各100試行に留まる。複数ロボットや多様な環境での再現性、統計的有意性、長期運用での堅牢性は報告されていない。また、世界教師であるTrack4WorldとDINOv3に依存するため、これらのモデルの性能や汎化範囲が制約になり得る。