MEKAWIRE
上級arXiv

UniWAM、VLMと世界モデルと行動予測を統合したロボット基盤モデルを提案

Jiayi Chen, Wenxuan Song, Jingbo Wang, Shuai Zhou, Xicheng Gong, Zehua Fan, Ziyang Zhou, Junwu E, Haodong Yan, Fuhao Li, Qize Yu, Xu Huang, Pengwei Wang, Wen Chen, Shunbo Zhou, Haoang Li
30秒で読む

UniWAMは、物理推論を担うVLM、未来映像を生成する世界モデル、行動予測器を単一のMixture-of-Transformersアーキテクチャに統合したロボット基盤モデルである。ロボットデータ約4958時間、人間の一人称データ約5072時間、VQAデータ約8.293M件を事前学習し、LIBERO標準で平均99.2%、LIBERO-Plusで92.6%、RoboTwin 2.0で平均71.73%を達成した。本論文はプレプリントであり、査読済みではない。実機評価では4つの指示追従タスクで成功率67.5%、指示追従率82.5%を報告し、人間とロボットの共訓練に対数線形のスケーリング則を確認した。

研究課題

VLMの推論・汎化能力と世界モデルのダイナミクス理解を統合し、真に汎用的なロボットモデルを構築できるか。

問題

既存のVLAは動作のみの教師信号では世界ダイナミクスの理解が不十分であり、WAMは事前学習済みビデオ生成モデルの時空間事前知識を継承するが、分布シフト下での意味理解や複雑なタスクの推論に限界がある。

従来の手法

RT-2、OpenVLA、π0、π0.5などのVLAは言語と行動の統合を重視し、Motus、DreamZero、Cosmos PolicyなどのWAMは映像と行動の統合を重視してきた。いずれも意味理解と世界ダイナミクス理解の両立が不十分だった。また、人間の一人称データを用いた事前学習では、人手のデータとロボットデータの分布差を埋める仕組みが十分ではなかった。

新しい手法

UniWAMは、Qwen3-VL-2B-Instructを物理推論器、Wan2.2-TI2V-5Bを世界生成器、フローマッチングに基づく行動予測器として統合したMoTアーキテクチャを採用した。低レベル行動を自然言語で表現する物理言語教師を用い、VQAデータ、人間の一人称データ、ロボットデータを各専門家に相補的に割り当てて事前学習する。人間データにはVLMベースの自動アノテーションパイプラインEgoANTでサブタスク境界と言語記述を付与する。ポストトレーニングでは、未来映像の潜在変数にノイズを加える未来視覚ノイズ拡張と、行動履歴をフローマッチングの初期値に用いる履歴条件付きフローマッチングを導入し、推論時のデノイジングステップを削減した。

結果

LIBERO標準スイートでは平均成功率99.2%を達成し、従来最高のXiaomi-Robotics-0の98.7%を上回った。LIBERO-Plusの7次元OOD評価では全体92.6%で、ロボット摂動89.5%、言語92.2%、照明97.9%、背景97.6%で最高値を記録した。RoboTwin 2.0ではClean2Clean 75.14%、Clean2Random 68.32%、平均71.73%で、比較対象中最高。実機の指示追従4タスクでは平均成功率67.5%、指示追従率82.5%で、π0.5をそれぞれ13.1ポイント、21.9ポイント上回った。長距離タスクの進捗スコアは5.0/6で、π0.5の4.8、Motusの3.2を上回った。事前学習データのスケーリングでは、ロボットデータ250時間から5k時間で平均タスク完了率が0.35から0.67へ単調に向上し、検証損失に関する対数線形則L(D)≈0.03205-0.00302 ln(D)(R²≈0.983)を確認した。

限界

論文では限界が明示的に報告されていない。評価は主にLIBEROとRoboTwin 2.0のシミュレーションおよび単一の実機プラットフォーム(AgileX Piper)に限定され、実機タスク数は4つの指示追従タスクと1つの長距離タスクにとどまる。スケーリング則の検証はロボットデータ250~4958時間の範囲であり、さらに大規模なデータでの飽和や実機への転移は未検証である。また、事前学習に約1万時間のデータと大規模GPUが必要であり、計算コストは高い。

産業への影響

現在の産業用ロボットや家庭用ロボットの基盤モデルとして、物体操作、指示追従、長距離タスクの精度向上に寄与する可能性がある。特に、人間の一人称データとロボットデータの共訓練で対数線形スケーリング則が確認されたため、データ投資のROIを定量的に示せる。ただし、実用化には実機での長期信頼性、安全性検証、推論効率のさらなる改善、および多様なエンボディメントへの適応が必要で、1~3年以内にB2Bの物流・製造向けピッキングやマニピュレーション用途で先行導入される可能性がある。最終消費者向け汎用ロボットへの展開は3年以上先とみられる。

この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。