ViGARが視覚サブゴール計画と実行を分離、RoboTwin Randomで67.02%を達成

長期の合成的ロボット操作において、短期的な未来予測と行動生成を行う世界行動モデルに、明示的なタスクレベルの視覚サブゴール推論を組み込み、行動生成を改善できるか。

既存の世界行動モデルは短期的な視覚的未来と行動の同時予測に優れるが、複数サブタスクの進行管理やタスクレベルの目標を明示的に扱わない。言語プランナーによるサブタスク分解は空間的な目標状態の記述が曖昧で、訓練と異なるシーン配置では性能が低下する。

従来はVLAとしてStarVLA、Abot-M0、X-VLA、π0.5が言語指示から行動を直接出力し、WAMとしてFast-WAM、LingBot-VA、4D-WAMが未来フレームと行動を同時予測してきた。VLMによる言語サブタスク分解や、デモ動画を文脈として与えるZero-WAM、HOSTも提案されたが、明示的な視覚サブゴールを行動生成の条件として組み込む設計ではなかった。

ViGARは、現在の観察と全体指示から次のサブタスクの視覚サブゴール画像を予測するサブゴールプランナーと、予測サブゴールに条件付けて未来フレームと行動チャンクを同時生成するサブゴール実行器からなる。両者は事前学習済みの世界モデルCosmos3-Nanoで初期化され、物理知識を共有する。サブゴール画像はVAE潜在変数として生成器ブランチに幾何的ルートで注入される。サブゴール学習では、サブタスク境界付近のフレームを次のサブゴールに割り当てる先読みルールと、エンドエフェクタ領域を重み付けするフローマッチング損失を導入した。さらに推論時に大域ゴール画像を文脈としてプランナーに入力することで、パラメータ更新なしに未学習のサブタスク分解を誘導する。

RoboTwin Clean2Random（2500件のCleanデモで訓練、タスクあたり100ロールアウトで評価）において、ViGARはClean 82.00%、Random 67.02%、平均74.51%を達成し、比較中で最強の4D-WAM（Clean 81.50%、Random 41.80%、平均61.65%）を平均で12.86ポイント上回った。サブゴール条件を除いたCosmos3-Nano-RoboTwinはRandom 22.46%だった。視覚サブゴール品質はRoboTwinでLPIPS 0.13、DINOコサイン類似度0.80、ΔIoU 0.65、RetAcc 0.94となり、VISTA、RxBrainを上回った。実機AgiBot A2で5つの合成操作タスク（各20ロールアウト）を評価し、π0.5とCosmos3-Nano-Policyより平均タスク進捗が上回った。文脈内学習の実機2タスクでは、同一シーンと同一言語指示のまま大域ゴール画像のみ変更し、分布内のタスク進捗77.5%、分布外47.5%を達成した。

論文では計算コストや推論遅延に関する限界は報告されていない。実機評価は各タスク20ロールアウトで、使用ロボットはAgiBot A2の単一機種である。文脈内学習の分布外設定でのタスク進捗は47.5%にとどまり、未学習の大域ゴールに対する汎化には限界がある。シミュレーション評価はRoboTwinのみで、査読前のプレプリントである。