MobiAgent、デュアルループ自己改善で実機操作成功率を32.5%から57.5%に向上

長距離移動操作で、階層的推論と低レベル制御を分離し、実行失敗からの回復と注釈なしの継続的なポリシー自己改善を両立できるか。

長距離移動操作では実行誤差の蓄積と、移動と腕制御のセンサモータマッピングを単一モデルで扱う際の容量干渉が深刻である。既存VLAは短期的な反応に優れるが長期的な文脈と意味的タスク分解を維持できず、既存階層エージェントは副タスクの固定的な対応付け、柔軟性の低い再計画、継続学習の欠如が障害となる。

従来のVLAにはRT-2やOpenVLAのように動作トークンを離散化する方式と、π0やπ0.5のようにフローマッチングで連続動作を生成する方式がある。Mobi-πやN2Mは移動プラットフォームへの拡張を進めたが、主にナビゲーションと操作の引き継ぎを最適化しており、長期的な閉ループ再計画や展開データからの改善を欠く。階層的エージェントはCaP-Xが事前定義プリミティブの組み合わせに留まり、RoboClawが明示的な前進とリセット政策のペアを要求するなど、計画の柔軟性とデータ活用に限界があった。

内部ループでは、Task PlannerがVLMを用いて後退ホライズン型の計画を行う。固定リストから選択せず、原子的スキルをその場で構成して次のサブタスク指示とスキルヒントを生成する。Skill Executorは共有VLMトランクの上にスキル固有のフローマッチング行動エキスパートを持つπ0.5を利用し、選択されたスキルで短期動作チャンクを予測する。Reflection Criticは数チャンクごとに視覚観測を評価し、完了、未完了、エラーの判定と次へ、再試行、再計画の推奨を出力し、オーケストレーション制御器が遷移を決める。外部ループでは、Data CuratorがVLMで軌道をセグメント化して品質検証し、Skill Generatorが指示文をクラスタリングして原子的スキル語彙を構築し、Skill Trainerが行動クローニングでスキル政策を継続更新する。

RoboCasa Composite-Seenの16タスクでは、FrankaアームとOmron移動台で各対象シーン5試行を実施した。CaP-Xが5.00%、π0.5が7.50%だったのに対し、MobiAgentは1ラウンド目18.75%、3ラウンド目27.50%に達し、4から6ラウンド目は25.00%から27.50%で飽和した。BEHAVIOR-1Kの4タスクでは各10試行の条件で、タスク別に学習したπ0.5-TAの平均42.5%に対し、MobiAgentはスキル共有により平均65.0%を達成し、最長のfetch-beerでは60%対10%と50ポイント差をつけた。実機Astribot S1の4タスクでは、タスクあたり100デモのπ0.5が平均10.0%であるのに対し、MobiAgentはブートストラップで32.5%、約20軌道ずつの自動キュレーションによる2回の更新後57.5%まで向上した。BEHAVIOR-1Kの成分除去実験では、固定副タスク構成が20.0%、単一共有行動ヘッドが42.5%、Reflection Criticなしが10.0%、グローバル再計画なしが40.0%だった。成功エピソードの39%が少なくとも1回の再計画を必要とし、平均再計画回数は0.95回、上限3回だった。

著者は、新規スキル追加が既存行動を妨害する可能性を指摘し、LoRAや継続学習戦略の導入を今後の課題とした。また、姿勢補正の反復、配置回復の不正確さ、一時的な視覚遮蔽による批評家のドリフトが残っており、幾何学的知覚や将来現実検証の統合が有効と述べている。さらに、RoboCasa、BEHAVIOR-1K、実機4タスク以外の広範なタスク群、環境、ロボット形態での検証が不足している。本論文は査読前のプレプリントであり、GitHubリポジトリが提示されているが、独立した再現性評価は完了していない。