RoboBridge、シミュレーションから実機へ手続きスキルを自己進化させるフレームワーク

シミュレーションから実世界への移行において、エンドツーエンド方策の追加学習なしに、手続き的タスク知識を移行し、実環境のフィードバックで継続的に適応できるか。

エンドツーエンドの視覚言語行動モデルは微細な操作能力を持つが、実機移行ではシミュレーション条件の較正や対象ドメインのデモ収集、方策の再学習が必要になる。タスク知識がモデルパラメータや学習済み行動分布に埋め込まれるため、環境変化時に再利用可能な手続きを切り出して選択的に改訂することが難しい。既存のツール利用型エージェントはタスク実行や同一環境内での経験再利用に重点があり、シミュレーションから実機への手続き知識の移行と継続的適応の仕組みが十分ではなかった。

従来のエンドツーエンドモデル（RT-1、RT-2、OpenVLA、π0など）は、シミュレーション画像の多様化、ダイナミクス摂動、データ中心のスケーリング、推論時ステアリングなどで移行を図ってきたが、適応が方策自体に結びついていた。ツール利用型エージェント（Harness VLA、ASPIRE、RATsなど）は手続きを明示化し、フィードバックに基づく修復やスキル更新を行うが、主に単一環境内の実行や経験再利用に焦点があり、シミュレーションと実機の間で手続き知識を移行して改訂する枠組みが限られていた。

RoboBridgeは、事前学習済みVLA方策を再利用可能な行動ツールとしてエージェントハーネスに組み込み、タスク知識を意図、観測、ツール操作、結果検証を結ぶ手続きスキルとして明示的に保持する。インタラクションフィードバックから候補となるスキルの追加・置換・削除を生成し、タスク実行で検証した上で永続化または棄却する。また、エージェントがサブタスク目的と実行制約から報酬関数を構成し、拡散デノイジング中の行動候補を勾配で補正する推論時ガイダンスを導入し、方策パラメータを凍結したまま局所操作を適応させる。シミュレーションと実機でタスク意味と観測・ツールインターフェースを整列させ、シミュレーションで進化したスキルを実機の初期スキルとして再利用し、実環境フィードバックでさらに進化させる。

LIBERO-PROのSPATIAL、OBJECT、GOAL、LIBERO-10の4スイートで、命令リダイレクトと位置交換の摂動を組み合わせ、各スイート摂動ペアで100試行（10タスク×10シード）を評価した。全体成功率は74.4%で、最強の報告ベースラインHarness VLAの72.1%を2.3ポイント上回り、GOAL-Tでは80%対75%で5ポイント上回った。基盤方策π_RLinf単独の全体成功率は50.0%だった。アブレーションでは、SPATIAL-TとOBJECT-Tでフル構成が83%と94%を達成し、スキルガイダンスなしでは21%と16%、追記のみの更新では44%と57%、検証なしでは69%と63%、推論時ガイダンスなしでは75%と82%となった。実機3タスクでは、スキルガイダンスなしの成功率が各15試行中4/15、2/15、3/15だったのに対し、シミュレーション由来スキルの直接移行で9/15、7/15、7/15となり、10エピソードの実機スキル進化後に15/15、14/15、15/15に改善した。ケーキ配置タスクでの適応効率比較では、シミュレーション初期化が12反復で15/15に到達し、ゼロからの進化では16反復を要した。累積トークン消費はそれぞれ13.08Mトークンと52.39Mトークンで、約75%削減された。

著者らは、評価がCodex with GPT-5.5というコーディングエージェント構成に依存していることを限界として挙げ、より幅広い基盤モデルとエージェントハーネスでの検証を今後の課題としている。また、実機評価は3タスクかつ各条件15試行と小規模であり、LIBERO-PROのみのシミュレーションベンチマーク評価である。コードやモデルの公開について論文では報告されていない。本論文は査読前のプレプリントである。