InterEvolve、報酬プログラムのテスト時進化で固定人型コントローラを未知タスクに適応

固定した事前学習済みヒューマノイドコントローラが持つ運動能力を、再学習なしにテスト時の報酬プログラム進化だけで引き出し、未知の接触リッチな多段階ロコマニピュレーションタスクを解けるかを問う。

ヒューマノイドは訓練時に列挙されていないタスクや物体配置に直面する。従来のタスク指示は動作参照、目標状態、スキルラベルであり、接触リッチな多段階タスクの意図を表現しにくい。報酬は表現力が高いが、候補ごとに方策を再学習すると反復が遅い。また既存のFB行動基盤モデルは身体のみを観測するため、物体の目標だけが異なる報酬が同じ行動に縮退する。

従来は動作参照や目標状態、スキルラベルでタスクを指定する方法、LLMが報酬関数を書いて方策を再学習する方法、テスト時に方策の潜在空間や行動計画を探索する方法があった。FB行動基盤モデルは報酬を潜在プロンプトへ変換するが、既存のBFM-Zeroは身体のみを観測し物体の報酬差を区別できなかった。また人手の報酬設計は、コントローラが持つ能力を十分に引き出せなかった。

InterEvolveは、タスクを段階的な報酬プログラムとして表現する。各段階は報酬コードと完了条件を持ち、定数は重みや閾値である。物体対応のFB行動基盤モデルを導入し、凍結した身体事前ネットワークに物体状態とリンク表面ベクトルを読む物体残差を追加し、人間と物体の相互作用データで学習した。LLMエージェントが検証済みプログラムのスキルライブラリと実行フィードバックを文脈に構造を改訂し、CMA-ESが各提案の定数を並列シミュレーションで較正する。候補は複数シナリオで検証され、現在の最良プログラムと比較して採択される。

参照追従では、InterEvolveが進化報酬で成功率72%、ボディ誤差19.80cm、物体誤差24.92cmを記録し、専用トラッカーULTRAの成功率66%、ボディ誤差15.68cm、物体誤差21.45cmに対して成功率で上回った。物体なしBFM-Zeroは成功率8%だった。8タスク系統の一般タスクでは、進化なしのエージェント初期プログラムの成功率32.2%から、CMA-ES較正で34.6%、InterEvolveの構造進化で86.5%に向上し、Earnedは95.6%だった。アブレーションでは、多段階を単一段階にすると成功率44.7%、CMA-ES除去で51.6%に低下した。複合作業のスキルライブラリ再利用では、全ライブラリがRelocate 8/10、Stack 4/10、Carry-place-kick 5/10を成功させ、ライブラリなしは0/10、0/10、1/10だった。実機Unitree G1でキックとプッシュの2タスクを機載カメラとFoundationPoseによる物体姿勢推定のみで自律実行した。定量評価はシミュレーションである。

定量評価はIsaac Labシミュレーションに限定され、実機は2タスクの定性的デモで成功率は報告されていない。複合作業のStackは4/10、Carry-place-kickは5/10と部分的である。1タスク系統の進化コストはGPUで2.1時間、LLMトークン0.23Mと報告され、シミュレーションが支配的である。コードやモデルの公開状況は論文では報告されていない。