PrefPI、相対選好のみで事前学習済み生成方策を初期分布外の行動へ段階的に誘導

事前学習済み生成ロボット方策を、初期方策ではほとんど生成できない望ましい行動へ、自己生成軌跡への相対選好フィードバックだけで誘導できるか。

事前学習済み方策はタスクを解けてもユーザーごとの好みと一致しない場合がある。特に望ましい行動が初期方策の有効サポート外にあると、最初のロールアウト群に現れず、単発の選好更新では直接学習できない。既存手法は初期方策が既に生成可能な行動の強調にとどまり、分布外への誘導に失敗する。

従来の選好ベース適応は、FDPP、Diffusion-DPO、FlowPROなどが選好から報酬学習や直接最適化を行い、方策が生成した軌跡の選好を強化する。CFGRLは分類器なしガイダンスを方策改善演算子と解釈するが、報酬や最適性の数値信号を前提とする。これらはデータ収集中に観測できる行動、つまり初期方策の分布内の改善に主眼があり、初期分布外の行動への誘導は想定していない。

PrefPIは各反復で現行方策から軌跡を生成し、ユーザーが相対的に上位m件を選択する。選択軌跡で選好条件付きブランチを学習し、累積した成功軌跡で無条件ブランチを学習する。両ブランチの密度比を分類器なしガイダンスで増幅し、次の方策を生成する。上位m選択が潜在効用の順序を保つ信号を誘導することを示し、CFGを方策改善演算子として利用する。生成、選択、誘導、再展開を繰り返すことで、初期方策では稀だった行動を足掛かりに段階的に分布外へ移動する。

LIBEROのPI0.5では、速度選好で10反復（評価軌跡400件）以内に実行速度を約25〜38%改善し、迂回選好では320軌跡でボウル高さを65.1%増加、200軌跡でプレートを選好方向に106%遠く押した。適応後の軌跡は初期方策の軌跡と大きく乖離していた。一方、より積極的な誘導では成功率が20〜30%低下した。実機のCubePickAndPlace（WidowX）では、150件の選好ラベル付き軌跡（3反復）で物体最高高さを10.7cmから19.8cmに、6反復で20.4cmに高め、速度は19.8秒から10.8秒へ1.83倍、投擲距離は約4.5倍となり、成功率はおおむね90%以上を維持した。RoboMimicのOOD誘導タスクでは、選好ラベル予算を揃えた比較でPrefPIはCanDropPosとCanSpeedで最も強い誘導を示した。LiftDetourではFDPPがより大きな迂回と高い成功率を達成したが、FDPPは他の2タスクでPrefPIを下回り、CanSpeedで改善を生み出せなかった。分布内の選好改善では、Lift、Can、Squareの成功率を5反復以内に向上させ、IFBCと同等の性能を示した。

著者らは、誘導性能が初期方策の多様性に依存すると述べている。初期方策の行動多様性が低いLiftDetourでは成功率が約30%まで低下し、低多様性のPI0.5事前学習では高さ約20cmで成功率が約50%に低下した。また、実機評価はWidowX単腕のCubePickAndPlaceに限られ、コード公開の有無は論文では報告されていない。計算コストや大規模展開時のサンプル効率も報告されていない。