FERPO：批評家の行動微分を使わないオンライン最大エントロピー方策最適化
本論文はプレプリントである。FERPOは、学習した批評家の行動微分を使わず、価値のみから方策改善を行うオンライン最大エントロピー強化学習手法である。転がり出し方策からサンプルした行動を自己正規化重点サンプリングで重み付けし、前方KLで正則化目標分布にフィットする。DMCとManiSkillでREPPO並みの最終性能を示し、サンプル効率と更新時間で優位を報告した。
学習した批評家の行動微分に依存せず、価値予測のみから信頼できる方策改善をオンライン連続制御で実現できるか。
REPPOなどの最先端オンライン連続制御RLは学習済み批評家の行動微分を方策改善に使うが、批評家はリターン予測で訓練されるため、価値予測が正確でも行動微分まで正確とは限らない。行動勾配の誤差が方策更新を偏らせ、オンライン学習ではデータ分布変化と相互作用して訓練を不安定化させ得る。
REPPOはソフト価値批評家を学習し、方策更新時に行動をサンプルして行動微分を計算する。TRPOやPPOは方策変化をKL制約やクリッピングで制御するが、いずれも批評家の行動勾配を使うか、価値のみの改善目標を直接使わない。REPPOの弱点は、価値予測精度と行動微分精度が一致しない点である。
FERPOはエントロピーとKL正則化付き方策改善目的から最適目標分布 q*(a|s) ∝ exp(Q/(τ+λ)) π_roll(a|s)^{λ/(τ+λ)} を解析的に導出し、この目標分布に対する前方KLで方策をフィットする。行動候補は転がり出し方策からサンプルし、自己正規化重点サンプリングで重みを計算するため、Qの行動微分を必要としない。温度τとKL係数λはラグランジュ乗数として適応し、λは重点重みの正規化有効サンプルサイズ（ESS）の対数で制御する。さらに行動サンプルとQ値をキャッシュする更新と、状態価値関数と1ステップシミュレーションを組み合わせた拡張を提案する。
22のDMCタスク、4つのG1/T1タスク、8つのManiSkillタスクをシミュレーションで評価した。DMCではFERPOのIQM平均リターンが897.7±6.7で、REPPOの891.0±6.4、FastTD3の890.6±12.8、PPO（Brax）の542.8±30.2、PPOの309.8±9.4を上回った。ManiSkillではFERPOの成功率IQMが95.67±1.83%で、REPPOの95.52±1.85%、PPOの84.61±9.49%と並び、サンプル効率でREPPOより早く高い成功率に達した。G1/T1ではREPPOの34.63±0.17に対しFERPOは33.22±0.28で、G1タスクで劣りT1タスクでは同等かやや上回った。計算ベンチマークではK=16で非キャッシュFERPOの更新時間がREPPOより6.9%短く、キャッシュ時は合計22.2%短縮した。GPUメモリはCheetahRunでREPPO比22.4%増（非キャッシュ）、25.6%増（キャッシュ）だった。アブレーションではG1平坦地形で適応温度K=16が平均34.81±0.24に対しτ=0は30.32±0.27、K=8は34.32±0.18だった。キャッシュ有無のG1 K=8では50.07Mステップ時点で非キャッシュ34.03±0.21、キャッシュ33.58±0.40で、学習時間は68.4分から55.7分に短縮した。状態価値拡張はAcrobotSwingupSparseでK=16の反復時間が7.85秒から8.51秒に増えたが、高リターンを示し、シミュレーション遷移はK+1倍必要とした。
著者は、批評家の価値誤差、有限サンプル重点サンプリング誤差、ガウス方策への制限、GPUメモリ使用量の増加を限界として挙げた。G1/T1スイートではREPPOに及ばず、差はG1タスクに集中した。実機評価は報告されていない。状態価値拡張はK+1倍のシミュレーション遷移を必要とする。
オンラインRLで多数の並列シミュレーションを使うロボット運動生成やマニピュレーション開発に有益である。方策更新が速くサンプル効率が高いため、シミュレーション上の学習コスト低減が期待できる。ただし現状はガウス方策とシミュレーション評価に限定され、実機移行や拡散方策への統合は今後の課題である。企業が採用するには、実ロボットでの検証、表現力の高い方策への拡張、ハイパーパラメータの安定化が必要である。時間軸は研究用途では現在、製品開発への組み込みは1〜3年程度を見込むが、前提条件を満たす必要がある。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。