MFPG-PPOでデータ不足の強化学習を安定化、実ロボットは4エピソードで学習

高忠実度データが乏しいオン方策強化学習で、低忠実度データを制御変量として使うMFPGをPPOに拡張し、実ロボットを含むアクター・クリティック学習で安定化できるか。

現実のロボットや高精度シミュレータではHFデータの収集が高コストで、標準的なPPOは少数エピソードでは勾配推定が不安定になり学習が破綻する。LFデータは豊富だがバイアスがあり、既存手法はLFデータに基づくバイアス付き目的関数を直接最適化するため、LFからHFへの移行が失敗すると性能が悪化する。

従来のMFPGはREINFORCEに限定され、小規模シミュレーションのみで評価されていた。PPOへの単純な置き換えは交差忠実度相関を失うか分散を増幅し、HF単体のPPOより劣ることがあった。DARCやPARなどのオフダイナミクスRL、Co-training、プーリングはLFデータのバイアスを直接最適化するため、移行難易度に依存する。

MFPG-PPOは、PPOのサンプリング、アドバンテージ推定、制御変量構築を再設計した。HFロールアウトと結合LFロールアウトを同じ行動ノイズで収集し、LFシミュレータを記録したHF状態へ定期的に再同期する。HF、結合LF、非結合LFそれぞれに別々のクリティックを用い、GAEの地平線を一致させる。係数cはステップ単位またはエピソード和で適合し、EMAで平滑化する。モニタリングでは90%信頼区間で相関が有意かつ経験的分散削減を確認した場合のみ制御変量を適用し、失敗時はHFのみのPPOにフォールバックする。さらにMFMCの配分式に基づき、固定予算内でHFとLFのサンプル数をオンライン配分するMFPG-PPO-BAを導入した。

シミュレーションではH1とANYmal-Dの平地・不整地の4タスク、HF環境数を8から512に変化させ、非結合LF環境は4096で固定した。MFPG-PPO-FRは16設定中14でPPO HF-Onlyを上回り、統計的に劣る設定はなかった。MFPG-PPO-BAはコスト比10を仮定し全16設定でPPO HF-Onlyを上回った。最も難しいH1 Roughでは、最小HF予算（1/256×、HF 16環境相当）でPPO HF-Onlyがほぼ0に崩壊する中、MFPG-PPOは平均リターン約40を達成し、16倍のHFデータで訓練したPPOと同等以上だった。実Frankaアームの立方体把持では、3シード各80反復、1反復4エピソードで、初期成功率40.0%からMFPG-PPO-FRは91.7%に到達し、PPO HF-Onlyは55.0%だった。アブレーションでは、Direct substitutionは低リターン、モニタリング除去で分散比が1を超える反復が大部分を占め、最大1000超も観測された。

著者は、結合LFロールアウトをHF状態に再同期する一方で非結合LFロールアウトを自由に進化させることが、LF統計量の平均差によりバイアスを生む可能性を指摘している。再同期を両方に適用すればバイアスは除去できるが分散の一部が削減不能になる。また、実ロボット実験はFrankaアーム1台、3シード、単一タスクであり、シミュレーションも移動・把持タスクに限られる。本論文はプレプリントであり査読の有無は確認されていない。予算配分の評価はコスト比10の1条件のみで、他のコスト比での一般性は報告されていない。LFシミュレータの構築や再パラメータ化可能な方策の要件も実用上の前提となる。