EmpowermentとMPCを単一ポリシーで統合、スパース報酬下の制御成功率を向上

エンパワーメントをゼロ次MPCの軌道最適化目的として定式化し、プロービングと制御の分布を単一化することで、スパースなタスクコスト下でも安定した制御を実現できるか。

既存のエンパワーメント制御は、仮想のプロービング方策と実行制御方策が分離しており、サンプリングベースMPCとの整合性が悪い。また、エンパワーメント勾配から制御入力を得るためにダイナミクスの二階微分が必要で、高次元系や実時間制御での適用が難しい。さらに、タスクコストがスパースな場合、MPCは有用な勾配情報を得られず失敗する。

従来のエンパワーメント制御（例：線形ガウス通信路に基づく手法）は、ゼロ平均のプロービング方策で仮想行動列をサンプリングしてエンパワーメントを推定し、その後エンパワーメントの状態勾配と制御ヤコビアンから実行行動を導出する。このため二階微分が必要で、探査行動と実行行動が乖離し、MPCの共通する行動分布での評価と選択に統合できない。ゼロ次MPCは候補ロールアウトを順伝播で評価するため勾配に依存しないが、従来のエンパワーメントとの統合は行動分布の不整合で妨げられていた。

本手法では、プロービング方策の平均をゼロに固定せず、名目制御系列を変数とし、その平均を最適化する。エンパワーメントを最終状態共分散の対数行列式としてチャネル容量を最大化する入れ子最適化として定式化し、共分散はウォーターフィリング、平均はゼロ次MPC（Random Shooting、Predictive Sampling、CEM、MPPI）で最適化する。これによりプロービングと実行が単一の行動分布に統一され、必要な微分は一次線形化のみで済む。さらに同一軌道サンプル上でエンパワーメントとタスクコストCを重みβで重ね合わせて評価する。

評価はホッパーおよび単振子、カートポール、二重振り子の制御タスクで実施された。ホッパーでは、提案手法が転倒状態からクローチ姿勢へ自己復帰して安定し、標準エンパワーメントはエンパワーメント値が大きく振動して低い値に落ちた。スパース指示コスト（τ=0.1、初期スイングアップ過渡期後の時間平均、10試行）のみでは全サンプリング手法がスイングアップに失敗した。エンパワーメント単独の成功率は、単振子で50%（Random Shooting）、49%（Predictive Sampling）、59%（CEM）、23%（MPPI）、カートポールで22%、81%、76%、24%、二重振り子で0%、0%、3%、0%だった。タスクコストと併用（β=0.0001）すると、単振子では95%、78%、100%、93%、カートポールでは79%、100%、99%、60%、二重振り子では0%、86%、46%、0%となり、全条件で併用が単独と同等以上だった。

著者らは、提案手法が計画ホライズンなどのハイパーパラメータに非常に敏感で、計画ホライズンを長くしても性能が単調に改善しないと報告した。また、安定した最適化には多数の並列ロールアウトが必要で、高次元環境ではサンプル効率が悪い。線形ガウス近似に依存したエンパワーメント推定も限界として挙げられ、拡散ベース推定量などへの発展が提案されている。実機での評価は報告されておらず、実験は振り子系とホッパーのシミュレーションタスクに限られる。コードはGitHubで公開されている。