Humanoid RL中級
報酬ハッキングの先へ:人型ロボット学習パイプライン4層の代理指標乖離を分析
本論文はarXivプレプリントであり、査読済みではない。著者はシミュレーション上の1.91m人型ロボットでPPO方針を4段階13,500イテレーションにわたり成長させ、報酬、カリキュラム、評価統計、参照動作の4層それぞれで代理指標が目標から乖離する機構を示し、各層の再定式化を提案した。平均誤差ゲートが主関節の約59度の失敗を見逃した事例や、同期リセット評価が0.5m/sの押しを2.0m/sより危険と誤判定した事例を報告している。追加学習なしで実装できる監査チェックリストとして実務に寄与する。