FERPO, critic 행동 미분 없이 forward KL로 정책을 개선하는 온폴리시 최대 엔트로피 RL
FERPO는 온폴리시 최대 엔트로피 강화학습 알고리즘으로, 학습된 critic의 행동 미분을 쓰지 않고 critic 값만으로 정책을 개선한다. 엔트로피와 KL 정규화로 만든 목표 행동 분포를 forward KL로 맞추며, MuJoCo Playground와 ManiSkill에서 REPPO와 경쟁하거나 일부 과제에서 더 적은 환경 상호작용으로 비슷한 성능을 냈다. 이 논문은 아직 동료 심사를 거치지 않은 arXiv 프리프린트다.
학습된 critic의 행동 미분 없이 critic 값만으로 안정적이고 효율적인 온폴리시 정책 개선을 할 수 있는가?
REPPO 같은 pathwise 온폴리시 방법은 critic을 미분해 얻은 행동 기울기로 actor를 업데이트한다. 그러나 critic은 가치 예측으로 학습되므로 가치 예측이 정확해도 행동 미분이 정확하다는 보장이 없고, 행동 미분 오차가 정책 개선에 편향을 주거나 학습을 불안정하게 만들 수 있다.
REPPO는 소프트 critic을 온폴리시 궤적으로 학습하고, rollout 정책과의 forward KL 제약 아래 actor가 critic의 행동 미분을 사용해 정책을 개선한다. TRPO와 PPO도 정책 변화를 제한하지만, REPPO 계열은 critic의 행동 기울기에 의존한다. 행동 미분의 방향이 rollout 기반 추정과 어긋나는 문제도 보고됐다.
FERPO는 엔트로피와 KL 정규화를 포함한 Lagrangian을 최소화하는 최적 목표 행동 분포 q*(a|s)를 exp(Q/(τ+λ)) π_roll^(λ/(τ+λ)) 형태로 유도한다. actor는 이 목표를 reverse KL이 아니라 forward KL로 fitting해 여러 고가치 모드를 덮도록 한다. rollout 정책에서 K개의 후보 행동을 뽑아 self-normalized importance sampling으로 가중치를 만들고, 가중치를 고정한 채 정책 로그 확률만 미분한다. 온도 τ와 신뢰 영역 계수 λ는 각각 엔트로피와 정규화 effective sample size(ESS)를 목표에 맞추는 Lagrange 승수로 함께 업데이트한다. critic 행동 미분은 사용하지 않는다.
A100 합성 rollouts 기준 K=16에서 uncached FERPO의 actor-critic 합산 업데이트 시간은 REPPO보다 6.9% 짧았고, 캐시를 쓰면 추가 16.4% 줄어 총 22.2% 감소했다. CheetahRun의 최대 GPU 메모리는 uncached 22.4%, cached 25.6% 높았다. 50M 상호작용에서 DMC 22개 과제 IQM은 FERPO 897.7±6.7, REPPO 891.0±6.4, FastTD3 890.6±12.8, PPO(Brax) 542.8±30.2, PPO 309.8±9.4였다. MuJoCo Playground G1/T1 4개 과제 IQM은 REPPO 34.63±0.17, FERPO 33.22±0.28로 G1에서 REPPO가 앞섰고 T1은 유사하거나 약간 높았다. ManiSkill 8개 과제 성공률 IQM은 FERPO (95.67±1.83)%, REPPO (95.52±1.85)%, PPO (84.61±9.49)%였다. G1 flat 50.07M 스텝 기준에서 K=16의 평균 return은 34.81±0.24, K=8은 34.32±0.18, τ=0은 30.32±0.27로 엔트로피 정규화가 4.49 포인트 이득을 줬다. bimodal cost 분석에서 rollout 분포 샘플만 쓴 SNIS K=1024는 우측 방향을 26.4%의 배치에서만 복원했지만, proposal 보정을 하면 κ=2에서 98.9%, κ=3에서 99.9%로 복원률이 올랐다.
저자들은 critic 값 오차, 유한 샘플 importance sampling 오차, Gaussian 정책 제한, GPU 메모리 사용 증가를 한계로 꼽았다. G1/T1 종합에서는 8개 시드 기준 REPPO보다 낮았고 격차가 G1 과제에 집중됐다. state-value 확장은 후보 행동마다 1단계 시뮬레이션을 추가해 총 시뮬레이션 전이 수가 K+1배가 되며, 실험은 시뮬레이션 벤치마크 중심이다. 코드는 공개됐지만 동료 심사 여부는 논문에 보고되지 않았다.
병렬 시뮬레이션 기반 로봇 학습에서 actor 업데이트 계산 부담과 critic 미분 불안정을 줄이려는 기업에 단기적으로 적용 가능하다. 현재는 MuJoCo Playground와 ManiSkill 등 시뮬레이션 벤치마크와 제한된 실험 설정이므로, 실물 로봇 전이와 확장 검증은 1~3년 뒤가 될 수 있다. 실제 적용 전에 다중 로봇, 더 큰 행동 공간, diffusion 정책 결합, state-value 기반 critic의 추가 검증과 안전성 평가가 필요하다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.