Policy Optimization전문가
FERPO, critic 행동 미분 없이 forward KL로 정책을 개선하는 온폴리시 최대 엔트로피 RL
FERPO는 온폴리시 최대 엔트로피 강화학습 알고리즘으로, 학습된 critic의 행동 미분을 쓰지 않고 critic 값만으로 정책을 개선한다. 엔트로피와 KL 정규화로 만든 목표 행동 분포를 forward KL로 맞추며, MuJoCo Playground와 ManiSkill에서 REPPO와 경쟁하거나 일부 과제에서 더 적은 환경 상호작용으로 비슷한 성능을 냈다. 이 논문은 아직 동료 심사를 거치지 않은 arXiv 프리프린트다.