Multi-fidelity RL전문가
MFPG-PPO, 저충실도 데이터로 데이터 부족 강화학습을 안정화
이 논문은 arXiv 프리프린트로, 고충실도 데이터가 부족한 온폴리시 강화학습에서 저충실도 시뮬레이션 데이터를 제어변수로 사용해 정책 기울기 추정의 분산을 줄이는 MFPG-PPO와 예산 인지형 변형을 제안했다. 시뮬레이션 보행 과제에서 MFPG-PPO는 거의 모든 설정에서 고충실도 데이터만 쓴 PPO보다 좋았고, 가장 어려운 과제의 작은 데이터 예산에서는 고충실도 데이터를 16배 더 쓴 PPO와 비슷한 성능을 냈다. 실제 Franka 팔에서는 업데이트당 실제 에피소드 4개만으로 성공률 91.7%를 달성해 데이터 부족 상황의 로봇 학습에 중요하다.