MFPG-PPO, 저충실도 데이터로 데이터 부족 강화학습을 안정화

고충실도 데이터가 매우 부족한 온폴리시 강화학습에서 편향된 저충실도 데이터를 정책 기울기 추정에 편향 없이 활용해 학습을 안정화할 수 있는가?

실물 로봇처럼 고충실도 데이터가 비싸고 희소하면 온폴리시 강화학습의 정책 기울기 추정이 노이즈에 취약해 학습이 붕괴할 수 있다. 기존 저충실도 데이터 활용법은 저충실도 목적을 직접 최적화해 고충실도 환경 성능이 저충실도 전이 품질에 크게 좌우된다.

오프다이내믹스 RL(DARC, PAR)은 저충실도 보상을 보정하고, Co-training은 고, 저충실도 데이터를 섞는다. 그러나 이들은 저충실도 데이터에 기반한 편향된 목적을 직접 최적화해 저충실도에서 고충실도로의 전이가 실패하면 성능이 나빠진다. MFPG-REINFORCE는 제어변수를 쓰지만 소규모 시뮬레이션 REINFORCE에 국한됐고, PPO에 단순 치환하면 상관 손실이나 분산 증폭이 나타났다.

MFPG-PPO는 PPO의 샘플링, GAE 이점 추정, 제어변수 구성을 재설계해 고, 저충실도 궤적 간 상관을 보존한다. 저충실도 시뮬레이터를 기록된 고충실도 상태로 재동기화하고 행동 노이즈를 공유하며, 결합, 비결합 저충실도 배치에 별도 크리틱을 사용한다. 계수 c를 단계별 또는 에피소드 합 단위로 적합하고 EMA로 평활하며, 부트스트랩 신뢰구간과 분산 감소 확인을 통과할 때만 제어변수를 적용하고 실패하면 고충실도 PPO로 폴백한다. 예산 인지형 변형은 MFMC 할당식으로 고, 저충실도 샘플 수를 배분한다.

시뮬레이션은 Isaac Lab의 Unitree H1 휴머노이드와 ANYmal-D 사족 로봇을 평지, 험지에서 평가했고, 고충실도 환경을 기본 4096개의 8~512개(최대 512배 적음)로 스윕했다. H1 Rough에서 PPO HF-Only는 1/128 이하 예산에서 거의 0으로 붕괴했지만 MFPG-PPO-FR은 1/256 예산에서 평균 수익 약 40을 기록했다. 가장 작은 3개 예산에서 MFPG-PPO-FR은 고충실도 데이터를 16배 더 쓴 PPO와 비슷하거나 그 이상이었다. 16개 과제-예산 설정 중 MFPG-PPO-FR은 14개에서 PPO HF-Only보다 좋았고 나쁘지 않았으며, 예산 인지형 MFPG-PPO-BA는 비용비 10 가정에서 16개 모두 좋았다. 실물 Franka 큐브 집기에서 MFPG-PPO-FR은 업데이트당 실제 에피소드 4개, 3개 시드, 80회 반복 후 최종 성공률 91.7%로 PPO HF-Only의 55.0%보다 높았다. 공유 웜스타트 정책의 실제 성공률은 40.0%였고, MFPG-PPO-FR 시드는 모두 90~95%, PPO HF-Only 시드는 30~70%였다.

저자는 결합 LF 롤아웃만 재동기화하고 비결합 LF는 자유롭게 두는 설계가 두 LF 통계의 평균이 다르면 편향을 유발할 수 있다고 밝혔다. 이 편향을 제거하면 분산 일부가 줄지 않는 문제가 남는다. 또한 실물 로봇 실험은 Franka 큐브 집기 한 과제, 시드 3개에 그쳤고, 실험은 시뮬레이션 사전학습 정책에서 시작했다. 교차 충실도 상관을 높이는 표현 정렬이나 실사 기반 시뮬레이터 구축이 후속 과제로 남았다.