Humanoid RL중급
Reward Hacking을 넘어: 휴머노이드 RL 파이프라인 4층 프록시 발산 분석
이 프리프린트는 보상뿐 아니라 커리큘럼 게이트, 평가 통계, 레퍼런스 모션도 같은 의미의 프록시로 보고 각각의 발산 조건과 수정안을 제안했다. 시뮬레이션 1.91m 휴머노이드 PPO 계열 실험에서 평균 오차 기반 게이트가 실제로는 고관절 59° 오차를 통과시켰고, 동기화된 푸시 평가는 0.5m/s를 2.0m/s보다 위험하게 분류했다. L1 비용, 피크 오차 게이트, 위상 무작위화, 잔차 피드포워드로 이런 오류를 줄였으며 14.2시간 단일 GPU로 4단계 성장 학습을 시연했다.