AtomicRL: 하위 작업 단위 강화학습으로 애지봇 G1 장기 작업 성공률 48.0%→69.3%, PPO보다 8%p 높아 (중산대, JD 익스플로어 아카데미)

긴 작업을 하위 작업으로 나눈 구조를 활용하면 VLA 정책의 강화학습 미세조정을 더 빠르고 강하게 만들 수 있는가.

기존 VLA 강화학습은 궤적 전체의 성공만 보상해 작업 후반에 실패하면 잘한 단계의 학습 신호까지 사라지고, 특정 하위 작업이 병목이어도 연습이 고르게 분산된다.

RLinf 같은 프레임워크의 PPO식 VLA 후학습은 궤적 단위의 드문 보상과 균등한 작업 샘플링을 쓴다.

진행도와 완료 판정 비평가가 하위 작업의 경계를 추정한다. 의미 인식 정책 최적화(SAPO)는 실패한 하위 작업의 시간차 오차가 앞 단계 신용을 오염시키지 않도록 막고, 병목 적응 탐색(BATE)은 가장 덜 익힌 하위 작업으로 샘플링과 탐색 보상을 옮긴다. 실제 작업을 시뮬레이션으로 재구성해 병렬 강화학습을 돌린 뒤 로봇에 다시 배포하는 리얼투심투리얼 파이프라인도 갖췄다.

LIBERO-LONG(10개 과제, 각 50회)에서 200회 최적화 후 OpenVLA-OFT 98.8%, 파이0.5 99.0%로 PPO보다 4.0%p, 3.6%p 높았다. CALVIN ABC-D(1000회)에서 평균 연속 완료 길이 4.56으로 PPO 4.36, 지도 미세조정 3.56을 앞섰고 5개 연속 성공률은 80.1%로 PPO 70.6%보다 높았다. 실제 애지봇 G1의 4~6단계 작업 3종(각 25회, 과제당 시연 100개)에서는 빵 옮기기 76%, 쓰레기 버리기 72%, 탁상 정리 60%로 평균 69.3%를 기록해 PPO 61.3%, 지도 미세조정 48.0%를 웃돌았다. 시뮬레이션과 실제 성공률의 상관계수는 0.909였다.

프리프린트다. 저자들은 온라인 강화학습의 근본적인 표본 비효율은 해결하지 못했고 실제 로봇 학습 비용은 여전히 크다고 밝혔다. 지도학습 정책에서 시작한 탁상 작업에서만 검증했고, 실제 평가는 로봇 한 기종에서 과제당 25회다. 하위 작업 구분도 학습된 비평가에 의존한다.