가치를 기억으로: 범용 로봇 정책의 온라인 가치 기반 후속 학습

로봇 정책이 계산한 작업 진척도 추정치를 학습용 점수로만 쓰지 않고 실행 시 입력으로 넣으면, 겉보기는 같지만 다른 동작이 필요한 상황을 구분할 수 있는가. 또 실제 로봇에서 온라인 강화학습을 돌리면 대형 VLA 정책의 후속 학습을 더 빠르고 데이터 효율적으로 만들 수 있는가.

범용 로봇 정책은 배치 후 자신의 시도와 사람의 교정 데이터로 다시 미세조정된다. 여기에 두 가지 걸림돌이 있다. 카메라 한 장면만으로는 작업이 어디까지 진행됐는지 알기 어려워, 다 갠 셔츠와 반쯤 갠 셔츠가 비슷해 보여도 다음 동작은 달라야 한다. 또 대부분의 실환경 후속 학습은 수집하고 멈추고 재학습한 뒤 재배치하는 일괄 방식이라 새 실패에 대한 피드백이 늦고 정책 한 번 개선하는 비용이 크다.

피지컬 인텔리전스(Physical Intelligence)의 RECAP(pi0.6* 모델에 쓰인 방법)은 시연, 실행 기록, 사람 개입으로 가치 함수를 학습해 좋은 동작과 나쁜 동작을 구분하는 라벨을 붙인다. 이 구조에서 가치 추정은 학습 데이터만 손질할 뿐 실행 중 정책에는 전달되지 않고, 가치 모델은 오프라인 학습 회차 사이에만 갱신된다.

VaM(Value as Memory)은 '가치 캐시'를 더한다. 별도 가치 모델이 낸 최근 진척도 예측 몇 개를 카메라 영상, 관절 상태와 함께 행동 모델에 넣어 진척이 오르는지, 멈췄는지, 떨어지는지를 정책이 알게 한다. 학습은 시연 학습, 오프라인 강화학습 예열, 사람 교정을 받는 온라인 DAgger, 성공 여부만 보상으로 쓰는 자율 학습의 4단계로 진행되며 데이터 수집과 가치 학습, 정책 학습이 동시에 돈다. 행동 모델은 피지컬 인텔리전스가 공개한 pi0.5(20억 파라미터 PaliGemma 백본과 3억 파라미터 행동 트랜스포머)에서 출발한다.

로봇 1대로 상자 조립, 빨래 개기, 자석 장난감 버스 조립을 시험한 결과 VaM의 마지막 3개 체크포인트 성공률은 96.7%, 88.9%, 76.7%였다. 가치 캐시를 뺀 같은 파이프라인은 81.7%, 48.9%, 43.3%, RECAP은 71.7%, 64.4%, 43.3%에 그쳤다. 같은 조건의 오프라인 강화학습과 비교하면 온라인 학습이 평균 32.8%포인트 높았고 그래디언트 1스텝당 실측 시간은 57.8% 줄었다. 상자 조립에서는 같은 그래디언트 예산으로 정책을 16번 갱신했다(오프라인은 2번). 추론 때 예전 가치 모델로 바꿔 끼우면 세 과제 모두 성공률이 떨어져, 가치 모델이 현재 정책을 따라갈 때만 캐시가 효과를 낸다는 점도 확인됐다.

저자들은 실제 진척을 잘 따라가는 가치 모델이 전제라 오프라인 예열 단계가 필수이고, 실험이 로봇 1대에 한정돼 다수 로봇 환경은 검증하지 않았다고 밝혔다. 과제가 3개뿐이고 평가 횟수가 적어 편차가 크다(캐시 없는 빨래 개기는 ±30%포인트). 자율 단계 이전까지 사람 개입이 필요하고 코드는 공개 예정이라고만 했다.