ACCRUE: 로봇 파운데이션 모델을 위한 연속 오프폴리시 강화학습

현장에 배치된 로봇이 새 과제를 차례로 익혀야 할 때, 앞선 과제에서 한 강화학습을 다음 과제 학습에 재활용해 속도를 높이면서도 이미 배운 것을 잊지 않을 수 있는지, 그리고 바탕이 되는 VLA나 월드액션모델이 새 시연 데이터로 계속 재학습되는 상황에서도 가능한지를 묻는다.

VLA와 월드액션모델(WAM) 같은 로봇 파운데이션 모델은 범용성은 높지만 특정 공정에서는 완벽하지 않아, 배치 후 강화학습(RL)으로 성능을 끌어올리는 방식이 쓰인다. 하지만 대부분의 RL 후학습은 과제 하나에 대한 일회성 절차다. 새 부품과 파생 모델이 계속 들어오는 셀이라면 과제마다 RL을 처음부터 다시 돌리며 로봇 시간을 반복해서 써야 한다. 학습기를 다음 과제로 넘기면 이전 기술을 잊을 위험이 있고, 과거 데이터를 모두 보관하는 것은 과제가 쌓일수록 비용이 커진다.

Simple Recipe 같은 VLA용 연속 RL은 온폴리시 방식으로 모델을 갱신해 매번 새 시행 데이터가 필요하고 새 과제로의 전이 효과가 작았다. RL Token, EXPO-FT처럼 고정된 파운데이션 모델에 작은 actor와 critic을 붙이는 오프폴리시 방식은 표본 효율이 높지만 과제 하나 안에서만 작동했다. 경험 재생, EWC 가중치 제약, 파라미터 병합(RETAIN) 같은 기존 연속학습 기법은 망각이 크거나 새 학습이 느렸다.

ACCRUE는 파운데이션 모델을 제안자로 둔다. 단계마다 지금까지 모인 시연 전체로 미세조정한 뒤 고정하고, 매 시점 참조 행동 묶음(action chunk)을 내놓게 한다. 가벼운 actor가 이 행동을 다듬고 critic이 점수를 매기며, 둘 다 별도의 고정된 시각 인코더(시뮬레이션에서는 DINOv3) 특징을 입력으로 받아 파운데이션 모델이 재학습돼도 입력 표현이 바뀌지 않는다. 두 네트워크는 다음 과제로 초기화 없이 넘어간다. critic은 새 과제 데이터로만 학습하는데, 작은 메모리로는 옛 과제의 가치 추정을 정확히 유지할 수 없기 때문이다. 대신 끝난 과제마다 마지막 N개 에피소드(주요 실험에서 20~100개)를 남겨 두고, actor가 그 입력에서 이전 단계 actor와 같은 출력을 내도록 증류해 기존 행동을 지킨다. actor가 파운데이션 모델의 제안에서 멀어지지 않도록 벌점을 줘 RL은 전체 행동 공간 탐색이 아니라 국소 보정에 집중한다.

엔비디아 아이작랩(Isaac Lab)의 FORGE 과제(핀 삽입, 기어 맞물림, 너트 체결)에서 GR00T N1.7을 기반 모델로 쓴 시뮬레이션 결과, ACCRUE의 최종 정확도는 0.917로 단순 순차학습 0.685, 경험 재생 0.626보다 높았고 최종 망각은 0.068로 각각 0.409, 0.516보다 낮았다. 역방향 전이 손실은 0.065로, 망각이 가장 적었던 기존 기법 EWC의 0.217보다 낮았다. EWC는 대신 새 과제 학습이 크게 떨어졌다(순방향 전이 0.593, ACCRUE 0.823). 5단계 AutoMate 플러그 삽입 시퀀스에서는 최종 정확도 0.863(경험 재생 0.779), 망각 0.054(0.176)를 기록했다. 실제 로봇(DROID 환경, 피지컬인텔리전스의 π0.5를 과제당 원격조종 시연 5~10개로 미세조정)에서는 actor와 critic을 물려받는 것만으로 성공률 95% 도달에 필요한 로봇 시간이 3단계 NIST 보드와 5단계 AutoMate 시퀀스 전반에서 단계별 31.0~68.5% 줄었다. 이전 과제는 모두 20회 중 18회 이상 성공했다. 과제당 100~200개 에피소드(재생 버퍼의 약 3%)를 남길 때 가장 좋았고, 10~20개는 부족했으며 200개는 100개보다 오히려 약간 나빴다.

동료 심사 전 프리프린트다. 저자들은 시퀀스가 최대 5단계이고, 메모리 한도가 전체가 아닌 과제당으로 설정됐으며, 모든 과제가 서로 비슷한 접촉 조립 작업이라고 밝혔다. 다른 로봇이나 성격이 크게 다른 과제로의 전이는 과제로 남겼다. 실기 실험은 전체 비교가 어려워 단일 과제 RL과만 비교했고 성공 여부는 작업자가 판정했다. 실기 과제가 맞춤형 3D프린팅 그리퍼에 부품을 쥔 상태에서 시작하고 상태 입력이 관절 위치뿐이어서 파지와 물체 위치 추정이 빠져 있다는 점, 비교 기준이 RL 초기화일 뿐 RL이 필요 없을 만큼 강한 기반 모델은 아니라는 점도 고려해야 한다.