흐름 기반 VLA 모델을 위한 다중 교사 온폴리시 증류
화웨이 연구진은 여러 전문 로봇 제어 모델을 하나의 범용 모델로 합치는 방법을 내놨다. 범용 모델이 직접 연습하게 하고 행동 생성의 모든 단계에서 전문 모델이 교정하는 방식으로, 시뮬레이션 벤치마크 3종에서 일반 미세조정보다 성공률을 22~33%포인트 높였지만 전문 모델에는 아직 못 미친다.
도메인별로 특화된 흐름(flow) 기반 VLA 정책들의 기술을, 학생 모델이 교사가 보여주지 않은 상황에서 무너지지 않도록 하나의 공유 정책으로 통합할 수 있는가.
여러 도메인을 한꺼번에 미세조정하면 각 전문 모델의 능력이 상당 부분 사라진다. 교사 시연을 베끼는 것도 학생이 스스로 실수할 때는 소용이 없는데, 잡기에 실패하면 교사 데이터에 없던 관측과 복구 상황이 생기기 때문이다. 흐름 기반 VLA에서는 이런 불일치가 환경 상태와 노이즈에서 행동으로 가는 중간 상태 두 곳에서 생긴다.
교사가 만든 데이터로 학습하는 방식(teacher-rollout SFT)이나 최종 행동 덩어리만 맞추는 온폴리시 증류(Action Loss OPD)는 많아야 한 층의 불일치만 다룬다.
논문의 2단계 온폴리시 증류는 공유 pi-0.5 학생이 각 도메인에서 행동하게 한 뒤, 고정된 도메인 전문 교사에게 학생 자신의 흐름 궤적 위 모든 중간 상태에서 예측할 속도(velocity)를 묻는다. 도메인별 가중 손실로 학생을 한 번 갱신하고, 다음 라운드에서는 갱신된 학생이 새 환경 경험과 흐름 경로를 모은다. 교사는 학습 때만 쓴다.
80라운드 뒤 Velocity Loss OPD는 LIBERO-40에서 75.7%(공동 SFT 53.15%, teacher-rollout SFT 69.3%, Action Loss OPD 66.2%), Meta-World MT50에서 60.6%(SFT 38.0%), CALVIN 5개 지시 연속 완수에서 72.9%(SFT 39.5%)를 기록했고 CALVIN 평균 길이는 3.235에서 4.362로 늘었다. 과제가 길수록 이득이 커져 LIBERO-10에서는 teacher-rollout SFT 대비 13.8%포인트, 짧은 과제군은 1.6~5.8%포인트였다.
모든 결과가 시뮬레이션이며 실제 로봇 실험은 없다. 통합 학생은 여전히 전문 모델보다 낮고(LIBERO-40 75.7% 대 98.0%, MT50 60.6% 대 76.2%), 저자들은 도메인마다 그리퍼 출력 위치가 다른 등 행동 규약이 일관되지 않다고 지적했다. 도메인마다 고정 교사와 많은 롤아웃이 필요해 도메인 수가 늘수록 학습 비용도 커진다.
현장마다 미세조정한 모델의 개선분을 하나의 범용 모델로 되돌려야 하는 피지컬인텔리전스나 화웨이 같은 플랫폼 기업에 바로 해당하는 문제다. 국내에서도 산업별 특화 모델을 만드는 피지컬 AI 국책과제 참여 기업들이 결국 같은 통합 과제를 맞게 된다. 학습 파이프라인 관점에서 6~18개월 안에 의미가 있으나 실로봇 검증이 남아 있다.