RoboCoach, 세계 모델로 상상한 실패를 다음 로봇 기술 학습 신호로 바꾼다

장시간 로봇 조작 과제에서 제한된 시연 예산을 어느 하위 기술에 배분하고 어떤 재사용 가능 정책 구성 요소를 갱신해야 하는지를 세계 모델의 상상 실행으로 결정할 수 있는가.

장시간 조작은 여러 재사용 기술의 연쇄로 구성되는데, 앞선 기술의 작은 오차가 뒤 기술의 초기 상태를 바꾸어 전체 과제 실패로 전파된다. 종단 간 시연을 추가하면 정책을 개선할 수 있지만 가능한 기술 조합의 긴 꼬리를 모두 모으는 것은 비용이 크고, 특히 실물 로봇에서는 데이터 수집과 환경 리셋, 안전 감독 부담이 크다. 기존 시스템은 어떤 경험을 더 모을지와 그 경험을 어느 정책 부분에 적용할지를 재사용 기술 수준에서 연결하지 못한다.

일반 VLA와 계층적 시스템은 여러 작업 실행 능력을 높였고, 능동 및 교정 모방학습은 정책 실패를 추가 감독 신호로 쓴다. 행동 조건 세계 모델은 상상 상호작용으로 정책을 평가하고 데이터를 생성하지만 대부분 시뮬레이션을 더 돌리는 역할에 그쳤다. 모듈형 정책은 기술별 전문가를 독립적으로 적응시킬 수 있지만, 무엇을 가르칠지와 어떤 어댑터를 갱신할지를 체계적으로 묶지 않아 시연 예산이 비효율적으로 쓰였다.

RoboCoach는 Route, Imagine, Diagnose, Improve의 네 단계로 구성된 RIDI 루프를 쓴다. Route는 현재 관찰과 완료된 하위 작업 목록을 보고 다음 하위 작업과 전문가를 고른다. Imagine은 공유 행동 조건 세계 모델 CoachWorld 안에서 해당 전문가를 폐루프로 굴린다. CoachWorld는 희소 시각 이력, 작업 지시, 두 슬롯의 엔드이펙터 궤적, 카메라 캘리브레이션을 조건으로 미래 비디오를 예측하며, 시연과 정책 실패, 플레이 데이터를 혼합해 플로 매칭으로 학습했다. Diagnose는 RoboMeter 진행 판정기를 써서 하위 작업 완료 여부를 판정하고 처음으로 시간 초과가 난 하위 작업-전문가 쌍을 기록한다. Improve는 작업 간 균형을 맞춘 첫 시간 초과 빈도로 우선순위를 매겨 상위 쌍에 데모를 요청하고, 해당 전문가 LoRA만 갱신한다. 공유 VLA 백본과 나머지 어댑터는 고정된다.

CoachWorld는 DROID-180과 Lab Franka-180의 전체 에피소드 예측에서 혼합 도메인 학습 시 DROID LPIPS 0.0996, FVD 51.71, Lab Franka LPIPS 0.1712를 기록했고, DROID에서 궤적 지표 3종과 지시 추종 점수 0.880으로 비교 모델 중 가장 좋았다. 22개 작업-정책 쌍에서 CoachWorld 상상 실행과 실제 실행의 성공률은 피어슨 상관 0.820, 스피어만 상관 0.840이었다. 진행 판정기 RoboMeter는 참조 비디오에서 전환 시점 오차 0.414초, 1.0초 내 재현율 82.73%, 결과 F1 88.21%를 기록했고, CoachWorld 생성 관찰에서는 0.815초, 62.73%, 83.84%로 유지됐다. 시뮬레이션에서 라운드당 100개, 실물 로봇 플랫폼당 라운드당 50개의 하위 작업 시연을 추가하는 고정 예산 비교에서 RoboCoach는 3라운드 후 LIBERO 71.2%, RoboTwin 68.0%로 네 조건 중 최종 성공률이 가장 높았다. 실물에서는 RoboCoach가 Franka 13.3%에서 75.0%로, AgileX 40.0%에서 83.8%로 올랐고, 같은 예산의 Single VLA + Uniform은 각각 30.0%, 47.5%에 그쳤다. 정규화 예산 AUC는 Franka 53.1 대 18.9, AgileX 72.7 대 46.3이었다. 같은 목표 시연을 공유 어댑터에 적용하면 LIBERO에서 0.8%포인트, RoboTwin에서 -4.8%포인트 변화했지만, 해당 기술 전문가에 적용하면 3.4%포인트와 13.2%포인트를 추가로 높였다. 세계 모델 기반 표적 선택은 모듈형 시스템 안에서 무작위 선택보다 LIBERO 2.8%포인트, RoboTwin 12.8%포인트 높았다. 훈련과 코칭에서 제외한 네 개의 실제 조합 과제에서 RoboCoach는 평균 35.0% 성공했고, Single VLA + Uniform은 0%였다. 세부적으로 AgileX 식탁 차리기와 차 만들기 결합 65%, Franka 초록 버튼과 전등 줄 당기기 15%, AgileX 신발 배치 순서 역전 25%, Franka 버튼 순서 역전 35%였다.

저자들은 조작 대상이 가려지거나 접촉과 충돌이 카메라 시야 밖에서 일어나면 물리 모델링과 예측이 어렵고, RoboCoach도 그런 상황에서 과제 관련 증거를 보존하는 예측에 의존한다고 밝혔다. 여러 생성 시드의 일치는 확률적 변동을 줄이지만 세계 모델의 체계적 편향은 제거하지 못한다. 전문가 라이브러리는 기술 의미론에 따라 미리 정의되어 있어 구조를 자동으로 학습하고 사람 시연을 줄이는 문제는 남아 있다. 실물 로봇 평가는 플랫폼별 일부 과업과 회차로 제한되어 있고, 코드 공개 여부는 논문에 보고되지 않았다.