Recova, 디지털 트윈과 DAgger로 실패 복구를 학습하는 에이전트 프레임워크

재구성한 디지털 트윈에서 태스크 실행과 장면 복구를 함께 발견하고, 실물 배포 경험으로 두 정책을 갱신하면 실패 복구 성능을 높이고 사람 개입을 줄일 수 있는가?

조작 실패는 태스크 정책이 계속할 수 없는 장면을 만든다. VLA 훈련 데이터는 대부분 표준 초기 상태의 성공 궤적이라 실패가 만드는 특이 배치나 막힌 물체를 복구하는 행동을 거의 가르치지 못한다. 실물 로봇에서 실패 복구를 직접 탐색하면 잦은 리셋과 물체 손상 위험이 크다.

기존 코드 생성 에이전트(CaP-Agent0, RATs, ASPIRE)와 VLA 정책(π0, π0.5, MolmoAct2)은 주로 태스크 수행에 집중했고, Recovery RL, RecoveryChaining, ReSYNC 같은 별도 복구 제어기는 실패 상태 복귀를 다뤘지만 디지털 트윈에서 복구를 발견하고 실물 배포에서 정책별로 DAgger 갱신하며 재사용 가능한 프로그램과 학습 정책을 함께 유지하는 전체 루프로 연결하지는 못했다.

Recova는 태스크 정책과 복구 정책을 분리하고, 코딩 에이전트가 실제 로봇 기록(카메라 관측, 로봇 궤적, 캘리브레이션)으로 MuJoCo 디지털 트윈을 만든다. 에이전트는 트윈에서 태스크를 시도하고 성공 궤적은 태스크 데이터로, 실패에서는 복구 명령을 만들고 복구 프로그램과 복구 궤적을 생성해 스킬 라이브러리를 채운다. 실물 배포에서는 VLM 모니터가 완료 조건을 만들어 주기적으로 확인하고, 개입 질의가 최근 프레임과 초기 장면을 비교해 실패를 진단한다. 학습된 복구 정책이나 프로그램 복구를 실행하고 장면 복원을 검증한 뒤 태스크를 재개하며, 자동 복구가 없으면 사람 시연을 받아 해당 정책의 훈련 데이터로 쓴다. DAgger 라운드마다 태스크 성공과 사람 태스크 시연은 태스크 데이터에, 사람 복구 시연과 검증된 자율 복구는 복구 데이터에 추가해 각각 미세조정한다. 4대 로봇 워크스테이션에서 병렬로 수집한다.

시뮬레이션 벤치마크에서 Recova는 LIBERO-Pro 6개 설정 평균 78.8%를 기록해 가장 강한 기준 ASPIRE(71.7%)보다 7.1%p 높았고, MolmoSpaces 4개 범주 평균 64.9%를 기록해 가장 강한 기준 RATs(38.0%)보다 26.9%p 높았다. LIBERO-Pro Goal과 Spatial의 태스크 섭동에서는 ASPIRE보다 각각 22.0%p, 23.0%p 높았다. 실물 로봇 4개 과제 각 20회 평가에서 π0.5 기반 기본 태스크 정책 평균 성공률은 23.8%였고 DAgger 미세조정 후 77.5%, 복구 스킬을 배포에 더한 뒤 87.5%였다. 마작 타일 그리기 과제의 DAgger 4개 라운드에서 인간 개입률은 첫 라운드 87.5%에서 네 번째 0%로 떨어졌고, 태스크 정책 완료 비율은 12.5%에서 85.7%로 올랐다.

이 연구는 arXiv 프리프린트로 동료 심사를 거치지 않았다. 실물 로봇 평가는 YAM 양팔 워크스테이션 4개 과제와 20회 시험으로 제한됐고, DAgger 라운드의 개입 감소는 마작 타일 그리기 한 과제에서만 보고됐다. 디지털 트윈은 실제 기록에 의존해 접촉 역학과 관측 차이를 완전히 재현하지 못하며, 자동 복구가 실패하면 여전히 사람 시연이 필요하다. 저자들은 새로 학습한 스킬의 자동 등록과 여러 과제 간 공유를 후속 과제로 남겼다. 코드 공개 여부는 논문에 보고되지 않았다.