MobiAgent가 장기 모바일 조작에서 π0.5-TA보다 22.5%p 높은 성공률을 기록하다
MobiAgent는 장기 모바일 조작을 위해 고수준 추론과 저수준 제어를 원자 스킬로 분리한 이중 루프 에이전트 프레임워크다. 배포 시 Inner Loop가 VLM 기반 동적 계획과 시각 검증으로 오류를 복구하고, Outer Loop가 배포 궤적을 자동 선별해 사람 주석 없이 정책을 지속 개선한다. BEHAVIOR-1K에서 65.0%의 평균 성공률로 과제별 π0.5-TA의 42.5%를 22.5%p 앞섰고, 실제 Astribot S1에서는 32.5%에서 57.5%로 향상됐다. 이 논문은 아직 동료 심사를 거치지 않은 프리프린트다.
장기 모바일 조작에서 실행 오류 누적과 이동-조작 간 용량 간섭을 피하면서, 고정된 하위 과제 매핑 없이 동적 계획과 무주석 지속 학습을 동시에 달성할 수 있는가?
장기 모바일 조작은 전역 이동과 정밀 파지를 오가며 여러 단계를 수행해야 해서 실행 오류가 누적되고, 이동과 팔 제어를 하나의 모델에 결합하면 센서모터 매핑 간 용량 간섭이 생긴다. 기존 단일 VLA 정책은 단기 반응형 동작에 그쳐 과제 분해와 재계획을 위한 장기 맥락을 유지하지 못하고, 계층형 에이전트는 사전 정의된 하위 과제 정책에 묶여 동적 재계획이 어렵고 배포 데이터를 학습에 되돌리는 자기개선 고리가 없다.
OpenVLA, π0, π0.5 같은 단일 VLA는 다중 모드 관측을 연속 행동에 직접 매핑해 탁상 조작에서는 강하지만 장기 과제의 의미적 분해와 폐루프 재계획이 부족하다. Mobi-π, N2M은 VLA를 이동 플랫폼으로 확장했지만 주로 내비게이션-조작 핸드오프 최적화에 그친다. CaP-X, RoboClaw 등 계층형 에이전트는 고정 스킬 레퍼토리나 사전 정의 하위 과제를 쓰고, 검증 실패 후 유연한 재계획이 어렵고, 대부분 평생 학습 고리가 없다. BEHAVIOR 챌린지 우승 모델 π0.5-TA는 과제별로 별도 모델을 훈련하고 시간 인덱스 단계를 단일 예측 헤드에 강제해 용량 간섭이 발생한다.
MobiAgent는 배포용 Inner Loop와 오프라인 훈련용 Outer Loop로 나뉜다. Inner Loop의 Task Planner는 VLM으로 전체 과제를 사전 정의 목록에서 선택하지 않고 매 결정 단계마다 원자 스킬을 동적으로 조합하는 후퇴 지평 계획을 수행하며, 직전 결과와 Reflection Critic의 검증 로그를 에피소드 메모리로 활용한다. Skill Executor는 π0.5 VLA에서 공유 VLM 백본을 두고 스킬별 독립된 flow-matching action expert를 둬, 동일한 하위 동작을 여러 과제가 재사용하면서 이동과 조작 간 간섭을 줄인다. Reflection Critic은 일정 행동 청크 후 관측 창을 평가해 complete, incomplete, error 중 하나와 next, retry, replan 권고를 내고, 실패 시 현재 스킬 재시도가 아니라 관측된 사후 장면에 맞춰 전역 재계획을 유도한다. Outer Loop는 Data Curator가 VLM으로 배포 궤적을 분할, 검증해 클립과 지시 캡션을 만들고, Skill Generator가 LLM 군집화로 정규화된 원자 스킬 집합을 만든 뒤, Skill Trainer가 이 데이터로 스킬 정책을 지속 파인튜닝한다.
RoboCasa365 Composite-Seen 시뮬레이션(16개 과제, 장면당 5회 시행)에서 CaP-X 5.00%, 기반 π0.5 7.50%인 데 비해 MobiAgent는 1라운드 18.75%에서 3라운드 27.50%로 올랐고 4~6라운드는 25.00~27.50%로 포화됐다. BEHAVIOR-1K의 4개 장기 과제(push-radio, dispose-trash, stack-storage, fetch-beer)를 과제당 10회 시행한 결과, 과제별 별도 모델을 쓰는 π0.5-TA의 평균 42.5%에 비해 MobiAgent는 공유 스킬 정책으로 65.0%를 기록해 22.5%p 앞섰고, 가장 긴 fetch-beer에서는 10% 대 60%로 50%p 차이가 났다. 실물 Astribot S1에서는 4개 과제에 과제당 100개 데모를 사용했을 때 π0.5 평균 10.0%에서 MobiAgent 부트스트랩 32.5%, 자동 선별된 약 20개 배포 궤적을 과제당 추가한 2차 갱신 후 40.0%, 3차 갱신 후 57.5%로 올랐다. BEHAVIOR-1K 절제 실험에서 고정 과제별 하위 모델로 바꾸면 평균 20.0%, 단일 action head로 바꾸면 42.5%, Reflection Critic 제거 시 10.0%, 전역 재계획을 끄면 40.0%로 하락했다. 성공한 에피소드의 39%가 최소 한 번 재계획을 필요로 했고, 성공 에피소드당 평균 0.95회 재계획을 수행했다(최대 예산 3회).
저자들은 공유 VLA 백본에 새 스킬을 추가하면 기존 행동을 간섭할 수 있다고 밝혔고, LoRA와 지속 학습 전략이 필요하다고 제안했다. Inner Loop는 자세 보정 반복, 부정확한 배치 복구, 일시적 가림으로 인한 Critic 편향이 남아 있으며, 기하 인식과 미래-현실 검증이 보완책으로 언급됐다. 평가는 RoboCasa, BEHAVIOR-1K, 4개 실물 과제에 국한돼 더 넓은 과제군, 환경, 로봇 실시예에 대한 일반화가 확인되지 않았다. 실물 성공률은 개선됐지만 최고 57.5%로 산업 배치에는 여전히 제한적이다.
이동형 팔 로봇을 쓰는 물류, 창고, 홈서비스, 상업 청소 분야에서 장기 과제 자동화에 활용 가능하다. 공유 원자 스킬과 배포 데이터 재활용 구조는 로봇 플릿이 현장에서 사람 주석 없이 성능을 높이는 자기개선 루프를 제공한다. 다만 실물 성공률과 자세 정밀도가 아직 낮고 VLA 백본과 VLM 추론의 연산 비용이 크기 때문에, 당장 양산 제품보다는 1~3년 내 파일럿 적용이 현실적이다. 그 전에 스킬 추가 시 망각을 막는 지속 학습, 오클루전에 강한 시각 검증, 여러 로봇 플랫폼에서의 검증이 선행돼야 한다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.