ViGAR, 시각 하위 목표로 장기 조작을 분해하는 World-Action Model

월드액션모델이 단기 미래 예측을 넘어 장기 조작 과제에서 하위 과제 수준의 계획과 인컨텍스트 과제 지정을 동시에 수행할 수 있는가?

장기 조작 과제는 여러 하위 과제가 순차적으로 연결되는데, 기존 World-Action Model은 단기 미래 영상과 행동만 예측해 어떤 하위 과제로 넘어가야 하는지 명시적으로 정하지 못한다. 언어로 하위 과제를 설명하면 공간적 목표가 모호해지고, 시연 궤적을 암기하는 방식은 새로운 배치나 목표 구성에 약하다.

VLA는 언어 지시에서 행동으로 바로 매핑하고, Fast-WAM, LingBot-VA, 4D-WAM 같은 WAM은 단기 영상과 행동을 공동 생성하지만 과제 수준 인터페이스가 없다. VLM 언어 플래너나 BagelVLA, RxBrain처럼 중간 목표를 만들더라도 언어가 부정확하거나 하위 목표 이미지가 다운스트림 정책의 직접 조건으로 쓰이지 않았다. Zero-WAM, HOST, Skild S1 등 인컨텍스트 방식은 시연 영상으로 절차를 전달한다.

ViGAR는 하위 목표 플래너와 하위 목표 실행기로 분해했다. 플래너는 현재 관찰과 전역 지시, 선택적으로 글로벌 목표 이미지를 받아 다음 하위 목표 이미지를 예측한다. 실행기는 예측된 하위 목표 이미지를 VAE 잠재로 만들어 생성기 분기에 주입하고, 미래 영상과 액션 청크를 함께 흐름 매칭으로 생성한다. 두 구성 요소 모두 사전학습된 Cosmos3-Nano 16B-A8B 세계 모델로 초기화했다. 하위 목표 학습은 하위 과제 경계의 마지막 p% 프레임을 다음 목표로 돌리는 look-ahead 규칙과 로봇 말단 영역 가중 흐름 매칭 손실을 사용한다. 글로벌 목표 이미지는 플래너에만 들어가므로 실행기 파라미터 갱신 없이 새로운 과제 구성을 지정할 수 있다.

시뮬레이션은 RoboTwin Clean2Random에서 Aloha AgileX 양팔로 평가했고, 2500개 Clean 데모로만 학습한 뒤 과제당 100롤아웃을 돌렸다. ViGAR는 Clean 82.00%, Random 67.02%, 평균 74.51%를 기록해 4D-WAM 평균 61.65%보다 12.86%포인트 높았다. 같은 적응 레시피에서 하위 목표만 뺀 Cosmos3-Nano-RoboTwin은 Random 22.46%에 그쳤다. 하위 목표 예측 품질은 RoboTwin에서 LPIPS 0.13, DINO-cos 0.80, ΔIoU 0.65, RetAcc 0.94, 실물 로봇에서 LPIPS 0.11, DINO-cos 0.81, ΔIoU 0.66, RetAcc 0.76으로 VISTA와 RxBrain을 모두 앞섰다. 실물 AgiBot A2 실험에서는 5개 조작 과제를 각 20롤아웃 평가해 평균 작업 진행 점수에서 π0.5와 Cosmos3-Nano-Policy를 앞섰다. 인컨텍스트 실험 2종에서는 20롤아웃 기준 평균 작업 진행 점수가 in-domain 77.5%, OOD 47.5%였다.

저자는 별도 Limitations 절을 두지 않았다. 이 논문은 프리프린트이며 동료 심사 여부는 확인되지 않았다. 실물 로봇 평가는 과제당 20롤아웃으로 통계적 규모가 작고, AgiBot A2 단일 플랫폼과 RoboTwin 시뮬레이션만 보고해 다른 로봇이나 환경으로의 일반화는 확인되지 않았다. 인컨텍스트 OOD 작업 진행 점수 47.5%는 in-domain 77.5%보다 크게 낮아 새로운 목표 구성의 신뢰성도 제한적이다. 16B-A8B 모델을 사용하므로 추론 연산 비용이 높을 수 있다.