UniWAM, 물리 추론과 영상 생성, 행동 예측을 통합한 로봇 모델

VLM이 가진 의미 이해와 추론 능력, VGM이 가진 세계 동역학 이해를 한 모델에 결합해 일반 로봇 조작 정책을 만들 수 있는가?

기존 VLA는 행동 신호만으로 학습해 물리 동역학 이해가 부족하다. WAM은 영상 생성 사전학습에서 얻은 시공간 사전 지식을 활용하지만 OOD 시나리오와 복잡한 과제의 의미 추론에 한계가 있다.

RT-2, OpenVLA, π0.5 같은 VLA 계열은 VLM의 의미 능력을 활용하지만 행동 감독만으로는 동역학 이해가 제한적이다. Motus, Cosmos Policy, Fast-WAM 같은 WAM 계열은 미래 프레임 예측으로 조밀한 감독을 얻지만 OOD 의미 이해와 복잡한 추론이 약하다.

UniWAM은 Qwen3-VL-2B-Instruct 기반 physical reasoner, Wan2.2-TI2V-5B 기반 world generator, action predictor를 MoT로 연결하고 joint attention으로 토큰을 교환한다. 저차원 행동을 자연어 physical language로 바꿔 VLM을 감독하고, VQA 8.293M개, 로봇 약 4,958시간, 인간 약 5,072시간 데이터를 구성 요소별로 분배해 사전학습한다. 인간 데이터에는 EgoANT라는 VLM 기반 자동 분할 및 주석 파이프라인을 적용했다. 후학습에서는 future visual noise augmentation과 history-conditioned flow matching으로 미래 영상 의존을 낮추고 행동 이력을 생성 초기값으로 사용한다.

시뮬레이션 평가에서 LIBERO 표준 4개 스위트 평균 99.2%로 Xiaomi-Robotics-0의 98.7%보다 0.5%포인트 높았다. LIBERO-Plus의 7개 OOD 차원 합계는 92.6%로 표에 든 모델 중 최고였고, 로봇 89.5%, 언어 92.2%, 조명 97.9%, 배경 97.6%에서 최고였다. 다만 카메라는 92.0%로 ACoT-VLA 96.6%, Kairos 95.5%보다 낮았다. RoboTwin 2.0에서는 Clean2Clean 75.14%, Clean2Random 68.32%, 평균 71.73%로 표에 든 모델 중 평균 최고였고, Clean2Clean 대비 하락 폭은 6.82%포인트였다. 실물 AgileX Piper 양팔 로봇, 과제당 200개 시연, 80K 학습 스텝 조건에서 4개 지시 수행 과제의 평균 성공률은 67.5%, 지시 수행률은 82.5%로 π0.5보다 각각 13.1%포인트, 21.9%포인트 높았다. 6단계 장기 과제에서는 평균 진행 점수가 5.0으로 π0.5의 4.8, Motus의 3.2보다 높았다. 인간-로봇 데이터 규모 실험에서는 로봇 데이터를 250시간에서 5,000시간으로 늘리자 RoboTwin clean2rand 과제 완료율이 0.35에서 0.67로 올랐고, 검증 손실은 L(D)=0.03205-0.00302ln(D)에 근사했으며 R²≈0.983이었다.

저자들이 별도의 한계 절을 두지는 않았다. 실물 평가는 AgileX Piper 단일 플랫폼에서 4개 지시 수행 과제와 1개 장기 과제로 제한됐고 과제당 시연도 200개다. LIBERO-Plus 카메라 섭동에서는 92.0%로 ACoT-VLA 96.6%와 Kairos 95.5%에 못 미쳐 모든 OOD 차원에서 우위가 일관되지는 않았다. history-conditioned flow matching이 디노이징 단계를 줄였다고 밝혔으나 본문에 정확한 단계 수는 보고되지 않았다.