ProWAM, 진행형 시각 하위 목표로 장기 로봇 제어 성능 높였다

장기 조작 과제에서 밀집 비디오 생성을 반복하지 않으면서도 명시적인 중간 시각 지침을 행동 생성에 공급할 수 있는가?

기존 세계 행동 모델(WAM)은 미래 시각 예측과 행동 생성을 결합하지만, 장기 과제에서 계산 비용과 중간 지침 사이에 상충이 있었다. 밀집 미래 비디오를 생성하는 방식은 근거리 안내는 풍부하지만 대형 비디오 백본을 여러 번 통과시켜 지연과 아티팩트가 크다. 미래 시각 상태를 쓰지 않거나 단일 종료 프레임만 조건으로 쓰는 방식은 효율적이지만 중간 진행 경로에 대한 지침이 빠져 장기 실행 중 경로 이탈에 취약하다.

기존에는 밀집 미래 롤아웃을 생성하는 full-imagination WAM, 미래 시각 상태를 아예 쓰지 않는 zero-imagination WAM, 행동 지평선의 종료 프레임 하나만 예측하는 ImageWAM 등이 있었다. 이들은 각각 반복적인 비디오 백본 평가로 계산 비용이 커지거나, 중간 마일스톤 없이 최종 상태만 남거나, 계산은 줄지만 전체 과제에 대한 진행 안내가 부족하다는 한계를 보였다.

ProWAM은 정규화된 진행 좌표 r∈[0,1]로 색인된 성긴 시각 하위 목표열을 도입했다. 비디오 전문가와 확산 기반 행동 전문가를 혼합 트랜스포머(MoT)로 구성하고, 하위 목표를 비디오 잠재 시퀀스에 추가 슬롯으로 붙였다. 각 슬롯은 진행 좌표를 사인파 임베딩과 MLP를 거쳐 adaLN 변조 오프셋으로 받아 해당 시점의 목표로 조건화된다. 비대칭 주의 마스크로 비디오 경로는 행동 토큰을 보지 않게 하고, 행동 전문가는 현재 관찰과 하위 목표 특징에만 주의를 기울이게 했다. 학습은 행동 없는 대규모 비디오로 1단계 사전학습을 한 뒤 로봇 시연으로 공동 미세조정하는 2단계로 이뤄졌다. 추론에서는 비디오 전문가를 한 번만 평가해 하위 목표 키-값 특징을 캐시하고, 이후 행동 디노이징 동안 캐시를 재사용해 반복적인 비디오 생성을 없앴다.

시뮬레이션에서 ProWAM은 LIBERO-Plus 제로샷 평가에서 85.8%로 기존 최고 기록을 갱신했고, LIBERO 인도메인에서는 98.8%를 기록했다. 무작위 RoboTwin에서는 75.7%로 기존 최강 WAM인 MV-WAM(55.7%)보다 20.0%포인트 높았고, 청결 장면에서는 85.8%를 기록했다. RoboCasa365에서는 전체 48.1%, Composite-Unseen 18.2%로 공개 방법 중 4위를 기록했다. 실물 Franka 로봇 4개 작업의 제로샷 평가에서는 평균 70.0% 성공률로 DreamZero(55.0%)보다 15.0%포인트 높았다. 계산 효율 실험에서 단일 H100 GPU 기준 16개 행동 청크의 결합 디노이징은 115.5 TFLOPs, 581 ms였으나 캐시 전략은 18.7 TFLOPs, 313 ms로 줄었고 무작위 OOD 성공률은 오히려 3.3%포인트 높았다. 하위 목표 수 k=4에서 무작위 RoboTwin 75.7%로 정점을 보였고, k=1에서도 73.8%로 유사 연산량의 Fast-WAM(6.3%)을 크게 앞섰다. 근거리 스케줄(Near)은 75.7%로 원거리(Far) 68.4%보다 높아 중간 목표가 가까울수록 OOD 성능이 좋았다.

저자들은 실패 사례에서 하위 목표의 접촉 기하가 흐려지면 그리퍼가 일찍 열려 물체를 떨어뜨리는 문제를 확인했다. 이는 질감 아티팩트는 견디지만 작업에 중요한 기하 오류에는 민감할 수 있음을 보여준다. 평가는 LIBERO, RoboTwin, RoboCasa365 같은 시뮬레이션과 Franka 로봇 4개 실물 작업에 집중됐고, 실물 작업 수와 시행 규모가 작아 산업 현장 일반화를 단정하기 어렵다. RoboCasa365의 Composite-Unseen 성공률은 상위 모델 대비 낮아 새로운 작업 조합에 대한 장기 성능은 여전히 제한적이다. 코드와 모델 가중치 공개 여부는 논문에 보고되지 않았다.