ActiveWAM, 증거 인지형 능동 시각으로 World-Action Model을 확장

유한 관측 창 안에서 작업에 중요한 시각 증거를 유지하면서 다음에 획득할 증거를 어떻게 함께 제어할 수 있는가?

능동 시각 조작에서 카메라를 움직이면 새 증거를 얻지만 이전에 보이던 작업 단서가 사라질 수 있고, 고정 시점은 유용한 추가 관측을 포기하게 된다. 기존 시스템은 고정 카메라나 분리된 시선 제어를 사용해 시점 변경과 조작 결과를 공동으로 추론하지 못한다.

고정 시점 World-Action Model, look-at 역기구학 기반 시선 분리, 테스트 시점 viewpoint search를 쓰는 See2Act, 단일 현재 관측 inversion인 Stem-OB 등이 있었다. 이들은 시점과 팔 동작을 공동 생성하지 않거나, 온라인 inversion과 후보 순위 매기기 비용이 들거나, 어떤 과제 증거를 보존해야 하는지 지정하지 못했다.

ActiveWAM은 frozen Wan T2V video prior를 쓰는 Training-Time Inversion으로 과제 관련 텍스트 span의 cross-attention과 프레임 간 대응을 통해 증거와 시간적 변화를 보존한다. view-aware history adapter가 카메라 ID, 측정 pose, 노출 시간, 유효성 플래그를 RGB 토큰에 더하고, 공유 World-Action Model이 팔, 머리 행동과 future-video latent를 한 번에 denoise한다. 훈련은 raw와 transformed 조건을 동일한 원본 행동, 미래 타깃에 정렬하며, 실행 시에는 inversion 없이 원본 history에서 행동만 생성한다. 평가용으로 50개 RoboTwin 과제에 실행 가능한 pan/tilt를 추가한 RoboTwin-AV를 만들었다.

TAVIS에서는 조건, 시드당 과제당 96회, 3개 시드 평가에서 ActiveWAM이 Head/GR1T2 pose-OOD 24.7±0.6%로 가장 강한 비교군 대비 17.0%p 높았고, Hands/Reachy2 pose-OOD에서 54.7±1.5%를 기록했다. RoboTwin-AV 50개 과제, 시드 3개, 조건당 과제당 100에피소드 평가에서 ActiveWAM은 Clean 80.3±2.1%, Appearance 60.7±0.6%, Pose 65.0±3.0%, Compound 53.3±1.5%로, Fast-WAM의 Compound 33.3±1.2%보다 20.0%p 높았다. LIBERO-Plus에서는 76.9%로 raw history 68.2%보다 높았다. 실물 AirbotPlay 양팔 로봇의 3개 주방 과제, 과제당 20회, 방법당 60회 시험에서 ActiveWAM은 Stage 1 66.7%, 전체 과제 50.0%를 달성해 Fast-WAM 48.3%/23.3%보다 전체 성공률이 26.7%p 높았다. RTX 4090에서 행동 추론은 약 165ms였다.

저자들은 고정 초점 거리 머리, 짧은 history window, 사람이 정한 단계 전환을 한계로 들었고, 광각, 광학 줌, end-to-end 분할, 장기 기억을 후속 과제로 제시했다. 실물 평가는 과제당 20회로 규모가 작고, 각 단계 정책을 따로 훈련해 조합했으며, 전체 실패 30건의 주요 원인은 조작 오류 12건(40.0%), 조기 종료 10건(33.3%), 시야 밖 타깃 5건(16.7%), 하드웨어 문제 3건(10.0%)이었다. 코드 공개 여부는 논문에 보고되지 않았다.