인지, 예측, 계획을 한 모델로: 1인칭 손 조작을 위한 통합 월드 액션 모델 P3-WAM

손과 카메라 움직임 복원(인지), 행동 조건부 예측, 목표 지향 계획을 하나의 월드 액션 모델에서 함께 학습하면 각각 따로 학습할 때보다 모두 나아지는가.

사람 영상으로 로봇을 학습시키려면 손 자세 추정기, 행동 조건부 영상 예측기, 계획기라는 보통 별개인 세 모델이 필요하다. 따로 만든 모델은 손과 물체의 상호작용에 대해 배운 것을 공유하지 못하고, 명시적 3D 행동이 없는 영상 생성기는 요청받은 움직임에서 벗어나기 쉽다.

손 복원에는 HaMeR, Dyn-HaMR 같은 추정기를 썼다. DreamDojo, Hand2World, EgoSim 같은 행동 조건부 월드모델과 Wan2.2, 엔비디아 코스모스3 같은 범용 영상 모델은 영상을 예측하거나 생성하지만 구조화된 3D 행동 계획까지 내놓지는 않는다.

P3-WAM은 손과 카메라 궤적의 압축된 3D 표현을 사전학습 영상 확산 트랜스포머(Wan2.2-Fun A14B-Control)에 결합했다. 가중치를 공유하는 혼합 트랜스포머 구조에 모달리티별 적응과 영상과 행동 간 양방향 어텐션을 더했다. 학습 중 영상과 행동을 무작위로 가려, 같은 모델이 영상에서 행동을(인지), 행동에서 영상을(예측), 이미지와 지시, 선택적 목표 이미지에서 둘 다를(계획) 만들도록 했다.

같은 학습 단계에서 단일 모드 학습과 비교하면 통합 학습은 EgoDex, ARCTIC, HOT3D, EgoLive 평균으로 카메라 좌표 손 오차를 23.5% 줄이고 예측 FVD를 1106에서 1010으로 낮췄다. EgoDex에서 카메라 좌표 손 오차는 32.9mm로 HaMeR 112.9mm, Dyn-HaMR 115.5mm보다 작았다. 행동 조건부 예측에서는 4개 데이터셋 모두 전체 프레임 지표 1위였고, 자체 백본 대비 평균 PSNR이 15.9dB에서 19.0dB로 오르고 FVD는 1218에서 622로 내려갔다. 계획에서는 모델을 모르는 큐원 VLM 심사에서 지시 준수 5점 만점에 3.74점을 받아 Wan2.2나 코스모스3 나노 최고 설정(3.12점)을 앞섰다.

저자들은 단일 카메라로 3D 손의 전역 위치를 추정하는 데 본질적 모호성이 있고, 로봇 실행이 개루프라 스스로 교정하지 못한다고 밝혔다. 로봇 근거는 리타기팅 후 정성적 사례 2건이며 성공률은 없다. 계획 품질은 과제 완수가 아니라 VLM 점수로 평가했고, 일부 비교 모델은 각자의 조건 입력 방식으로 돌렸다.