World Motion Models, SE(3) 궤적의 유연한 시퀀스 모델링

동적 3D 세계를 희소 SE(3) 궤적이라는 공통 표현으로 압축하고, 단일 네트워크가 임의의 조건부 분포를 생성하도록 학습할 수 있는가

기존 생성 모션 모델은 인간, 로봇, 손, 물체 등 행위자별로 형태 전용 파라미터화를 쓰거나 비디오와 밀집 포인트 궤적 같은 밀집 표현에 의존했다. 이 방식은 3D 운동이 외관, 조명, 시점 변화와 얽혀 있고, 단일 모델이 다양한 조건부 추론을 처리하지 못하며, 형태가 고정되지 않은 장면까지 확장하기 어렵다.

기존에는 SMPL, MANO, URDF처럼 범주별 구조를 가정한 모션 생성 모델, TraceGen 같은 밀집 포인트 궤적 모델, Diffusion Forcing처럼 토큰별 노이즈를 쓰는 시퀀스 모델이 있었다. 그러나 이들은 특정 행위자나 픽셀 공간에 묶이거나 시간 축 중심의 조건부만 다뤘고, SE(3) 궤적 수준의 공통 추상화와 임의 개체 및 시간 단계에 걸친 any-to-any 조건부 생성은 지원하지 못했다.

WMMs는 모든 움직이는 요소를 하나의 SE(3) 포즈 궤적으로 바꾼다. 각 포즈는 위치와 회전 행렬의 첫 두 열을 9차원 벡터로 접은 토큰이며, 개체별 의미 특징과 기하 특징이 함께 붙는다. 학습은 토큰마다 노이즈 수준을 독립적으로 샘플링해 더해 주는 플로 매칭으로 이뤄지고, 추론에서는 관측 토큰의 노이즈를 0으로 두고 목표 토큰만 1에서 0으로 적분해 조건부 샘플을 얻는다. 시간 순서와 분리된 가상 타임스탬프의 컨텍스트 토큰을 두어 목표 상태나 크로스 임바디먼트 예시를 조건으로 줄 수 있다. 아키텍처는 토큰별 AdaLN, 레지스터 블록, 시간 축과 개체 축 분해 어텐션을 사용해 1만 개가 넘는 토큰을 처리하고 결측 관측도 학습한다.

Language Table 벤치마크에서 8블록, 200스텝, 태스크당 50롤아웃 평가 기준으로 WMM은 매크로 평균 성공률 87.2%를 기록해 LCB 80.0%, ActionVLA 76.8%, LangTable 원본 77.0%, LAPA 62.0%를 모두 앞섰다. B2B와 B2AL 태스크에는 MPC를 결합해 성공률이 각각 90.0%에서 100.0%로, 76.0%에서 80.0%로 올랐다. TraceGen의 400개 키포인트 32스텝 예측에서는 Droid 테스트에서 MSE 0.151, MAE 1.129, Endpoint Error 0.200을 기록해 TraceGen 베이스라인의 0.206, 1.289, 0.285보다 낮았다. OMOMO 인간-물체 상호작용 생성에서는 MPJPE 12.07로 CHOIS의 15.30보다 우수했다. Unitree G1 휴머노이드 리타게팅을 물리 시뮬레이션에서 평가한 결과 클린 30FPS 입력에서 시퀀스 성공률이 WMM 0.8690, PHUMA 0.8255, GMR 0.7945였고, 3FPS 키프레임 인필에서는 0.8525로 PHUMA 0.6535, GMR 0.8095를 앞섰다.

저자들은 도메인별로 별도 WMM 체크포인트를 학습해 도메인 간 통합 학습은 남겨 두었다고 밝혔다. SE(3)를 넘어 일반 선형 변환(스케일, 전단)까지 확장하지 않았고, 입력으로 깊이와 추정된 현재 및 과거 상태 같은 기하 정보가 필요해 RGB 영상만으로는 추론할 수 없다. 학습 중 보지 못한 새로운 형태학에는 일반화되지 않는다는 한계도 있다. 또 TraceGen 400트랙 32스텝 기준 추론 시간이 4.18초로 TraceGen의 2.66초보다 느리다. 코드 공개 여부는 논문에 보고되지 않았다.