XGenAct: 교차 태스크 생성으로 기하 정보를 강화한 월드 액션 모델

로봇 행동과 시각적 미래 예측을 하나의 생성 공간에서 다루면서, RGB만으로 부족한 계량 깊이, 표면 법선, 기능 역할 분할 같은 공간 정보를 명시적으로 학습시키면 월드 액션 모델의 제어 성능을 높일 수 있는가?

기존 월드 액션 모델은 주로 RGB 비디오와 행동을 함께 예측해 시간적 추론은 강화했지만 3차원 공간 이해는 암묵적 단서에 머물렀다. 깊이 같은 공간 신호를 추가하는 시도는 보조 예측 헤드나 모달리티별 분기를 사용해 구조가 파편화됐고, 표면 방향이나 과제 관련 기능 영역까지 한 모델에 통합하는 경우는 드물었다.

PAD, GeoSem-WAM, DreamWAM, WAM4D, X-WAM, RynnWorld-4D 같은 방법은 깊이나 기하 정보를 별도 인코더, 디코더, 보조 분기, 잔차 모듈, 하류 역동역학 헤드 등으로 추가했다. SA-WAM은 RGB와 계량 깊이를 같은 동결 비디오 토크나이저로 부호화했지만 행동이 전용 잠재 위치를 차지하고 RGB, 깊이, 행동 레이아웃이 고정돼 있었다. 이들은 공간 감독 범위가 제한적이고 모달리티별 구성 요소와 손실 가중치가 필요했다.

XGenAct는 RGB 관측, 7자유도 로봇 행동, 계량 깊이, 표면 법선, 기능 역할 분할을 각각 결정적 코덱으로 3채널 RGB 비디오로 바꾼다. 행동은 Action Images 코덱을 그대로 쓰고, 깊이는 단조 멱변환 뒤 RGB 큐브 경로에 사상하며, 법선은 성분을 0~1로 옮기고, 분할은 역할별 고정 색상 코드를 쓴다. 모든 스트림은 같은 동결 비디오 VAE로 잠재 공간에 들어가고, 백본은 Wan2.2-TI2V-5B 비디오 확산 트랜스포머를 사용한다. 훈련 중에는 인식 모달리티 하나와 두 카메라 뷰의 행동 스트림을 묶은 템플릿을 표본 추출해 하나의 확산 트랜스포머와 하나의 플로 매칭 목적함수로 학습하며, 조인트, 폴리시, 인버스 조건화 계획을 공유한다. 모달리티별 학습 헤드나 보조 손실 없이 교차 태스크 생성으로 행동 생성기를 감독한다.

학습에 없는 RLBench 5개 과제에서 20회 시행씩 폐루프 평가한 결과 XGenAct는 평균 52% 성공률을 보였다. 같은 분할에서 미세 조정한 8개 외부 정책 가운데 가장 높은 π0.5와 VLANeXt는 각각 26%에 그쳤고, PAD-Depth는 12%, UWM은 14%였다. 과제별로 close drawer에서 XGenAct가 100%로 기존 최고 50%를 넘었고, close microwave 60% 대 30%, close laptop 40% 대 25%였다. 메뉴 절제에서는 RGB 단독 평균 32.50%에서 인식 스트림을 추가한 모든 구성이 52.50~61.25%로 올랐고, RGB+N+S가 61.25%로 가장 높았다. 반면 RGB+N+S에 깊이를 더한 RGB+D+N+S는 58.75%로 내려가 모달리티 수가 단조 증가하지는 않았다. 미래 인식 품질에서는 직접 생성한 깊이 AbsRel이 0.28~0.33으로 RGB를 생성한 뒤 동결 전문가를 적용한 0.41~0.43보다 낮았고, 분할 mIoU는 0.22~0.24에서 0.42~0.49로 약 두 배 높았다. 표면 법선 코사인 유사도는 대체로 0.76~0.77로 비슷했고, 미래 RGB LPIPS는 0.39에서 0.40~0.43으로 비용이 작았다.

저자들은 최적 훈련 메뉴가 과제에 따라 달라진다고 밝혔다. 같은 모델 용량과 훈련 예산에서 인식 스트림이 겹치거나 경쟁해 더 많은 모달리티가 항상 좋은 결과를 주지는 않았다. 평가는 RLBench 시뮬레이션에 국한됐고 과제당 20회 시행이었으며, 실물 로봇 검증과 물리적 센서 노이즈에 대한 결과는 보고되지 않았다. 프리프린트이며 코드나 사전학습 가중치 공개 여부도 논문에 명시되지 않았다.