Dream4ACT가 제안한 멀티 임바디먼트 영상 행동 모델용 공용 시각 행동 인터페이스
Dream4ACT는 목표 관절 구성을 네 대의 고정 가상 카메라로 렌더링한 'action views'를 공용 행동 표현으로 쓰는 비디오 행동 세계 모델이다. arXiv 프리프린트이며 동료 심사 기록은 확인되지 않았다. RoboTwin 2.0에서 평균 성공률 88.98%, TriWorldBench에서 전체 점수 65.66을 기록했고, 공동 학습 체크포인트 하나로 시뮬레이션 로봇 5종과 실물 로봇 4종을 제어했다. 관절 구조가 다른 로봇에서 학습된 행동 디코더 없이 실행 가능한 관절 목표를 복원한 점이 핵심이다.
관절 구조와 차원이 다른 여러 로봇이 고정 크기의 공용 시각 표현으로 목표 관절 상태를 예측하고, 학습된 행동 디코더 없이 실행 가능한 관절 목표로 복원할 수 있는가?
관절 벡터는 공간 구조가 없고 로봇마다 차원이 달라 공용 정책을 만들기 어렵다. 말단 위치 기반 시각 인터페이스는 관절 해에 특이점이나 해가 없는 문제가 있고, 관찰 카메라 정렬 렌더링은 물리 카메라 외부 보정이 필요하다. 이 때문에 이종 로봇이 하나의 모델에서 전체 팔 형상을 유지한 채 실행 가능한 관절 목표를 공유하기 어렵다.
기존 통합 비디오 행동 모델은 관절 벡터나 잠재 행동, 말단 위치 히트맵을 사용했고 별도 행동 헤드나 역동역학 모델로 변환했다. Action Images나 SpatialVAM 같은 시각 표현은 말단 위치와 그리퍼는 복원하지만 전체 팔 관절 구성을 명시적으로 담지 못한다. BridgeV2W, GeniWorld처럼 URDF 렌더링을 조건으로 쓰는 방식도 관찰 카메라 시점 정렬과 외부 보정에 의존한다.
Dream4ACT는 URDF 기반 순기구학과 렌더링으로 현재 및 목표 관절 상태를 네 개의 고정 가상 카메라 영상인 action views로 만든다. 가상 카메라 내부 및 외부 파라미터를 로봇 간 공유해 물리 카메라 외부 보정 없이 고정 텐서 형태를 얻고, 관절 제한을 담은 URDF를 이용한 Gauss-Newton 기반 다중 시점 매칭으로 예측 영상에서 관절 목표를 학습 없는 방식으로 복원한다. 공유 Wan2.2 VAE와 diffusion transformer가 RGB 관찰과 action views를 함께 토큰화하고, 마스크 플로우 매칭으로 순방향 역학, 역방향 역학, 공동 생성을 전환한다. Qwen3.5-VL 9B 어댑터가 지시문과 현재 장면을 의미 조건으로 압축한다.
조작 평가에서 Dream4ACT는 RoboTwin 2.0 클린 설정 90.50%, 무작위 설정 87.46%, 평균 88.98%를 기록했다. 같은 벤치마크의 공개 수치 기준으로 pi_0.5 79.80%, Motus 87.80%, LingBot-VA 92.20%, Fast-WAM 91.80%였다. 시뮬레이션 50개 과제를 클린과 무작위 설정에서 평가했다. TriWorldBench 공식 500개 에피소드 평가에서는 순방향 역학 모드로 전체 점수 65.66을 얻어 BWM의 65.54와 비슷했다. Dream4ACT는 P3D 61.30, MQ 41.66, TC 64.88, VQ 31.42로 나열된 모델 중 해당 지표 최고치를 기록했고 TVC 81.63, TA 84.22였다. 공동 학습 체크포인트 하나로 시뮬레이션 5개 로봇을 31개 공통 과제에서 평가한 결과 Aloha-Agilex 82.19%, Piper 81.94%, ARX-X5 81.23%, Franka-Panda 63.48%, UR5-Xsg 30.97%였다. GT action views로 측정한 말단 위치 복원 오차는 Aloha-Agilex 1.39mm와 1.57도, Piper 1.66mm와 1.71도, ARX-X5 1.22mm와 1.95도, Franka-Panda 4.11mm와 9.45도, UR5-Xsg 11.85mm와 21.39도였다. 실물 평가에서는 같은 공동 학습 체크포인트로 Aloha-Agilex, TienYi2.5 Pro, Franka Research 3, UR5e를 시험했다. place_block과 wipe_plate 두 공통 과제 평균은 각각 87.5%, 85.0%, 87.5%, 90.0%였다. 바이매뉴얼 로봇만 수행한 stack_blocks는 Aloha-Agilex 20.0%, TienYi2.5 Pro 30.0%, storage_item은 50.0%, 65.0%였다. 플랫폼별 전체 과제 평균은 Aloha-Agilex 61.3%, TienYi2.5 Pro 66.3%였다. 과제 조합당 20회 시험, 장면 변화 조건이었다. DROID에서 41프레임 RGB 예측을 비교한 ablation에서는 action-view 렌더링이 카메라 정렬 스켈레톤 조건보다 PSNR 23.19에서 24.33dB, SSIM 0.899에서 0.906, LPIPS 0.105에서 0.093으로 모두 나았다. 평가는 CLVR/RAD에서 뽑은 50개 held-out 궤적, 학습은 DROID 1,000개 궤적이었다.
저자가 별도 한계 절에 정리한 내용은 논문에 보고되지 않았다. 다만 RoboTwin 2.0 평균 성공률은 LingBot-VA(92.20%)와 Fast-WAM(91.80%)보다 낮았고, 공동 학습 시뮬레이션 평가에서 UR5-Xsg가 30.97%로 크게 떨어졌다. 실물 바이매뉴얼 stack_blocks도 20.0%, 30.0%로 낮았다. 실제 로봇 평가는 4개 플랫폼과 제한된 과제에 그쳤고, 실시간 관절 복원의 계산 비용과 규모 확장성은 정량적으로 보고되지 않았다. 코드 공개 여부도 논문에 보고되지 않았다. arXiv 프리프린트이므로 동료 심사를 거치지 않았다.
다중 로봇 플랫폼을 운영하거나 이종 로봇에 공통 조작 모델을 적용하려는 기업에 유용할 수 있다. 특히 URDF만 제공되면 별도 행동 디코더 없이 새 로봇에 확장할 수 있어 로봇 OEM과 창고 자동화, 연구용 플랫폼에 적용 가능성이 있다. 다만 낮은 성공률을 보인 특정 로봇과 복잡한 바이매뉴얼 과제에서 안정성을 높이고 실시간 최적화 비용을 검증해야 한다. 상용 적용은 1~3년 뒤로 보이며, 그 전에 더 넓은 로봇 데이터와 실물 과제 평가가 필요하다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.