DeltaWorld, 행동 조건 잠재 증분 학습으로 물리적 일관성 높인 대화형 세계 시뮬레이터

로봇 행동이 장면의 일부만 바꾸는 조작 영상에서 전체 다음 상태를 직접 예측하지 않고 행동이 유발한 잠재 변화만 학습하면 장기 예측과 물리적 일관성을 높일 수 있는가?

기존 세계 모델은 현재와 다음 프레임 사이에 배경이 거의 그대로인데도 전체 다음 잠재 상태나 프레임을 한 번에 예측한다. 이 때문에 로봇 행동으로 물체가 움직이거나 접촉이 바뀌는 작은 변화를 놓치기 쉽고, 자동 회귀 롤아웃이 길어질수록 오차가 누적되어 물체 침투나 과도한 변형 같은 비물리적 결과가 나타난다.

기존에는 JEPA 계열이 시각 특징을 예측하거나, IWS가 이미지 잠재 공간에서 행동 조건 동역학을 학습하고, 비디오 생성 기반 세계 모델이 정책 행동이나 프레임 제어로 미래를 생성했다. 그러나 대부분은 절대적인 다음 잠재 상태나 미래 표현 자체를 예측 대상으로 삼아 배경 변화가 상호작용 신호를 압도하고 작은 물체 변화를 놓치는 한계가 있었다.

DeltaWorld는 2단계 학습을 쓴다. 1단계에서 인코더와 노이즈 조건 디코더로 128×128 관측을 2D 잠재 표현으로 압축한다. 2단계에서는 Delta-LTM이 최근 N개 잠재 상태와 행동 시퀀스로부터 행동 유발 잠재 증분을 예측하고 현재 상태에 더해 다음 상태를 만든다. 모델은 3D 합성곱으로 시공간 특징을 뽑고 FiLM 조건화와 공간 및 시간 어텐션을 사용한다. Interaction-aware Latent Alignment는 원본 장면과 로봇 팔 및 조작 물체를 제거한 반사실 장면의 잠재 차이로 상호작용 마스크를 만들고, 그 영역의 증분 예측 오차에 더 큰 가중치를 준다.

IWS 벤치마크 5개 과제와 카메라 2개 시점 평균에서 DeltaWorld는 FID 36.04, FVD 231.98, LPIPS 0.0490, PSNR 31.22, SSIM 0.9011, MSE 0.0039를 기록했다. 같은 조건에서 IWS는 FID 44.16, FVD 264.52, LPIPS 0.0661, PSNR 28.80, SSIM 0.8537, MSE 0.0054였다. 자체 수집한 크로스로봇 데이터셋 4개 과제 평균에서는 DeltaWorld가 FID 37.26, FVD 90.31, LPIPS 0.0303, PSNR 30.21, SSIM 0.9022, MSE 0.0047을 보였고, IWS는 FID 39.37, FVD 168.98, LPIPS 0.0440, PSNR 28.20, SSIM 0.8700, MSE 0.0075였다. 평가는 첫 프레임만 주고 최대 150프레임을 자동 회귀 방식으로 생성하는 조건에서 이뤄졌다. 절제 실험에서는 Delta-LTM과 Interaction-aware Latent Alignment를 각각 제거하면 평균 FVD가 191.50에서 228.03과 207.60으로 나빠졌다.

논문에 한계 절이 별도로 보고되지 않았다. 다만 자체 수집 데이터는 과제별로 127개, 329개, 886개, 893개 에피소드로 비교적 작고, 평가는 영상 품질 지표 중심이며 실제 정책 성공률이나 폐쇄 루프 정책 학습 성능은 보고되지 않았다. 예측 해상도는 128×128이고 최대 150프레임까지 평가했다. 코드 공개 여부도 논문에 명시되지 않았다.