DEWO: 행동 모방을 넘어 직접 경험으로 월드 모델 최적화

배치 후 경험에서 상호작용 전환점 주변의 성공, 실패 연속을 세계 모델에 학습시키면 행동 모방만으로는 얻기 어려운 제어 개선이 가능한가?

기존 WAM 배치 후 학습은 직접 행동 감독이나 가치 기반 강화학습으로 정책만 개선하며, 배치 상호작용에 대한 예측 표현이 반드시 좋아지지는 않는다. 특히 손가락 조작은 고차원 행동 공간에서 작은 실행 오차가 접촉을 바꾸고 이후 궤적을 훈련 분포 밖으로 밀어내 오차가 누적된다. WAM은 행동 생성과 예측 표현이 함께 어긋나는 결합 적응 문제에 직면한다.

기존 배치 후 학습은 SFT 같은 직접 행동 감독과 RECAP, DSRL 같은 가치 기반 강화학습이 대표적이다. WAM 후학습 계열로는 성공 롤아웃의 비디오를 쓰는 WAM-RL, 교사 생성 비디오, 행동을 쓰는 WAM-OPD, 실패 롤아웃의 예측 목표를 남기는 FACT 등이 있다. 그러나 이들은 상호작용 전환점을 중심으로 성공, 실패 미래를 짝지어 예측 학습에 쓰지 않았고, 손가락 조작에서는 SFT, RECAP, DSRL이 FastWAM 초기 성공률 80.7%보다 낮은 76.1~76.8%에 머물렀다.

DEWO는 실패 롤아웃의 중간 지점을 재현해 여러 대안 연속을 샘플링하고, 복구 가능성이 0으로 떨어지는 경계에서 상호작용 전환점을 찾는다. 전환점에서 성공한 연속과 실패한 연속을 짝지어 수집한 뒤, 성공 연속은 성공 조건 c+ 아래 시각, 행동 목표로, 실패 연속은 실패 조건 c- 아래 시각 목표로만 학습한다. 기본 조건 c_base는 재생 성공 경험과 조건 드롭아웃으로 훈련하고, 추론 시에는 비디오 표현 위 가치 헤드가 작업 진전 정체를 감지했을 때만 classifier-free guidance를 선택적으로 켜 성공 조건 방향으로 행동 예측을 민다.

시뮬레이션은 각 과제당 3개 50장면 평가 세트를 썼다. 다섯 DexJoCo 과제 평균에서 DEWO는 Joint 81.9%→86.7%, IDM 82.1%→84.0%, FastWAM 80.7%→82.3%로 세 WAM 구조 모두 성공률을 높였다. 정합 비교에서 FastWAM은 80.7%→82.3%, FACT는 64.5%→81.2%로 FACT SFT 70.1%를 넘었다. DEWO-S는 사전학습 비디오, 행동 구성요소로 89.9%를 기록했다. 실제 로봇에서는 Wuji, Sharpa로 네 물체를 옮기는 8개 과제를 3×3 그리드에서 셀당 10회 평가했고, 두 차례 갱신 후 전체 그리드 성공률은 20.6%(148/720)에서 28.9%(208/720)로 올랐다. 초기 성공이 있던 29개 셀은 51.0%→72.1%(R1)→71.7%(R2)였고, 중심에서 벗어난 셀은 40.0%→65.7%→65.2%로 개선됐다. 초기 성공이 없던 43개 셀은 계속 0%였다. 분석에서는 행동 감독에 성공, 실패 시각 미래를 더할수록 Water Plant 86.7→88.7→90.7%, Fold Glasses 72.0→74.0→77.3%로 성공률이 올랐고, 비디오 예측 손실은 행동 단독 대비 Water Plant 32.7%, Fold Glasses 17.8% 줄었다.

실제 로봇 실험에서 초기 성공이 없던 셀은 두 차례 배치 학습 뒤에도 모두 0%에 머물러, DEWO가 기존 일반화를 더 믿을 수 있게 할 뿐 완전히 새로운 공간 영역을 개척하지는 못했다. 실제 물리 환경에서는 시뮬레이션처럼 상태를 정확히 복원할 수 없어 사람이 장면과 로봇 구성을 복원하고 매칭을 정의했다. 전환점 식별은 현재 정책과 유한한 샘플링 예산에 의존하며, 샘플에서 성공이 0회여도 물리적으로 복구 불가능하다는 뜻은 아니라고 저자도 한계로 밝혔다. 연산 비용과 코드 공개 여부는 논문에 보고되지 않았다.