성공 기준 물리량을 직접 감독하는 잠재 세계 모델 보조 손실

성공 기준 물리량을 학습 목표로 직접 감독하면 잠재 세계 모델의 계획 성공률이 올라가는가?

잠재 세계 모델은 후보 행동 시퀀스를 잠재 거리만으로 순위 매기지만 실제 성공은 손이나 물체 위치 같은 성공 기준 물리량의 허용 오차로 결정된다. 기존 훈련 손실은 다음 잠재 상태만 감독하고 성공 기준 물리량은 손실에 등장하지 않아, LeWM과 DINOv2-S, DINOv2-L, V-JEPA 2에서 손 위치 선형 판독 오차가 stack의 허용 오차 2cm보다 컸다. 예를 들어 LeWM의 중앙값 오차는 3.2cm였다. 물리량을 입력으로 연결해도 잠재 상태가 기준 정밀도를 유지한다는 보장은 없다.

기존 연구 중 DINO-WM과 V-JEPA 2-AC는 손 위치 같은 고유수용감각 상태를 입력에 이어붙였다. PhyLatent와 PSG-JEPA는 물리량을 학습 목표로 썼지만 설계자가 감독할 물리량을 고르고 그것이 성공 기준과 일치하는지는 따지지 않았다. 따라서 어떤 방법도 성공 기준 물리량이 계획 비용이 되는 잠재 거리에 반영되는지를 직접 감독하지 않았다.

저자들은 성공 기준 물리량만을 목표로 하는 보조 손실을 추가했다. 훈련 중 인코더 출력과 예측기 출력에 같은 선형 헤드를 적용해 성공 기준 물리량을 회귀하고 그 오차를 기존 세계 모델 손실에 더한다. 헤드는 훈련 뒤 제거되므로 시험 시간 모델 구조, 입력, 잠재 거리, 계산량은 기준 모델과 같다. 감독할 물리량은 설계자가 아니라 각 벤치마크의 성공 기준이 정하며, 여러 기준 물리량이 있으면 독립된 선형 헤드를 쓰되 인코더와 예측기 출력이 같은 헤드를 공유한다.

LeWM에서는 2000개의 동일한 목표 도달 시행 쌍을 대응 이표본 McNemar 검정으로 비교했다. stack 기준 성공률 30.1%에서 모든 기준 물리량을 감독하면 +5.05%포인트, coffee 기준 34.0%에서 물체만 감독하면 +3.90%포인트, cube 기준 68.5%에서 물체만 감독하면 +3.40%포인트, PushT 기준 91.5%에서 모든 기준 물리량을 감독하면 +3.50%포인트로 모두 p<0.05였다. Reacher는 유의미한 개선이 없었다. 동결 인코더 시스템에서는 stack 기준 DINOv2-S가 32.0%에서 손만 감독 시 +7.10%포인트, 모든 기준 물리량 감독 시 +4.20%포인트였고 DINOv2-L은 34.7%에서 손만 감독 시 +3.60%포인트였다. stack의 LeWM을 시행 계층으로 나누면 손만 감독할 때 reach-only 시행에서 +5.92%포인트 개선됐지만 manipulation 시행에서 -8.24%포인트로 떨어졌고, 모든 물리량을 감독하면 reach-only에서 +9.08%포인트 개선되고 manipulation에서는 유의미한 저하가 없었다. 모든 평가는 시뮬레이션 벤치마크의 데모에서 뽑은 목표 도달 시행이며 실물 로봇 결과는 없다.

저자들은 각 조건의 훈련 시드가 하나뿐이고 보조 손실 가중치를 stack의 손에 대해서만 탐색했다고 밝혔다. 동결 인코더 재현은 stack에 국한됐고 동결 V-JEPA 2에서는 실패했다. 실험은 실물 로봇이 아닌 시뮬레이션 벤치마크에서 이뤄졌다. 부분적으로 일부 물리량만 감독할 때 나타나는 저하의 기제는 설명되지 않았으며, 코드 공개 여부는 논문에 보고되지 않았다.