WorldOracle: 행동 조건부 월드모델을 실제 로봇 실행 결과와 대조하는 벤치마크
애지봇과 엔비디아 연구진은 프리프린트 논문에서 실제 로봇이 수행한 동작을 그대로 월드모델에 넣고, 예측 영상이 실패한 파지나 쏟아진 물까지 실제와 같은지 확인하는 벤치마크를 내놨다. 시험한 모델 7종 모두 긴 시간 예측에서 정확도가 떨어졌고 로봇팔 움직임을 잘 따라간 모델도 물리적 결과는 자주 틀려, 월드모델 안에서 로봇을 평가하거나 학습시키려는 기업에 경고가 된다.
같은 초기 화면과 같은 저수준 행동 시퀀스가 주어졌을 때, 행동 조건부 월드모델이 실수와 실패를 포함해 실제 로봇 실행 결과를 여러 로봇에 걸쳐, 수초가 아니라 수분 단위로 맞게 예측하는지를 묻는다.
영상 생성 모델을 로봇 행동에 따라 장면 변화를 예측하는 행동 조건부 월드모델(ACWM)로 바꾸는 연구가 늘고 있다. 실제 로봇 시간 없이 학습 데이터를 만들고 정책을 검증할 수 있다는 기대 때문이다. 그러나 그럴듯한 영상이 틀린 결과를 보여줄 수 있다. 논문 첫 예시에서 실제 그리퍼는 과일을 놓쳤는데 모델은 성공적으로 집는 장면을 그렸다. 기존 벤치마크는 화질이나 텍스트 지시 수행을 보거나 시뮬레이션에서 실행 가능성을 따졌고, 실패가 섞인 긴 실제 실행과 행동 조건부 예측을 직접 맞대 본 사례는 없었다.
일반 영상 벤치마크는 화질, 제어 가능성, 물리적 그럴듯함을 평가했다. EWMBench, PAI-Bench, WoW-World-Eval, RBench 같은 로봇용 벤치마크는 특정 행동 궤적이 아니라 이미지와 과제 지시문을 조건으로 삼았다. WorldArena와 WorldArena 2.0은 월드모델을 데이터 엔진, 정책 평가기, 계획기로 시험하지만 주로 시뮬레이터 안에서 이뤄졌고, RoboWM-Bench는 생성 영상에서 뽑은 행동을 실제를 본뜬 시뮬레이션에서 재생했다.
WorldOracle은 기록된 실제 행동 궤적을 각 모델에 개루프로 재생하고 출력 영상을 실제 영상과 네 가지 점수로 비교한다. 물리 상태 정확도(조작 시도가 끝날 때마다 '초록 컵이 그리퍼에 잡혀 있다' 같은 기준을 VLM이 판정), 상호작용 공간 정렬(SAM3로 분할한 팔과 손, 물체 영역의 DINOv3 특징 대응), 핵심 상호작용 영역 충실도(해당 영역 안에서만 PSNR, LPIPS, V-JEPA 유사도 측정), 머리와 양 손목 카메라 간 다시점 행동 일관성이다. 과일 집기, 수건 걸기, 물 붓기, 서랍 열기 등 물리 특성이 다른 네 과제와 애지봇 G2, YAM 양팔 스테이션, 사람 손 세 가지 신체를 다룬다. 새로 만든 G2 학습 데이터는 1분 안팎 에피소드 1779개로 실패 구간이 약 20%이고, 평가 데이터는 약 2분짜리 G2 100개, YAM 75개, 사람 손 100개 에피소드로 실패 비율이 약 40%다. π0.5 정책이 실제로 G2를 움직인 60개 에피소드도 따로 넣어 망설임과 수정 동작이 섞인 행동 분포를 시험했다. 점수는 처음 30초와 전체 에피소드로 나눠 낸다.
지표 순위는 쌍대 비교에서 사람 판단과 88.1~93.2% 일치했고 스피어만 상관계수는 0.72~0.82였다. 시험한 7개 모델(IRASim, Ctrl-World, DreamDojo, Cosmos 3 Nano, GE-Sim 2.0, JointControlVideo, OSCAR) 가운데 G2에서는 GE-Sim 2.0이 단일시점 종합점수 73.86(처음 30초), 63.33(전체)으로 1위였다. 같은 구간에서 DreamDojo는 50.56에서 27.08로, Cosmos 3는 53.99에서 26.60으로 떨어졌다. GE-Sim 2.0은 공간 정렬에서도 G2 81.40(30초), 73.49(전체), YAM 74.97, 59.78로 두 로봇 모두 가장 높았고 정책 실행 데이터에서는 78.70이었다. 그러나 G2 전체 에피소드 기준 다시점 일관성이 96.96인 데 비해 물리 상태 정확도는 60.26, 핵심 영역 충실도는 56.24에 그쳤다. 팔은 잘 따라가도 파지나 접촉, 최종 결과는 자주 틀렸다는 뜻이다. G2 네 과제 평균 단일시점 점수는 GE-Sim 2.0이 73.9, 2위 모델이 54.0이었다.
동료 심사 전 프리프린트다. 저자들은 세 신체 간 비교가 통제 실험이 아니라고 밝혔다. G2 모델은 벤치마크 자체 학습 데이터로, YAM은 공개 데이터 ABC-130K로 적응시켜 격차가 더 컸고, 사람 손은 별도 학습 없이 시험했다. 모델 설계와 점수의 관계도 인과가 아닌 가설로 제시했다. 1위 GE-Sim 2.0이 애지봇 쪽 모델이고 그 논문과 이번 벤치마크의 저자가 일부 겹치며, G2 역시 애지봇 로봇이고 학습 데이터도 이번 시험용으로 만들어졌다는 점에서 독립 검증이 필요하다. 물리 정확도는 VLM 판정에 의존하고, 탁상 과제 네 개는 공장과 가정 작업의 일부에 불과하다. 데이터와 코드, 리더보드는 공개 예정일 뿐 아직 나오지 않았다.
엔비디아 코스모스(Cosmos), 애지봇 GE 계열처럼 월드모델을 로봇 시뮬레이터로 내세우는 기업들은 이제 화질이 아니라 실제와의 일치도로 평가받게 된다. 월드모델 안에서 정책을 평가하거나 학습 데이터를 만들려는 로봇 기업에는 모든 모델이 긴 예측에서 무너지고 성공을 지어낼 수 있다는 결과가 당분간 실제 로봇 검증을 병행해야 한다는 근거가 된다. 시뮬레이션 기반 학습을 확대하려는 국내 휴머노이드 개발사와 K-휴머노이드연합 참여 기업들도 월드모델 도입 시 이런 실측 대조 지표를 요구할 필요가 있다. 리더보드가 공개되면 1년 안에 도입 판단의 참고 기준이 될 수 있지만, 긴 시간 신뢰할 수 있는 시뮬레이션은 아직 멀어 보인다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.