Evaluating robot world models against real executions중급
WorldOracle: 행동 조건부 월드모델을 실제 로봇 실행 결과와 대조하는 벤치마크
애지봇과 엔비디아 연구진은 프리프린트 논문에서 실제 로봇이 수행한 동작을 그대로 월드모델에 넣고, 예측 영상이 실패한 파지나 쏟아진 물까지 실제와 같은지 확인하는 벤치마크를 내놨다. 시험한 모델 7종 모두 긴 시간 예측에서 정확도가 떨어졌고 로봇팔 움직임을 잘 따라간 모델도 물리적 결과는 자주 틀려, 월드모델 안에서 로봇을 평가하거나 학습시키려는 기업에 경고가 된다.