Ropedia W0, 사람 영상 1만 시간으로 학습한 휴머노이드 겸용 월드모델
Ropedia W0는 사람 1인칭 영상 약 1만 시간과 로봇 영상 3000시간으로 학습해 걷고 조작하는 사람과 로봇의 다음 장면을 예측하며, 미학습 사람 영상에서 손 위치 오차를 Cosmos3-Nano 대비 약 30% 줄였다. 난양공대 등이 낸 프리프린트다.
하나의 월드모델이 사람, 그리퍼 로봇, 손가락형 휴머노이드의 이동과 조작을 모두 아우르는 1인칭 미래 영상을 예측할 수 있는가, 사람 영상을 늘리면 로봇 성능도 좋아지는가.
월드모델은 로봇이 행동 결과를 미리 상상하게 해주지만 대부분 고정된 팔과 그리퍼만 다룬다. 걷는 로봇은 움직일 때 시점이 바뀌고 로봇마다 행동 공간이 달라 데이터를 합치기 어렵고, 로봇 데이터 자체도 부족하다.
엔비디아 Cosmos3, DreamDojo, OSCAR, RynnWorld-Teleop 등은 로봇 행동이나 텍스트를 조건으로 영상을 생성하지만 대개 한 가지 형태의 로봇이나 고정형 조작에 집중했다.
관절 명령 대신 공통 시각 제어 신호를 쓴다. 카메라 자세로 이동을, 화면에 투영한 골격으로 손이나 그리퍼를 표현하고, 로봇 골격은 기구학 계산과 수작업 키포인트 보정으로 만든다. 사람 데이터셋 14개와 로봇 데이터셋 13개, 자체 녹화를 묶은 Xp-Data로 5B와 14B 활성 파라미터 모델을 학습했고, 휴머노이드 원격조작 벤치마크 Xp-Teleop을 공개했으며, 실시간용으로 증류했다.
미세조정 없이 사람 1인칭 영상 200개를 예측한 결과 5B 모델은 PSNR 18.90dB, LPIPS 0.2444로 Cosmos3-Nano(16B)의 18.66dB, 0.2753과 Cosmos3-Super(64B)의 18.36dB보다 나았다. 손 위치 오차는 46.9픽셀에서 32.7픽셀로, MEKAWIRE 계산으로 약 30% 낮다. 14B 활성 모델은 카메라 궤적 오차를 1.931cm에서 1.542cm로 줄였다. 다만 전체 길이 FVD는 Cosmos3-Nano가 178.9로 W0의 189.9보다 좋았다. 저자들은 DreamDojo, Psi0, omega-HOME, Xp-Teleop, AgiBot 등 5개 벤치마크에서 최고 성능을 보고했고, 사람 영상을 늘릴수록 성능이 꾸준히 올랐으며, 증류 모델은 분 단위 실시간 생성으로 VR 상호작용이 가능하다고 밝혔다.
프리프린트다. 제어 신호는 카메라와 손 움직임만 담고 접촉력이나 물체 물리는 담지 않아, 힘이 가해질 때의 거동이 아니라 겉모습을 예측한다. 1분을 넘는 장시간 생성에는 기억 장치 개선이 필요하다. 확장 실험은 14B 활성 모델과 고정된 데이터 구성까지만 했다. PSNR 같은 지표는 외관 품질을 재는 것이어서, 접촉이 많은 작업에서는 그럴듯해 보이는 월드모델이 제어기를 오도할 수 있다.
원격조작 데이터를 모으는 휴머노이드 기업과 엔비디아 Cosmos 같은 시뮬레이션 공급자가 직접적 대상이다. 로봇 가동 시간 대신 사람 1인칭 영상을 사거나 녹화하는 쪽이 싸다는 근거가 된다. 국내 휴머노이드 기업과 데이터 수집 스타트업에도 의미가 있으며, 1~2년 안에 정책 시험과 데이터 생성 파이프라인에 쓰일 가능성이 높다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.