Ropedia W0: ein Weltmodell für Menschen, Greifer und Humanoiden aus 10.000 Stunden Menschenvideo
Ropedia W0 lernt aus rund 10.000 Stunden Menschenvideo und 3.000 Stunden Robotervideo, was ein gehender und greifender Mensch oder Roboter als Nächstes sieht, und senkt den Handpositionsfehler auf unbekannten Clips um rund 30% gegenüber Cosmos3-Nano. Preprint der NTU Singapur und Partner.
Kann ein einziges Weltmodell künftige Ich-Perspektive-Videos für Fortbewegung und Manipulation bei Menschen, Greiferrobotern und Humanoiden mit Händen vorhersagen, und verbessert mehr Menschenvideo die Leistung auf Robotern?
Weltmodelle lassen Roboter Folgen von Aktionen vorab durchspielen, decken aber meist nur feststehende Arme mit Greifer ab. Laufende Roboter verändern beim Gehen den Blickwinkel, jeder Roboter hat einen anderen Aktionsraum, und Roboterdaten sind knapp.
Modelle wie NVIDIAs Cosmos3, DreamDojo, OSCAR und RynnWorld-Teleop erzeugen Video abhängig von Roboteraktionen oder Text, meist für eine Bauform oder stationäre Manipulation.
Statt Gelenkbefehlen nutzt W0 ein gemeinsames visuelles Steuersignal: Kameraposen beschreiben die Fortbewegung, ins Bild projizierte Skelette die Hände oder Greifer, bei Robotern aus Kinematik und manuell korrigierten Keypoints. Trainiert wurde auf Xp-Data aus 14 Menschen- und 13 Roboterdatensätzen plus eigenen Aufnahmen, in Größen von 5B und 14B aktiven Parametern; dazu kommen der Teleoperations-Benchmark Xp-Teleop und eine destillierte Echtzeitversion.
Auf 200 unbekannten Menschenclips ohne Feinabstimmung erreichte das 5B-Modell 18,90 dB PSNR und 0,2444 LPIPS gegenüber 18,66 dB und 0,2753 für Cosmos3-Nano (16B) und 18,36 dB für Cosmos3-Super (64B); der Handpositionsfehler sank von 46,9 auf 32,7 Pixel, nach MEKAWIRE-Rechnung rund 30% weniger. Das 14B-Modell senkte den Kameratrajektorienfehler von 1,931 auf 1,542 cm. Beim FVD über die volle Länge lag Cosmos3-Nano mit 178,9 vor W0 mit 189,9. Die Autoren melden Bestwerte auf fünf Benchmarks (DreamDojo, Psi0, omega-HOME, Xp-Teleop, AgiBot), stetige Gewinne mit mehr Menschenvideo und minutenlange Echtzeit-Rollouts für VR-Interaktion.
Preprint. Das Steuersignal erfasst Kamera- und Handbewegung, aber keine Kontaktkräfte oder Objektphysik; das Modell sagt Aussehen voraus, nicht Verhalten unter Kraft. Rollouts über eine Minute brauchen besseres Gedächtnis. Skaliert wurde nur bis 14B aktive Parameter bei festem Datenmix. Bildqualitätsmetriken wie PSNR sagen wenig darüber, ob ein Regler bei kontaktreichen Aufgaben richtig geführt wird.
Relevant für Humanoidenhersteller mit Teleoperationsdaten und Simulationsanbieter wie NVIDIA: Das Ergebnis spricht dafür, Menschenvideo als günstigeren Ersatz für Roboterstunden zu nutzen. Für europäische Robotikfirmen mit wenig eigenen Flottendaten ist das ein Weg, Weltmodelle ohne große Roboterflotten zu trainieren. Einsatz in Policy-Tests und Datengenerierung ist binnen ein bis zwei Jahren denkbar.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.