WorldOracle: Benchmark prüft Welt-Modelle gegen reale Roboterausführungen
Forscher von AgiBot und NVIDIA stellen in einem Preprint einen Benchmark vor, der Welt-Modellen exakt die Aktionen eines realen Roboters eingibt und prüft, ob das vorhergesagte Video zeigt, was tatsächlich geschah, inklusive verfehlter Griffe und verschütteten Wassers. Alle sieben getesteten Modelle verloren über lange Zeiträume an Genauigkeit, und selbst das Modell mit der besten Armführung sagte das physische Ergebnis oft falsch voraus.
Sagt ein aktionskonditioniertes Welt-Modell bei gleicher Startansicht und gleicher Aktionsfolge voraus, was ein realer Roboter tatsächlich bewirkt, einschließlich Fehlern, und gilt das über verschiedene Roboter und über Minuten statt Sekunden?
Videogeneratoren werden zunehmend zu aktionskonditionierten Welt-Modellen (ACWMs) umgebaut, die vorhersagen, wie sich eine Szene bei einer Roboterbewegung verändert. Die Hoffnung: Trainingsdaten erzeugen und Steuerungen testen, ohne Roboterzeit zu verbrauchen. Ein überzeugendes Video kann aber falsch sein; im Einstiegsbeispiel des Papers verfehlt der reale Greifer die Frucht, das Modell zeigt einen gelungenen Griff. Bisherige Benchmarks bewerten Bildqualität, Textanweisungen oder Ausführbarkeit in der Simulation, keiner vergleicht aktionskonditionierte Vorhersagen direkt mit langen realen Ausführungen samt Fehlversuchen.
Allgemeine Video-Benchmarks messen Bildqualität, Steuerbarkeit und physikalische Plausibilität. Robotik-Benchmarks wie EWMBench, PAI-Bench, WoW-World-Eval und RBench konditionieren auf Bild und Aufgabentext statt auf eine konkrete Aktionsfolge. WorldArena und WorldArena 2.0 testen Welt-Modelle als Datenquelle, Policy-Bewerter und Planer, überwiegend im Simulator; RoboWM-Bench spielt aus generierten Videos extrahierte Aktionen in Real-to-Sim-Umgebungen ab.
WorldOracle spielt aufgezeichnete reale Aktionsfolgen ohne Rückkopplung durch jedes Modell und vergleicht das Ergebnis mit dem realen Video anhand von vier Werten: Korrektheit des physischen Zustands (ein VLM prüft am Ende jedes Versuchs annotierte Kriterien wie „die grüne Tasse ist gegriffen“), räumliche Übereinstimmung der Interaktion (DINOv3-Merkmalsabgleich auf per SAM3 segmentierten Armen, Händen und Objekten), Detailtreue im Interaktionsbereich (PSNR, LPIPS und V-JEPA-Ähnlichkeit nur innerhalb dieser Masken) und Kohärenz über Kopf- und zwei Handgelenkkameras. Abgedeckt sind vier Aufgaben mit unterschiedlicher Physik (Obst greifen, Handtuch aufhängen, Wasser gießen, Schublade ziehen) und drei Ausführungen: AgiBot G2, die bimanuelle YAM-Station und menschliche Hände. Der neue G2-Trainingssatz umfasst 1.779 etwa einminütige Episoden mit rund 20 % Fehlsegmenten; die Testsätze haben 100 G2-, 75 YAM- und 100 Hand-Episoden von etwa zwei Minuten mit rund 40 % Fehlschlägen, dazu 60 G2-Episoden, die eine pi0.5-Policy steuerte. Ausgewiesen werden die ersten 30 Sekunden und ganze Episoden.
Die Rangfolgen der Metriken stimmten in 88,1 bis 93,2 % der Paarvergleiche mit menschlichen Urteilen überein, die Spearman-Korrelation lag bei 0,72 bis 0,82. Von sieben Modellen (IRASim, Ctrl-World, DreamDojo, Cosmos 3 Nano, GE-Sim 2.0, JointControlVideo, OSCAR) führte GE-Sim 2.0 auf dem G2 mit einem Single-View-Wert von 73,86 für 30 Sekunden und 63,33 für ganze Episoden. DreamDojo fiel im selben Vergleich von 50,56 auf 27,08, Cosmos 3 von 53,99 auf 26,60. GE-Sim 2.0 lag auch bei der räumlichen Übereinstimmung auf beiden Robotern vorn (G2 81,40 und 73,49, YAM 74,97 und 59,78) und erreichte 78,70 auf den Policy-Rollouts. Über ganze G2-Episoden kam es aber bei 96,96 Mehrkamera-Kohärenz nur auf 60,26 bei der Zustandskorrektheit und 56,24 bei der Detailtreue: Der Arm stimmte, Griff, Kontakt oder Ergebnis oft nicht. Über die vier G2-Aufgaben erreichte GE-Sim 2.0 im Schnitt 73,9, das zweitbeste Modell 54,0.
Es handelt sich um einen nicht begutachteten Preprint. Die Autoren betonen, dass die drei Ausführungen nicht kontrolliert verglichen werden: G2-Modelle wurden mit benchmarkeigenen Daten angepasst, YAM mit dem öffentlichen ABC-130K-Datensatz bei größerer Lücke, Hände ohne Anpassung getestet; Zusammenhänge zwischen Modelldesign und Werten gelten als Hypothesen. Aus unserer Sicht stammt der Spitzenreiter GE-Sim 2.0 aus dem Umfeld von AgiBot und teilt Autoren mit diesem Benchmark, G2 ist AgiBots eigener Roboter mit eigens erstellten Trainingsdaten, sein Vorsprung sollte unabhängig bestätigt werden. Die Zustandsbewertung hängt an einem VLM, vier Tischaufgaben decken nur einen kleinen Teil realer Arbeit ab, Daten, Code und Rangliste sind angekündigt, aber noch nicht veröffentlicht.
Anbieter, die Welt-Modelle als Robotersimulator vermarkten, darunter NVIDIA mit Cosmos und AgiBot mit seiner GE-Familie, werden nun an der Übereinstimmung mit der Realität gemessen statt an Bildqualität. Für Hersteller, die Steuerungen im Welt-Modell bewerten oder Trainingsdaten erzeugen wollen, spricht der Befund, dass alle Modelle über lange Zeiträume abbauen und Erfolge halluzinieren können, vorerst für reale Validierung. In der europäischen Industrie mit ihren hohen Anforderungen an Sicherheitsnachweise dürfte das die Rolle von Welt-Modellen auf Vorauswahl und Datenerweiterung begrenzen. Eine öffentliche Rangliste könnte binnen eines Jahres zur Einkaufsreferenz werden; verlässliche Langzeitsimulation ist weiter entfernt.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.