RoboCasa-Shift: NVIDIA GR00T N1.5 fällt bei starker Unschärfe von 73,8 auf 0 Prozent
NVIDIAs Robotermodell GR00T N1.5 schaffte in der Simulation 73,8 Prozent von vier langen Haushaltsaufgaben, bei stärkster Bildunschärfe aber 0 Prozent, und in anderen Tests verdeckten sich gegenseitig aufhebende Ergebnisse die tatsächliche Empfindlichkeit, berichtet ein Team unter Führung der Fudan-Universität in einem Preprint. Bei leichter Kameradrehung blieb die Quote gleich, doch 8 von 80 Paaren änderten ihr Ergebnis.
Verrät eine einzelne Erfolgsquote, wie eine VLA-Policy unter veränderten Bedingungen versagt und in welchem Schritt einer langen Aufgabe der Fehler beginnt?
Robustheit wird meist als eine Zahl vor und nach einer Störung angegeben. Ob dieselben Episoden scheitern, ob sich Fehler und Erfolge aufheben und an welchem Teilschritt der Roboter scheitert, bleibt verborgen.
Benchmarks wie LIBERO-Varianten und RoboCasa stören Szenen und melden Gesamterfolg, koppeln aber selten jeden gestörten Lauf an einen identischen ungestörten Lauf und verfolgen kaum, welches Teilziel erreicht wurde.
RoboCasa-Shift auf Basis von RoboCasa365 ändert jeweils einen Faktor (Beleuchtung, Ausrichtung der externen Kamera, Startpose der Roboterbasis, Gaußsche Unschärfe) in drei Stufen. Jeder gestörte Lauf wird mit einem sonst identischen sauberen Lauf gepaart und als Erfolg-zu-Erfolg, Erfolg-zu-Fehler, Fehler-zu-Erfolg oder Fehler-zu-Fehler eingeordnet; ein Stage-Tracker liest aus dem Simulator, wie weit die Aufgabe kam.
Nur GR00T N1.5 bestand die Eingangsprüfung; getestet wurden vier lange Küchenaufgaben mit 80 Paaren je Bedingung, saubere Erfolgsquote 0,738. Unschärfe senkte sie auf 0,550, 0,225 und 0 (Rückgang 0,188, 0,513, 0,738), auf der höchsten Stufe mit 59 Wechseln von Erfolg zu Fehler und keinem umgekehrten. Die Startpose kostete 0,075, 0,150 und 0,263, bei der Aufgabe Spülbecken ausspülen bis 0,55. Die Kameraausrichtung ergab auf Stufe 1 keine Änderung, auf Stufe 2 0,188 und auf Stufe 3 nur 0,138. Die Beleuchtung veränderte die Quote um 0,012, minus 0,025 und 0,025, statistisch nicht signifikant, doch auf Stufe 2 kippten 12 Paare. Auf Kamerastufe 1 hoben sich vier Verschlechterungen und vier Verbesserungen exakt auf.
Eine Policy, vier Aufgaben, nur Simulation; die Autoren verallgemeinern nicht auf andere Modelle und haben keinen echten Roboter getestet. Stufenlabels stammen aus geprüften Simulatorprädikaten. 80 Episoden je Bedingung lassen kleine Effekte unscharf. Dass außer GR00T N1.5 keine Policy die Eingangsprüfung bestand, sagt selbst etwas über heutige VLA-Zuverlässigkeit.
Für NVIDIA und Entwickler auf GR00T-Basis zeigt die Arbeit eine konkrete Schwäche: Bildunschärfe, etwa durch verschmutzte oder defokussierte Kameras, bringt ein fähiges Modell auf null. Integratoren in der deutschen Industrie sollten von Anbietern gepaarte Tests je Episode statt einer Durchschnittszahl verlangen. Die Methode ist sofort nutzbar, die Befunde brauchen Bestätigung am echten Roboter.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.