Folgen VLA-Modelle wirklich Anweisungen? Eine Diagnose der Wie-Anweisungen bei Vision-Language-Action-Modellen
Ein Preprint des KAIST zeigt, dass heutige Roboter-KI-Modelle Anweisungen zur Ausführung, etwa an welcher Stelle ein Objekt zu greifen ist, ignorieren und dass solche Hinweise die Erfolgsquote sogar senken. Nach einer Neubeschriftung der Trainingsdaten mit schrittweisen Bewegungsbeschreibungen reagierten die Roboter in 84 Prozent der Fälle auf Korrekturen, erfolgreicher wurden sie dadurch aber nicht zuverlässig.
Setzen Vision-Language-Action-Modelle (VLA) Anweisungen um, die festlegen, wie eine Aufgabe auszuführen ist, und nicht nur, welche Aufgabe gemeint ist? Falls nicht, was im Training verhindert es?
Hersteller vermarkten VLA-Roboter als Maschinen, die man per Sprache anleiten kann wie einen Chatbot. Benchmarks prüfen aber meist nur, ob ein Modell die Aufgabe trotz umformulierter Worte erkennt. Ob ein Satz wie „greif die Karotte am grünen Ende“ die Bewegung tatsächlich ändert, war nicht systematisch untersucht.
Frühere Arbeiten machten VLAs robust gegenüber umformulierten Aufgaben, beschränkten Wie-Hinweise auf feste Befehlssätze oder ersetzten Sprachkorrekturen durch visuelle Marker oder extern erzeugte Ausweichbewegungen. Zwei-System-Architekturen, in denen ein Vision-Language-Modell den Roboter überwacht und Teilanweisungen schickt, setzen voraus, dass das VLA darunter ihnen folgt.
Die Autoren testen fünf offene VLAs, pi0 von Physical Intelligence, InternVLA-M1, QwenGR00T, InstructVLA und LangForce, auf den WidowX-Aufgaben des Simulators SIMPLER. Bei der Offline-Korrektur werden gescheiterte Episoden mit einfachem Neustart, mit einer von einem Google-DeepMind-Modell formulierten Korrektur und mit einer inhaltlich umgekehrten Korrektur wiederholt. Bei der Online-Intervention schickt ein Überwachungsmodell Korrekturen während der Ausführung. Danach werden dieselben Demonstrationen segmentweise neu beschriftet und die Modelle nachtrainiert; dazu kommt der Benchmark SIMPLER-IN, bei dem nur Erfolg hat, wer der Wie-Anweisung folgt.
Über 1.046 gescheiterte Episoden hinweg rettete ein einfacher Neustart 13,1 Prozent, eine Korrektur 5,9 Prozent und eine umgekehrte Korrektur 3,8 Prozent; bei pi0 waren es 25,1 gegenüber 12,3 Prozent. Dauerhafte Online-Hinweise senkten die gepoolte Erfolgsquote von 50,9 auf 37,8 Prozent. Nach der Neubeschriftung bewegten sich die Aktionen in rund 84 Prozent der Episoden in die korrigierte Richtung, gegenüber rund 53 Prozent bei Original- und Kontrollmodellen, nahe am Zufallsniveau von 50 Prozent; der Verlust durch Daueranweisungen schrumpfte auf 2 Punkte. Die Aufgabenerfolgsquote stieg jedoch nicht durchgängig, und kein Modell bestand die anspruchsvollen oder verteilungsfremden SIMPLER-IN-Aufgaben zuverlässig.
Die Autoren nennen die Beschränkung auf einen simulierten Roboter (WidowX), einen Datensatz (BridgeData V2) und kurze Pick-and-Place-Aufgaben, möglicherweise fehlerhafte Korrekturen des Sprachmodells, die nicht getrennte Wirkung von Zeitpunkt und Inhalt der neuen Beschriftung und ein LoRA-Nachtraining mit begrenztem Budget. Neueste kommerzielle Modelle wie Figure Helix, Gemini Robotics oder pi0.6 wurden nicht geprüft.
Die Studie stellt ein verbreitetes Verkaufsargument für Humanoide und VLA-Produkte in Frage: dass sich ein Roboter per Zuruf korrigieren lässt. Für Anbieter wie Neura Robotics, Agile Robots oder RobCo und für Automobilwerke, die sprachgesteuerte Zellen testen, liegt der Hebel im Datendesign mit schrittgenauen Sprachlabels. Binnen eines Jahres dürften Datensätze mit dichter Bewegungsbeschreibung und Wie-Benchmarks folgen; Einkäufer sollten Korrekturtreue statt nur Aufgabenerfolg abfragen.