Umformulierte Anweisung kostet VLA 38 Punkte: LoRA in einer Stunde statt Abstimmung
Wird die Anweisung an einen Roboter umformuliert, sinkt die Erfolgsquote von OpenVLA im LIBERO-Benchmark um 38,0 Punkte, und eine Abstimmung über vier Umformulierungen zur Laufzeit holte den Verlust in keinem Versuch zurück, berichtet ein Team des Institute of Science Tokyo in einem Preprint vom 14. Oktober. Rund eine Stunde LoRA-Nachtraining mit umformulierten Anweisungen machte aus dem Malus ein Plus von 2,0 Punkten, eine gleich lang trainierte Kontrollgruppe blieb 32,0 Punkte im Minus.
Vision-Language-Action-Modelle werben damit, dass Menschen Robotern in eigenen Worten sagen können, was zu tun ist, doch die üblichen Benchmarks prüfen nur den exakten Trainingssatz. Wie viel kostet eine Umformulierung, lässt sie sich mit den Testzeit-Methoden zurückholen, die Sprachmodelle robuster machen, und hängt die Antwort davon ab, ob die Policy die Anweisung für die Aufgabe überhaupt braucht?
Auf LIBERO, dem Simulationsbenchmark der meisten VLA-Arbeiten, wird jeder veröffentlichte Checkpoint mit zehn Anweisungen feinjustiert, eine pro Aufgabe, und mit genau denselben Zeichenketten bewertet. Nutzer formulieren so nicht. Bisherige Diagnosen widersprechen sich: Eine Testreihe folgert, feinjustierte VLAs ignorierten Sprache, eine andere meldet Einbrüche schon bei kleinen Umformulierungen, und keine fragt, ob Aggregation zur Testzeit den Schaden repariert.
Sprachmodelle profitieren von Prompt-Ensembles und Self-Consistency, die Antworten über mehrere Prompts oder Stichproben bündeln. Bei VLAs wählen RoboMonkey und MG-Select unter Aktionen, die aus einem Prompt gezogen wurden. Training auf vielen Formulierungen ist das bekannte Gegenmittel (DIAL, RT-1), doch frühere Arbeiten berichteten weder eine gleich lange trainierte Kontrollgruppe noch den Transfer auf zurückgehaltene Formulierungen noch eine Prüfung, ob der Roboter die Anweisung danach noch liest.
Die Autoren setzen einen Paraphrasen-Konsens um: Die Anweisung wird viermal umformuliert, die eingefrorene Policy bei jedem Neuplanungsschritt je Formulierung einmal abgefragt und der Medoid ausgeführt, also der Aktionsblock mit dem geringsten Abstand zu allen anderen. Jeder Schritt wird für das Basis-OpenVLA (7B, Llama 2) und OpenVLA-OFT über die LIBERO-Suiten protokolliert. Eine Kontrolle ersetzt die Paraphrasen durch vier Zufallsstichproben des Originalsatzes. Eine Falschanweisungs-Probe gibt dem Roboter in derselben Szene die Anweisung einer anderen Aufgabe und misst so, welcher Anteil des Erfolgs Sprache braucht; sie läuft auf drei Policies einschließlich pi0.5 von Physical Intelligence. Zuletzt folgt ein LoRA-Nachtraining auf Paraphrasen gegen eine Kontrolle mit gleich vielen Schritten auf den Originalsätzen.
Eine einzige Paraphrase über eine ganze Episode senkte den Erfolg des Basis-OpenVLA um 38,0 Punkte. Selbst ein Konsens mit dem Trainingssatz kostete es 16,8 Punkte und OpenVLA-OFT auf LIBERO-Goal 4,0 Punkte; ohne Trainingssatz lag der Medoid 32,4 und die konfidenzbasierte Auswahl 28,0 Punkte darunter. Vier Stichproben einer Paraphrase schlugen die Greedy-Dekodierung um 10,4 Punkte, blieben aber 27,6 Punkte unter dem Trainingssatz. Die Abstimmung senkt also die Varianz, nicht die gemeinsame Verzerrung der Paraphrasen. Das Basis-OpenVLA braucht die Anweisung für 97 bis 100 Prozent seines Erfolgs in jeder Suite, OpenVLA-OFT für 100 Prozent auf Goal, aber nur 2 Prozent auf Object, und Spatial ist mit falscher Anweisung zu 74 Prozent lösbar. Das LoRA-Nachtraining drehte den Effekt auf Spatial auf plus 2,0 gegenüber minus 32,0 in der Kontrolle, auf Goal von minus 36,8 auf minus 4,0 (Kontrolle minus 43,6) und bei OpenVLA-OFT auf Goal von minus 10,4 auf 0,0. Der Vier-Prompt-Konsens kostet selbst gebündelt das 2,98-Fache einer Abfrage, das Nachtraining einmalig etwa eine Stunde.
Das Preprint enthält nur Simulation, keine Hardware-Ergebnisse. Konsens und Nachtraining nutzen Checkpoints eines einzigen 7B-Modells, pi0.5 geht nur in die Abhängigkeits- und Kostenmessung ein, und der Vergleich von OFT und Basismodell ist durch die Handgelenkkamera und Propriozeption von OFT verzerrt. Alle Paraphrasen sind englisch und von Sprachmodellen eines Anbieters erzeugt und bewertet; ein Autor stufte 78 von 240 bewerteten Paraphrasen (32 Prozent) als aufgabenverändernd ein, ohne dass sich ein berichteter Wert außerhalb seines Intervalls verschob. Das Nachtraining senkte den Erfolg mit dem Originalsatz auf Spatial um 2,4 bis 5,6 Punkte. Policies mit vielfältigerem Sprachtraining sind womöglich weniger empfindlich als diese Zehn-Satz-Checkpoints.
Für Integratoren und Maschinenbauer, die sprachgesteuerte Roboter in Fabrik und Lager bringen wollen, ist die Lehre konkret. Ein Laufzeit-Ensemble rettet keine Policy, die pro Aufgabe nur eine Formulierung kennt. Sinnvoller ist ein billiges Feintuning mit Paraphrasen, das etwa eine Stunde kostet statt vier Vorwärtsdurchläufen in jedem Regeltakt. Für mehrsprachige europäische Einsätze, in denen Bediener zwischen Deutsch, Englisch und Fachjargon wechseln, ist das Risiko eher größer als im englischen Benchmark. Die Falschanweisungs-Probe taugt zudem als Abnahmetest, der zeigt, ob ein Demonstrator Worten folgt oder nur die Szene wiedererkennt.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.