Wenn Anweisungen Trajektorien abrufen: Instruction-Action-Binding und Equivariant Counterfactual Training für VLA-Modelle

Warum scheitern feingetunte VLA-Modelle bei gegenfaktischen Änderungen, obwohl sie bei Störvariationen robust bleiben, und wie lässt sich dieses Versagen durch Trainingsdaten und Optimierung beheben?

Feingetunte VLA-Policies wie π0.5 und GR00T-N1.7 wählen unter gegenfaktischen Änderungen oft eine vertraute, aber falsche Trajektorie: Die Anweisung ruft eine bekannte Trajektorienfamilie ab, und visuelles Feedback passt nur deren Ausführung an. Bestehende Systeme scheitern, weil enge konditionale Aktionsunterstützung in den Demonstrationen instruktionsschlüsselbasierte Lösungen zulässt, die ohne Auflösung der aktuellen Szene auskommen und im Training nicht von gegroundeten Lösungen unterscheidbar sind.

Übliche Ansätze sind Imitationstraining mit Flow Matching auf aufgabenspezifischen Demonstrationen sowie Evaluationsverfahren, die Erfolgsraten über Nuisance- und Gegenfaktikzellen hinweg aggregieren. Verwandte Methoden wie CAG verstärken Sprachkonditionierung nur zur Inferenz, und RoCoDA oder MimicGen erzeugen zwar neue Szenen, behandeln aber nicht gezielt die unter gleicher Anweisung fehlende szenenabhängige Aktionswahl. Dadurch bleiben instruktionsschlüsselbasierte Lösungen im Training gültig und die entscheidenden gegenfaktischen Fehler werden in aggregierten Scores verdeckt.

ECT besteht aus zwei Komponenten. ECT-Daten erzeugen über aktionsgültige geometrische Transformationen und Replay valide Demonstrationen, bei denen dieselbe Anweisung in unterscheidbaren Szenen unterschiedliche Aktionen erfordert; dabei kommen Spiegelungen und Verschiebungen zum Einsatz, und misslungene Replays werden verworfen. Der ECT-Loss trainiert jedes Demonstrationspaar gemeinsam im selben Update, summiert die Standard-Imitation-Losses beider Zweige und verwendet geteilte Flow-Matching-Rauschvariablen. Die Methode wird auf LIBERO-PRO mit π0.5 und GR00T-N1.7, auf CALVIN mit natürlichen Gegenstücken und auf einem UR5e-Roboter mit physischen Demonstrationen evaluiert; die Architektur bleibt unverändert.

Auf LIBERO-PRO liegen bei offiziellen Checkpoints alle Nuisance-Zellen über allen Counterfactual-Zellen, und Swap sowie Task sind mindestens 42 Punkte unter In-Distribution. Von 381 markierten π0.5-Rollouts zeigen 69 Prozent retrievalartiges Verhalten und 4 Prozent kollabieren unstrukturiert; bei GR00T-N1.7 sind es 73 Prozent retrievalartig und 14 Prozent korrekt oder annähernd korrekt. Eine Readout-Analyse ordnet die ausgeführte Aufgabe in 34 von 45 Fällen als erste zu, und Kachell-Injektion lenkt π0.5 in 109 von 200 Rollouts näher zum Zielobjekt, gegenüber 0 von 200 Kontrollen; bei GR00T-N1.7 sind es 121 von 200. Unter kontrolliertem Frozen-LM-Training steigt der mittlere Swap-Erfolg von π0.5 von 36 auf 59 Prozent und der mittlere Task-Erfolg von 21 auf 28 Prozent. Die getrennte Auswertung von ECT-Daten und ECT-Loss zeigt Datenbeiträge von +19,4, +32,8, +10,5 und +16,8 Punkten auf Spatial, Object, Goal und Long; der ECT-Loss bringt zusätzliche +2,3, -0,3, +3,7 und +5,2 Punkte. Auf CALVIN ABC zu D verbessert der ECT-Loss allein die Fünf-Aufgaben-Abschlussrate von 57,6 auf 75,6 Prozent; auf dem realen UR5e steigt der Erfolg bei ungesehenen Positionen von 3/40 auf 30/40 mit ECT-Daten und auf 35/40 mit voller ECT.

Zu den Grenzen zählen: ECT verbessert nur Unterscheidungen, die durch die hinzugefügten Alternativen exponiert werden; bei Objektnamenwechseln bleibt die Auswahl des falschen Objekts bestehen. Front-Back-Spiegelung ohne räumlich trennende Verschiebung führte in Diagnoseläufen zu einem ID-Rückgang von 94 auf 24 Prozent. Die Realroboterevaluation verwendet nur einen UR5e-Arm und kleine Versuchszahlen von 10 bis 40 pro Bedingung; die GR00T-N1.7-Modelle werden mit Standard-Loss statt ECT-Loss trainiert. Angaben zur Codeverfügbarkeit macht das Paper nicht.