Erfolgsrate allein genügt nicht: Verhaltensrobustheit von VLA-Modellen in Tabletop-Manipulation
Das Preprint schlägt ein benchmark-agnostisches Evaluierungsframework vor, das die Behavioural Robustness von Vision-Language-Action-Modellen über die Task Success Rate hinaus anhand von Trajektorienmetriken misst. Die Analyse auf LIBERO und LIBERO-Plus mit drei State-of-the-Art-Modellen zeigt, dass Eingabeperturbationen das Verhalten erfolgreicher Trajektorien erheblich verändern können, obwohl die TSR ähnlich bleibt. Das verdeutlicht, dass TSR allein die Auswirkungen von Störungen auf die Ausführungsqualität maskieren kann.
Wie verändern sich typisches Verhalten und Verhaltenskonsistenz erfolgreicher Manipulationstrajektorien von VLA-Modellen unter Eingabeperturbationen, und inwieweit werden diese Veränderungen durch die Task Success Rate abgebildet?
VLA-Modelle erreichen hohe Task Success Rates auf Manipulationsbenchmarks, aber die Robustheit gegenüber Perturbationen wird bisher fast ausschließlich über binäre Erfolgsraten gemessen. Dadurch bleiben Verschlechterungen in Bewegungsglätte, Effizienz, Greiferverhalten und Konsistenz erfolgreicher Trajektorien unerkannt, obwohl diese für Sicherheit, Verschleiß und Nutzervertrauen relevant sind.
Bestehende Benchmarks wie LIBERO-Plus, LIBERO-PRO, Colosseum V2 und RobustVLA führen Perturbationen ein, berichten aber nur TSR. Arbeiten wie RoboEval oder BEHAVIOR erfassen Verhaltensmetriken, kombinieren diese jedoch nicht mit systematischen Robustheitsperturbationen. Dadurch fehlt eine Evaluation, die erkennt, ob erfolgreiche Trajektorien unter Störungen qualitativ degradieren.
Die Autoren erweitern LIBERO und LIBERO-Plus um sechs Trajektorienmetriken: Dauer, totale Greiferbewegung, mittlerer kartesischer und Gelenkruck, P95-kartesischer Ruck sowie kartesische und Gelenkpfadlänge. Für jede Aufgabe werden die Verteilungen erfolgreicher Trajektorien zwischen Baseline und Perturbation verglichen, typische Verhaltensänderungen als mediane prozentuale Änderung quantifiziert und statistisch mit Mann-Whitney-U-Tests plus FDR-Korrektur bewertet; die Variabilität wird über die mittlere absolute Abweichung (MAD) beschrieben. Untersucht werden π0.5, VLANeXt und OpenVLA-OFT auf vier LIBERO-Suiten unter sieben LIBERO-Plus-Perturbationen.
Unter Kameraperturbation im LIBERO-Spatial-Suite erzielten π0.5 und VLANeXt ähnliche TSR (69,7 % vs. 68,0 %), aber π0.5 zeigte mediane Zunahmen von Dauer (+22,5 %), mittlerem kartesischem Ruck (+24,1 %) und Greiferbewegung (+37,8 %), VLANeXt dagegen nur +4,2 %, +3,2 % und +2,5 %. OpenVLA-OFT erreichte unter Kameraperturbation im Spatial-Suite +35,3 % mittlerer kartesischer Ruck (10/10 Aufgaben signifikant) und +68,7 % P95-Ruck. Die Korrelation zwischen TSR-Verlust und Verhaltensänderungen war moderat: totale Greiferbewegung ρ=0,56, P95-Ruck ρ=0,54, Dauer ρ=0,52, mittlerer kartesischer Ruck ρ=0,43 und mittlerer Gelenkruck ρ=0,40 (n=63). Kartesische und Gelenkpfadlänge zeigten vernachlässigbare bzw. schwache nicht signifikante Korrelationen. Die Kameraperturbation erhöhte die MAD für Dauer, mittleren kartesischen Ruck und Greiferbewegung bei allen evaluierten Modellen und Suiten.
Die Analyse beschränkt sich auf erfolgreiche Trajektorien; fehlgeschlagene Episoden bleiben unberücksichtigt. Die Metriken sind aufgabenspezifisch unspezifisch und erlauben keine semantische Diagnose konkreter Ereignisse wie erneutes Greifen. Die Experimente sind rein simulativ auf LIBERO/LIBERO-Plus; eine Übertragung auf reale Roboter steht aus. Vollständig evaluiert wurden nur π0.5 und VLANeXt, OpenVLA-OFT nur für LIBERO-Spatial, und die Modellauswahl begünstigte hohe TSR.
Unternehmen, die VLA-Modelle für Manipulationsaufgaben einsetzen, können das Framework nutzen, um über die reine Erfolgsrate hinaus die Ausführungsqualität und Verhaltenskonsistenz unter Störungen zu bewerten. Kurzfristig lässt sich die Methodik in bestehende Evaluationspipelines integrieren; mittelfristig (1 bis 3 Jahre) kann sie zu sichereren und vertrauenswürdigeren Roboteranwendungen beitragen, sofern reale Robotervalidierung und standardisierte Metrikkataloge etabliert werden.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.