Erkennungsgesteuerte SAE-Feature-Unterdrückung macht VLA-Modelle robuster gegen Adversarial Patches
Der Preprint stellt eine Abwehr für Vision-Language-Action-Modelle vor, bei der ein Sparse Autoencoder ein mit Adversarial Patches korreliertes internes Feature identifiziert und eine lineare Sonde Angriffe erkennt. Die Methode unterdrückt das Feature nur bei erkannter Attacke und verbessert auf LIBERO-10 die Erfolgsrate unter intermittierenden UADA-Angriffen, etwa bei π0.5 von 26,0 % auf 32,4 % bei n=10. Die Ergebnisse zeigen, dass gezielte Eingriffe in interne Repräsentationen die Robustheit erhöhen können, ohne das VLA-Modell feinzutunen.
Kann die Robustheit von Vision-Language-Action-Modellen gegen Adversarial Patches durch gezielte Unterdrückung eines angriffsbezogenen SAE-Features zur Inferenzzeit verbessert werden, ohne die Policy feinzutunen?
Adversarial Patches verändern visuelle Beobachtungen und führen bei VLA-Modellen zu Fehlern in der Robotersteuerung. Bestehende Abwehrmaßnahmen wie Bildvorverarbeitung oder adversariales Feintuning greifen am Eingang oder an den Parametern an, während unklar bleibt, welche internen Mechanismen die Fehler verursachen und wie man gezielt eingreifen kann.
Bisherige Ansätze umfassen Bildvorverarbeitung und adversariales Feintuning; Letzteres verursacht zusätzlichen Trainingsaufwand. Studien zur mechanistischen Interpretierbarkeit identifizieren interne Richtungen oder SAE-Features für nominales Verhalten, nutzen diese aber nicht für die Adversarial-Abwehr. Zudem kann pauschales Unterdrücken angriffsbezogener Features auch nominales Verhalten stören.
Die Autoren trainieren einen TopK-Sparse-Autoencoder auf sauberen LIBERO-Trajektorien und identifizieren ein Feature, dessen Aktivierung mit der Anwesenheit eines UADA-Patches korreliert. Eine lineare Sonde klassifiziert Angriffe aus der token-gemittelten VLA-Repräsentation auf einer früheren Schicht; nur bei erkannter Attacke wird der Beitrag des ausgewählten Features in allen Präfix-Token der Zielschicht um einen Faktor λ abgeschwächt. Die VLA-Parameter bleiben unverändert, der Schwellwert der Sonde wird auf separaten Konstruktionsdaten auf eine Falsch-Positiv-Rate unter 2 % eingestellt. Angaben zu Trainingshardware oder Rechenaufwand macht das Paper nicht.
Die Evaluation erfolgt in Simulation auf LIBERO-10 mit 50 Startzuständen pro Aufgabe und 10 Aufgaben, insgesamt 500 Rollouts pro Setting. Die Angriffserkennung erreicht bei π0.5 eine Präzision von 92,71 % (n=3) bzw. 96,45 % (n=10) und eine Falsch-Positiv-Rate von 0,39 % bzw. 0,71 %. Unter UADA-Angriffen steigt die Erfolgsrate für π0.5 von 46,8 % auf 49,2 % (n=3) und von 26,0 % auf 32,4 % (n=10); bei SmolVLA von 18,6 % auf 19,6 % (n=3) und von 6,2 % auf 7,6 % (n=10). Ohne Detektion fällt die Erfolgsrate bei π0.5 auf 9,4 % bzw. 16,2 %, bei SmolVLA auf 18,4 % bzw. 4,8 %. Unter sauberen Bedingungen bleibt π0.5 mit 54,6 % nahe der Baseline von 54,4 %, während SmolVLA von 41,4 % auf 36,6 % sinkt. Eine separate Analyse mit 50 Rollouts zeigt ein Optimum der Intervention bei λ zwischen 0,2 und 0,3 für π0.5.
Die Autoren nennen als Grenzen, dass die Gewinne bei SmolVLA gering sind und die Erfolgsrate unter sauberen Bedingungen von 41,4 % auf 36,6 % sinkt. Die Evaluation beschränkt sich auf LIBERO-10 in Simulation, auf zwei VLA-Modelle und einen Angriffstyp UADA. Es gibt keine Tests auf physischen Robotern, keine Robustheit gegen unbekannte Angriffe und keine Angaben zu veröffentlichtem Code oder Rechenaufwand.
Für Robotikunternehmen, die VLA-Modelle wie π0.5 oder SmolVLA einsetzen, könnte die Methode eine leichtgewichtige Laufzeitverteidigung ohne Policy-Feintuning bieten, sofern SAE und Sonde für die Zielplattform vorab trainiert werden. Kurzfristig, also innerhalb von 1 bis 3 Jahren, ist ein Einsatz in sicherheitskritischen Anwendungen denkbar, wenn die Erkennung niedrige Falsch-Positiv-Raten behält und die Abwehr gegen adaptive Angriffe validiert wird. Vor einem realen Robotereinsatz sind Tests auf physischen Systemen und eine breitere Angriffsabdeckung erforderlich.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.