Ein gedrucktes Bild an der Wand lenkt Roboter auf fremde Aufgabe um, real in 8 von 15 Versuchen
Ein an die Wand geklebtes gedrucktes Bild brachte einen realen Roboterarm mit einer GR00T-basierten Policy in 8 von 15 Versuchen dazu, statt der verlangten Spielzeugbiene eine Uhr zu greifen, doppelt so oft wie das bisherige Verfahren mit 4 von 15, wie ein Preprint der Sun-Yat-sen-Universität und Partner zeigt. In der Simulation lenkte der Closed-Loop-Angriff TRACO fünf VLA-Modelle in 85,2 Prozent der Läufe um, zuvor waren es 46,9 Prozent.
Wie zuverlässig kann ein Angreifer, der nur das Kamerabild verändert, per Störung oder gedrucktem Patch ein Vision-Language-Action-Modell (VLA) eine andere als die verlangte Aufgabe ausführen lassen, und macht eine Optimierung im geschlossenen Kreis den Angriff stärker?
VLA-Modelle folgen gesprochenen oder getippten Anweisungen, damit wird das Kamerabild zur Angriffsfläche. Frühere Angriffe passten eine Bildstörung offline an eine aufgezeichnete Zieltrajektorie an. Verändert die Störung die ersten Bewegungen, erreicht der Roboter Zustände, die in der Aufzeichnung fehlen, die festen Ziele passen nicht mehr und der Angriff scheitert oft unterwegs.
Action Attack und TRAP optimieren globale Störungen oder Patches gegen feste Zielaktionen einer aufgezeichneten Trajektorie und minimieren den mittleren Aktionsfehler. Ein kleiner Fehler auf aufgezeichneten Bildern garantierte nicht, dass der Roboter die Aufgabe des Angreifers real ausführt.
TRACO bettet bestehende gezielte Angriffe in eine Schleife: Der angegriffene Roboter wird ausgeführt, die Zielvorgaben werden für die tatsächlich erreichten Zustände neu gebildet, und weitere Updates konzentrieren sich dort, wo der Fortschritt stockt, ohne die bereits funktionierenden frühen Schritte zu verlieren. Für gedruckte Patches kommen Homographie und Farbkalibrierung hinzu.
Auf LIBERO stieg die Erfolgsquote globaler Störungen über fünf Modelle der StarVLA-Familie und LangForce von 46,9 auf 85,2 Prozent bei bekannten Layouts (plus 38,3 Punkte, MEKAWIRE) und von 43,2 auf 75,9 Prozent bei unbekannten; bei der GR00T-Policy auf 96,4 nach 63,2 Prozent. Patches gewannen weniger, von 46,6 auf 53,5 Prozent, beim OFT-Modell war TRACO schwächer (19,2 gegenüber 23,6 Prozent). Bei InstructVLA in SimplerEnv hob TRACO die Quote von TRAP-Patches von 64,0 auf 72,8 Prozent. Ein realer SO-101-Arm mit GR00T-Policy erledigte ohne Angriff 15 von 15 Aufgaben; ein gedruckter TRACO-Patch lenkte ihn in 8 von 15 Fällen um, Action Attack in 4. Der Aufbau des globalen Angriffs dauerte rund 88,8 statt 396,3 Minuten (minus 77,6 Prozent, MEKAWIRE).
Es handelt sich um ein Preprint und eine Angriffsstudie, keine Abwehr. Der Realtest umfasst einen günstigen Arm, ein Aufgabenpaar und 15 Versuche. Der Angriff braucht White-Box-Zugriff auf die Policy und wiederholte Ausführungen von Roboter oder Simulator. Patches wirken schwächer als globale Störungen, und der Fortschritt wird nur aus Endeffektor-Positionen geschätzt.
Wer VLA-gesteuerte Roboter dort einsetzt, wo Fremde Zugang haben, etwa im Handel, in Kliniken oder Lagern mit Besucherverkehr, hat nun ein gemessenes Beispiel dafür, wie ein gedrucktes Bild das gegriffene Objekt ändert, während die Anweisung unverändert aussieht. Für Hersteller in der EU ist das auch eine Frage der Cybersicherheitsanforderungen an vernetzte Maschinen: zu erwarten sind adversariale Tests des Bildeingangs und Plausibilitätsprüfungen zwischen Anweisung und Aktion. Vorerst setzt der Angriff White-Box-Zugriff voraus.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.