MIT-Modell zeigt VLA-Robotern, welchen Bildfehler sie zuerst beheben sollen, mit dreimal kleinerem Fehler als VLMs
Forscher des MIT haben ein Modell entwickelt, das aus einem einzigen Kamerabild und der Aufgabenanweisung schätzt, wie stark Nebel, Unschärfe, Dunkelheit oder ein Störobjekt jeweils das Ausfallrisiko einer Roboter-Policy erhöhen, mit etwa dreimal kleinerem Fehler als führende Vision-Language-Modelle, wie ein Preprint zeigt. An einem Franka-Arm mit pi0.5-DROID benannte es die Beleuchtung als vorrangig zu behebenden Fehler; nach der Korrektur gelang die Aufgabe.
Welche von mehreren gleichzeitig auftretenden Bildstörungen sollte zuerst beseitigt werden, und wie stark sinkt dadurch das Ausfallrisiko in genau dieser Episode?
VLA-Policies reagieren empfindlich auf Kameraprobleme; das Paper zitiert einen Rückgang von OpenVLA von 76,5 auf 1,1 Prozent Erfolg bei geändertem Blickwinkel. Dass Nebel im Mittel schadet, sagt nicht, ob er jetzt entscheidend ist, und eine direkte Messung erfordert wiederholte Durchläufe mit und ohne Störung.
Bisher wird das Vorhandensein einer Störung erkannt, mit historischen Durchschnittsausfallraten je Kombination gearbeitet oder ein allgemeines Vision-Language-Modell befragt. Keines davon schätzt den policy-spezifischen Nutzen einer Beseitigung im Kontext.
Ein faktorisiertes Risikomodell lernt getrennte latente Codes für Szene und Störungen. Indem nur der Störungscode verändert wird, sagt es die Risikoänderung bei Entfernung einer Störung voraus, ohne saubere Vergleichsbilder oder zusätzliche Durchläufe. Ein eingefrorener SigLIP-Encoder schneidet am besten ab und braucht keinen Zugriff auf das Innere der Policy.
Auf LIBERO mit 2.500 Episoden je Policy lag der mittlere absolute Zuordnungsfehler bei Einzel- und Mehrfachstörungen bei 0,095 und 0,101 für OpenVLA sowie 0,019 und 0,064 für pi0.5. Je Bedingung lagen die Fehler bei 0,09 und 0,05, gegenüber 0,30 und 0,32 für eine VLM-Basis (getestet wurden GPT-5.6 Terra, GPT-5.6 Sol und Claude Opus 5). Am realen Roboter stufte das Modell Nebel und Dunkelheit hoch und ein Störobjekt niedrig ein.
Es handelt sich um ein Preprint. Die Störungen stammen aus einem festen Katalog visueller Effekte, die Hardwaretests beschränken sich auf Pick-and-Place an einem Franka-Aufbau, und das Modell empfiehlt Korrekturen nur. Neue Störungsarten werden erkannt, aber nicht zugeordnet.
Betreiber von VLA-gesteuerten Armen in Fertigung und Logistik müssen wissen, ob ein Ausfall an Licht, verschmutzter Optik oder Unordnung lag, bevor sie Service schicken. Ein leichter Monitor für Black-Box-Policies passt in diese Wartungsprozesse und könnte binnen ein bis zwei Jahren in Flottenmanagement-Software einziehen.
Vollständige Studie
Veröffentlicht unter CC BY 4.0. Die vollständige Studie ist mit Namensnennung auf Englisch wiedergegeben: Volltext (Englisch). Original unter arXiv:2610.27277 (PDF).