Gedächtnis-Test für Roboter: Mit der richtigen Vorgeschichte steigt die Erfolgsquote von 39,1 auf 74,3 Prozent
Konnte ein Roboter die richtige Vorgeschichte nachschlagen, stieg seine Erfolgsquote in einem neuen Benchmark, der sich aus dem aktuellen Kamerabild nicht lösen lässt, von 39,1 auf 74,3 Prozent, gleichauf mit einem Orakel, das immer richtig wählt. Der Preprint der Hochschule Hainan Bielefeld, der TU München und der TU Berlin zeigt zugleich, dass höhere Erfolgsquoten allein nicht beweisen, dass das Gedächtnis die richtigen Fakten nutzt.
Wenn ein Vision-Language-Action-System (VLA) angeblich ein Gedächtnis nutzt, steuert der gespeicherte Inhalt tatsächlich seine Entscheidungen, und wie lässt sich das prüfen?
Für lange Aufgaben erhalten VLA-Policies zunehmend Gedächtnismodule. Als Beleg dient meist eine Ablation, also Erfolgsquoten mit und ohne Gedächtnis. Das verändert Information und Rechenweg zugleich, und eine Gesamtquote kann Gewinne und Verluste in einzelnen Episoden verdecken.
Bisherige Robotik-Policies mit Gedächtnis wurden vor allem über die Erfolgsquote mit und ohne Speicherbank bewertet, oft in Benchmarks, in denen die nötige Information im aktuellen Bild noch sichtbar ist.
Die Autoren schlagen IMEP vor, ein interventionelles Prüfprotokoll: Episoden werden per Seed gepaart und das Gedächtnis an der Abrufschnittstelle verändert, etwa durch Austausch des Schlüsselfakts, Ersatz durch einen anderen Eintrag mit gleichem Fakt, Änderung einer Zahl um die kleinste Einheit oder eine exakte Kopie. Entscheidung und motorische Ausführung werden getrennt bewertet. Dazu kommt ChainBench: Der Roboter sieht, in welcher Schublade ein Objekt liegt, durchläuft Ablenkungsepisoden und muss später zwischen gleich aussehenden geschlossenen Schubladen wählen; eine eingefrorene pi0.5-Policy führt die Wahl aus.
In ChainBench (202 Ketten, zwei Optionen, Zufall 50 Prozent) erreichte das System ohne Gedächtnis 53,0 Prozent richtige Entscheidungen und 39,1 Prozent Aufgabenerfolg, mit gemischten Einträgen 51,5 und 38,6 Prozent. Das volle Gedächtnis wählte in jeder Kette richtig (100,0 Prozent) und kam auf 74,3 Prozent Erfolg, genau wie das Orakel bei gemeinsamen aufgezeichneten Ausführungen (plus 35,2 Punkte, Faktor 1,90, Berechnung MEKAWIRE). Bei gelernten Speicherbänken veränderte schon eine Zahlenänderung um die kleinste Einheit samt Installationsschritt 11,9 Prozent der gepaarten Ergebnisse, der Austausch des Schlüsselfakts brachte keinen klaren Zusatzeffekt. Im Shell Game mit abgedunkelter Kamera brachte das Lesen aus dem Gedächtnis 4,0 Punkte (73,5 gegenüber 69,5 Prozent), unter der vorab festgelegten Schwelle von 10 Punkten; ein trainiertes Gedächtnis-Plugin senkte den Erfolg von 18,4 auf 10,2 Prozent.
Es handelt sich um einen Preprint, alle Versuche laufen in der Simulation, darunter SimplerEnv. Nach Angaben der Autoren fehlen den Studien zu gelernten Speicherbänken Entscheidungsmessungen und positive Inhaltskontrollen, kleine faktspezifische Effekte bleiben offen, und die Übertragbarkeit auf andere Checkpoints ist nicht geprüft. Der volle Gedächtnisaufbau in ChainBench nutzt kuratierte Einträge und kein Sprachmodell zur Entscheidungszeit; die 74,3 Prozent zeigen, dass richtige Historie helfen kann, nicht dass ein eingesetztes System das leistet.
Wer VLA-Produkte für lange Aufgaben baut, etwa Teams mit Physical Intelligence pi0.5 oder Anbieter von Lager- und Haushaltsrobotern, erhält ein Prüfschema für Herstellerangaben: Faktentausch- und Kopie-Kontrollen statt nur Erfolgsquoten mit und ohne Gedächtnis. Für europäische Integratoren und Prüfstellen ist das auf ein bis zwei Jahre eher ein Bewertungsstandard als eine neue Fähigkeit.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.