Roboter mit Gedächtnis: Mem4Act der UCLA erreicht 81,5 Prozent bei langen Aufgaben, fast das Dreifache von pi0.5
Der Preprint zeigt, dass ein Roboter Aufgaben, bei denen er sich an Minuten zuvor Gesehenes erinnern muss, deutlich besser löst, wenn er ein verdichtetes Gedächtnis statt der kompletten Videohistorie nutzt. Das Modul wird an ein bestehendes Robotermodell angedockt.
Wie kann sich eine Vision-Language-Action-Policy an Informationen erinnern, die sie Minuten zuvor gesehen hat, etwa die Farbe eines Klotzes vor dem Abdecken, ohne eine immer längere Videohistorie ins Modell zu speisen?
Die meisten VLA-Policies handeln auf Basis des aktuellen Kamerabilds. Bei langen Aufgaben ist die entscheidende Information oft längst aus dem Blickfeld verschwunden. Die gesamte Historie einzuspeisen, zwingt das Modell, eine wachsende Menge Bildtokens zu verarbeiten, was Rechenzeit kostet und verwirren kann. Verdichtung durch Schlüsselbilder, gestrichene Tokens oder Textzusammenfassungen verliert womöglich das Detail, das später zählt.
Bisherige Gedächtnisverfahren speichern rohe Vergangenheitsbilder, komprimierte visuelle Tokens oder Textzusammenfassungen (MemER, MME-VLA-Varianten wie FrameSamp und TokenDrop, Mem-0, NativeMEM, HAMLET). Sie wachsen mit der Aufgabenlänge oder riskieren den Verlust von Zeitbezug, Bedeutung oder Bilddetail, und nichts zwingt die Policy, das Gedächtnis tatsächlich zu nutzen.
Mem4Act führt ein latentes Gedächtnis fester Größe von 512 Tokens, das über die Aufgabe hinweg aktualisiert wird. Ein dreischichtiger Encoder fasst vergangene Bilder in groben bis feinen Zeitfenstern von 32, 16 und 8 zusammen. Zwei Trainingssignale bestimmen den Inhalt: Fragen und Antworten zu früheren Ereignissen über das Sprachmodell und die Rekonstruktion von Bildmerkmalen aus Schlüsselbildern für visuelle Details. Zuerst wird das Gedächtnis bei eingefrorener Policy vortrainiert, dann gemeinsam mit der Aktions-Policy bei einem Zehntel der Lernrate. Laut den Autoren stützt sich die Policy so stärker auf das Gedächtnis.
Auf YAM-Doppelarmen mit 70 teleoperierten Demonstrationen je Aufgabe erreichte Mem4Act 78, 70, 100 und 78 Prozent beim Abdecken, Tauschen, Umsortieren und Zurücklegen von Klötzen, im Mittel 81,5 Prozent. MME-VLA kam auf 42,0, pi0.5 auf 28,0 und Mem-0 auf 22,5 Prozent. GPT-6 Astra erreichte 42,5 Prozent, brauchte aber rund 19 Sekunden je Entscheidung und 17 Minuten je erfolgreichem Lauf, gegenüber 335 Millisekunden und 40 Sekunden bei Mem4Act. In der Simulation führte das Verfahren RoboMME mit 49,88 Prozent an (beste Baseline 44,51) und RMBench mit 61,0 Prozent (NativeMEM 48,7). Bei Aufgaben mit mehreren zu merkenden Beobachtungen lag es bei 41,3 gegen 14,8 Prozent. Die Struktur zählt mehr als die Größe: 1.024 Tokens schnitten mit 42,75 Prozent schlechter ab als 512.
Es handelt sich um einen Preprint. Die Realaufgaben sind aus RMBench übernommene Klötzchenrätsel an einem einzigen Robotertyp, und ins Gedächtnis fließt nur die Historie der Kopfkamera. Eine Entscheidung dauert 335 Millisekunden, rund das 2,6-Fache der 131 Millisekunden von pi0.5 auf derselben GPU. Auf RoboMME bleibt der Gesamterfolg unter 50 Prozent, bei räumlicher Objektpermanenz bei 31,5 Prozent, wo MemER mit 53,2 Prozent besser ist. Einige Baselines sind Reimplementierungen der Autoren; GPT-6 Astra lief zero-shot mit Zeitlimit und ist kein gleichwertiger Vergleich.
Gedächtnis trennt Demo und Produktion: Kommissionieren von Bauteilsätzen, Regalbefüllung oder Montage in mehreren Schritten verlangen, sich an Erledigtes und Verdecktes zu erinnern. Ein begrenztes Gedächtnis, das an pi0.5 andockt und dessen Realerfolg bei solchen Aufgaben fast verdreifacht, ist für Integratoren im Maschinen- und Anlagenbau relevant, die Zweiarmroboter in Montagezellen bringen wollen. Sinkt die Latenz und halten die Ergebnisse jenseits von Klötzchenaufgaben, dürften solche Module binnen ein bis zwei Jahren in kommerzielle VLA-Stacks einziehen.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.