UniWALM: Amazons Welt-Aktions-Sprachmodell schafft 95 % beim realen Greifen und 61 % bei einer Gedächtnisaufgabe
Eine Robotik-Policy, die Video, Aktionen und eigene kurze Textnotizen in einem Modell erzeugt, erreichte auf drei realen zweiarmigen Greifaufgaben im Mittel 68,7 % Erfolg, gegenüber 44,4 % für MolmoBot, 43,7 % für FastWAM, 33,7 % für NVIDIAs GR00T N1.7 und 21,9 % für pi0.5, berichten Forscher von Amazon, Brown und Northeastern in einem Preprint. Die Notizen dienen als Arbeitsgedächtnis: Bei der Suche nach einem verdeckten Gegenstand kam das Modell auf 61,1 %, die beste Referenz auf 33,3 %.
Verbessert es die Manipulation, wenn ein Video-Aktions-Modell zusätzlich Sprache erzeugt, und kann das Modell seinen eigenen Text als Gedächtnis nutzen?
Welt-Aktions-Modelle, die künftige Bilder und Aktionen gemeinsam vorhersagen, sind bei kurzen Griffen stark, haben aber keinen expliziten Aufgabenzustand. Aufgaben, die von der Vorgeschichte abhängen, etwa wie oft ein Knopf gedrückt wurde, überfordern sie.
Bisherige Systeme hängen ein separates Vision-Language-Modell oder einen Planer an das Video-Aktions-Rückgrat und lassen Denken und Handeln in getrennten Stufen laufen, mit zusätzlicher Latenz und dem Risiko widersprüchlicher Entscheidungen.
UniWALM bündelt Video, Aktion und Sprache in einem Mixture-of-Transformers-Rückgrat auf Basis des Videomodells Wan2.2. Jede Modalität hat einen eigenen Diffusionskopf, alle drei werden im selben Durchlauf entrauscht. So schreibt das Modell beim Handeln den nächsten Teilschritt und eine laufende Notiz, die im nächsten Schritt wieder eingelesen wird. Ein Training namens Flow Matching mit Korrektur lehrt den Aktionskopf, sich von gestörten Aktionen zu erholen; LoRA hält das Feintuning schlank. Das Sprachmodul umfasst rund 0,5 Mrd. Parameter.
In der Simulation (MolmoSpaces, je 1.000 Episoden außerhalb der Trainingsverteilung) erreichte UniWALM 68,0 % bei Pick&Place, 70,8 % bei Pick&Place-Color und 38,8 % bei Pick&Place-NextTo, vor MolmoBot mit Verlauf (66,5 %, 67,8 %, 26,4 %) und im Schnitt 14,8 Punkte über FastWAM mit gleichem Rückgrat; beim reinen Greifen lag es mit 49,2 % hinter MolmoBot (64,0 %). Die Ablation hob den Erfolg von 31,0 % über 35,9 % (Sprache) und 38,9 % (Korrektur) auf 41,0 % (LoRA). Bei RMBench Press Button erreichte es 51 % nach 100.000 Schritten, FastWAM 0 %. Auf zwei Flexiv-Rizon-Armen mit Händen von Sharpa oder Paxini schaffte es 95,0 % beim Würfelumsetzen (nächstbeste 80,0 %), 50,0 % beim Leeren eines Behälters (gleichauf mit FastWAM) und 61,1 % bei der Gedächtnisaufgabe in 18 Versuchen.
Die Hardware-Tests sind klein (20 Durchläufe je Greifaufgabe, 18 für das Gedächtnis), die Konfidenzintervalle breit. Mit Sprachmodul dauert ein Aktionsblock von 32 Schritten 123 ms statt 76 ms, für schnelle Regelung womöglich zu langsam. Bei kurzen Greifaufgaben mit knappem Schrittbudget liegt es zurück. Die Autoren nennen falsch getimte Abschlusssignale, Fehlprognosen bei fast gleichen Szenen und Greifpräzision als Schwächen. Nicht begutachtetes Preprint.
Amazon betreibt eine der größten Roboterflotten in der Logistik und testet feinmotorisches Kommissionieren; ein Modell mit eigenen Aufgabennotizen zielt auf mehrstufige Abläufe wie Zählen, Prüfen und Wiederholen. Bemerkenswert für Europa: Die realen Tests liefen auf kraftgeregelten Leichtbauarmen von Flexiv, also auf Industriehardware statt auf Forschungsplattformen. Kommerzielle Wirkung erwarten wir in ein bis drei Jahren, abhängig von kürzeren Latenzen.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.