DEWO: Weltmodell-Optimierung aus direkter Erfahrung für World-Action Models
Das Preprint stellt Direct Experience World-Model Optimization (DEWO) vor, ein Post-Deployment-Lernverfahren für World-Action Models, das neben Aktionsimitation auch visuelle Vorhersagen aus beobachteten Interaktionsverläufen aktualisiert. In fünf DexJoCo-Aufgaben verbessert DEWO den durchschnittlichen Erfolg über alle drei getesteten WAM-Formulierungen; auf echten Roboterplattformen steigt der Erfolg in Zellen mit mindestens einem anfänglichen Erfolg von 51,0 % auf 71,7 %. Damit wird Weltmodellierung zu einem aktiven Teil der Anpassung nach dem Einsatz.
Wie kann fortgesetzte Weltmodellierung aus gepaarten erfolgreichen und fehlgeschlagenen Fortsetzungen rund um Interaktionswendepunkte die Steuerung über reine Aktionsimitation hinaus verbessern?
Aktuelle Post-Deployment-Lernverfahren für World-Action Models verbessern meist nur das Verhalten, nicht die Vorhersage der tatsächlich auftretenden physischen Interaktionen. In der geschickten Manipulation können kleine Ausführungsfehler in hochdimensionalen Aktionsräumen Kontakte verändern und dazu führen, dass ähnliche Ausführungen zu unterschiedlichen physischen Verläufen abzweigen; dadurch geraten spätere Aktionen außerhalb der Trainingsverteilung, und Fehler können sich aufschaukeln.
Bisherige Ansätze setzen auf direkte Aktionsüberwachung wie SFT, RECAP oder DSRL sowie auf wertbasierte Verstärkungslernverfahren. Auch WAM-Post-Training-Methoden wie WAM-RL, WAM-OPD oder FACT nutzen visuelle Signale, organisieren diese aber nicht gezielt um Interaktionswendepunkte. Aktionsüberwachung allein verbessert die prädiktiven Repräsentationen nicht; wertbasierte Verfahren sind in kontaktempfindlicher, hochdimensionaler Manipulation oft instabil.
DEWO organisiert Post-Deployment-Lernen um Interaktionswendepunkte. Replay-Exploration identifiziert solche Wendepunkte entlang fehlgeschlagener Rollouts, indem empirische Erholbarkeit mit K Fortsetzungen geschätzt wird; dort werden gepaarte erfolgreiche und fehlgeschlagene Fortsetzungen gesammelt. Beide Ausgänge trainieren das Weltmodell unter Erfolgs- bzw. Misserfolgsbedingung, Aktionsziele stammen nur aus erfolgreichen Fortsetzungen. Ein Value-Head über Videorepräsentationen schätzt den Aufgabenfortschritt und aktiviert während der Inferenz selektiv Classifier-Free Guidance, wenn der Fortschritt stagniert.
In fünf DexJoCo-Aufgaben steigt FastWAM von 80,7 % auf 82,3 % mit DEWO, FACT von 64,5 % auf 81,2 % (FACT SFT nur 70,1 %). DEWO verbessert alle drei WAM-Formulierungen: Joint um 4,8 Prozentpunkte (von 81,9 % auf 86,7 %), IDM um 1,9 (82,1 % auf 84,0 %) und FastWAM um 1,6 (80,7 % auf 82,3 %). DEWO-S aus vortrainierten Komponenten erreicht 89,9 % Durchschnitt. Auf realen Plattformen Wuji und Sharpa mit vier Objekten und 3x3-Raster steigt der gepoolte Vollraster-Erfolg von 20,6 % (148/720) auf 28,9 % (208/720) über zwei Lernrunden; in den 29 Zellen mit mindestens einem anfänglichen Erfolg von 51,0 % auf 71,7 %, in Off-Center-Zellen von 40,0 % auf 65,2 %. Ablationen: zusätzliche visuelle Überwachung aus erfolgreichen und fehlgeschlagenen Fortsetzungen steigert den Erfolg auf Water Plant von 86,7 % auf 90,7 % und auf Fold Glasses von 72,0 % auf 77,3 %; der Video-Vorhersagefehler sinkt relativ um 32,7 % bzw. 17,8 %.
Das Paper ist ein Preprint ohne Begutachtung. Die Simulation umfasst nur fünf DexJoCo-Aufgaben, die reale Evaluation vier Objekte auf zwei Handplattformen. In Zellen ohne anfänglichen Erfolg bleibt der Erfolg bei null; DEWO macht vorhandene räumliche Generalisierung zuverlässiger, erweitert sie aber nicht auf völlig neue Zellen. Die Erkennung von Wendepunkten hängt von endlichen Stichproben ab; null erfolgreiche Stichproben bedeuten nicht physische Unerreichbarkeit. Rechenaufwand und veröffentlichter Code sind im Paper nicht berichtet.
Für Hersteller von geschickten Robotergreifern und Anbieter von World-Action-Model-basierten Manipulationssystemen könnte DEWO in den nächsten ein bis drei Jahren eine Methode sein, um nach dem Deployment aus realen Fehlschlägen zu lernen, ohne auf reine Aktionslabels beschränkt zu sein. Voraussetzung sind reproduzierbare Szenenrücksetzung oder menschliche Unterstützung zur Wiederherstellung von Interaktionskontexten sowie die Integration der progressgesteuerten Guidance in bestehende WAM-Architekturen.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.