AFTER-WM hält Anpassungen an veränderte Roboterdynamik fest
Der Preprint stellt mit AFTER-WM ein Weltmodell vor, das abklingende schnelle Korrekturen, beständige langsame Korrekturen und fehlerabhängige Expertengewichte kombiniert. Auf fünf simulierten Datensätzen lag sein mittlerer Mehrschrittfehler um 16,4 % bis 33,7 % unter der jeweils stärksten Baseline, was eine präzisere Planung nach Lastwechseln oder Aktorausfällen ermöglichen könnte.
Kann ein Weltmodell dauerhafte Dynamikänderungen schnell erfassen, vorübergehende Störungen abweisen und die Anpassung während einer Vorhersage ohne weitere Beobachtungen erhalten?
Eine unbekannte Nutzlast, veränderte Reibung oder ein ausgefallener Aktor machen gelernte Dynamikmodelle ungenau. Bei offenen Vorhersagen fließen die eigenen Prognosen wieder als Eingaben ein, wodurch sich Fehler bis in die Aktionsplanung fortsetzen. Schnelle Anpassung kann kurze Stöße als dauerhafte Änderung behandeln; rasch abklingende Korrekturen verlieren dagegen auch nützliche Anpassungen.
TD-MPC2 besitzt keinen gezielten Mechanismus zur Erkennung veränderter Dynamik. DreamerV3-style RSSM aktualisiert einen rekurrenten Zustand, bietet aber keine ausdrückliche Dynamikanpassung. GrBAL und MOLe verändern Modellparameter, ReBAL nutzt die jüngste Historie. Ihre einzelne Anpassungszeitskala erzwingt einen Kompromiss zwischen Reaktion und Stabilität. MTS3 trennt schnelle und langsame Variablen, aktualisiert die langsame Variable jedoch nur in festen Abständen und reagiert dadurch verzögert.
AFTER-WM nutzt 3 vortrainierte MLP-Dynamikexperten. Zunächst werden Experten und Router trainiert, anschließend eingefroren und um trainierte Korrektur- und Speichernetze ergänzt. Bei der Inferenz verändern beobachtete Vorhersagefehler ohne Gradientenschritte die Expertengewichte, einen abklingenden schnellen Zustand und einen unsicherheitsabhängigen langsamen Zustand. Vor jeder Prognose werden die Speicher zurückgesetzt und aus 64 Kontextschritten rekonstruiert. Über den Horizont von 40 Schritten (2 s) bleiben Expertengewichte und langsame Zustände konstant, während schnelle Zustände abklingen. Die verglichenen neuronalen Modelle haben jeweils etwa 0,70M Parameter.
Auf fünf MuJoCo-Datensätzen erfolgte der Vergleich mit zehn Baselines über 5 Trainings-Seeds. Der mittlere Mehrschrittfehler in nMSE betrug: JSHC 0,124 gegenüber ReBAL mit 0,166, eine Senkung um 25,7 %; ESCP-HC 0,208 gegenüber ReBAL mit 0,249, um 16,4 %; Panda 0,0473 gegenüber MOLe mit 0,0711, um 33,5 %; UR5e 0,0435 gegenüber ReBAL mit 0,0641, um 32,1 %; Hopper 0,0499 gegenüber MOLe mit 0,0752, um 33,7 %. Die Metrik mittelt die kumulativen mittleren Fehler bis zu den Schritten 1, 5, 10, 20 und 40 auf anhand der Trainingsdaten standardisierten Zuständen. Der Fehler bei Schritt 40 lag um 21,9 % bis 41,9 % unter denselben jeweiligen Baselines. Bei Vorhersagen auf realen ALFA-UAV-Flugaufzeichnungen mit 4 Seeds lag der Fehler um 13,1 % unter der nächsten Baseline MOLe. Die simulierte JSHC-Steuerungsaufgabe mit Gelenkausfall nutzte denselben Cross-Entropy-Method-Planer sowie 5 Seeds und 48 Testepisoden: AFTER-WM erreichte einen mittleren Return von 93,1, also 13,8 mehr als MOLe.
Die Regelung im geschlossenen Kreis wurde ausschließlich in einer simulierten Aufgabe mit Gelenkausfall geprüft. Die reale Evidenz beschränkt sich auf Vorhersagen aus aufgezeichneten Flügen eines Starrflügel-UAV, ohne aktive Steuerungsversuche. Eingaben sind numerische Zustände statt Bilder; Bildbeobachtungen und reale Roboterversuche bleiben Folgearbeiten. Die Speicher werden für jede Prognose aus einem begrenzten Kontext neu aufgebaut. Belegt ist damit die Speicherung innerhalb des Vorhersagehorizonts, kein unbegrenztes Online-Lernen. Code und Datensätze sind zur Veröffentlichung angekündigt, ihre Verfügbarkeit wird nicht bestätigt. Inferenzlatenz und Rechenkosten: Im Paper nicht berichtet.
Integratoren von Roboterarmen, Anbieter adaptiver Regelungen und Entwickler autonomer UAV könnten den Ansatz jetzt in Forschungsplanern mit verfügbaren Zustandsschätzungen und Aktionshistorien untersuchen. Für Produkte fehlen Versuche zur geschlossenen Regelung auf realer Hardware sowie Nachweise zuverlässiger Zustandsbeobachtung und tragbarer Laufzeitkosten. Ein Zeitplan für die kommerzielle Einführung: Im Paper nicht berichtet.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.