UniWAM: Einheitliches World-Action-Modell mit physischer Sprachaufsicht und Human-Robot-Co-Training
UniWAM ist ein Preprint, der einen einheitlichen Ansatz aus physikalischem Reasoner, Weltgenerator und Aktionsprädiktor vorstellt. Das Modell erreicht in LIBERO 99,2 %, in LIBERO-Plus 92,6 % und in RoboTwin 2.0 Clean2Random 68,32 % und übertrifft damit die angeführten Baselines in der OOD-Robustheit. Die Autoren berichten zudem ein logarithmisch-lineares Skalierungsgesetz für gemeinsames Training auf menschlichen und Roboter-Daten.
Wie lassen sich die starken semantischen und Schlussfolgerungsfähigkeiten von Vision-Language-Models mit dem Verständnis physikalischer Dynamik von World-Action-Models in einem einzigen Roboter-Foundation-Modell vereinen?
Reine Vision-Language-Action-Modelle werden nur mit Aktionssignalen überwacht und lernen daher nur begrenzt, wie sich Handlungen auf die Welt auswirken. World-Action-Models erben zwar raumzeitliches Vorwissen aus Videogenerierungsmodellen, bleiben aber bei semantischem Verständnis, Anweisungsfolgen und Out-of-Distribution-Szenarien hinter den VLM-basierten Ansätzen zurück.
Bisherige VLAs wie pi0, pi0.5 oder OpenVLA nutzen Aktions-Token oder Flow-Matching auf Basis vortrainierter Vision-Language-Backbones, modellieren jedoch keine explizite visuelle Zukunft. WAMs wie Motus, Cosmos-Policy oder Fast-WAM sagen künftige Frames vorher und verbessern das Dynamikverständnis, sind aber in der Sprach- und Instruktionsverarbeitung schwächer. Zudem verwenden die meisten Ansätze entweder nur Roboter- oder nur menschliche Daten und weniger systematische Kombinationen mit VQA.
UniWAM koppelt in einer Mixture-of-Transformers-Architektur drei Experten: einen Qwen3-VL-2B-basierten physikalischen Reasoner, einen Wan2.2-TI2V-5B-Weltgenerator für visuelle Flow-Vorhersage und einen Aktionsprädiktor für kontinuierliche Aktions-Chunks. Die Experten tauschen Tokens über gemeinsame Attention aus. Niedrige Roboteraktionen werden über Physical Language als natürliche Sprache beschrieben, damit das VLM-Training näher an seiner Vortrainingsverteilung bleibt. Das Pretraining kombiniert rund 5.000 Stunden Roboter-Teleoperationsdaten, rund 5.000 Stunden menschliche egozentrische Daten mit automatischer EgoANT-Annotation und 8,293 Millionen VQA-Paare; VQA überwacht den Reasoner, menschliche Daten den Reasoner und den Weltgenerator, Roboterdaten alle drei Experten. Im Posttraining werden zukünftige visuelle Latents mit Rauschen augmentiert und der Aktions-Denoising-Prozess mit der kodierten Aktionshistorie initialisiert, was die Zahl der Denoising-Schritte reduziert.
Im Standard-LIBERO erreicht UniWAM 99,2 % und liegt 0,5 Prozentpunkte über dem besten gelisteten Baseline Xiaomi-Robotics-0 (98,7 %). In LIBERO-Plus erreicht UniWAM 92,6 % Gesamterfolg und erzielt die höchsten berichteten Werte in den Dimensionen Roboter (89,5 %), Sprache (92,2 %), Licht (97,9 %) und Hintergrund (97,6 %). In RoboTwin 2.0 Clean2Clean liegt UniWAM bei 75,14 %, im Clean2Random-OOD-Setting bei 68,32 %, dem höchsten berichteten Wert, und im Durchschnitt bei 71,73 %. Im echten Dual-Arm-Setup mit AgileX Piper und 200 Demonstrationen pro Aufgabe erreicht UniWAM über vier Instruktionsfolge-Aufgaben 67,5 % Aufgabenerfolg und 82,5 % Instruction-Following-Rate, ein Plus von 13,1 bzw. 21,9 Prozentpunkten gegenüber pi0.5; im langen Horizont erreicht es Task Progress 5,0 von 6 im Vergleich zu 4,8 für pi0.5 und 3,2 für Motus. Die Ablation zeigt, dass das vollständige Drei-Quellen-Pretraining 71,73 % Durchschnitt in RoboTwin 2.0 erreicht, gegenüber 46,23 % ohne Pretraining und 67,53 % nur mit Roboter-Pretraining. Für das Daten-Skalierungsgesetz berichten die Autoren L(D) ≈ 0,03205 - 0,00302 ln(D) mit R² ≈ 0,983 auf Basis von 250 bis 5.000 Stunden Roboter- plus menschlicher Daten.
Das Paper ist ein Preprint und nicht begutachtet; ein expliziter Limitations-Abschnitt fehlt. Die realen Experimente verwenden nur eine Dual-Arm-Plattform (AgileX Piper) und die Anzahl der Evaluierungsdurchläufe pro Aufgabe wird im Paper nicht berichtet. Im RoboTwin 2.0 Clean2Clean bleibt UniWAM mit 75,14 % hinter OpenWAM-alpha (89,4 %) zurück, obwohl der OOD-Durchschnitt höher liegt. Rechen- und Datenaufwand sind erheblich, etwa 10.000 Stunden Pretraining-Daten und 80K Schritte auf 8 NVIDIA H100 GPUs für die realen Versuche. Code und Checkpoints sind verlinkt, eine unabhängige Reproduktion bleibt abzuwarten.
UniWAM richtet sich an Hersteller von Industrie- und Service-Robotern sowie Anbieter von Roboter-Foundation-Modellen. Kurzfristig könnten Unternehmen mit Zugang zu großen heterogenen Roboterdaten und H100-Clustern das Modell für OOD-robuste Manipulation und instruktionsfolgende Dual-Arm-Aufgaben evaluieren. Innerhalb von 1 bis 3 Jahren ist eine Übernahme in kommerzielle VLA-/WAM-Stacks denkbar, wenn Inferenzlatenz und Kosten durch die reduzierten Denoising-Schritte tragbar werden und die Ergebnisse auf weiteren Hardwareplattformen und Aufgaben reproduziert werden. Voraussetzung sind belastbare Sicherheits- und Zuverlässigkeitstests sowie die Klärung der Lizenz- und Datenverfügbarkeit für die genutzten Ego- und Roboterdatensätze.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.