ProWAM: Progressive visuelle Teilziele verbessern Effizienz und Robustheit von Weltaktionsmodellen
ProWAM ist ein als Preprint veröffentlichter World Action Model, das Aktionsblöcke und eine geordnete Folge spärlicher visueller Teilziele gemeinsam vorhersagt. In Simulationen erreicht es neue Spitzenwerte auf LIBERO-Plus mit 85,8 % und auf randomisiertem RoboTwin mit 75,7 %; in realen Zero-Shot-Versuchen auf einem Franka-Roboter erzielt es 70,0 % Erfolg und übertrifft die stärkste Baseline DreamZero um 15,0 Prozentpunkte. Durch das Zwischenspeichern von Teilziel-Merkmalen reduziert ProWAM die Rechenlast des Video-Experten deutlich und zeigt einen günstigen Kompromiss zwischen Effizienz und Generalisierung.
Wie lässt sich visuelle Vorausschau in Weltaktionsmodelle integrieren, um langhorizontige Robotersteuerung explizit zu führen, ohne während der Inferenz dichte Videorollouts generieren zu müssen?
Bestehende Weltaktionsmodelle stehen vor einem Zielkonflikt: Full-Imagination-Modelle liefern detaillierte, aber rechenintensive Videorollouts; Zero-Imagination-Modelle sind effizient, verzichten jedoch auf Zwischenziele; ein einzelner Endpunkt wie bei ImageWAM beschreibt nur das Ziel, nicht den Weg dorthin. Dadurch fehlt eine explizite Fortschrittsführung über den gesamten Aufgabenhorizont.
Bisherige Ansätze umfassen Full-Imagination-WAMs wie DreamZero, die komplette Videosequenzen denoisen und mehrfach durch ein großes Video-Backbone laufen; Zero-Imagination-WAMs wie Fast-WAM, die ohne Zukunftsvorhersage auskommen; sowie ImageWAM, das nur einen Aktionshorizont-Endpunkt vorhersagt. Diese Modelle sind entweder zu langsam oder liefern keine Zwischenziele, was die Robustheit bei langen Aufgaben und Domänenverschiebungen einschränkt.
ProWAM erweitert die Einzelbild-Vorhersage zu einer progressiven Folge von k spärlichen visuellen Teilzielen, die durch einen normalisierten Fortschrittswert r∈[0,1] relativ zur aktuellen Beobachtung verankert sind. Architektonisch nutzt es eine Mixture-of-Transformers-Struktur mit einem Video-Experten auf Basis von Wan2.2-TI2V-5B und einem leichten Diffusions-Aktions-Experten. Teilziele werden als latente Slots mit Fortschritts-adaLN moduliert; asymmetrische Aufmerksamkeit verhindert, dass Aktionsinformationen den visuellen Pfad beeinflusst. Das Training erfolgt zweistufig: Zuerst Video-only Pretraining auf action-freien Videos, dann gemeinsames Fine-tuning auf Roboterdemonstrationen. Bei der Inferenz wird der Video-Experte einmal pro Replanning-Schritt ausgeführt, die Teilziel-KV-Features werden zwischengespeichert und während der Aktionsdenoising-Schritte wiederverwendet.
Auf LIBERO erreicht ProWAM 98,8 % und ProWAM-Base 99,2 % im In-Domain-Test; auf dem Zero-Shot-Benchmark LIBERO-Plus erreicht ProWAM 85,8 % gegenüber 80,3 % für ProWAM-Base und übertrifft ImageWAM mit 83,1 % sowie ABot-M0 mit 80,5 %. Auf RoboTwin erreicht ProWAM unter sauberen Bedingungen 85,8 %, unter randomisierten Bedingungen 75,7 %; ProWAM-Base liegt bei 87,6 % bzw. 67,4 %. Die stärkste bisherige WAM-Baseline MV-WAM erreicht 55,7 % unter Randomisierung, was einem relativen Vorsprung von 35,9 % entspricht. Auf RoboCasa365 erreicht ProWAM 48,1 % Gesamterfolg und 18,2 % auf Composite-Unseen, damit Rang 4 unter den öffentlichen Methoden; der Spitzenreiter Paimon-0 liegt bei 58,1 %. In realen Zero-Shot-Versuchen mit einem Franka-Roboter und DROID als Trainingsdatensatz erreicht ProWAM 70,0 % über 4 Aufgaben, DreamZero 55,0 % und π0.5 50,0 %; bei räumlicher Platzierung erzielt ProWAM 100,0 %. In einer Effizienz-Ablation auf einer H100 reduziert die KV-Cache-Inferenz die Rechenlast von 115,5 TFLOPs und 581 ms auf 18,7 TFLOPs und 313 ms, bei 3,3 Prozentpunkten höherem OOD-Erfolg. Mit k=4 Teilzielen steigt die Rechenlast nur um 3,5 TFLOPs; k=1 erreicht 73,8 % OOD bei 15,2 TFLOPs gegenüber FastWAM mit 6,3 % bei 13,2 TFLOPs. Die Ablation zum Planungshorizont zeigt: Near mit Fortschrittswerten 0,1 bis 0,5 erreicht 75,7 % OOD, Mid mit 0,3 bis 0,7 erreicht 70,2 % und Far mit 0,5 bis 0,9 erreicht 68,4 %.
Der Beitrag ist ein Preprint und noch nicht begutachtet. Die reale Evaluation umfasst nur vier Aufgaben auf einem einzigen Franka-Roboter mit DROID-Daten; ob die Ergebnisse auf andere Roboter oder Aufgaben übertragbar sind, ist offen. Die Inferenz wurde auf einer NVIDIA H100 gemessen, Echtzeitfähigkeit auf eingebetteten Systemen wird nicht gezeigt. Die Fehleranalyse zeigt, dass die Politik empfindlich auf Geometriefehler in generierten Teilzielen reagiert, etwa verschwommene Kontaktgeometrie beim Stapeln von Würfeln. Auf RoboCasa365 bleibt der Gesamterfolg mit 48,1 % deutlich hinter dem Spitzenreiter zurück, und Composite-Unseen erreicht nur 18,2 %. Angaben zu veröffentlichtem Code oder Modellgewichten fehlen im Paper.
Für Robotikunternehmen, die Manipulationsaufgaben mit hoher Varianz und langem Horizont automatisieren wollen, bietet ProWAM einen Weg, visuelle Dynamik aus action-freien Videos zu nutzen und damit den Bedarf an teuren Roboter-Demonstrationen zu senken. Die Effizienzverbesserung durch Teilziel-Caching macht den Ansatz für Echtzeitanwendungen auf GPU-Hardware interessant. Eine Übernahme in Produkte ist kurzfristig in Simulationen möglich, für reale Flotten 1 bis 3 Jahre, sofern Validierung auf weiteren Robotern, Aufgaben und Sicherheitsfreigaben erfolgt. Voraussetzung sind ausreichende Rechenressourcen der H100-Klasse und die Integration in bestehende Steuerungsstacks.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.