Dream4ACT: Gemeinsame visuelle Aktionsschnittstelle für verkörperungsübergreifende Video-Aktions-Modellierung
Das Preprint stellt Dream4ACT vor, ein Video-Aktions-Weltmodell, das Ziel-Gelenkkonfigurationen als feste Multiview-Aktionsbilder (Action Views) repräsentiert und damit mehrere Roboterembodiments über eine gemeinsame Schnittstelle trainiert. In Simulation erreicht das Modell durchschnittlich 88,98 % Erfolg auf RoboTwin 2.0 und einen TriWorldBench-Score von 65,66; auf vier realen Plattformen liegt der mittlere Erfolg bei gemeinsamen Aufgaben zwischen 85,0 % und 90,0 %. Die trainierungsfreie Rückgewinnung ausführbarer Gelenkziele über URDF-Optimierung macht die Aktionsdarstellung direkt für Steuerung nutzbar, ohne gelernte roboterspezifische Decoder.
Kann eine gemeinsame visuelle Aktionsschnittstelle, die Ziel-Gelenkkonfigurationen als feste Multiview-Aktionsbilder rendert, ein einzelnes Video-Aktions-Modell über mehrere Embodiments hinweg für Vorhersage, inverse Dynamik und gemeinsame Generierung mit trainierungsfreier Gelenkziel-Rückgewinnung ermöglichen?
Bestehende Aktionsrepräsentationen sind entweder verkörperungsspezifische Gelenkvektoren ohne gemeinsame räumliche Struktur oder visuelle Schnittstellen, die nur Endeffektor-Größen abbilden und für die Ausführung eine zusätzliche roboterspezifische Abbildung auf Gelenkziele benötigen. Kamera-ausgerichtete Roboter-Renderings erfordern zudem extrinsische Kalibrierung der physischen Kameras und sind an deren Blickwinkel gebunden. Dadurch fehlt eine feste, geometrisch vollständige Aktionsdarstellung, die heterogene Gelenkräume gemeinsam tokenisieren und trainierbar machen kann.
Frühere Ansätze nutzen getrennte Modalitätsköpfe wie UVA oder UWM oder numerische Aktionsvektoren für gemeinsame Richtlinien; latente Frames wie bei Cosmos Policy übernehmen die Aktionskodierung ohne explizite Robotergeometrie. Visuelle Verfahren wie SpatialVAM oder Action Images bilden Endeffektor-Posen oder Griffzustände ab, benötigen jedoch gelernte Decoder für Rotation, Griff oder Gelenkwinkel. Kamera-ausgerichtete URDF-Renderings wie BridgeV2W oder GeniWorld konditionieren Videovorhersagen auf Beobachtungsansichten und setzen die entsprechende Kamerageometrie voraus. Diese Ansätze vereinen entweder nicht die volle Armkonfiguration mit trainierungsfreier Rückgewinnung oder sind an physische Kamerakalibrierung gebunden.
Dream4ACT rendert aktuelle und zukünftige Gelenkkonfigurationen über Vorwärtskinematik und URDF in vier feste virtuelle Kameraansichten, die unabhängig von physischen Beobachtungskameras sind und eine feste Tensorform über Embodiments hinweg erhalten. Ein eingefrorenes Qwen3.5-VL-9B-Modell liefert instruktionsgebundene semantische Merkmale; eine gemeinsame Wan2.2-VAE kodiert RGB- und Action-View-Sequenzen, und ein Diffusion-Transformer wird mit maskiertem Flow Matching für Vorwärtsdynamik, inverse Dynamik und gemeinsame Generierung trainiert. Zur Ausführung werden vorhergesagte Action Views durch trainierungsfreie, URDF-beschränkte Gauss-Newton-Optimierung mit Multiview-IoU- und Chamfer-Distanz auf Gelenkziele abgebildet. Das Modell wird gemeinsam über fünf simulierte Embodiments trainiert und auf vier realen Plattformen evaluiert.
Auf RoboTwin 2.0 mit 50 bimanuellen Aufgaben erreicht Dream4ACT 90,50 % unter sauberen und 87,46 % unter randomisierten Bedingungen, im Mittel 88,98 % über 100 Versuche pro Aufgabe. Zum Vergleich: π0.5 erreicht 82,74/76,76 % (Mittel 79,80 %), Motus 88,66/87,02 % (87,80 %), LingBot-VA 92,90/91,50 % (92,20 %) und Fast-WAM 91,88/91,78 % (91,80 %). Im TriWorldBench-Test mit 500 Episoden erzielt Dream4ACT einen Gesamtscore von 65,66 und liegt damit nahe BWM mit 65,54; die Einzelwerte sind TVC 81,63, TA 84,22, P3D 61,30, MQ 41,66, TC 64,88 und VQ 31,42. Bei der Multi-Embodiment-Evaluation über 31 gemeinsame Aufgaben und 25 Versuche pro Aufgabe und Embodiment betragen die mittleren Erfolgsraten 82,19 % für Aloha-Agilex, 81,94 % für Piper, 81,23 % für ARX-X5, 63,48 % für Franka-Panda und 30,97 % für UR5-Xsg. Auf realen Robotern mit 20 Versuchen je Aufgabe erreichen Aloha-Agilex, TienYi2.5 Pro, Franka Research 3 und UR5e bei place_block und wipe_plate mittlere Erfolgsraten von 87,5 %, 85,0 %, 87,5 % und 90,0 %; die zusätzlichen bimanuellen Aufgaben stack_blocks und storage_item führen zu Gesamtdurchschnitten von 61,3 % und 66,3 %. In der Ablationsstudie auf 50 gehaltenen DROID-Trajektorien verbessert Action-View-Rendering gegenüber kamera-ausgerichtetem Skeleton-Rendering PSNR von 23,19 dB auf 24,33 dB, SSIM von 0,899 auf 0,906 und senkt LPIPS von 0,105 auf 0,093.
Die Autoren nennen keine expliziten Einschränkungen. Offensichtlich bleiben die Erfolgsraten bei UR5-Xsg mit 30,97 % sowie bei den realen Stapel- und Verstauaufgaben (20 % bis 65 %) deutlich hinter den übrigen Werten zurück. Die reale Evaluation umfasst nur vier Plattformen, jeweils 20 Versuche pro Aufgabe und eine begrenzte Aufgabenauswahl; die Simulationsergebnisse bei Franka-Panda und UR5-Xsg zeigen zudem starke Embodiment-Abhängigkeit. Das Verfahren setzt ein URDF-Modell und feste virtuelle Kameravorgaben voraus. Angaben zu veröffentlichtem Code oder Rechenaufwand werden im Paper nicht berichtet.
Die Action-View-Schnittstelle könnte Hersteller von Industrierobotern, humanoide Plattformen und Anbieter von Robotik-Foundation-Models interessieren, die ein Modell über mehrere Kinematiken hinweg einsetzen wollen. Kurzfristig sind Proof-of-Concept-Integrationen in Simulation und bei realen Pick-and-Place-Aufgaben denkbar; in ein bis drei Jahren könnte der Ansatz als gemeinsame Aktionsrepräsentation für Multi-Embodiment-Manipulationsmodelle dienen, sofern er auf größere Datensätze und mehr Plattformen skaliert, Sicherheitsvalidierungen erfolgen und URDF-Modelle sowie Rechenressourcen verfügbar sind.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.