XGenAct: Geometrieerweitertes Weltaktionsmodell erzeugt Wahrnehmungsströme und Roboteraktionen gemeinsam
Der Preprint stellt XGenAct vor, ein Weltaktionsmodell, das RGB, metrische Tiefe, Oberflächennormalen, funktionale Rollensegmentierung und Roboteraktionen als Videos kodiert und mit einem einzigen Diffusion-Transformer trainiert. Auf fünf nicht im Training enthaltenen RLBench-Aufgaben erreicht XGenAct im Durchschnitt 52 % Closed-Loop-Erfolg, während die stärksten evaluierten Baselines 26 % erreichen. Die strukturierte Geometrie- und Semantikgenerierung verbessert die Aktionsvorhersage ohne modalspezifische Köpfe oder Zusatzverluste.
Kann ein gemeinsames videobasiertes generatives Modell mehrere räumliche Wahrnehmungsströme und Roboteraktionen so in einen latenten Raum bringen, dass die Aktionssteuerung auf unbekannten Manipulationsaufgaben besser wird?
Weltaktionsmodelle sagen bislang überwiegend RGB-Videos und Aktionen voraus; metrische Tiefe, Oberflächenorientierung und aufgabenbezogene Funktionsregionen werden nur implizit oder über spezialisierte Köpfe, Restmodule und Zweige ergänzt. Dadurch bleibt die räumliche Überwachung fragmentiert und prägt den gemeinsamen Aktionsgenerator nicht direkt.
PAD, GeoSem-WAM, DreamWAM, WAM4D, X-WAM und RynnWorld-4D integrieren Geometrie in Weltaktionsmodelle über separate Encoder/Decoder, Hilfszweige oder nachgelagerte Aktionsköpfe. SA-WAM kodiert RGB und Tiefe mit demselben eingefrorenen Tokenizer, nutzt aber feste latente Aktionspositionen und ein starres Layout. Wahrnehmungsgenerierungsmodelle wie Vision Banana oder GenCeption erzeugen Tiefe, Segmentierung und Normalen aus Aufgaben-Prompts, ohne daraus einen Aktionsgenerator zu trainieren.
XGenAct repräsentiert RGB, metrische Tiefe, Oberflächennormalen, funktionale Rollensegmentierung und 7-DoF-Roboteraktionen als RGB-Videos über deterministische, lernfreie Codecs und führt sie mit derselben eingefrorenen Video-VAE in einen gemeinsamen latenten Raum. Pro Trainingsbeispiel wird ein Template aus einer Wahrnehmungsmodalität und zwei Aktionsansichten gewählt; alle Templates teilen sich denselben Diffusion-Transformer, denselben Ausgabekopf und dasselbe Flow-Matching-Ziel. Konditionierungspläne wie joint, policy und inverse dynamics legen fest, welche Frames beobachtet oder vorhergesagt werden. Als Backbone dient Wan2.2-TI2V-5B.
Im externen Vergleich auf fünf nicht im Training enthaltenen RLBench-Aufgaben mit je 20 Versuchen erreicht XGenAct 52 % durchschnittlichen Closed-Loop-Erfolg, gegenüber 26 % für die stärksten Baselines π0.5 und VLANeXt. Im Einzelnen: close microwave 60 % (π0.5 30 %), toilet seat down 40 % (LaWAM 70 %), reach target 20 % (π0.5 35 %), close drawer 100 % (beste Baseline 50 %), close laptop 40 % (beste Baseline 25 %). In der Menüablation steigt der RLBench-Durchschnitt von 32,5 % für RGB auf 52,5 % bis 61,25 % mit Wahrnehmungsströmen; das beste Menü RGB+N+S erreicht 61,25 %, also 28,75 Prozentpunkte mehr als RGB. Bei der Zukunftswahrnehmung erzeugt XGenAct direkte Tiefe mit AbsRel von 0,28 bis 0,33 statt 0,41 bis 0,43 über RGB plus Depth Anything V2; Segmentierung erreicht mIoU 0,42 bis 0,49 statt 0,22 bis 0,24; Normalen liegen mit 0,76 bis 0,77 Kosinus ähnlich wie der RGB-Expertenweg; zukünftiges RGB verschlechtert sich nur leicht von LPIPS 0,39 auf 0,40 bis 0,43. Alle Methoden außer MolmoAct wurden auf demselben 16-Task-RLBench-Split feinabgestimmt; MolmoAct wurde zero-shot evaluiert.
Die Evaluation beschränkt sich auf RLBench-Simulation, fünf unbekannte Aufgaben und je 20 Versuche; Ergebnisse auf realen Robotern werden im Paper nicht berichtet. Die Autoren nennen die Aufgabenabhängigkeit des besten Wahrnehmungsmenüs als offene Grenze; mehr Modalitäten verbessern nicht monoton. Code-Veröffentlichung und Inferenzkosten sind im Paper nicht berichtet.
Robotik-Unternehmen, die Weltaktionsmodelle für Manipulation einsetzen, könnten XGenAct als einheitliche Geometrie-, Semantik- und Aktionsgenerierung nutzen und so Closed-Loop-Steuerung für Pick-and-Place- oder Montageaufgaben robuster machen. Kurzfristig, also in 1 bis 3 Jahren, sind Simulations- und Labor-Piloten denkbar, sofern reale Robotervalidierung, veröffentlichte Checkpoints und latenzarme Inferenz gelingen. Für breite Produkte über mehrere Roboter und Umgebungen hinweg ist nach aktuellem Stand mehr als 3 Jahre nötig, da bislang nur RLBench-Aufgaben mit einer Roboter- und Kamera-Konfiguration belegt sind.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.