World Motion Models für flexible Sequenzmodellierung von SE(3)-Trajektorien
Das als Preprint veröffentlichte Paper stellt World Motion Models (WMM) vor, ein generatives Modell, das dynamische 3D-Szenen über spärliche SE(3)-Posentrajektorien abbildet. Ein einzelnes WMM kann durch Maskierung beliebige bedingte Verteilungen abfragen, etwa Politik, Dynamikvorhersage, Retargeting oder Planung. Auf dem Language-Table-Benchmark erreicht WMM 87,2 % durchschnittliche Erfolgsrate und übertrifft die genannten Baselines.
Wie lässt sich ein einheitlicher generativer Prior über dynamische 3D-Welten lernen, der über beliebige Teilmengen von SE(3)-Trajektorien bedingt werden kann?
Bestehende generative Weltmodelle sind oft an eine Morphologie oder Repräsentation gebunden, etwa SMPL, URDF oder dichte Punktspuren, und video-basierte Ansätze vermischen 3D-Bewegung mit Beleuchtung und Kameraperspektive. Dadurch fehlt ein flexibler, physikalisch fundierter Prior, der Vorhersage, inverse Dynamik, Infilling und Retargeting in einem Modell abdeckt.
Bisherige Ansätze reichen von morphologie-spezifischen Diffusionsmodellen wie MDM und InterDiff über CHOIS für Mensch-Objekt-Interaktion, TraceGen für dichte 3D-Punktspuren bis zu Diffusion Forcing mit zeitlichem Per-Token-Rauschen. Sie nutzen entweder starre Kategorien, dichte Beobachtungsräume oder feste zeitliche Kausalität und benötigen oft separate Modelle pro Aufgabe.
WMM repräsentiert jede bewegte Entität als Folge von 9D-Posetokens aus Position und Rotation im SE(3), mit semantischen und geometrischen Merkmalen. Ein Flow-Matching-Modell erhält pro Token ein eigenes Rauschlevel, trainiert mit i.i.d. uniformem Lambda auf einem Token-Grid. Kontext-Tokens mit separater Positionskodierung erlauben nicht-sequentielle Bedingungen wie Ziele oder Retargeting-Paare. Die Architektur nutzt AdaLN für Per-Token-Konditionierung sowie faktorisierte Attention über Zeit- und Entitätsachsen und Registerblöcke, um über 10.000 Tokens effizient zu verarbeiten.
Language Table mit 50 Rollouts pro Aufgabenfamilie und 200 Schritten: WMM erreicht 87,2 % Makro-Durchschnitt, vor LCB 80,0 %, LangTable original 77,0 %, ActionVLA 76,8 % und LAPA 62,0 %. Mit MPC steigt B2B von 90,0 % auf 100,0 %, B2AL von 76,0 % auf 80,0 %, bei reduzierter mittlerer Schrittzahl. TraceGen: WMM per dataset P=128 erreicht auf Droid MSE 0,151, MAE 1,129, Endpoint 0,200; auf EpicKitchen MSE 0,322, MAE 2,130, Endpoint 0,556, jeweils besser als TraceGen mit 0,206, 1,289, 0,285 und 0,445, 2,721, 0,791. OMOMO: WMM erreicht MPJPE 12,07 und T_s 0,15; CHOIS hat MPJPE 15,30 und T_s 1,71, bei teils schlechteren WMM-Werten wie T_xy 4,40 statt 2,87. Humanoid-Retargeting auf Unitree G1 in Simulation: WMM erreicht 86,97 FPS, saubere Sequenzerfolgsrate 0,8690, Lückenfüllen 0,8525, verrauscht 0,8530; GMR liegt bei 35,03 FPS und 0,7945, PHUMA bei 2,27 FPS und 0,8255.
Die Autoren trainieren pro Benchmark einen eigenen Checkpoint; gemeinsames Training über Domänen fehlt. Das Modell generalisiert nicht auf neue, im Training nicht gesehene Morphologien und benötigt Geometrie wie Tiefe und geschätzte Zustände als Eingabe. Eine Erweiterung von SE(3) auf allgemeinere lineare Transformationen steht aus. Die Evaluierung umfasst Benchmarks und für den Humanoiden Physiksimulation; reale Robotertests werden nur qualitativ gezeigt. Ob Code oder Gewichte veröffentlicht werden, ist im Paper nicht berichtet.
Für Robotikhersteller und Anbieter von Manipulations- und Humanoid-Systemen könnte WMM als gemeinsamer Unterbau für Politik, modellprädiktive Regelung und Retargeting dienen. Kurzfristig sind Einsatz in Simulation und Offline-Planung denkbar, mittelfristig in realen Steuerungen, sofern Echtzeit-Inferenz, Sicherheitsgarantien und direkte RGB-Eingabe gelöst werden. Unternehmen mit heterogenen Roboterflotten könnten von einem einzigen Modell über Kinematiken profitieren, wenn domänenübergreifendes Training skaliert wird.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.