3D-Weltmodell mit Starrkörpern senkt Langzeit-Vorhersagefehler um 83 Prozent, reales Schieben zu 90 Prozent erfolgreich
Ein 3D-Weltmodell, das jedes Objekt als Starrkörper bewegt, senkte den Fehler für bewegte Objekte über die ganze Trajektorie von 225,7 mm beim feinabgestimmten PointWorld auf 37,6 mm (minus 83 Prozent) und ließ einen Franka-Arm Objekte in 90 Prozent der realen Versuche auf unter 2 cm genau schieben, wie ein Preprint des Harbin Institute of Technology (Shenzhen) zeigt. Jeder Planungsschritt dauerte auf einer Nvidia RTX 3090 0,27 Sekunden.
Kann ein Roboter-Weltmodell Objektformen über viele Vorhersageschritte erhalten und schnell genug für Echtzeitplanung bleiben, wenn es nur die Starrkörperbewegung jedes Objekts vorhersagt, statt die Szene neu zu erzeugen?
Weltmodelle lassen einen Roboter das Ergebnis einer Aktion vorab durchspielen. Video- und dichte 3D-Punktmodelle erzeugen die Szene in jedem Schritt neu; über lange Vorhersagen verformen oder verschieben sich Objekte, was Planungen über Dutzende Schritte unzuverlässig macht.
Video-Weltmodelle sagen künftige Bilder voraus, Punktmodelle wie PointWorld den Szenenfluss je Punkt. Beide müssen implizit lernen, dass ein Becher ein Becher bleibt, und Fehler summieren sich mit jedem zurückgeführten Schritt. Planer im Stil von V-JEPA 2 arbeiten im latenten Raum, erzwingen aber ebenfalls keine Starrkörperstruktur.
ORD-WM kodiert die Punktwolke jedes Objekts mit einem rotationsäquivarianten Vector-Neuron-Autoencoder, der über Signed Distance Fields trainiert wird. Ein aktionsabhängiges Dynamiknetz sagt je Objekt Rotation und Translation voraus, die analytisch auf den latenten Code angewendet werden. Die Form bleibt per Konstruktion erhalten, nur die Pose ändert sich. Ein modellprädiktiver Regler bewertet Kandidaten aus acht Schritten im latenten Raum und führt die beste erste Aktion aus.
Auf LIBERO-Testtrajektorien lag der Fehler bewegter Punkte nach einem Schritt bei 1,58 mm gegenüber 10,04 mm für das auf LIBERO feinabgestimmte PointWorld (etwa 6,4-mal niedriger, MEKAWIRE), nach zehn Schritten bei 7,71 gegenüber 79,62 mm und über die ganze Trajektorie bei 37,60 gegenüber 225,68 mm (minus 83,3 Prozent; minus 88,3 Prozent gegenüber dem veröffentlichten PointWorld mit 321,11 mm, MEKAWIRE). Die Formdrift (Chamfer-Distanz) betrug 0,00 gegenüber 3,58 und 19,87 mm. Beim realen Schieben mit einem Franka Research 3 und drei RealSense-D435-Kameras stieg der Erfolg (Endfehler unter 2 cm) von 10 Prozent bei 64 Kandidaten auf 70 Prozent bei 256 und 90 Prozent bei 1.024; der Endfehler fiel von 3,72 auf 0,97 cm, die Schrittzahl von 367 auf 85 (minus 76,8 Prozent, MEKAWIRE). Planung je Schritt: 55,4, 115,7 und 269,9 ms.
Es handelt sich um ein Preprint. Objekte sind nur freie oder feste Starrkörper; Scharniere, Gelenke und verformbare Objekte sind ausgeschlossen. Masse, Reibung und Kontakt werden implizit gelernt, Durchdringungen werden nicht verhindert. Der reale Nachweis besteht aus Schiebeversuchen mit Erfolgsquoten ohne Versuchszahlen in der Tabelle sowie qualitativem Greifen und Ablegen. Trainiert wurde auf LIBERO und 1.000 Schiebetrajektorien.
Planung mit Weltmodellen ist ein Weg, lange Aufgaben zuverlässiger zu machen, und Drift über viele Schritte ist die Schwachstelle. Ein strukturiertes Modell, das starre Teile intakt hält, passt zu Fabrik- und Logistikaufgaben mit Kisten, Bauteilen und Behältern, wie sie bei Automobilzulieferern und im Mittelstand üblich sind. Franka-Anwender können es nachbauen; zu erwarten ist der Einsatz zuerst als Planer in Bin-Picking- und Kitting-Zellen.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.