SkeLAM-Weltmodell senkt Bahnfehler des Roboterarms auf DROID um 19,5 % gegenüber DreamDojo (NUS)

Folgt ein Weltmodell, das seine Aktionsdarstellung aus Videos lernt, realen Roboterbefehlen genauer, wenn diese Darstellung in einen an die Gelenkbewegung des Roboters gebundenen Teil und einen Teil für alle übrigen Szenenänderungen zerlegt wird?

Weltmodelle erlauben es, Roboterverhalten in generiertem Video statt an echter Hardware zu testen und zu planen. Die meisten Robotervideos haben jedoch keine Aktionslabels. Latente Aktionsmodelle leiten deshalb Ersatzaktionen aus aufeinanderfolgenden Bildern ab, vermischen dabei aber die Armbewegung mit der Reaktion von Objekten und anderen Szenenänderungen. Echte Gelenkbefehle lassen sich so nur ungenau zuordnen, und der generierte Arm weicht von der befohlenen Bahn ab.

Latente Aktions-Weltmodelle wie DreamDojo und CD-LAM lernen Ersatzaktionen über die Rekonstruktion des nächsten Bildes. IRASim, Ctrl-World, Cosmos-Predict2.5, Cosmos3 und GE-Sim konditionieren direkt auf Roboteraktionen, EnerVerse-AC und OSCAR auf geometrische Renderings oder Skelettsequenzen des Roboters, die dann bei jedem Generierungsschritt vorliegen müssen.

SkeLAM kodiert jedes Bildpaar in zwei 32-dimensionale latente Vektoren: einen kinematischen, der mit der Bewegung eines gerenderten Roboterskeletts übereinstimmen muss, und einen Restanteil für die übrigen visuellen Änderungen. Ein Tauschschritt sorgt dafür, dass der Bilddecoder den Bewegungscode des Skeletts anstelle des eigenen akzeptiert und dieselbe Szene rekonstruiert. Das Weltmodell basiert auf Nvidias Cosmos-Predict2.5-2B, wurde mit DROID und AgiBot-World-Daten trainiert und erhält beide Anteile über getrennte Pfade, die im Training zufällig abgeschaltet werden, sodass es im Einsatz allein mit dem kinematischen Pfad läuft. Ein kleiner Adapter übersetzt schließlich echte Roboteraktionen in diesen kinematischen Raum. Skelette werden nur im Training gebraucht.

Auf 400 DROID-Testclips (ein Eingabebild, zwölf vorhergesagte Bilder in 480x640) lag SkeLAM unter den aktionskonditionierten Modellen bei sieben von acht Metriken vorn. Der mittlere Verschiebungsfehler des Endeffektors sank auf 41,15 Pixel gegenüber 51,11 bei DreamDojo, 53,90 bei CD-LAM und 42,96 bei Ctrl-World, der Wahrnehmungsfehler LPIPS auf 0,1310 gegenüber 0,1473, 0,1586 und 0,4029. Beim Richtungs-F1 blieben Ctrl-World (0,589) und OSCAR (0,581) vor SkeLAM (0,547). Ohne Skelettüberwachung stieg der Bahnfehler auf 64,59 Pixel, ohne Tauschschritt auf 66,74. Als Werkzeug zur Policy-Bewertung auf RoboArena (sieben Policies, 105 Episoden, Erfolg im generierten Video von Menschen beurteilt) erreichte SkeLAM 63,0 % balancierte Genauigkeit und 33,3 % Erfolgs-Recall, Cosmos-Predict2.5 48,4 % und 0 %; der Fehler bei der Erfolgsquote betrug 4,76 statt 7,62 Prozentpunkte, die Pearson-Korrelation mit den realen Ergebnissen 0,61. Dass menschliche Demonstrationsvideos den generierten Arm ohne Nachtraining steuern, zeigen die Autoren nur qualitativ.

Es handelt sich um ein Preprint. Die Policy-Bewertung ist offen: Aufgezeichnete Aktionen werden abgespielt, das Modell reagiert nicht auf Entscheidungen der Policy; geschlossene Bewertung nennen die Autoren als nächsten Schritt. Ein Erfolgs-Recall von 33 % heißt, dass die meisten realen Erfolge noch übersehen werden, und die Erfolgslabels im generierten Video stammen von menschlichen Annotatoren. Die Übertragung von Mensch auf Roboter ist nur qualitativ belegt. Das Training setzt gerenderte Roboterskelette voraus, also ein bekanntes Robotermodell und eine kalibrierte Kamera, und dauert auf A100-GPUs rund zwei Tage. Getestet wurden ausschließlich Tischarme aus DROID und RoboArena.