DeltaWorld: Physisch konsistenter interaktiver Weltsimulator mit aktionsbedingten latenten Inkrementen
DeltaWorld ist ein Preprint, das einen interaktiven Weltsimulator für Robotermanipulation beschreibt. Das Modell sagt aktionsbedingte Veränderungen im latenten Raum vorher statt vollständige nächste Zustände, wodurch langhorizontale Vorhersagen stabiler werden. Auf dem selbst gesammelten Cross-Robot-Datensatz reduziert es FVD um 46,6 % und LPIPS um 31,1 % gegenüber der IWS-Baseline.
Wie kann ein interaktiver Weltsimulator zukünftige Videobilder so vorhersagen, dass roboterinduzierte Objektveränderungen physikalisch konsistent und über lange Horizonte stabil bleiben?
Bestehende Weltmodelle sagen meist den vollständigen nächsten latenten Zustand voraus und erfassen dadurch kleine, aber physikalisch relevante Änderungen an manipulierten Objekten oft nicht. Im autoregressiven Verlauf entstehen Objektdurchdringungen und übermäßige Verformungen, weil statische Bildanteile dominieren und Interaktionsregionen unterrepräsentiert sind.
Bisherige Ansätze wie IWS, LeWorld oder Cosmos3 lernen entweder vollständige zukünftige latente Zustände oder generieren Videos direkt aus Aktionsbedingungen; JEPA-basierte Verfahren sagen visuelle Merkmale voraus. Diese Modelle behandeln alle latenten Positionen typischerweise gleich und betonen kleine aktionsbedingte Änderungen an Robot-Objekt-Interaktionen zu wenig.
DeltaWorld führt das Delta Latent Transition Model (Delta-LTM) ein, das aktionsbedingte latente Inkremente schätzt und zum aktuellen latenten Zustand addiert, statt den nächsten Zustand vollständig zu prognostizieren. Interaction-aware Latent Alignment erzeugt eine binäre Interaktionsmaske, indem es die latente Repräsentation der Originalszene mit einer konterfaktischen Szene ohne manipuliertes Objekt und Roboterarm vergleicht und diese Maske zur Gewichtung des Trainingsfehlers nutzt. Stufe 1 trainiert einen Encoder und einen konsistenzbasierten bedingten Decoder mit Rauschstörungen; Stufe 2 friert beide ein und trainiert das Dynamikmodell mit 3D-Faltungen, FiLM-Konditionierung sowie räumlicher und zeitlicher Aufmerksamkeit.
Auf dem IWS-Benchmark, gemittelt über fünf Aufgaben und zwei Kameraperspektiven, erreicht DeltaWorld FID 36,04, FVD 231,98, LPIPS 0,0490, PSNR 31,22, SSIM 0,9011 und MSE 0,0039. Die IWS-Baseline liegt bei FID 44,16, FVD 264,52, LPIPS 0,0661, PSNR 28,80, SSIM 0,8537 und MSE 0,0054. Auf dem selbst gesammelten Cross-Robot-Datensatz mit vier Aufgaben und drei Roboterplattformen reduziert DeltaWorld FVD von 168,98 auf 90,31, das entspricht 46,6 %, und LPIPS von 0,0440 auf 0,0303, das entspricht 31,1 %, gegenüber IWS; auch FID, PSNR, SSIM und MSE verbessern sich. Die Ablation ergibt FVD 191,50 für das vollständige DeltaWorld, 207,60 ohne Interaction-aware Latent Alignment und 228,03 ohne Delta-LTM, jeweils gemittelt über IWS-Benchmark und Cross-Robot-Datensatz.
Im Paper nicht berichtet sind eine Begutachtung, eine Validierung auf einem realen Roboter in geschlossener Schleife, die Trainings- und Inferenzlaufzeiten sowie die Verfügbarkeit von Code und Datensätzen. Die selbst gesammelten Datensätze umfassen je Aufgabe 127 bis 893 Episoden, was die Generalisierung über Umgebungen und Aufgaben hinweg einschränken kann. Zudem basiert die Evaluation auf Offline-Videometriken und nicht auf nachgelagerten Aufgaben wie Planung oder Politiktraining.
Unternehmen aus der Robotik, Logistik und Laborautomatisierung könnten DeltaWorld als Offline-Simulator für Politikvorauswahl und synthetische Daten nutzen, etwa für Bimanipulation, Greifen und Kabelverlegung. Kurzfristig, also jetzt bis ein Jahr, ist ein Einsatz als Offline-Evaluator denkbar; in ein bis drei Jahren könnten Weltsimulatoren in Trainings-Pipelines integriert werden, sofern Code, vortrainierte Modelle und robuste Inferenz auf realen Roboterplattformen verfügbar sind. Für einen industriellen Einsatz in der echten Robotersteuerung wären zusätzlich eine Validierung im geschlossenen Regelkreis und deutlich größere Datensätze erforderlich.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.