AVL-JEPA verhindert Informationskollaps kausaler Dynamik in JEPA-Weltmodellen
Der Preprint stellt mit AVL-JEPA einen Ansatz vor, der verhindert, dass JEPA-Weltmodelle handlungsbedingte physikalische Dynamik zugunsten visueller Information ausblenden. In Simulationen auf vier Roboteraufgaben verbessert AVL die Erfolgsraten unter visuellen Störungen deutlich, etwa auf PushT unter Gaussian Noise von 15,3 auf 81,5 Prozent, und erhält gleichzeitig die Leistung ohne Störungen. Der Preprint liefert damit Belege, dass der Erhalt kausal relevanter Dynamikinformation die Planungsrobustheit von Weltmodellen steigert.
Wie lässt sich verhindern, dass JEPA-Weltmodelle bei der Vorhersage latenter Zustände handlungsbedingte physikalische Dynamik zugunsten visueller Information vernachlässigen?
JEPA-Weltmodelle können hochdimensionale visuelle Information bewahren, aber die physikalischen Konsequenzen von Aktionen aus der latenten Repräsentation verlieren. Dieser als causal dynamics information collapse bezeichnete Ausfall wird von bisherigen Regularisierern nicht adressiert, da diese nur globale latente Statistiken wie Varianz oder Rang stabilisieren, nicht aber die selektive Erhaltung handlungsrelevanter Dynamik.
Bisherige Ansätze wie VICReg, EMA-basierte Teacher-Netzwerke, LeWM mit SIGReg oder PLDM verhindern globale Repräsentationskollapse, indem sie Varianz, Kovarianz oder Verteilungsentartung bestrafen oder einen langsam aktualisierten Ziel-Encoder verwenden. Diese Methoden stellen jedoch nicht sicher, dass die latente Repräsentation unterschiedliche physikalische Zustandsänderungen durch verschiedene Aktionen unterscheidbar abbildet.
AVL kombiniert zwei Trainingspfade. Im action-grounded Pfad dient die ausgeführte Aktionssequenz als Hilfsanker: Ein transition-attributierter Aktionskopf subtrahiert eine zustandsbedingte Null-Transition und sagt aus der latenten Transitionsantwort die Aktion vorher, wodurch dynamische Information erhalten bleibt. Im vision-invariance Pfad werden saubere und visuell gestörte Beobachtungen desselben Zustands in ihren latenten Vorhersagen aufeinander ausgerichtet, während der Aktionskopf eingefroren bleibt und sein Verlust aktiv bleibt, sodass die Ausrichtung nicht durch Verwerfen von Dynamikinformation erreicht werden kann.
In Simulationen auf TwoRoom, PushT, Reacher und OGBench Cube, jeweils 10 Seeds mit 50 Episoden pro Seed, erreicht AVL unter sauberen Bedingungen die höchste Erfolgsrate auf TwoRoom (93,2 ± 1,6 %), PushT (96,0 ± 1,3 %) und Cube (78,2 ± 5,3 %), während Reacher mit 85,2 ± 4,4 % konkurrenzfähig bleibt. Gegenüber LeWM steigt die Erfolgsrate unter visuellen Störungen deutlich: auf PushT unter Gaussian Noise (σ=0,10) von 15,3 % auf 81,5 %, auf TwoRoom von 65,7 % auf 88,7 %; unter Saturation Shift (+0,35) verbessert sich PushT von 14,0 % auf 62,0 % und TwoRoom von 54,8 % auf 86,7 %. Mechanistische Messungen zeigen auf TwoRoom eine Erhöhung der predicted-to-physical Spearman-Korrelation von 0,35 auf 0,53, eine Reduktion des normalisierten Regrets von 0,152 auf 0,061 und eine Steigerung der clean-noisy Konsistenz von 0,89 auf 0,98.
Die Autoren geben an, dass AVL auf dem SIGReg-Regularisierer von LeWM aufbaut statt ihn zu ersetzen, und dass die Evaluation ausschließlich in Simulation erfolgt. Ein Test auf echten Robotern steht aus. Angaben zu veröffentlichtem Code werden im Paper nicht berichtet.
Für Roboterhersteller und Anbieter von Simulations-zu-Real-Transfer könnte AVL helfen, latente Weltmodelle robuster gegen visuelle Störungen zu machen, etwa in der Manipulation oder Navigation. Ein Einsatz in realen Produkten ist frühestens in ein bis drei Jahren denkbar, sofern die Methode auf echten Systemen validiert wird, die Abhängigkeit von SIGReg entfällt und der Rechenaufwand für das Training akzeptabel bleibt.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.