TierCEM: Prioritätsgesteuerte Constraint-Relaxation für die Cross-Entropy-Optimierung
Das Preprint stellt TierCEM vor, eine Variante der Cross-Entropy-Methode, die eine strikte Prioritätsreihenfolge von Constraints direkt in die Elite-Auswahl integriert und ohne per-Constraint-Gewichte auskommt. In Simulationen mit 2D-Navigation und Push-T zeigt die Methode, dass sich beim Umkehren der Prioritätsreihenfolge gezielt die verletzte Constraint ändert und dass die Aufgabenpriorität Fortschritt erzwingen kann, wenn Constraints sonst zum Stillstand führen. Damit adressiert sie das Problem, dass gewichtete Strafformulierungen höher priorisierte Verletzungen durch niedrigere kompensieren können.
Wie lässt sich eine strikte Prioritätsordnung zwischen potenziell konfligierenden Constraints direkt in die Elite-Selektion eines Cross-Entropy-Optimierers integrieren, ohne numerische Gewichte kalibrieren zu müssen?
Bei widersprüchlichen Constraints müssen Optimierer entscheiden, welche Anforderungen erhalten bleiben. Skalarisierte Zielfunktionen mit Strafgewichten machen Prioritäten zu numerischen Trade-offs: Eine Verbesserung des Aufgabenwerts oder niedrigpriorisierter Verletzungen kann eine Verletzung höherer Priorität kompensieren. Zudem hängt das Verhalten von der Kalibrierung der Gewichte ab, die auf Skalen und erreichbare Werte der konkurrierenden Terme abgestimmt sein muss.
Bisherige Ansätze kombinieren Aufgabenwert und Constraint-Strafen in einer skalaren Bewertung, etwa Soft-Constraint-CEM mit gemeinsamem Gewicht oder hierarchisches skalarisiertes CEM mit getrennt abgestimmten Gewichten. Auch Constrained Cross-Entropy (CCE) trennt Machbarkeit vom Aufgabenwert, behandelt aber alle Constraints gemeinsam und legt nicht fest, welche Constraint bei Konflikt gelockert werden soll. Lexikografische und hierarchische Verfahren existieren, werden aber nicht in die CEM-Elite-Auswahl integriert.
TierCEM filtert in jeder Iteration die gesampelten Kandidaten sequenziell von der höchsten zur niedrigsten Priorität. Leert ein Filter alle verbleibenden Kandidaten, kehrt die Methode zur letzten nichtleeren Menge zurück und wählt Eliten mit der kleinsten Verletzung der blockierenden Constraint aus, wobei alle höher priorisierten Constraints erhalten bleiben. Sind alle Filter erfolgreich, werden Eliten aus der finalen Menge nach dem Abstand zur Grenze der niedrigsten Constraint gewählt. Die ausgewählten Eliten aktualisieren wie im Standard-CEM die Gaußsche Sampling-Verteilung. Für die Experimente mit gelerntem Weltmodell werden eingefrorene DINO-WM-Latents genutzt und Constraint-Margen sowie Distanz zum Ziel über MLPs vorhergesagt.
In einer 2D-Navigationsaufgabe mit 20 Seeds erreicht TierCEM bei beiden Prioritätsordnungen (task > obstacle > lane und task > lane > obstacle) in 20 von 20 Läufen das Ziel, verletzt die höher priorisierte räumliche Constraint in keinem Lauf und die niedriger priorisierte in allen 20 Läufen, mit durchschnittlich 34 bzw. 32 Schritten. CCE erreicht in keinem der 20 Läufe das Ziel. Im Push-T-Szenario mit exakten Zuständen und 20 Seeds erzielt TierCEM bei task > obstacle > lane eine Positionsabweichung von 20,63 px (Standardabweichung 16,17), eine Hindernisverletzungsrate von 0,5 % und eine Lane-Verletzungsrate von 64,8 %; bei umgekehrter Reihenfolge sind es 22,34 px, 44,0 % Hindernisverletzungen und 10,3 % Lane-Verletzungen. Mit gelerntem DINO-WM-Weltmodell liegen die Werte bei 57,95 px, 10,4 % und 66,4 % bzw. 45,32 px, 54,3 % und 3,2 %. Hierarchisches skalarisiertes CEM ist empfindlich gegenüber der Gewichtswahl; TierCEM benötigt nur die Reihenfolge.
Die Autoren nennen, dass die Performance mit gelernten Dynamik- und Constraint-Modellen von deren Genauigkeit abhängt; Fehler können zu konservativem Verhalten oder zu Verletzungen führen. Für sicherheitskritische Anwendungen seien zusätzliche Sicherheitsgarantien erforderlich. Die Evaluation beschränkt sich auf Simulation, überwiegend auf Push-T und eine 2D-Umgebung, mit 20 Seeds pro Konfiguration. Ein realer Roboter wird nicht berichtet. Die Code-Verfügbarkeit wird im Paper nicht berichtet.
Unternehmen mit modellprädiktiver Regelung oder sampling-basierter Planung für Manipulation, mobile Roboter oder autonomes Fahren könnten TierCEM kurzfristig in Simulationen und Prototypen nutzen, um Constraint-Prioritäten explizit zu machen, ohne Gewichte zu kalibrieren. Für den produktiven Einsatz in sicherheitskritischen Systemen sind Validierung auf realer Hardware, robuste gelernte Modelle oder formale Garantien erforderlich, was eher in einem Zeitraum von ein bis drei Jahren realistisch erscheint.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.