MPC-basiertes Empowerment als einheitliche Formulierung für intrinsische und aufgabenbezogene Steuerung
Das Preprint stellt eine neue Formulierung von Empowerment als Trajektorienziel innerhalb von sampling-basiertem MPC vor. Die Autoren vereinen Explorations- und Steuerungsverteilung in einer einzigen Verteilung und benötigen nur Ableitungen erster Ordnung. In Simulationen auf Pendel- und Cart-Pole-Aufgaben verbessert die Kombination von Empowerment mit spärlichen Aufgabenkosten die Erfolgsraten deutlich gegenüber einzelnen Zielen.
Wie lässt sich Empowerment als Trajektorienziel in sampling-basiertes MPC integrieren, sodass Explorations- und Steuerungsverteilung vereint werden und die Steuerung ohne Ableitungen zweiter Ordnung auskommt?
Sampling-basierte MPC-Verfahren benötigen informative Kostenfunktionen, doch Aufgabenkosten sind oft spärlich oder nicht informativ. Bestehende Empowerment-basierte Steuerungen verwenden getrennte Verteilungen für Exploration und Steuerung und erfordern für die Ableitung der Kontrollaktionen Ableitungen zweiter Ordnung der Dynamik, was die Integration in MPC erschwert und den Rechenaufwand erhöht.
Bisherige Empowerment-Controller linearisieren die Dynamik um eine Null-Aktionssequenz, schätzen die Kanalkapazität über Wasserfüllung mit einer Gaußschen Explorationsverteilung und leiten die Aktion über einen Gradienten von Empowerment bezüglich des Zustands ab, der Ableitungen zweiter Ordnung benötigt. Sampling-basierte MPC-Verfahren wie Random Shooting, Predictive Sampling, CEM und MPPI optimieren direkt Aktionssequenzen, benötigen aber eine gut gestaltete Aufgabenkostenfunktion.
Die Autoren erlauben der Explorationsverteilung einen nichtverschwindenden Mittelwert und optimieren diesen Mittelwert direkt mit sampling-basierten MPC-Verfahren. Die Kovarianz der Verteilung wird weiterhin über Wasserfüllung optimiert. Empowerment und Aufgabenkosten werden über eine gewichtete Summe auf denselben Trajektorien ausgewertet. Für die Schätzung von Empowerment werden nur Ableitungen erster Ordnung der Dynamik benötigt, die Steuerung erfolgt über nullter Ordnung.
In Simulationen mit 10 zufälligen Seeds erreicht die kombinierte Methode bei drei Pendelaufgaben höhere Erfolgsraten als Empowerment allein. Beim Einzelpendel steigt die Erfolgsrate mit CEM von 59 % auf 100 %, beim Cart-Pole mit Predictive Sampling von 81 % auf 100 % und beim Doppelpendel von 0 % auf 86 %. Ohne Empowerment (nur spärliche Aufgabenkosten, β=0) scheitern alle Verfahren. Zusätzlich zeigt die Methode Selbstaufrichtung eines Hoppers ohne Aufgabenkosten und stabilisiert diesen in einer Hockposition, während klassisches Empowerment versagt.
Die Autoren nennen eine hohe Empfindlichkeit gegenüber Hyperparametern, insbesondere dem Planungshorizont, dessen Vergrößerung die Leistung nicht monoton verbessert. Das Verfahren benötigt viele parallele Rollouts für stabile Optimierung, insbesondere in komplexen Umgebungen. Die Empowerment-Schätzung beruht auf linearen Gaußschen Annahmen. Es wurden nur Simulationen durchgeführt, keine realen Roboter getestet. Der Code ist auf GitHub verfügbar, aber es gibt keine Angaben zu Begutachtung.
Unternehmen im Bereich Robotik und autonome Systeme könnten die Methode für Steuerungsaufgaben mit schwer definierbaren Kostenfunktionen nutzen, etwa Selbstaufrichtung oder Manipulation mit spärlichen Belohnungen. Kurzfristig (1 bis 3 Jahre) ist ein Einsatz in Simulation und Forschung denkbar. Für reale Roboter (mehr als 3 Jahre) müssen zuerst Hyperparameter-Empfindlichkeit, Rechenaufwand und Annahmen der linearen Gaußschen Schätzung adressiert werden.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.