FERPO: On-Policy-RL mit vorwärtsgerichteter KL-Anpassung ohne differenzierbaren Kritiker
FERPO ist ein On-Policy-Maximum-Entropie-Verfahren, das die Policy verbessert, indem es eine entropie- und KL-regularisierte Zielverteilung über Kritikerwerte aufbaut und den Akteur per Forward-KL mit Self-Normalized Importance Sampling daran anpasst, ohne den Kritiker nach Aktionen zu differenzieren. Das Paper ist ein Preprint und berichtet in Simulationen auf DMC, MuJoCo Playground und ManiSkill wettbewerbsfähige Endleistungen, Stichprobeneffizienz sowie 6,9 Prozent schnellere kombinierte Update-Zeit gegenüber REPPO bei K gleich 16. Damit entsteht eine praktische Alternative zu pfadweisen Aktualisierungen für massiv paralleles Robotiklernen.
Kann ein On-Policy-Maximum-Entropie-Verfahren die Policy anhand von Kritikerwerten verbessern, ohne Aktionsgradienten des Kritikers zu verwenden, und dabei durch Entropie- und KL-Regularisierung stabile, explorationstaugliche Updates erreichen?
Kritiker werden üblicherweise zur Vorhersage von Returns trainiert; genaue Wertvorhersagen bedeuten aber nicht, dass auch die Ableitungen nach Aktionen genau sind. Bei pfadweisen On-Policy-Verfahren wie REPPO können fehlerhafte oder schlecht ausgerichtete Aktionsgradienten die Policy-Verbesserung verzerren und bei sich ändernden Datenverteilungen destabilisieren.
Bisherige Ansätze steuern Policy-Abweichungen über explizite KL-Schranken wie TRPO, Clipping wie PPO oder über pfadweise Aktualisierungen wie REPPO. REPPO differenziert einen gelernten Soft-Kritiker nach Aktionen; MPO und verwandte gewichtete Fitting-Verfahren nutzen dagegen oft Reverse-KL oder unnormalisierte Vorteilsgewichte. Reverse-KL kann nur einen Teil der Zielmoden abdecken, und pfadweise Updates hängen von der Aktionsableitung des Kritikers ab, die nicht direkt durch Werttraining garantiert wird.
FERPO minimiert zuerst das Lagrange-Funktional aus erwartetem Kritikerwert, Entropie-Untergrenze und KL-Abweichung über uneingeschränkte Aktionsverteilungen. Daraus entsteht das Ziel q* proportional zu exp(Q_roll/(tau+lambda)) mal pi_roll hoch lambda/(tau+lambda). Anschließend wird die Gauß-Policy per Forward-KL an q* angepasst; der Erwartungswert über q* wird mit K aus der Rollout-Policy gezogenen Aktionen und Self-Normalized Importance Sampling geschätzt, wobei die Gewichte während des Policy-Updates festgehalten werden. Temperatur tau und KL-Multiplikator lambda werden als Lagrange-Multiplikatoren adaptiert, lambda über den Logarithmus der normalisierten effektiven Stichprobengröße. Zusätzlich gibt es gecachte Updates zur Recheneinsparung und eine V-Variante, die für spärliche Belohnungen Kandidatenaktionen per Ein-Schritt-Simulation mit einer gelernten Zustandswertfunktion bewertet. Der Kritiker wird wie bei REPPO mit mehrstufigen TD-Zielen, HL-Gauss und Zusatzverlusten trainiert.
Auf 22 DMC-Aufgaben erreicht FERPO nach 50 Millionen Interaktionen einen IQM-Return von 897,7 ± 6,7; REPPO 891,0 ± 6,4, FastTD3 890,6 ± 12,8, PPO (Brax) 542,8 ± 30,2 und PPO 309,8 ± 9,4. Auf vier G1/T1-Lokomotionsaufgaben liegt REPPO mit 34,63 ± 0,17 über FERPO mit 33,22 ± 0,28, wobei FERPO auf T1 flach leicht höher und auf T1 rough ähnlich abschneidet, REPPO jedoch beide G1-Aufgaben anführt. Auf acht ManiSkill-Aufgaben erreicht FERPO eine Erfolgsraten-IQM von (95,67 ± 1,83) %; REPPO (95,52 ± 1,85) % und PPO (84,61 ± 9,49) %. Im Rechenbenchmark mit K gleich 16 ist die kombinierte Akteur-plus-Kritiker-Update-Zeit für ungecachtes FERPO 6,9 % niedriger als bei REPPO; Caching bringt weitere 16,4 %, insgesamt 22,2 %. Auf CheetahRun liegt die GPU-Speicherspitze 22,4 % höher für ungecachtes und 25,6 % höher für gecachtes FERPO. Ablationen auf G1 flach: bei 50,07 Millionen Schritten steigt der mittlere Return von 34,32 ± 0,18 auf 34,81 ± 0,24, wenn K von 8 auf 16 erhöht wird; ohne Entropieregularisierung fällt er auf 30,32 ± 0,27, 4,49 Punkte unter die adaptive Einstellung. Gecachte G1-Updates mit K gleich 8 erreichen 33,58 ± 0,40 gegenüber 34,03 ± 0,21 ungecacht und sparen 18,6 % Zeit (68,4 auf 55,7 Minuten). Die V-Variante ist auf AcrobotSwingupSparse pro Iteration 8,4 % langsamer (8,51 statt 7,85 Sekunden auf A100), benötigt aber 17-mal so viele Simulatorübergänge pro Rollout-Schritt.
Das Paper ist ein Preprint und nicht begutachtet. Die Autoren nennen Kritikerwertfehler, Stichprobenfehler der Importance-Sampling-Schätzung und die Beschränkung auf Gauß-Policies als Grenzen. Der GPU-Speicherbedarf ist höher als bei REPPO, und ungecachte Updates werden bei K ab 32 langsamer. Im G1/T1-Aggregat bleibt FERPO mit 33,22 ± 0,28 hinter REPPO mit 34,63 ± 0,17 zurück, insbesondere auf G1-Aufgaben. Evaluationen erfolgen nur in Simulation (DMC, MuJoCo Playground, ManiSkill, AcrobotSwingupSparse); ein Transfer auf reale Roboter wird im Paper nicht berichtet. Die V-Variante vervielfacht die Simulatorinteraktionen pro Rollout-Schritt.
Für Unternehmen, die On-Policy-RL in massiv parallelen Simulatoren für Lokomotion, Manipulation oder Sim-to-Real einsetzen, kann FERPO als Ersatz für pfadweise Updates dienen, da es ohne Aktionsgradienten auskommt und in Benchmarks Stichprobeneffizienz sowie schnellere Updates zeigt. Der öffentlich verfügbare Code und die gecachte Variante sprechen für eine zeitnahe Erprobung in den nächsten ein bis drei Jahren. Vor einem Produktiveinsatz müssten reale Robotertransfers, robustere Verteilungsfamilien oder Diffusion-Policies und der erhöhte Speicherbedarf validiert werden. Für spärliche Belohnungen ist die V-Variante interessant, aber derzeit mit deutlich höherem Simulationsaufwand verbunden.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.