FERPO: On-Policy-RL mit vorwärtsgerichteter KL-Anpassung ohne differenzierbaren Kritiker
FERPO ist ein On-Policy-Maximum-Entropie-Verfahren, das die Policy verbessert, indem es eine entropie- und KL-regularisierte Zielverteilung über Kritikerwerte aufbaut und den Akteur per Forward-KL mit Self-Normalized Importance Sampling daran anpasst, ohne den Kritiker nach Aktionen zu differenzieren. Das Paper ist ein Preprint und berichtet in Simulationen auf DMC, MuJoCo Playground und ManiSkill wettbewerbsfähige Endleistungen, Stichprobeneffizienz sowie 6,9 Prozent schnellere kombinierte Update-Zeit gegenüber REPPO bei K gleich 16. Damit entsteht eine praktische Alternative zu pfadweisen Aktualisierungen für massiv paralleles Robotiklernen.