MFPG-PPO: Multi-Fidelity Policy Gradients stabilisieren datenarmes Reinforcement Learning
Die Autoren stellen mit MFPG-PPO eine Erweiterung proximaler Policy-Optimierung vor, die wenige hochgenaue Trainingsdaten mit zahlreichen verzerrten Niedrigpräzisionsdaten kombiniert, ohne den Policy-Gradienten zu verzerren. In Tests auf vier simulierten Laufaufgaben verbessert MFPG-PPO die reine Hochpräzisions-PPO-Baseline in 14 von 16 Szenarien und erreicht auf einem realen Franka-Arm mit nur vier Episoden pro Update eine Erfolgsrate von 91,7 Prozent gegenüber 55,0 Prozent. Der noch unbegutachtete Preprint zeigt damit einen Weg, knappe Realdaten für On-Policy-Reinforcement-Learning nutzbar zu machen.
Wie lässt sich die Control-Variate-basierte Multi-Fidelity-Policy-Gradient-Methode, bislang auf REINFORCE beschränkt, in moderne Actor-Critic-Verfahren wie PPO übertragen, um bei stark begrenzten Hochpräzisionsdaten stabil zu lernen?
Bei teuren, knappen Hochpräzisionsdaten werden die Gradientenschätzer von Standard-On-Policy-Verfahren wie PPO so verrauscht, dass das Lernen kollabiert. Bisherige Ansätze, die Niedrigpräzisionsdaten direkt in den Optimierungszielen verwenden, führen zu verzerrten Updates und sind auf gut transferierbare Simulationen angewiesen.
Frühere Multi-Fidelity-Policy-Gradients (MFPG) nutzen Control Variates nur für REINFORCE auf kleinen Simulationsaufgaben. Verfahren wie Co-Training, DARC oder PAR mischen oder korrigieren Niedrigpräzisionsdaten, optimieren aber weiterhin verzerrte Ziele. Die naive Direktsubstitution von PPO in MFPG hat in einer früheren Vorabversion Korrelation zerstört oder die Varianz massiv erhöht.
MFPG-PPO sammelt gekoppelte Hoch- und Niedrigpräzisionsrollouts, resynchronisiert Simulationen periodisch auf reale Systemzustände, verwendet getrennte Kritiker für gekoppelte und ungekoppelte Niedrigpräzisionsdaten und hält die GAE-Horizonte passend. Es schätzt den Control-Variate-Koeffizienten pro Schritt oder auf Episodensummen, glättet ihn per EMA und wendet ihn nur an, wenn statistische Evidenz und empirische Varianzreduktion vorliegen; sonst fällt das Update auf reine Hochpräzisions-PPO zurück. Eine budgetbewusste Variante verteilt ein festes Budget nach dem MFMC-Allokationsschema zwischen den Fidelitäten.
In Isaac Lab auf H1 Rough, H1 Flat, Anymal-D Flat und Rough mit 6 Seeds und 2048 Evaluationsepisoden übertrifft MFPG-PPO-FR PPO HF-Only in 14 von 16 Task-Budget-Kombinationen und ist nie signifikant schlechter; MFPG-PPO-BA übertrifft PPO HF-Only in allen 16. Auf H1 Rough erreicht MFPG-PPO-FR bei 1/256 des Standard-Budgets von 4096 parallelen Umgebungen einen mittleren Return um 40, während PPO HF-Only bereits ab 1/128 gegen null fällt; bei den drei kleinsten Budgets erreicht oder übertrifft es PPO mit 16-mal mehr Hochpräzisionsdaten. Auf einem realen Franka-Arm mit 3 Seeds, 80 Iterationen und 4 Episoden je Update steigt die deterministische Erfolgsrate von 40,0 Prozent Startniveau auf 91,7 Prozent für MFPG-PPO-FR, gegenüber 55,0 Prozent für PPO HF-Only; alle MFPG-Seeds liegen bei 90 bis 95 Prozent, alle PPO-Seeds bei 30 bis 70 Prozent.
Der Preprint ist nicht begutachtet. Die Autoren nennen als offenen Punkt, dass die Resynchronisierung gekoppelter Rollouts bei frei evolvierenden ungekoppelten Rollouts Verzerrung in den Schätzer bringen kann, wenn sich die Mittelwerte unterscheiden. Die Roboterevaluation umfasst nur eine Manipulationsaufgabe mit einem Franka-Arm und 3 Seeds; die Simulation ist auf vier Locomotion-Aufgaben begrenzt. Angaben zu Rechenkosten oder Skalierung auf komplexere Manipulations- oder Navigationsaufgaben werden im Paper nicht berichtet.
Robotik-Unternehmen, die RL-Pipelines wie Isaac Lab oder rsl_rl für humanoide oder vierbeinige Laufroboter nutzen, könnten MFPG-PPO jetzt in Forschungscode erproben. Ein Transfer in Produkte ist in 1 bis 3 Jahren denkbar, sobald gekoppelte Low-Fidelity-Simulatoren verlässlich aufgebaut sind und die Methode auf weiteren realen Robotern und Aufgaben validiert wurde. Hersteller von Industriearmen könnten damit die Feinabstimmung in der realen Umgebung mit wenigen Episoden verbessern.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.