MFPG-PPO: Multi-Fidelity Policy Gradients stabilisieren datenarmes Reinforcement Learning
Die Autoren stellen mit MFPG-PPO eine Erweiterung proximaler Policy-Optimierung vor, die wenige hochgenaue Trainingsdaten mit zahlreichen verzerrten Niedrigpräzisionsdaten kombiniert, ohne den Policy-Gradienten zu verzerren. In Tests auf vier simulierten Laufaufgaben verbessert MFPG-PPO die reine Hochpräzisions-PPO-Baseline in 14 von 16 Szenarien und erreicht auf einem realen Franka-Arm mit nur vier Episoden pro Update eine Erfolgsrate von 91,7 Prozent gegenüber 55,0 Prozent. Der noch unbegutachtete Preprint zeigt damit einen Weg, knappe Realdaten für On-Policy-Reinforcement-Learning nutzbar zu machen.