AtomicRL: Teilaufgabenbewusstes RL hebt pi-0.5 auf einem AgiBot G1 bei langen Realaufgaben von 48,0 auf 69,3 %, 8 Punkte über PPO (Sun-Yat-sen-Universität, JD Explore Academy)
AtomicRL von der Sun-Yat-sen-Universität und der JD Explore Academy steigert eine pi-0.5-Strategie auf einem AgiBot-G1-Roboter bei drei realen mehrstufigen Tischaufgaben im Mittel von 48,0 auf 69,3 % Erfolg, 8,0 Punkte mehr als normales PPO-Feintuning, so ein Preprint. Das Verfahren zerlegt lange Aufgaben in atomare Teilschritte, behält das Lernsignal erledigter Schritte auch bei gescheiterten Versuchen und übt gezielt den schwächsten Schritt.
Lässt sich das RL-Feintuning von Vision-Language-Action-Strategien für lange Aufgaben schneller und wirksamer machen, wenn man die Zerlegung in atomare Teilaufgaben nutzt?
VLA-RL belohnt nur den Erfolg der ganzen Trajektorie. Scheitert ein später Schritt, geht auch das Lernsignal der gelungenen Schritte verloren, und geübt wird gleichmäßig, selbst wenn eine Teilaufgabe der Engpass ist.
PPO-artiges Nachtraining von VLA-Modellen, etwa im RLinf-Framework, mit spärlichen Belohnungen auf Trajektorienebene und gleichverteilter Aufgabenauswahl.
Ein Kritiker für Fortschritt und Abschluss schätzt, wo Teilaufgaben enden. Semantic-Aware Policy Optimization begrenzt Temporal-Difference-Fehler, damit eine gescheiterte Teilaufgabe die Bewertung der vorigen nicht verfälscht; Bottleneck-Adaptive Targeted Exploration lenkt Auswahl und Explorationsanreize auf die am schlechtesten beherrschten Teilaufgaben. Eine Real2Sim2Real-Kette bildet die reale Aufgabe in der Simulation nach, trainiert dort parallel und überträgt zurück.
LIBERO-LONG (10 Aufgaben, je 50 Versuche): 98,8 % mit OpenVLA-OFT und 99,0 % mit pi-0.5 nach 200 Optimierungsschritten, 4,0 und 3,6 Punkte über PPO. CALVIN ABC-D (1.000 Versuche): mittlere Kettenlänge 4,56 gegenüber 4,36 (PPO) und 3,56 (überwachtes Feintuning); alle fünf Aufgaben 80,1 % gegenüber 70,6 %. Realer AgiBot G1, drei Aufgaben mit 4 bis 6 Teilschritten, je 25 Versuche, 100 Demonstrationen je Aufgabe: Brot ablegen 76 %, Müll entsorgen 72 %, Tisch aufräumen 60 %, im Mittel 69,3 % gegenüber 61,3 % (PPO) und 48,0 % (SFT). Simulation und Realität korrelieren mit r = 0,909.
Preprint. Laut Autoren bleibt die grundsätzliche Dateneffizienz des Online-RL ungelöst, Training am realen Roboter ist weiter teuer; getestet wurden nur Tischaufgaben ausgehend von überwachten Strategien. Real 25 Versuche je Aufgabe an einem Robotermodell; die Teilaufgabengrenzen hängen am gelernten Kritiker.
Teams, die Basisstrategien für mehrstufige Arbeit in Fabrik oder Handel feinabstimmen, bekommen ein Verfahren, das mehr aus jedem Versuch herausholt, und eine Simulationsschleife, die den Großteil des Übens vom realen Roboter fernhält. Für europäische Integratoren mit kurzen Taktzeiten zeigt es, dass RL-Nachtraining von VLA-Modellen bei langen Abläufen messbare Zuwächse liefert.
Vollständige Studie
Veröffentlicht unter CC BY 4.0. Die vollständige Studie ist mit Namensnennung auf Englisch wiedergegeben: Volltext (Englisch). Original unter arXiv:2610.30097 (PDF).