VLRLA: Anpassung von Vision-Language-Action-Modellen im Einsatz durch In-Context-Reinforcement-Learning
Ein Gedächtnismodul, mit dem eine pi0.5-Roboterpolicy aus eigenen jüngsten Versuchen und Belohnungen lernt, hob die mittlere Erfolgsquote auf 12 RoboTwin-Aufgaben von 50,9 auf 63,4 Prozent, ohne ein einziges Modellgewicht zu ändern, und lag damit knapp vor dem GRPO-Reinforcement-Learning mit 60,0 Prozent. Der Vorabdruck der Westlake University zeigt zudem einen realen Franka-Arm, der beim Ablegen von Obst über vier Versuche besser wird, ein Hinweis auf Roboter, die sich vor Ort anpassen statt auf ein Nachtraining zu warten.
Kann ein vortrainiertes Vision-Language-Action-Modell im laufenden Einsatz besser werden, allein anhand der Historie eigener Aktionen, Belohnungen und Episodenenden, ohne die Gradientenschritte, Abstimmung und Rechenleistung, die Online-Reinforcement-Learning verlangt?
Eine aus Demonstrationen gelernte Roboterpolicy trifft im Feld auf neue Kamerawinkel, Licht, Objekte und Formulierungen und kann dort nicht aus Fehlern lernen. Online-RL oder menschliche Korrekturen helfen, ändern aber Gewichte, brauchen zehn Minuten bis Stunden Datensammlung, aufgabenspezifisches Tuning und ergeben je Standort ein eigenes Modell, was über viele Aufgaben nicht skaliert.
Online-RL-Feinabstimmung wie GRPO, hier über das Framework RLinf auf acht NVIDIA-A100-GPUs, aktualisiert die Policy per Gradientenabstieg. Interaktives Imitationslernen aktualisiert sie anhand menschlicher Korrekturen. In-Context-Ansätze wie RoboTTT nutzen frühere Interaktionen, im Vergleich der Autoren aber ohne Belohnungs- und Endsignale.
VLRLA ergänzt ein bestehendes VLA-Modell um ein RL-Modul. Im Einsatz wird die Aktionserzeugung auf ein fortlaufendes Gedächtnis aus früheren Beobachtungen, Aktionen, Belohnungen und Endmarken konditioniert; das Verhalten verschiebt sich mit wachsender Evidenz, während alle Parameter eingefroren bleiben. Das Modul wird vorab auf Lernhistorien trainiert, also Sequenzen mit steigender Leistung aus Online-RL in der Simulation oder aus einem Human-in-the-Loop-Curriculum am realen Roboter. Getestet werden VLRLA-simp für Analysen und VLRLA-bridge, das vortrainierte Module für Multi-Task-Lernen nutzt, mit pi0.5, LingBot-VLA und dem World-Action-Modell FastWAM als Rückgrat.
Auf RoboTwin, bewertet über 128 zufällige Umgebungsinstanzen je Aufgabe, übertraf VLRLA-bridge die feinabgestimmte pi0.5-Basis in allen 12 Aufgaben: Gesamtmittel 63,4 gegenüber 50,9 Prozent bei einem mittleren Zuwachs je Aufgabe von 12,4 Punkten, vor GRPO mit 60,0 und der RoboTTT-Nachimplementierung der Autoren mit 58,2 Prozent. Auf sechs Trainingsaufgaben erreichte es 66,2 Prozent gegenüber 48,6 für pi0.5 und 59,2 für GRPO; das Übergeben eines Mikrofons stieg von 38,3 auf 78,9 Prozent. Auf sechs neuen Aufgaben lag es bei 60,6 gegenüber 53,3 Prozent, nahe an GRPOs 60,8. Ohne Gedächtnis blieb der Erfolg nahe null, und die Historie eines Durchlaufs hob den Starterfolg eines anderen beim Flaschenausrichten von etwa 0,55 auf 0,7. Auf einem realen Franka-Arm, trainiert mit rund 80 teleoperierten und 60 korrigierten Episoden, übertraf die Erfolgsquote über vier aufeinanderfolgende Episoden pi0.5 bei jeder Frucht (je 15 Läufe): Apfel 46,7 auf 60,0, Sternfrucht 40,0 auf 66,7, Traube 53,3 auf 60,0 Prozent; im Mittel der drei nach MEKAWIRE-Rechnung 46,7 auf 62,2 Prozent. In einer Aufgabe, bei der die richtige Tellerfarbe verborgen ist und nur die Belohnung sie verrät, stieg der Erfolg in 44 Läufen nach der ersten belohnten Episode.
Es handelt sich um einen Vorabdruck. Die erste reale Episode kann schlechter sein als die Basis (Sternfrucht fiel zunächst auf 26,7 Prozent), der Roboter bezahlt sein Lernen also im Betrieb. Die Realtests sind klein (15 Läufe je Frucht, 25 für die neue Paprika-Aufgabe, 44 für die Gedächtnisaufgabe) und auf einem Arm, die letzten beiden nur als Diagramm. Belohnung und Endsignal müssen im Einsatz verfügbar sein, was viele Standorte nicht automatisch liefern. Auf neuen Simulationsaufgaben gibt es keinen Vorteil gegenüber GRPO. Der RoboTTT-Vergleich beruht auf einer eigenen Implementierung, das Gedächtnisfenster ist kurz.
Hält das Ergebnis, ändert In-Context-Anpassung das Servicemodell für Roboter-Foundation-Modelle: Statt je Kunde Standortdaten zu sammeln und nachzutrainieren, liefert ein Anbieter eine eingefrorene Policy, die an der Linie über die ersten Versuche besser wird. Das betrifft Physical Intelligence, deren pi0.5 die Basis ist, die Münchner Franka Robotics, auf deren Arm die Realtests liefen, und europäische Modellentwickler wie Sereact. Der Haken ist die Belohnung: Eine Fabrik braucht für jeden Versuch ein verlässliches Erfolgssignal, etwa Bildprüfung, Waage oder Scanner. Wir erwarten solche Gedächtnisschichten in kommerziellen VLA-Systemen binnen 12 bis 24 Monaten, zuerst beim Pick-and-Place, wo Erfolg leicht messbar ist.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.