ACCRUE: Kontinuierliches Off-Policy-Verstärkungslernen für Robotik-Basismodelle
Forscher von NVIDIA und dem KAIST beschreiben in einem Preprint, wie ein von einem Basismodell gesteuerter Roboter neue Montageaufgaben nacheinander lernt, ohne alte zu vergessen, indem er ein kleines Verstärkungslern-Modul von Aufgabe zu Aufgabe mitnimmt. Am realen Arm sank die Roboterzeit bis zur Beherrschung jeder neuen Fügeaufgabe um 31,0 bis 68,5 %, frühere Aufgaben gelangen weiterhin in durchschnittlich 19,4 von 20 Versuchen.
Kann ein im Einsatz befindlicher Roboter das Verstärkungslernen früherer Aufgaben nutzen, um spätere schneller zu lernen, ohne Gelerntes zu verlieren, und das auch dann, wenn das zugrunde liegende VLA- oder World-Action-Modell laufend mit neuen Demonstrationen nachtrainiert wird?
Robotik-Basismodelle wie VLAs und World-Action-Modelle (WAMs) sind breit einsetzbar, an einer konkreten Station aber nicht fehlerfrei; Verstärkungslernen (RL) nach der Inbetriebnahme kann die Lücke schließen. Meist ist dieses Nachtraining jedoch ein einmaliger Vorgang für eine Aufgabe. Eine Zelle mit ständig neuen Teilen und Varianten müsste RL jedes Mal neu starten und die Roboterzeit erneut bezahlen. Wer den Lerner mitnimmt, riskiert Vergessen, und alle früheren Interaktionen zu speichern wird mit jeder Aufgabe teurer.
Kontinuierliche RL-Verfahren für VLAs wie Simple Recipe aktualisieren das Modell on-policy, brauchen also ständig neue Rollouts und übertragen wenig auf neue Aufgaben. Off-Policy-Aufsätze wie RL Token und EXPO-FT hängen einen kleinen Actor und Critic an ein eingefrorenes Basismodell und sind dateneffizient, aber nur innerhalb einer Aufgabe. Klassische Verfahren wie Experience Replay, EWC-Gewichtsstrafen oder Parameterverschmelzung (RETAIN) vergessen entweder stark oder bremsen das Neulernen.
ACCRUE nutzt das Basismodell als Vorschlagsgeber: Es wird in jeder Stufe auf allen bisherigen Demonstrationen feinjustiert, dann eingefroren, und liefert für jeden Schritt einen Referenz-Aktionsblock. Ein leichter Actor korrigiert diesen, ein Critic bewertet ihn; beide lesen Merkmale eines festen Standard-Bildencoders (in der Simulation DINOv3), sodass sich ihre Eingaben beim Nachtraining des Basismodells nicht verschieben. Beide Netze werden ohne Reset in die nächste Aufgabe übernommen. Der Critic lernt nur auf Daten der neuen Aufgabe, weil ein kleiner Speicher seine Wertschätzungen für alte Aufgaben nicht verlässlich halten kann. Altes Verhalten wird anders geschützt: Die letzten N Episoden jeder erledigten Aufgabe bleiben gespeichert (20 bis 100 in den Hauptversuchen), und der Actor wird auf diesen Eingaben auf die Ausgaben des Vorgänger-Actors destilliert. Ein Strafterm hält den Actor nahe am Vorschlag des Basismodells, RL nimmt also nur lokale Korrekturen vor.
In der Simulation auf den FORGE-Aufgaben in NVIDIAs Isaac Lab (Stift fügen, Zahnräder kämmen, Mutter aufschrauben) mit GR00T N1.7 als Basismodell erreichte ACCRUE eine Endgenauigkeit über alle Aufgaben von 0,917, gegenüber 0,685 bei rein sequenziellem Training und 0,626 mit Experience Replay; das Vergessen am Ende lag bei 0,068 statt 0,409 bzw. 0,516. Der negative Rücktransfer fiel auf 0,065 gegenüber 0,217 beim am wenigsten vergesslichen Vergleichsverfahren EWC, das dafür neue Aufgaben deutlich schlechter lernte (Vorwärtstransfer 0,593 gegenüber 0,823). Auf fünfstufigen AutoMate-Steckfolgen lag die Endgenauigkeit bei 0,863 (Replay 0,779), das Vergessen bei 0,054 (0,176). Auf realer Hardware (DROID-Aufbau, Physical Intelligences pi0.5 als Basismodell, je Aufgabe mit 5 oder 10 teleoperierten Demonstrationen feinjustiert) senkte die Übernahme von Actor und Critic die Roboterzeit bis 95 % Erfolg je Stufe um 31,0 bis 68,5 %, über eine dreistufige NIST-Board-Folge und eine fünfstufige AutoMate-Folge. Jede frühere Aufgabe gelang weiterhin in mindestens 18 von 20 Versuchen. Am besten funktionierten 100 bis 200 gespeicherte Episoden je Aufgabe, rund 3 % des Replay-Puffers; 10 bis 20 reichten nicht, 200 war etwas schlechter als 100.
Es handelt sich um einen nicht begutachteten Preprint. Die Autoren nennen höchstens fünf Stufen, ein Speicherlimit pro Aufgabe statt insgesamt und ausschließlich eng verwandte kontaktreiche Montageaufgaben; Transfer auf andere Roboter oder sehr unterschiedliche Aufgaben bleibt offen. Auf der Hardware wurde nur gegen Einzelaufgaben-RL verglichen, Erfolge bewertete ein Bediener. Aus unserer Sicht beginnen die realen Aufgaben mit dem Teil bereits im eigens gedruckten Greifer, und der Zustand besteht nur aus Gelenkpositionen; Greifen und Objektlokalisierung fallen damit weg. Verglichen wird zudem mit einem RL-Neustart, nicht mit einem stärkeren Basismodell, das womöglich gar kein RL bräuchte.
Die Arbeit zielt auf die Inbetriebnahmekosten: Integratoren, die ein VLA für jedes neue Teil einer Linie anpassen, zahlen in Roboter- und Ingenieursstunden, und ACCRUE verspricht bis zu zwei Drittel weniger Roboterzeit je neuer Aufgabe bei erhaltenen Fähigkeiten. Das Verfahren ist modellunabhängig, es läuft auf NVIDIAs GR00T, auf pi0.5 von Physical Intelligence und auf einem World-Action-Modell. Für den deutschen Maschinenbau und Zulieferer der Automobilindustrie mit hoher Variantenvielfalt bei kleinen Losgrößen passt das Prinzip, Fügeprozesse vor Ort nachzulernen statt neu zu programmieren. Erst in Forschung und Pilotzellen, für die Serie fehlen längere Aufgabenfolgen und Validierung jenseits von Fügeaufgaben, realistisch ein bis zwei Jahre.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.