Value as Memory: Online-Nachtraining universeller Roboter-Policies mit Wertschätzung
Das Preprint der Shanghai Jiao Tong University lässt eine universelle Roboter-Policy im Einsatz weiterlernen, indem es ihr die eigenen jüngsten Fortschrittsschätzungen als Eingabe gibt und parallel zum Betrieb nachtrainiert. Bei drei realen Langzeitaufgaben, darunter Wäschefalten, stieg die Erfolgsquote im Schnitt um 29,4 Punkte gegenüber demselben System ohne Fortschrittsgedächtnis und um 32,8 Punkte gegenüber klassischem Batch-Nachtraining.
Lassen sich Zustände, die gleich aussehen, aber unterschiedliche Aktionen verlangen, unterscheiden, wenn die Policy ihre eigene Fortschrittsschätzung zur Laufzeit als Eingabe erhält? Und macht Online-Reinforcement-Learning am realen Roboter das Nachtraining großer VLA-Modelle schneller und dateneffizienter?
Universelle Roboter-Policies werden nach dem Rollout mit Daten aus eigenen Versuchen und menschlichen Korrekturen feinjustiert. Zwei Hürden bremsen das. Ein einzelnes Kamerabild verrät oft nicht, wie weit eine Aufgabe fortgeschritten ist; ein halb und ein fast fertig gefaltetes Hemd sehen ähnlich aus, brauchen aber andere Handgriffe. Zudem läuft Nachtraining meist im Batch: sammeln, anhalten, neu trainieren, neu ausrollen. Rückmeldung aus neuen Fehlern kommt spät, jede Iteration ist teuer.
Die RECAP-Methode von Physical Intelligence (eingesetzt für pi0.6*) lernt aus Demonstrationen, Rollouts und Eingriffen eine Wertfunktion und markiert damit gute und schlechte Aktionen für ein vorteilsbedingtes Training. Die Wertschätzung formt dort nur die Trainingsdaten, die Policy sieht sie zur Laufzeit nicht, und der Kritiker wird nur zwischen Offline-Runden aktualisiert.
VaM (Value as Memory) ergänzt einen Wert-Cache: Die letzten Fortschrittsprognosen eines separaten Wertmodells gehen zusammen mit Kamerabildern und Gelenkzuständen in das Aktionsmodell, das so erkennt, ob der Fortschritt steigt, stockt oder fällt. Das Training durchläuft vier Stufen von Demonstrationen über Offline-RL-Aufwärmen und Online-DAgger mit menschlichen Korrekturen bis zum autonomen Lernen mit spärlichem Erfolgssignal. Datensammlung, Wert- und Policy-Training laufen parallel. Basis ist das offene pi0.5 von Physical Intelligence (PaliGemma-Backbone mit 2 Mrd. Parametern plus Aktions-Transformer mit 300 Mio.).
An einem einzelnen realen Roboter erreichte VaM bei Kartonmontage, Wäschefalten und Montage eines magnetischen Spielzeugbusses 96,7, 88,9 und 76,7 Prozent Erfolg über die letzten drei Checkpoints. Ohne Wert-Cache kam dieselbe Pipeline auf 81,7, 48,9 und 43,3 Prozent, RECAP auf 71,7, 64,4 und 43,3 Prozent. Gegenüber budgetgleichem Offline-RL lag das Online-Training im Schnitt 32,8 Punkte höher und verkürzte die reale Zeit je Gradientenschritt um 57,8 Prozent; bei der Kartonmontage waren es 16 statt 2 Policy-Iterationen. Ältere Wertmodelle zur Laufzeit senkten die Erfolgsquote bei allen drei Aufgaben.
Die Autoren nennen die Abhängigkeit von einem Wertmodell, das den echten Fortschritt genau abbildet, weshalb das Offline-Aufwärmen nötig bleibt, und die Beschränkung auf einen einzigen Roboter. Wir ergänzen: Drei Aufgaben mit wenigen Evaluationsläufen ergeben breite Streuung (Wäschefalten ohne Cache plus/minus 30 Punkte), vor der autonomen Phase sind weiter menschliche Eingriffe nötig, und der Code ist nur angekündigt.
Nachtraining mit Einsatzdaten gilt bei Anbietern von Roboter-Foundation-Models als Ort, an dem sich Vorsprung aufbaut. VaM liefert auf Basis der offenen Gewichte von Physical Intelligence eine schneller iterierbare Alternative zu RECAP, die Beteiligung von Noematrix zeigt einen chinesischen Vermarktungsweg. Für europäische Integratoren und Anbieter wie Neura Robotics oder RobCo, die lernende Policies in Fertigung und Logistik bringen wollen, ist die Rückführung von Fortschrittsschätzungen in die Steuerung die praktische Lehre. Flottenversionen sind in 12 bis 18 Monaten zu erwarten.