Lernen aus Menschenvideos: TS-WAM der HKUST erreicht 72,5 Prozent am realen Roboter und schlägt pi0.5
Der Preprint zeigt, dass ein Roboter robuster wird, wenn er vor jeder Bewegung vorhersagt, was sie im Bild bewirkt. Zugleich lassen sich billige Menschenvideos ins Training mischen, was die Datenkosten senken kann.
Wird eine Vision-Language-Action-Policy robuster, wenn sie lernt, die visuelle Folge ihres nächsten Schritts vorherzusagen, und dabei in einem einzigen Trainingslauf Roboterdemonstrationen und Menschenvideos ohne Aktionslabels nutzt?
Die meisten VLA-Policies übersetzen Kamerabild und Anweisung direkt in Motorbefehle, die sie aus Roboterdemonstrationen gelernt haben. Sie besitzen keine explizite Erwartung, was ihre Aktion in der Szene auslöst, können den viel größeren Bestand an Menschenvideos kaum nutzen und passen sich leicht zu eng an die Bedingungen der Demonstrationen an.
Latent-Action-Verfahren wie LAPA und UniVLA komprimieren die Veränderung zwischen Videobildern in einen kompakten Code, Weltmodell-VLAs wie WorldVLA und VLA-JEPA sagen künftige Zustände voraus. Meist wird das Latent-Action- oder Weltmodell jedoch in einer eigenen Stufe vortrainiert und danach zur Roboter-Policy feinjustiert. Das kostet Rechenzeit und garantiert nicht, dass der gelernte Code dem Aktionsdecoder hilft.
TS-WAM trainiert alles in einem Durchgang. Ein Schüler-Sprachbildmodell sieht nur das aktuelle Bild und die Anweisung und schätzt eine latente Aktion; eine per gleitendem Mittel aktualisierte Lehrerkopie sieht zusätzlich das nächste Bild und liefert das Ziel. Die Autoren nennen das vlm-jepa. Ein kleiner Decoder sagt dann voraus, wie sich eingefrorene DINOv3-Bildmerkmale unter dieser latenten Aktion verschieben, und ein Flow-Matching-Aktionskopf handelt auf Basis der vorhergesagten Merkmale. Menschenvideos trainieren Latent-Action- und Vorhersageteil, Roboterdaten zusätzlich den Aktionskopf. Im Einsatz entfällt der Lehrer.
In den Realtests mit je 20 Versuchen pro Aufgabe und Bedingung erreichte TS-WAM im Mittel 72,5 Prozent gegenüber 55,0 Prozent für pi0.5, verteilt auf zwei Aufgaben am Franka Research 3 und zwei am zweiarmigen Humanoiden RevoTron mit Greifhänden. In allen zwölf Kombinationen außerhalb der Trainingsverteilung lag es vorn (62,9 gegen 35,0 Prozent). Der Rückgang von normalen zu veränderten Szenen betrug 9,6 Prozentpunkte, bei pi0.5 20,0 Punkte. In der Simulation kam TS-WAM auf 97,0 Prozent in LIBERO (pi0.5: 96,9), 63,8 Prozent in SimplerEnv (RoboVLMs: 51,4) und 75,7 Prozent zero-shot in LIBERO-Plus, 12,8 Punkte vor VLA-JEPA. Ohne Menschenvideos fiel LIBERO-Plus auf 64,8, ohne Lehrer-Schüler-Aufbau auf 61,0 Prozent. Trainiert wurde auf vier A100, die Ausführung läuft mit 30 Hz auf einer RTX 4090.
Es handelt sich um einen Preprint. Die Autoren räumen ein, dass der Lehrerzweig den Speicherbedarf im Training erhöht und die Kopplung an vorhergesagte Merkmale die Konvergenz verlangsamt. Im Standard-LIBERO liegt der Vorsprung auf pi0.5 bei 0,1 Punkten, der Nutzen zeigt sich also vor allem bei Robustheit. Der Realvergleich stützt sich auf eine einzige Baseline mit 20 Versuchen je Zelle; wie viele Stunden Menschenvideo eingingen und ob Code erscheint, steht nicht im Papier. Der Decoder schaut nur einen Schritt voraus.
Für Integratoren und Maschinenbauer im Mittelstand ist genau diese Robustheit der Engpass: Licht, Werkstückträger und Hintergrund in einer Fertigungszelle stimmen nie mit den Demonstrationen überein. Eine Policy, die mit einem Sechstel der Parameter eines 7B-Modells Szenenwechsel verkraftet und aus billigen Menschenvideos lernt, senkt Daten- und Rechenkosten pro Anwendung. Anbieter wie Physical Intelligence, Figure und Agility arbeiten am selben Problem. Bestätigt sich der Ansatz an weiteren Robotern und längeren Aufgaben, dürfte die interne Vorhersage des nächsten Bildes binnen ein bis zwei Jahren in kommerzielle Steuerungen wandern.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.