Anpassung von Vision-Language-Action-Modellen mit einem einzigen menschlichen Video

Kann eine vortrainierte Vision-Language-Action-Policy eine nie trainierte Manipulationsaufgabe aus einem einzigen Video eines Menschen übernehmen, ohne Roboter-Demonstrationen oder zusätzliches Training für diese Aufgabe?

VLA-Modelle wie pi0.5 beherrschen viele trainierte Aufgaben, scheitern aber außerhalb dieses Spektrums. Eine neue Aufgabe erfordert üblicherweise Roboter-Demonstrationen und Feintuning, was bei jeder zusätzlichen Kundenaufgabe Bedienerzeit und Rechenleistung kostet. Ein Video eines Menschen ist viel billiger, aber lang, redundant, aus anderer Perspektive aufgenommen und von einem Körper mit anderen Armen und Händen ausgeführt; die Bewegungen lassen sich nicht direkt kopieren.

Frühere Arbeiten nutzten menschliche Videos zum Vortraining von Repräsentationen, zur Extraktion von Trajektorien oder Handposen für das Retargeting oder verlangten passende Roboterdaten für jede neue Aufgabe. Die naheliegende Abkürzung, Video-Tokens direkt in den Kontext der Policy zu geben, testet das Papier als Baseline Direct Video Prefix.

CapPro besteht aus zwei Teilen. Ein phasenbewusstes Videomodul entnimmt acht Bilder, behält je Bild 32 gelernte visuelle Tokens (ein Selektor namens GridS) und trainiert vier Query-Tokens darauf, für jede Phase der Aufgabe eine Beschreibung vorherzusagen; so konzentriert sich die Repräsentation darauf, was in jeder Phase geschieht. Ein videokonditioniertes Anpassungsmodul speist die kompakten Video-Tokens und die gewichteten Query-Tokens in den Aktionskontext von pi0.5 ein. Das Video sagt der Policy, was in welcher Reihenfolge zu tun ist; wie sich die Arme bewegen, entscheidet weiter ihr Aktions-Experte. Trainiert wurde mit LoRA auf dem 2-Milliarden-Parameter-Backbone und dem 300-Millionen-Parameter-Aktionsmodul von pi0.5, mit 50 sauberen und 500 randomisierten Robotertrajektorien für jede der 13 Ausgangsaufgaben.

Auf RoboTwin, gemittelt über saubere und randomisierte Einstellungen mit je 100 Durchläufen, erreichte CapPro über alle 39 Aufgaben 42,6 Prozent gegenüber 28,4 Prozent für ein mit gleichen Daten und gleichem Budget trainiertes pi0.5. Die Ausgangsaufgaben stiegen von 64,4 auf 68,9 Prozent. Bei unbekannten Aufgaben stiegen nahe Varianten von 34,5 auf 44,8, Aufgaben mit neuen Objekten oder Nutzungsweisen von 2,5 auf 29,0 und zusammengesetzte Aufgaben von 4,0 auf 20,7 Prozent. Das Papier nennt 29,5 Prozent im Mittel der 26 unbekannten Aufgaben; für pi0.5 ergibt die nach Aufgabenzahl gewichtete MEKAWIRE-Rechnung 10,5 Prozent. Direct Video Prefix fiel auf 19,1 Prozent gesamt und 43,5 Prozent bei den Ausgangsaufgaben, also unter die Baseline. Ohne phasenweise Beschreibungen stiegen die Ausgangsaufgaben auf 76,5 Prozent, der Mittelwert unbekannter Aufgaben sank aber auf 12,7 Prozent: Die Beschreibungen machen das Video übertragbar.

Es handelt sich um einen Preprint, und Version 1 ist unvollständig. Die Tabelle zum realen Roboter führt sieben Aufgaben mit je fünf Versuchen nur in einer Spalte (darunter 0 von 5 beim Hosenfalten und beim Sortieren von Werkstücken); ein lesbarer Vergleich von CapPro und pi0.5 auf Hardware fehlt, und der verwendete Roboter wird in den gelesenen Abschnitten nicht beschrieben. Fünf der sieben Ablationszeilen sind leer. Alle Kernzahlen stammen aus der Simulation. Selbst mit Video bleiben die schwierigsten Gruppen bei 20,7 bis 29,0 Prozent, weit entfernt vom Einsatz, wie die Autoren einräumen. Die Demonstrationen sind eigens aufgenommene Ego-Videos, keine beliebigen Webclips.