DexStitch: Geschickte Handfertigkeiten aus Menschenvideos lernen und verketten, mit kontaktbewusstem Robot-Inpainting
Ein Preprint der Seoul National University, des Robotics Lab von Hyundai Motor und des DGIST erreicht mit einer Roboterhand 77,5 Prozent Erfolg bei Abfolgen aus vier Haushaltsfertigkeiten, während die mit denselben Daten trainierte Vergleichsmethode UniSkill auf 0 Prozent kommt. Der Kniff: Die Bewegung zwischen zwei Fertigkeiten wird als eigene Fertigkeit gelernt, aus rund 240 Menschenvideos und nur 32 kurzen Teleoperationsläufen.
Können günstige Menschenvideos sowohl die Bewegungen als auch die Fertigkeitsstruktur liefern, die eine Roboterhand braucht, um mehrere Handhabungsschritte in vorgegebener Reihenfolge samt Übergängen auszuführen?
Lange Aufgaben wie das Aufräumen eines Tisches bestehen aus Fertigkeiten und Übergängen. Jede Fertigkeit beginnt dort, wo die vorige endete, oft in einem Zustand, den sie im Training nie gesehen hat. Jede Reihenfolge per Teleoperation abzudecken ist teuer. Menschenvideos sind leicht aufzunehmen, enthalten aber weder Roboteraktionen noch Fertigkeitslabels und zeigen eine Menschenhand statt einer Roboterhand.
Latente Verfahren wie XSkill und UniSkill lernen einen gemeinsamen Fertigkeitsraum für Mensch und Roboter und imitieren ein Vorführvideo, doch die Policy weiß nicht, was als Nächstes kommt, und Übergänge bleiben implizit. Inpainting-Verfahren wie Phantom, Masquerade und EgoEngine malen den Roboter über den Menschen, behandeln aber jede Vorführung als eine einzige Trajektorie ohne Fertigkeitsgrenzen und benötigen teils Tiefenkameras, Objektmodelle oder einen Physiksimulator, um verdeckte Finger korrekt darzustellen.
Ein Klassifikator auf einem eingefrorenen V-JEPA-2-Videoencoder mit nur 296.000 trainierbaren Parametern zerlegt die Videos in Fertigkeiten; der Übergang ist ein gewöhnliches Label. Aus dem RGB-Video schätzt das System den Kontakt jedes Fingers, zieht die Fingerspitzen der Roboterhand auf die berührten Stellen, entfernt den menschlichen Arm und setzt den gerenderten Roboter so ein, dass das Objekt die dahinter gekrümmten Finger verdeckt. Eine einzige Diffusion Policy, bedingt auf aktuelle und nächste Fertigkeit, wird auf diesen synthetischen Daten vortrainiert, mit einem Mix aus 90 Prozent Teleoperationsdaten feinjustiert und sagt ihren eigenen Fortschritt voraus, um den Wechsel auszulösen.
Auf einem RB5-850E-Arm von Rainbow Robotics mit xHand-Roboterhand erzielte DexStitch im Mittel 80,0 Prozent bei Einzelfertigkeiten (je fünf Versuche) gegenüber 45,0 Prozent für UniSkill und 77,5 Prozent über zehn Viererabfolgen gegenüber 0,0 Prozent. Auf 24 zurückgehaltenen Sitzungen (18.792 Frames) stimmte der Klassifikator in 92,4 Prozent der Frames mit manuellen Labels überein, gegenüber 65,8 Prozent für Qwen2.5-VL-7B und 57,8 Prozent für InternVL3-8B ohne Training; er fand 242 Segmente bei 241 tatsächlichen. Ohne Menschendaten fiel der Abfolgeerfolg auf 35,0 Prozent, ohne Teleoperationsdaten auf 5,0, ohne Übergangslabel auf 10,0 und ohne Bedingung auf die nächste Fertigkeit auf 7,5 Prozent; reine Teleoperation beim Feintuning ergab 50,0 Prozent.
Es handelt sich um einen Preprint mit wenigen Versuchen: fünf je Einzelfertigkeit und zehn Abfolgen, ein einzelner Lauf verschiebt eine Einzelquote um 20 Punkte. Getestet wurde nur eine feste Reihenfolge, die Übertragung auf ungesehene Abfolgen ist offen. Die Verdeckungsregel setzt einen Umfassungsgriff mit Daumen vorn voraus und schließt Pinzetten- und Draufgriffe aus. Die Tassenaufgabe wird einmal als Übergeben, einmal als Aufhängen beschrieben, und die Zuordnung der Autoren zu den drei Institutionen fehlt.
Für Hersteller von Humanoiden und Roboterhänden ist Vorführzeit am Roboter der teuerste Rohstoff; hier trägt Menschenvideo den Großteil der Überwachung, der Roboter braucht nur rund acht Teleoperationsläufe je Fertigkeit. Für europäische Anbieter von Greifern und Cobots, die Montage- und Logistikkunden schnelle Umrüstung versprechen, zeigt die Arbeit, wohin die Datenkosten gehen könnten. Mit Pilotanwendungen ist in ein bis zwei Jahren zu rechnen; der Serieneinsatz setzt mehr Griffarten und Tests mit neuen Reihenfolgen voraus.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.