Tastsinn aus Menschenvideo: Roboterhand dreht Flaschendeckel zu 71 % statt 64 %
Ein Tastmodell, das aus Ich-Perspektive-Videos von Menschen mit Sensorhandschuhen gelernt hat, steigerte die Erfolgsquote einer simulierten Roboterhand beim Aufdrehen eines Flaschendeckels von 64,1 % auf 71,0 %, nahe an den 74,1 % mit echten Tastsensoren. Das zeigt ein Preprint unter Führung der Texas A&M University.
Lässt sich ein Modell, das Handdruck aus menschlichen Ich-Perspektive-Videos ableitet, auf Roboterhände mit anderer Sensoranordnung übertragen und liefert es dort brauchbare Tastsignale für Steuerungsstrategien?
Wo eine Hand ein Objekt berührt und wie fest sie drückt, sieht die Kamera oft nicht, obwohl genau das über Rutschen oder Gelingen entscheidet. Taktile Roboterhäute sind teuer, an einen Greifer gebunden und werden selten aufgezeichnet. Menschenvideos gibt es reichlich, aber ohne Tastkanal.
Prädiktoren wie TouchAnything lernten Druckkarten aus Handschuh-Videos, wurden aber nur an Menschenhänden geprüft. TacImag und ViTacWorld schätzen Berührung allein aus Roboterdaten, VTDexManip und H-Tac koppeln die Schätzung an eine bestimmte Policy-Architektur.
Ego2Contact kombiniert Szenenmerkmale eines eingefrorenen DINOv2-Encoders über acht Bilder mit Handmerkmalen eines eingefrorenen WiLoR-Backbones und erzeugt per Flow-Matching-Diffusionstransformer je Hand ein 21x21-Druckraster mit 217 gültigen Zellen. Anatomische Zuordnungen übertragen Robotersensoren, von 17 simulierten Gliedern bis zu einem Handschuh mit 880 Taxeln, in dieses Raster. So werden Robotermessungen zu Trainingszielen und Vorhersagen zu Policy-Eingaben, getrennt von der eigentlichen Steuerung.
Auf dem Menschendatensatz EgoTouch erreichte die Kontaktüberlappung (C.IoU) bei bekannten Objekten 0,5735 gegenüber 0,5064 für TouchAnything, 13,3 % mehr nach Berechnung von MEKAWIRE, bei unbekannten Objekten 0,4812 gegenüber 0,4720; die volumetrische IoU lag dort knapp darunter (0,3417 zu 0,3457). Nach Feintuning auf 8.741 simulierten Roboterclips stieg die Raster-IoU von 0,008 auf 0,476 (TouchAnything 0,415), der Druckmittelpunktfehler sank von 0,300 auf 0,224, also um 25,3 %. In vier Aufgaben in NVIDIA Isaac Gym hob vorhergesagter Tastsinn den Erfolg beim Hebelschieben von 84,0 auf 88,8 % (Sensoren 98,2 %), beim Deckeldrehen von 64,1 auf 71,0 % (74,1 %) und bei der beidhändigen Übergabe von 29,3 auf 33,1 % (49,1 %). Das entspricht laut MEKAWIRE 69, 34 und 19 % des Sensorvorteils. Beim Abziehen einer Stiftkappe blieb es bei 1,0 % gegenüber 95,0 % mit echten Sensoren.
Die Steuerungsgewinne sind nur in der Simulation beziffert. Der reale Aufbau mit xArm6 und BrainCo-Revo-2-Hand (rund 123.000 Bilder, zwei Aufgaben mit je etwa 50 Demonstrationen) wird nur in Kamerabildern gezeigt, ohne Erfolgsquoten. Das Stiftkappen-Ergebnis zeigt, dass vorhergesagter Tastsinn dort versagen kann, wo echte Sensorik am meisten zählt. Die Zuordnung je Roboter ist handgemacht, real lief die Steuerung mit etwa 24,5 Hz statt 30 Hz, und den Datenbedarf für die Anpassung haben die Autoren noch nicht gemessen.
Für Hersteller von Greifhänden und Humanoiden, die nicht jede Einheit mit dichter Tasthaut ausstatten können, eröffnet das einen Weg zu tastbewussten Strategien aus Kameradaten, kalibriert mit einer sensorisierten Referenzhand. Für europäische Anbieter taktiler Sensorik und Greifer verschiebt sich die Rolle vom Bauteil je Roboter hin zur Datenquelle. In Forschung und Pilotzellen ist das in ein bis zwei Jahren denkbar, für die Serie fehlen noch reale Erfolgsquoten.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.