Evo-DexBench: Benchmark prüft, ob Roboterhände neue Aufgaben aus verwandten Fertigkeiten lernen
Der Benchmark gruppiert Aufgaben nach Interaktionsart und misst den Transfer bei mehrfingrigen Händen. Laut Preprint liegt die beste mittlere Erfolgsquote bei 38,5 Prozent.
Kann eine Policy für mehrfingrige Hände, die mehrere Aufgaben mit derselben Interaktion gesehen hat (Knopf drücken, Drehknopf drehen), diese Fertigkeit mit wenigen Demonstrationen auf eine verwandte neue Aufgabe übertragen?
Mehrfingrige Hände versprechen universelle Fertigkeiten, doch viele Demonstrationen pro Aufgabe sind teuer. Bestehende Benchmarks geben der Zielaufgabe entweder genug Daten zum Auswendiglernen oder teilen nach Aufgabennamen, ohne die Verwandtschaft von Quell- und Zielaufgabe zu kontrollieren. Echter Transfer lässt sich so nicht von Memorieren trennen.
LIBERO, RoboTwin 2.0 und Meta-World prüfen unbekannte Aufgaben oder Szenen, teilen aber nach Aufgabennamen; LIBERO liefert 50 Demonstrationen je Aufgabe. Hand-Benchmarks wie Bi-DexHands, DexArt, DexJoCo und DexVerse fragen nur nach dem Erfüllen vorgegebener Aufgaben, meist mit einer Szene pro Aufgabe und ohne Taktildaten.
Evo-DexBench ordnet 30 simulierte Aufgaben sechs Funktionsfamilien zu: Tasten, Drehen, Öffnen und Umsetzen, Anordnen, beidhändige Montage und Steuerung gelenkiger Objekte. Jede Familie hat vier Core-Aufgaben mit je 50 Demonstrationen und eine Gen-Zielaufgabe mit nur acht. Aufgezeichnet wurde per Handtracking der Meta Quest 3, übertragen auf einen Panda-Arm mit Shadow Hand und 123 simulierten Taxeln je Hand; insgesamt 1.248 Trajektorien im HDF5- und LeRobot-v3-Format. Bewertet wird mit 100 Episoden je Aufgabe unter Störungen von Kamera, Licht, Physik und Lage.
Über 15 Aufgaben erreichte eine konvolutionale Diffusion Policy 38,5 Prozent, pi0.5 37,9, die taktile KineDex-Policy 37,5, SmolVLA 33,9 und eine Transformer-Diffusion-Policy 22,5 Prozent. Brillenfalten kam auf höchstens 6 Prozent. Gemeinsames Training mit Core- und Gen-Daten schnitt am besten ab: Beim Spülmaschinen-Drehknopf erzielte pi0.5 46 statt 36 Prozent mit Gen-Daten allein, sequenzielles Vortraining auf Core senkte den Wert auf 8 Prozent. Funktional passende Core-Daten halfen allen drei getesteten Modellen am meisten (KineDex von 42 auf 55, DP-T von 28 auf 41 Prozent). Mit Tastsinn verbesserte sich KineDex bei sieben von zehn kontaktintensiven Aufgaben.
Alles läuft in der Simulation mit einem Shadow-Hand-Modell und simulierten Normalkraft-Taxeln; Reibung, Verschleiß und Sensorrauschen realer Hände fehlen. Nur drei der sechs Familien wurden ausgewertet, taktile Effekte je Aufgabe stehen nur in einer Grafik. Aus Sicht von MEKAWIRE sind die drei besten Policies mit 38,5, 37,9 und 37,5 Prozent bei 100 Episoden praktisch gleichauf.
Dass ein großes vortrainiertes VLA bei Fünffingerhänden keinen klaren Vorsprung bringt, betrifft alle Humanoid-Hersteller, die auf Universalmodelle plus Hand setzen. Für europäische Akteure wie die britische Shadow Robot, deren Hand hier simuliert wird, und Greifer- und Sensorspezialisten im Mittelstand stützt es Datensammlung nach Funktionsfamilien und taktile Sensorik. Als offener Benchmark im LeRobot-Format senkt er die Vergleichskosten binnen Monaten; Nutzen in der Fertigung liegt zwei Jahre oder mehr entfernt.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.