HumanoidToolBench: Benchmark für menschenähnliche Werkzeugnutzung von Auswahl bis mobiler Ausführung
Der Preprint stellt HumanoidToolBench vor, einen Benchmark mit 18 Aufgaben, der Werkzeugauswahl, stationäre Nutzung und mobile Ausführung auf einem humanoiden Roboter prüft. Dazu gehört ToolBook, ein Datensatz mit 3.094 Teleoperations-Demonstrationen, davon 3.003 in Simulation und 91 auf einem realen Unitree G1. Erste Evaluierungen von sieben Policies in Simulation und drei auf dem realen Roboter zeigen deutliche Lücken zwischen der Auswahl eines geeigneten Werkzeugs und dem erfolgreichen Abschluss der Aufgabe.
Wie zuverlässig wählen und nutzen humanoide Roboter geeignete Werkzeuge, und wie reagieren diese Verhaltensweisen auf veränderte Werkzeugalternativen und Aufgabenanweisungen?
Bestehende Benchmarks prüfen Werkzeugnutzung nur ausschnittsweise: HumanoidBench enthält zwar einzelne Werkzeugaufgaben, aber keine Auswahl zwischen funktional unterschiedlichen Werkzeugen; PhysToolBench beschränkt sich auf visuelle Frage-Antwort-Aufgaben, DexCraft und RoboWits auf stationäre Arme. Eine gemeinsame Bewertung von funktionaler Werkzeugselektion und Aufgabenausführung auf einem Humanoiden fehlt.
Zu den bisherigen Ansätzen zählen HumanoidBench, SIMPLE und WOLF-VLA für humanoide Roboter sowie PhysToolBench, DexCraft und RoboWits für Werkzeugnutzung. HumanoidBench deckt nur Löffel- und Fensterwischaufgaben ab und bewertet keine Auswahl zwischen Werkzeugen; SIMPLE variiert die Entscheidungssituation nicht; WOLF-VLA veröffentlicht keine menschlichen Demonstrationen; PhysToolBench führt keine physische Aktion aus; DexCraft stellt das Werkzeug bereit und erfordert keine Auswahl; RoboWits nutzt einen zweiarmigen Roboter und teilt Aufgaben nicht in progressive Level.
HumanoidToolBench strukturiert 18 Aufgaben nach drei Szenarien (BallMove für räumliche Reichweite, BallRetrieve für Formaffordanz, IceBreak für physikalische Materialeigenschaften), drei Ausführungsleveln (L0 Auswahl und Aufnahme, L1 stationäre Nutzung, L2 mobile Nutzung) und zwei Werkzeugsatz-Modi (Standard ohne, Decoy mit einem funktional ungeeigneten Kandidaten). Die Simulation läuft in MuJoCo mit einem Unitree G1 (29 Körpergelenke, zwei Dex3-Hände, Kopfkamera) und einem von GR00T-WholeBodyControl adaptierten Regelungsstack. Teleoperatoren sammelten über Meta Quest Demonstrationen in Simulation und auf dem realen G1; Policies werden in Simulation auf simulierten Daten trainiert und für reale Tests zusätzlich mit echten Demonstrationen feinabgestimmt.
Der Benchmark umfasst 18 Aufgaben, 55 Werkzeug-Assets und 3.094 Demonstrations-Trajektorien (3.003 in Simulation, 91 auf dem realen Unitree G1). Sieben Policies wurden in Simulation und drei auf dem realen Roboter evaluiert. Die Autoren berichten von erheblichen Lücken zwischen der Auswahl eines passenden Werkzeugs und der erfolgreichen Aufgabenausführung; fokussierte GR00T-N1.7-Sonden zeigen eine verringerte Auswahlgenauigkeit bei ungesehenen Werkzeugen und die fortgesetzte Aufgabenausführung bei sachfremden Anweisungen. Konkrete Erfolgsquoten pro Policy sind im Paper in Tabellen enthalten.
Die reale Evaluation umfasst nur L1-Aufgaben in BallMove und BallRetrieve; IceBreak und L2 wurden ausschließlich in Simulation getestet. Es kommt nur der Unitree G1 zum Einsatz, und der reale Datensatz enthält 91 Trajektorien. Die Demonstrationen wurden von acht Teleoperatoren gesammelt. Das Paper berichtet keine Angaben zu statistischen Wiederholungen über mehrere Roboterinstanzen oder Umgebungen.
Unternehmen, die humanoide Roboter für Haushalt, Pflege oder Logistik entwickeln (etwa Unitree, Figure, Tesla oder Anbieter von Vision-Language-Action-Modellen wie NVIDIA und Physical Intelligence), können HumanoidToolBench kurzfristig zur Evaluierung von Werkzeugfähigkeiten in Simulation einsetzen. Für reale Anwendungen sind mehr reale Demonstrationsdaten, robustere mobile Manipulation und Sicherheitsmechanismen nötig; ein produktiver Einsatz ist in Simulation innerhalb von 1 bis 3 Jahren denkbar, breite reale Nutzung erst in mehr als 3 Jahren.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.