ForceBench: Ein Benchmark dafür, wie Roboter-KI Kraftsensorik nutzen sollte
Forschende der Peking-Universität haben einen gemeinsamen Prüfstand für die Frage gebaut, wie ein Robotermodell die Werte eines Handgelenk-Kraftsensors verarbeiten soll. Am beständigsten wirkte die einfachste Variante, den Kraftwert als Zahl in den Text-Prompt zu schreiben: Am realen Arm stieg die mittlere Erfolgsquote von 40 auf 63 Prozent, während aufwendigere Zeitreihen-Designs bei Montageaufgaben schadeten.
Wie sollten sechsachsige Kraft- und Momentmessungen am Handgelenk in eine VLA-Policy eingespeist werden, und hängt der Nutzen davon ab, ob es um das Erkennen von Objekteigenschaften, das Arbeiten gegen Widerstand oder kontaktreiche Montage geht?
Kraftsensitive Policies wurden auf unterschiedlichen Aufgaben, Demonstrationen und Reglern entwickelt, ihre Ergebnisse sind nicht vergleichbar. Eine einzige mittlere Erfolgsquote verdeckt zudem, dass Kraftinformation einer Aufgabe nützen und einer anderen schaden kann.
Frühere Systeme fusionierten Kraft-Tokens mit Bild- und Sprachmerkmalen, kodierten hochfrequente Kraftverläufe, steuerten die Kraftnutzung über Kontaktvorhersage oder destillierten Kraftwissen in ein Bildmodell, um den Sensor im Einsatz wegzulassen; bewertet wurde jeweils auf eigenen Aufbauten.
ForceBench ist ein Simulationsbenchmark mit acht Aufgaben in drei Kategorien (Eigenschaften wie Masse erschließen, Interaktion gegen Widerstand, kontaktreiche Montage), randomisierter Masse, Schwerpunktlage und Widerstand sowie 1.600 synchronisierten Demonstrationen bei 15 Hz Regelung und 60 Hz Physik. Auf einem gemeinsamen pi-0.5-Backbone vergleichen die Autoren eine Baseline ohne Kraft mit sechs Designs: kontinuierliche Kraft-Tokens, Kraft als Zahlen im Prompt, Cross-Attention nahe dem Ausgang, Token-Fusion mit zusätzlicher Vorhersage künftiger Kräfte und zwei zeitliche Varianten; ForceVLA dient als externe Referenz.
In der Simulation erreichte die Prompt-Fusion mit 35,31 Prozent die höchste mittlere Erfolgsquote gegenüber 23,25 Prozent ohne Kraft und verbesserte alle drei Kategorien. Vorhersage- und Zeitreihen-Designs halfen vor allem bei Eigenschaftsaufgaben, beide zeitlichen Varianten lagen bei der Montage unter der Baseline. Auf einem Franka Research 3 mit Sechsachsen-Sensor wurden acht Systeme an fünf Aufgaben mit 200 Demonstrationen je Aufgabe in 800 Versuchen getestet: Prompt-Fusion und Dual-Path-Fusion erreichten gleichauf 63,0 Prozent gegenüber 40,0 Prozent, nur die Prompt-Fusion übertraf die Baseline bei jeder Aufgabe.
Es handelt sich um ein Preprint. Die absoluten Erfolgsquoten in der Simulation bleiben niedrig (bestenfalls rund 35 Prozent). Die Eingabedesigns unterscheiden sich in mehreren Punkten gleichzeitig, die zeitlichen Systeme sind laut Autoren Referenzen und keine kontrollierte Ablation. Die Realversuche umfassen einen Armtyp und fünf Aufgaben, getestet wird nur der Handgelenk-Kraftsensor, keine taktilen Fingerspitzen.
Hersteller von Kraft-Momenten-Sensoren und Integratoren für Montage, Fügen und Kommissionierung erhalten einen gemeinsamen Maßstab. VLA-Entwickler wie Physical Intelligence bekommen Belege, dass die günstige Prompt-Variante ein sinnvoller Standard ist, bevor eigene Kraft-Encoder gebaut werden. Als Referenzbenchmark dürfte ForceBench innerhalb eines Jahres genutzt werden; die Lücke zwischen Simulation und Realität spricht dafür, Kraftsensorik-Versprechen stets mit Realtests zu belegen.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.