RUMI verbindet Robotiq-Geometrie mit taktiler Datenerfassung und AR
Der Preprint stellt mit RUMI ein handgeführtes Demonstrationsgerät vor, das die Mechanik des Robotiq 2F-85 mit taktiler Sensorik, AR-Anzeige und einem kontaktabhängigen Widerstand verbindet. Bei der Datenerfassung ohne Roboter sank die Zahl der Episoden mit Gelenkgrenzverletzungen durch AR samt Startposenabgleich von 16/50 auf 3/50, was für besser ausführbare Trainingsdaten spricht.
Lassen sich mit einem an einen kommerziellen Greifer angepassten Handgerät kinematisch ausführbare, taktile Demonstrationen erfassen und durch haptische Rückmeldung objektspezifische Greifkräfte vorgeben?
Bei Demonstrationen ohne Roboter fehlt die unmittelbare Rückmeldung zu Arbeitsraum und Gelenkgrenzen des Zielsystems. Dadurch entstehen Bewegungen, die der Roboter später nicht ausführen kann. Abweichende Greifermechaniken erschweren zusätzlich die Übertragung. In der Teleoperation fehlen Kontaktinformationen, um zerbrechliche und schwere Objekte mit jeweils geeigneter Kraft zu greifen.
UMI-Systeme ermöglichen portable Datenerfassung ohne dauernden Roboterzugang, setzen aber häufig auf Parallelgreifer und bieten keine laufende Prüfung der Bewegungsumsetzbarkeit. ActiveUMI nutzt bereits AR-Robotervisualisierung, UMI-FT erfasst Fingerkräfte, MagiClaw und OmniUMI bieten Haptik. RUMI führt diese Ansätze für einen vorhandenen kommerziellen Greifer zusammen.
Eine Scherenkinematik bildet die nichtlineare Fingerbewegung und die Befestigungen des Robotiq 2F-85 nach. Austauschbare Finger nehmen CoinFT oder DIGIT auf; CoinFT erfasst sechsachsige Kraft- und Momentendaten mit 200 Hz. RealSense D405 liefert Handgelenkbilder, ein Meta Quest 3 Controller die Pose. Die erweiterte IRIS-Anwendung registriert den Arbeitsraum über QR-Markierungen und zeigt mittels inverser Kinematik ein MuJoCo-Robotermodell. Bei Fernkontakt blockiert ein Servo das Gestänge; weiteres Drücken wird zum Greifkraftbefehl. ACT nutzt für CoinFT kraftkorrigierte Impedanzziele, für DIGIT taktile Bilder mit kontrastiv vortrainierten und anschließend eingefrorenen ResNet-18-Encodern. Die Autoren verlinken Code und weitere Ressourcen.
An der Studie ohne Roboter nahmen 5 Personen mit jeweils 10 Episoden je Bedingung teil, insgesamt 100 Episoden. AR samt Startposenabgleich gegenüber ohne AR: Gelenkgrenzverletzungen 3/50 gegenüber 16/50, Geschwindigkeitsverletzungen 11/50 gegenüber 29/50, mittlere Manipulierbarkeit 0,055 ± 0,022 gegenüber 0,046 ± 0,0057. Auf einem realen Franka FR3 mit Robotiq 2F-85 erreichte ACT mit Sensornutzung gegenüber der Variante ohne Sensornutzung folgende Aufgabenerfolge: Zahnradmontage 20/20 gegenüber 7/20, Whiteboard-Wischen 16/20 gegenüber 7/20, Schraubverschluss-Festziehen 9/20 gegenüber 3/20, Boxensortieren 17/20 gegenüber 9/20. Pro Aufgabe wurden rund 100 Demonstrationen erfasst und pro Variante 20 Tests durchgeführt. Das Verpackungsexperiment in MuJoCo nutzte rund 100 Demonstrationen sowie 100 Durchläufe je Objekt und Feedbackbedingung bei Kraftverstärkung 1,5. Mit Haptik lagen die Erfolgsraten für Glühlampe und Transformatorblock bei 94 % und 97 %. Die mittleren Demonstrationskräfte betrugen 5,66 N und 22,82 N, die Kräfte der Policy-Durchläufe 5,42 N und 19,86 N. Ohne Haptik lagen die Demonstrationskräfte bei 18,46 N und 15,83 N; sämtliche Glühlampen-Durchläufe überschritten die simulierte Bruchschwelle von 10 N.
Die Autoren nennen die ausschließliche Handgelenkperspektive und fehlende Rückmeldung externer Kräfte als Grenzen. Der Blockiermechanismus signalisiert Kontakt, bildet aber keine beliebigen externen sechsachsigen Belastungen ab. Unruhe in den Demonstrationen führte beim Festziehen zu instabilem Kontakt und Abrutschen. Die Evaluation umfasst eine Roboterplattform, 5 Studienteilnehmer und 20 reale Versuche je Policy-Variante. Der quantitative Nachweis haptischer Kraftsteuerung stammt aus der Simulation. Reale Teleoperation wird beschrieben, eine gleichwertige Leistung jedoch nicht belegt. Da AR-Anzeige und Startposenabgleich gemeinsam eingeführt wurden, bleiben ihre Einzelbeiträge offen.
Automatisierungsintegratoren, Greiferanbieter und Dienstleister für Robotik-Trainingsdaten können die veröffentlichten Ressourcen bereits jetzt für Forschungspiloten nutzen, besonders in Anlagen mit Robotiq 2F-85. Eine industrielle Integration in 1 bis 3 Jahren erscheint als Anwendungsszenario plausibel, sofern breitere reale Versuche reproduzierbare Kraftsteuerung, stabile Kontaktdemonstrationen und zuverlässige Arbeitsraumregistrierung bestätigen. Diese Zeitangabe ist eine Brancheneinschätzung. Ein kommerzieller Einsatzplan: Im Paper nicht berichtet.
Vollständige Studie
Veröffentlicht unter CC BY 4.0. Die vollständige Studie ist mit Namensnennung auf Englisch wiedergegeben: Volltext (Englisch). Original unter arXiv:2611.15802 (PDF).