Tactile-ETA: Tastdaten im Prompt heben GPT-6-Roboteragent von 15,75 % auf 24,00 % Erfolg (Shanghai Innovation Institute)
Ergänzt man zwei Expertendemonstrationen im Kontext eines eingefrorenen GPT-6-Roboteragenten um Tastdaten, steigt dessen mittlere Erfolgsquote bei vier simulierten Feinmanipulationsaufgaben ohne jedes Training von 15,75 % auf 24,00 %, berichtet ein Preprint des Shanghai Innovation Institute. Am realen Arm mit taktilem Greifer brachte eine einzige Demonstration mit Tastdaten Tafelwischen und Kartoffelchip-Greifen von 0 auf 3 von 5 Versuchen.
Kann ein allgemeiner verkörperter Aufgabenagent den Tastsinn nutzen, wenn dieser als Erfahrung im Kontext statt per Training geliefert wird?
Sprachmodellbasierte Roboteragenten wählen Aktionen aus Kamerabildern und Werkzeugaufrufen. Kontaktreiche Aufgaben wie das Einstecken eines Röhrchens hängen an Kraftverläufen, die Kameras nicht sehen, und ein Nachtraining pro Aufgabe ist teuer.
Taktile Manipulation stützte sich meist auf Policies, die mit Tastdaten trainiert oder feinjustiert wurden. In-Context-Lernen mit Demonstrationen im Prompt nutzte bisher Bild und Bewegung, nicht den Tastsinn.
Tactile-ETA verknüpft jede aufgezeichnete Roboterbewegung einer Demonstration mit Kamerabildern und Tastbildern beider Greiferfinger. Behalten werden Tastbilder zu Beginn und Ende jeder Bewegung, zwei Zwischenbilder nur bei starker Änderung. Der Agent liest diese kompakten Demonstrationen zusammen mit aktuellem Bild, Tastsinn und Gelenkzustand und handelt über allgemeine Roboterwerkzeuge. Die Gewichte bleiben unverändert.
In vier UniVTAC-Simulationsaufgaben mit je 100 Versuchen erreichten dieselben zwei Demonstrationen 15,75 % ohne und 24,00 % mit Tastdaten; ohne Demonstration lagen die Werte bei 3,00 % (Bild) und 6,25 % (Bild und Tastsinn). Die selektive Bildauswahl kam in einem Test auf 36 % gegenüber 27 % nur mit Endpunkten und 2 % mit allen Bildern. Der Tastsinn hob Pull Out Key von 26 auf 48 %, senkte aber Lift Bottle. Verschiedene Agentenmodelle schnitten bei gleichem Aufbau sehr unterschiedlich ab. Auf einem reBot Arm B601-RS mit taktilem vitai-GF225-Greifer und Orbbec-Handgelenkkamera schaffte der Agent ohne Demonstration 0 von 5 Versuchen je Aufgabe, Tactile-ETA 3 von 5.
Es ist ein Preprint. Die absolute Erfolgsquote bleibt niedrig, die Realtests umfassen fünf Versuche je Einstellung. Der Tastsinn half bei manchen Aufgaben und schadete bei anderen. Laut Autoren begrenzten API-Zugang und Kosten die Modellauswahl, und Tastdaten steuern bisher nur Entscheidungen zwischen Bewegungsabschnitten, keine schnelle Kraftregelung. Die Ergebnisse hängen an einem kommerziellen Modell, dessen Verhalten sich ändern kann.
Für Hersteller taktiler Greifer und Sensoren, auch im deutschen Greifer- und Komponentenmarkt, zeigt die Arbeit einen Softwareweg, auf dem Tastdaten großen Roboteragenten ohne aufgabenspezifische Datensammlung nützen. Produktionsreif ist das bei 24 % Erfolg nicht. Ein Thema für einen Horizont von ein bis drei Jahren.
Vollständige Studie
Veröffentlicht unter CC BY 4.0. Die vollständige Studie ist mit Namensnennung auf Englisch wiedergegeben: Volltext (Englisch). Original unter arXiv:2610.27613 (PDF).