GPT-6 Astra steuert Roboter über Tastbilder ohne Tasttraining: 93,8% bei UniVTAC
GPT-6 Astra erreichte mit Tastbildern in simulierten Kontaktaufgaben 93,8% auf UniVTAC und 81,8% auf OpenViTac, 22,9 und 13,1 Punkte über den besten veröffentlichten Spezialpolicies. Das Preprint stammt von der Tsinghua-Universität und Alibabas Amap.
Kann ein allgemeines multimodales Modell, das nie mit Tastdaten trainiert wurde, Bilder visueller Tastsensoren lesen und damit kontaktreiche Roboteraufgaben steuern, und schlägt es dabei spezialisierte Tastpolicies?
Fügen, sicheres Greifen und das Erkennen von Härte oder Gewicht hängen an Kontaktinformation, die eine Szenenkamera oft nicht zeigt. Bislang galt, dass dafür Spezialpolicies mit gepaarten Bild- und Tastdaten nötig sind.
Tastpolicies wie SimpleTouch, OpenVTLA und FTP-1 lernen gemeinsame Bild- und Tastrepräsentationen, generalistische VLA-Modelle werden auf Roboterdaten trainiert. Frühere Arbeiten zeigten, dass GPT-6 Astra per In-Context-Learning Roboter allein aus Kamerabildern steuern kann.
Die Autoren geben die linken und rechten Tastbilder im GelSight-Stil über den vorhandenen Bildeingang ins Modell, zusammen mit fester Kamera, Handgelenkkamera, Aufgabentext und Gelenkzuständen. Einige Demonstrationsabschnitte mit Aktionen und den Beobachtungen davor und danach bleiben in jedem Schritt im Kontext; das Modell gibt im geschlossenen Regelkreis siebendimensionale Arm- und Greiferbefehle aus. Szenen und Demonstrationen sind mit und ohne Tastbild identisch.
Auf 19 simulierten Aufgaben (8 UniVTAC, 11 OpenViTac; 210 Szenen je Einstellung, 10%-Schichtstichprobe) kam Astra mit Tastsinn auf 93,8% und 81,8%, gegenüber 70,9% für SimpleTouch und 68,7% für OpenVTLA, die stärksten Vergleichswerte (Abstand 22,9 und 13,1 Punkte). Nur mit Kamera waren es bereits 76,3% und 80,6%. FTP-1 lag 30,9 und 20,6 Punkte zurück. Mit Tastsinn erreichte Astra bei 13 von 19 Aufgaben mindestens 90% und bei neun 100%. Beide Läufe verbrauchten 335,97 Mio. Token und 7.505,05 Yuan API-Kosten; der Tastmodus brauchte rund 59% mehr Token und 42% mehr Geld. Die mittlere Antwortzeit lag bei 15,4 s (Bild) und 14,0 s (Bild und Tastsinn).
Alles lief in der Simulation; Sensorrauschen, Kalibrierdrift und echte Kontaktdynamik sind ungeprüft. Meist gab es nur zehn Episoden je Einstellung, ein Ergebnis verschiebt eine Aufgabenquote also um zehn Punkte, und die Vergleichswerte sind veröffentlichte Zahlen, keine Neuläufe auf denselben Szenen. Schwächen zeigen sich bei Tangentialkräften, Feinkorrekturen und nicht konvergierendem Abtasten. Nach MEKAWIRE-Rechnung kostete eine Episode im Schnitt rund 17,9 Yuan; 14 bis 15 Sekunden Antwortzeit sind für Echtzeitregelung in der Fertigung viel zu langsam.
Bestätigt sich das auf echter Hardware, erhalten Tastsensorhersteller einen Marktzugang über allgemeine Modelle statt Training je Aufgabe, und Integratoren könnten Füge- oder Handhabungszellen für empfindliche Teile mit wenigen Demonstrationen prototypisch aufbauen. Für den europäischen Maschinenbau ist der kurzfristige Nutzen eher Planung und Überwachung über einer schnellen unterlagerten Regelung, auf Sicht von zwei bis vier Jahren.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.