VISTA: Equivariante visuotaktile Diffusion Policy für kontaktintensive Manipulation
Das Paper stellt VISTA vor, eine äquivariante visuotaktile Diffusionspolitik auf Arbeitsraumebene. Sie projiziert visuelle und taktile RGB-Beobachtungen in sphärische Tokens, fusioniert taktile Hinweise richtungsabhängig in die visuellen Richtungen und dreht die Repräsentation mit der Endeffektor-Orientierung in den Arbeitsraum. In Simulation erreicht VISTA mit 50 Demonstrationen pro Aufgabe eine mittlere Erfolgsrate von 80,9 % und liegt damit 15,9 Prozentpunkte über EquiDiff+Tac; auf drei realen Roboteraufgaben sind es 7,33 von 10 erfolgreichen Versuchen gegenüber 1,33 von 10. Das Preprint zeigt, dass die Verknüpfung von taktiler Sphärenfusion und Äquivarianz auf Arbeitsraumebene die Datenefizienz für kontaktintensive Manipulation deutlich erhöht.
Kann eine äquivariante visuotaktile Diffusionspolitik, die visuelle und taktile Beobachtungen vor der Aktionsvorhersage auf einer gemeinsamen sphärischen Repräsentation fusioniert, kontaktintensive Manipulationsaufgaben mit deutlich weniger Expertendemonstrationen robuster lernen als bisherige visuotaktile Imitationslernverfahren?
Kontaktintensive Aufgaben wie Stecken oder Flächenkontakt benötigen taktiles Feedback, aber Expertendemonstrationen sind teuer und decken oft nur begrenzte Objekt- und Greiferposen ab. Bestehende äquivariante Manipulationspolitiken sind überwiegend auf RGB- oder Punktwolkenbeobachtungen ausgelegt und ignorieren lokale taktile Rückmeldung; visuotaktile Verfahren kodieren Berührung meist als generische Merkmale ohne explizite Workspace-Symmetrie. Dadurch scheitern sie unter wenigen Demonstrationen bei kleinen räumlichen Abweichungen, etwa bei engen Steckverbindungen.
Bisherige Ansätze umfassen nicht-äquivariante visuotaktile Diffusionspolitiken wie ManiFeel sowie ACT-basierte Verfahren wie VITAL und UniVTAC, die visuelle und taktile Encoder ohne explizite Workspace-Äquivarianz fusionieren. EquiDiff+Tac verwendet einen C8-äquivarianten visuellen Encoder und behandelt taktile Merkmale als triviale C8-Repräsentationen, hebt die Tastdaten aber nicht auf eine Sphäre und fusioniert sie nicht richtungsabhängig vor der harmonischen Projektion. EquiTac modelliert lediglich eine lokale SO(2)-Symmetrie am Finger für In-Hand-Rotationen, während geometrische Kontaktpolitiken Workspace-Symmetrie über Regelungstheorie erreichen, nicht über eine Ende-zu-Ende-Diffusionspolitik.
VISTA projiziert egovisuelle und taktile RGB-Beobachtungen in sphärische Tokens, nutzt eine permutationsäquivariante Cross-Attention, bei der jede visuelle Richtung taktile Tokens abfragt und einen residualen Fusionsblock durchläuft. Die fusionierten Tokens werden in Kugelflächenfunktionen bis Grad l_max projiziert, mit der Endeffektor-Orientierung über Wigner-D-Matrizen in den Arbeitsraum gedreht und mit propriozeptiven Merkmalen kombiniert. Diese Repräsentation konditioniert eine äquivariante Diffusionspolitik, die Aktions-Chunks aus Translation, 6D-Rotationsachsen und Greiferbefehl denoised; als endliche Gruppen kommen I60 für volle 3D-Rotationen und C8 für gierdominante Aufgaben zum Einsatz. Die Sensoren sind starr am Endeffektor montiert.
In Simulation (acht Aufgaben, 50 Demonstrationen pro Aufgabe, 40 Rollouts je Methode) erreicht VISTA 80,9 % mittlere Erfolgsrate, verglichen mit 48,8 % für ManiFeel, 43,8 % für VITAL, 21,3 % für UniVTAC und 65,0 % für EquiDiff+Tac. Mit 100 Demonstrationen steigt VISTA auf 84,7 %, während EquiDiff+Tac mit 100 Demonstrationen 75,6 % erreicht. Die Ablationen zeigen: ISP ohne Taktil erreicht 68,1 %, VISTA-global-l0 69,4 %, Early Fusion 72,8 %, ISP+Concat-Tac 74,1 % und VISTA 80,9 %. Auf drei realen Roboteraufgaben erzielt VISTA 7,33 von 10 erfolgreichen Versuchen gegenüber 1,33 von 10 für EquiDiff+Tac; im Einzelnen sind es Erase 9/10 vs 1/10, Insert USB 5/10 vs 3/10, Insert Pencil 8/10 vs 0/10.
Die Äquivarianz gilt exakt nur für die gewählte endliche Gruppe und nicht für beliebige In-Hand-Rotationen; die Annahme starrer Sensoren und gemeinsamer Roboter-Objekt-Sensor-Rotationen kann durch Hintergrund-, Beleuchtungs- oder Schwerkraftänderungen, Schlupf im Greifer, Kalibrierfehler, externe Kameras oder veränderliche Extrinsiken verletzt werden. Obwohl die Modellinferenz unter 100 ms liegt, werden neue taktile Beobachtungen nur alle 0,6 bis 0,8 s in die Entscheidung einbezogen, da die Politik sechs Steck- oder acht Wischaktionen bei 10 Hz ausführt, bevor neu geplant wird; schnelle transiente Schlupf- oder Kontaktänderungen können verpasst werden. Die reale Evaluation umfasst nur drei Aufgaben mit je zehn Versuchen und einen einzigen Roboteraufbau. Ob Code oder Datensätze veröffentlicht werden, ist im Paper nicht berichtet.
Unternehmen aus der Robotik-Montage, Elektronikfertigung und Logistik, die Endeffektoren mit taktilen Sensoren einsetzen, könnten VISTA nutzen, um Steck-, Einführ- und Flächenkontaktaufgaben mit weniger Demonstrationen zu trainieren. Kurzfristig (1 bis 3 Jahre) ist ein Einsatz in festen Montagezellen mit starr montierten Sensoren vorstellbar, sofern die passende endliche Symmetriegruppe pro Aufgabe bestimmt und die Replanning-Latenz für schnellere taktile Rückmeldung reduziert wird. Für breite, variable Umgebungen mit externen Kameras, wechselnden Extrinsiken oder schnellen Kontaktregelkreisen sind mehr als 3 Jahre zu erwarten, da weitere Validierung zur Robustheit und Kalibrierungstoleranz fehlt.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.