SARI: Phasensplittendes Sim-Real-Co-Training für kontaktintensive Manipulation
SARI ist ein als Preprint veröffentlichter Ansatz, der kontaktintensive Manipulationsaufgaben in eine Annäherungs- und eine Kontaktphase zerlegt: Simulation liefert raumdeckende Annäherungsbahnen, reale Teleoperation nur wenige Kontaktinteraktionen. Auf fünf realen Aufgaben mit einem Franka-Roboter erreicht SARI bei ungesehenen Objektplatzierungen auf der Lamp-Aufgabe 27,5 % Erfolg, während alle Volltask-Baselines 0 % erreichen, und reduziert die reale Datenerfassungszeit um 34,3 %.
Kann eine einzige Politik simulierte freie Annäherungsphasen mit realen Kontaktinteraktionen so kombinieren, dass sie ohne reale Kontaktdemonstrationen an neuen Objektplatzierungen generalisiert und gleichzeitig weniger reale Daten benötigt?
Das Anpassen von Vision-Language-Action-Modellen an neue kontaktintensive Aufgaben erfordert bislang viele reale Demonstrationen, weil Politiken auf gesehene Objektpositionen überanpassen und synthetische Kontaktdaten wegen unmodellierter Reibung, Nachgiebigkeit und visueller Sim-to-Real-Lücken unzuverlässig sind. Volltask-Sim-Real-Co-Training verschwendet zudem teure reale Daten für freie Anfahrten und verwässert die räumliche Abdeckung der Simulation.
Bisherige Ansätze erzeugen synthetische Volltask-Demonstrationen aus rekonstruierten Szenen oder digitalen Zwillingen, etwa MimicGen, DemoGen oder Real2Render2Real, oder trainieren Politiken gemeinsam auf vollständigen simulierten und realen Trajektorien. Diese Verfahren setzen voraus, dass Simulation auch in der Kontaktphase zuverlässig ist, oder vermischen räumlich enge Realdaten mit breiter Simulationsabdeckung, sodass die Politik die räumliche Generalisierung verliert.
SARI teilt die Aufgabe in eine freie Annäherungsphase und eine Kontaktinteraktionsphase. Ein Gaussian-Splatting-Digitaltwin liefert simulierte Annäherungsbahnen für alle sechs Platzierungen; reale Kontaktsegmente werden nur an zwei Platzierungen (P1 und P3) teleoperiert, beginnend an einer übertragenen Pre-Contact-Pose. Die visuelle Lücke wird durch Kugelflächenfunktionen dritter Ordnung und photometrische Farbkalibrierung pro Kamera verringert. Aktionen werden als kamera-relative Translation und Rotation im Handgelenk-Kamerabezug repräsentiert, sodass simulierte und reale Segmente in einem gemeinsamen Aktionsraum liegen. Ein vortrainiertes π0.5-Modell wird zuerst 100.000 Schritte auf DROID-Daten mit dieser Aktionsdarstellung mittrainiert und danach 10.000 Updates auf den phasensplittenden Daten ohne Phasenlabels, Schalter oder Zusatzverluste per Behavior Cloning feinabgestimmt.
Auf der Lamp-Aufgabe mit sechs Platzierungen und je zehn Versuchen pro Platzierung erreicht SARI an den vier ungesehenen Platzierungen 27,5 % Abschluss (11 von 40) und nähert sich allen Platzierungen in 100 % der Versuche. Die Baselines Full Sim, Full Real und Full-task Co-training erreichen dort 0 % Abschluss; Full Real und Full-task Co-training erzielen an gesehenen Platzierungen 50,0 % bzw. 55,0 %. Die reale Datenerfassungszeit sinkt für die Lamp-Aufgabe von 28,03 Minuten auf 18,42 Minuten, das sind 34,3 % weniger. Über fünf Aufgaben hinweg liegen die Erfolgsraten bei ungesehenen Platzierungen bei 81,25 % für Book, 75,0 % für Button, 43,75 % für Tissue, 27,5 % für Lamp und 25,0 % für Drawer; bei gesehenen Platzierungen bei 87,5 %, 87,5 %, 62,5 %, 50,0 % und 50,0 %. Die anderen Aufgaben wurden mit vier Versuchen pro Platzierung evaluiert. In der Aktionsdarstellungsablation erreicht kamera-relatives π0.5 50,0 % gesehen und 27,5 % ungesehen, EEF-relative GR00T N1.7 35,0 % und 20,0 %, und beide Gelenkraumvarianten 0 %. In der Appearance-Ablation über 60 Versuche erreicht die beste Konfiguration mit hoher Rendering-Qualität, Farbkorrektur und intakter GS-Szene 35,0 % mit π0.5 und 25,0 % mit GR00T N1.7.
Die Autoren nennen als Grenzen: feste Tischszenen, ein einzelner Franka-Roboter, zweistufige Annäherungs-Kontakt-Aufgaben, manuelle Szenenrekonstruktion, Kamerakalibrierung, Auswahl der Pre-Contact-Pose und Auswahl photometrischer Referenzen. Nicht berichtet sind dynamische Szenen, bewegte Objekte, mehrstufige Interaktionen, weitere Roboterembodiments, automatisierte Vorbereitung sowie veröffentlichter Code oder Evaluierung auf einem anderen Roboter.
Unternehmen mit festen Arbeitsplätzen und kontaktintensiven Montage- oder Handhabungsaufgaben könnten SARI nutzen, um den Bedarf an Teleoperationsdaten zu senken; ein realistischer Einsatz ist in ein bis drei Jahren denkbar, sofern die manuelle Rekonstruktion, Kalibrierung und Pre-Contact-Posen-Auswahl automatisiert wird. Für dynamische Umgebungen, mehrere Roboter oder mehrstufige Abläufe ist ein Zeithorizont von mehr als drei Jahren realistisch.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.