AutoRSR: Automatische Real-to-Sim-to-Real-Datenerzeugung aus gescannten Arbeitsplätzen
Roboterlernen braucht meist über 100 menschliche Demonstrationen. Der Preprint rekonstruiert den Arbeitsplatz per Smartphone-Scan in der Simulation und erzeugt 1.000 Läufe; damit trainierte Policies erreichen in zwei von drei Aufgaben das Niveau von 150 Demonstrationen.
Lässt sich ein gescannter realer Arbeitsplatz fast ohne Handarbeit in eine maßstabsgetreue Simulation und einen großen Manipulationsdatensatz verwandeln, und funktionieren damit trainierte Policies am realen Roboter?
Teleoperierte Demonstrationen sind hochwertig, kosten aber Bediener- und Roboterzeit. Simulation ist je Episode billig, doch eine reale Zelle in die Simulation zu bringen, verlangt weiterhin Handarbeit beim Freistellen von Objekten, Bereinigen von Netzen, Kalibrieren zur Roboterbasis und Skripten von Bahnen.
Real-to-Sim-Systeme wie Real2Render2Real und GASE rekonstruieren Szenen etwa per Gaussian Splatting, benötigen laut Vergleich der Autoren aber weiter menschliche Eingriffe bei Segmentierung, Asset-Import und Ausrichtung zum Roboter.
AutoRSR kombiniert einen Smartphone-Scan mit zwei Handgelenkkameras, deren Posen aus den Roboterzuständen bekannt sind, und stellt Objekte über offene Textabfragen frei. Die Rekonstruktion wird automatisch maßstabsgetreu ins Roboterbasis-Koordinatensystem registriert, je Aufgabe wird eine kurze Referenzbewegung in der Simulation abgespielt und per Bahninterpolation und visueller Domänenrandomisierung auf 1.000 Episoden vervielfacht.
An einem PiperX-Arm mit drei Aufgaben (in eine Schale gießen, Spielzeugente auf Box setzen, Laptop schließen; je 15 Versuche) erreichte pi0.5 nach Feintuning auf 1.000 erzeugten Episoden 73,3, 80 und 86,7 Prozent, gegenüber 73,3, 86,7 und 86,7 Prozent mit 150 teleoperierten Demonstrationen. Gemeinsames Training hob das Gießen auf 86,7 Prozent. Der Ausrichtungsfehler sank von 3,81 bis 8,62 cm auf 0,61 bis 0,91 cm. 1.000 Episoden dauerten 25 bis 28 Minuten auf einer GPU, 150 Demonstrationen 52 bis 73 Minuten Bedienerzeit; Scan und Vorverarbeitung rund 35 Minuten.
Es handelt sich um einen Preprint. Je Bedingung gibt es nur 15 reale Versuche, 6,7 Punkte entsprechen einem Versuch. Die Kurzfassung verspricht eine Zehnerpotenz weniger menschliche Zeit, die Tabellen zeigen rund 2,2- bis 2,6-fach schnellere Erzeugung; der größere Gewinn liegt im fast fehlenden Bedienereinsatz. Getestet wurden nur einfache Starrkörperaufgaben, keine verformbaren Teile, Präzisionsfügen oder Mehrschrittabläufe. Ohne Bahnaugmentierung fällt die Quote auf 13,3 Prozent.
Datenerhebung ist der größte Kostenblock beim Training von Manipulations-Policies. Für Systemintegratoren im Mittelstand könnte eine Pipeline vom Smartphone-Scan zu 1.000 Episoden die Anpassung an eine neue Kundenzelle von Tagen Teleoperation auf einen halben Tag verkürzen. Kurzfristig nützlich für einfache Pick-and-Place-Aufgaben; automatische Ausrichtung dürfte in 12 bis 18 Monaten in kommerzielle Real-to-Sim-Werkzeuge einziehen.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.