COWBOY: mobiler Roboter mit Greifhand fasst unbekannte Objekte in 24 realen Umgebungen zu 91 %, nur in Simulation trainiert (CMU)
Eine allein in Simulation trainierte Vision-Policy lässt einen fahrbaren Roboter mit Arm, Vierfingerhand und beweglicher Kamera Alltagsgegenstände in 24 realen Szenen, vom Kühlschrank bis zur Treppe, mit durchschnittlich 91 % Erfolg greifen, berichten Forscher der Carnegie Mellon University in einem Preprint. In 8.000 zurückgehaltenen Simulationsszenen erreichte sie 92,4 %, ManipGen 63,1 % und End-to-End-Reinforcement-Learning 0 %.
Kann eine in Simulation gelernte Policy anhand der Umgebung eines Objekts entscheiden, wo ein mobiler Manipulator parkt, wohin er schaut, wie der Arm fährt und wie die Hand greift?
Sim-to-Real-Greifsysteme verallgemeinern über viele Objekte, werden aber meist in einer festen Umgebung trainiert. Ein mobiler Roboter im Haushalt muss zusätzlich Basisposition, Kamerablick und Armbahn zwischen Regalen, Schubladen und Unordnung wählen, was Belohnungen und Beobachtungen in der Simulation schwer gestaltbar macht.
ManipGen verkettet lokale Punktwolken-Policies mit AIT*-Bahnplanung und einem Vision-Language-Modell, das ein Zwischenziel wählt; dieses berücksichtigt die folgende Manipulation nicht und lässt den Arm oft nahe Singularitäten. End-to-End-RL aus Punktwolken scheitert, sobald Hindernisse vorhanden sind.
COWBOY teilt die Aufgabe. Ein vektorisierter Ganzkörperregler auf Basis geometrischer Fabrics läuft auf einer GPU über Tausende Szenen und bringt die Hand kollisionsfrei ans Objekt, während die Kamera es im Blick behält. Lokale RL-Experten, in Isaac Gym über Hunderte Objekte trainiert, übernehmen den Griff. Beides wird in eine Schüler-Policy destilliert, die aus Tiefen- und Lidar-Punktwolken eine TidyBot++-Basis, einen Franka-Arm, eine LEAP Hand und einen kameratragenden ARX-X5-Arm steuert, zusammen 32 Freiheitsgrade.
In 24 realen, nie simulierten Szenen griff die Policy unbekannte Alltagsobjekte, auch unregelmäßige und weiche, mit durchschnittlich 91 % Erfolg und wählte je nach Kontext Griff von oben oder seitlich sowie die Basisposition. In 8.000 Simulationsumgebungen mit 150 unbekannten Objekten erreichte der Schüler 94,7 % auf Tischen, 92,9 % in Schubladen, 91,3 % in Kisten und 90,5 % in Regalen (Mittel 92,4 %) bei 95,6 % für den Lehrer; Kollisionsrate 6,1 % gegenüber 4,3 %. ManipGen kam auf 63,1 % (Regale 21,2 %), End-to-End-RL auf 0 %, ohne Hindernisse auf 96 %. Der Regler brachte die Hand in 98,4 % der Versuche in den Arbeitsbereich der Experten.
Die Autoren räumen ein, dass der Griff nur aus Szene und Objektform folgt, reale Aufgaben aber oft einen bestimmten Griff für die Weiterverwendung brauchen. Regalszenen mit seitlichem Griff fielen schwächer aus, weil Objekte umkippen können. Reale Ergebnisse sind als Durchschnitt ohne Versuchszahl je Szene im Text angegeben, und die Aufgabe beschränkt sich auf das Greifen. Es handelt sich um ein nicht begutachtetes Preprint.
Hersteller von Haushalts- und Servicerobotern brauchen mobile Manipulatoren, die in unbekannten Räumen funktionieren, und können nicht für jedes Layout echte Daten sammeln. Dass eine weitgehend simulierte Pipeline auf Kühlschrank, Sofa und Treppe überträgt, stützt den simulationslastigen Weg der Isaac-Nutzer und Humanoiden-Start-ups. Für europäische Anbieter mobiler Manipulatoren in Pflege und Handel ist Holen und Bringen in zwei bis drei Jahren der naheliegende Einsatz, sobald aufgabenspezifische Griffe und Fehlerbehebung hinzukommen.