Ein Alltagsvideo genügt: NYU-System MoCaP bringt mobilen Roboter auf 80 % Greiferfolg
Der Preprint lässt einen mobilen Roboter allein anhand eines Alltagsvideos Gegenstände finden und eine geeignete Greifposition wählen, ganz ohne Aufgabendemonstration. Das zielt auf geringere Einrichtungskosten für Haushalts- und Serviceroboter.
Können gewöhnliche Aufnahmen von Menschen, die in einem Raum leben, ohne Aufgabendemonstrationen einem mobilen Manipulator beibringen, wo er Gegenstände suchen und wo er vor dem Greifen anhalten soll?
Mobile Manipulation scheitert seltener am Griff selbst als davor: Der Roboter findet ein Objekt außer Sicht nicht oder hält an einer Stelle, von der aus sein Arm nicht hinreicht. Jede Aufgabe per Roboterdemonstration zu lehren ist teuer, und Coding-Agenten für Tischroboter wählen Standorte mit einfacher Geometrie, die Möbel ignoriert.
Code-as-Policy-Agenten wie CaP-X lassen ein Sprachmodell Programme schreiben, die Wahrnehmung, Navigation und Greifen aufrufen, suchen aber durch Drehen auf der Stelle und wählen die Basisposition heuristisch. Objektnavigation wie CoW und ApexNav erkundet Grenzen mit Detektoren für offenes Vokabular und hat vor dem Start kein Gedächtnis des Raums.
MoCaP lässt zuerst GPT-5.6 ein mit der Brille Aria Gen 2 aufgenommenes Video auswerten und ein räumliches Gedächtnis (wo Gegenstände sind) sowie ein Interaktionsgedächtnis (wo die Person vor dem Zugreifen stand) anlegen. Zur Laufzeit navigiert ein Code-Agent im geschlossenen Regelkreis mit diesem Gedächtnis, dockt von der Seite an, von der die Person kam, sucht lokal eine Basisposition, deren Griff Kollisions- und Kinematikprüfungen besteht, und plant die Armbewegung mit NVIDIAs cuRobo gegen die beobachtete Szene. Dasselbe Gedächtnis dient allen Aufgaben.
Auf dem Roboter YOR (omnidirektionale Basis, Hubachse, zwei AgileX-Nero-Arme, ZED2i-Kamera, Jetson Orin NX) griff MoCaP eine Kiste auf einem Schrank in 16 von 20 Versuchen und eine anfangs unsichtbare Dose in 8 von 10, jeweils 80 %. CaP-X und CaP-X+ (mit kollisionsbewusster Navigation) kamen auf null; CaP-X+ setzte bei der Kiste in 8 von 20 Versuchen zum Griff an, oft aber aus 0,74 bis 1,64 m Entfernung, und keine Vergleichsmethode fand die Dose. Bei der Suche nach einem verdeckten blauen Mülleimer gelang MoCaP 10 von 10, ohne Videovorwissen 7 von 10, ApexNav 2 und CoW 0, das vor einem weißen Eimer mit blauem Hinweisschild stoppte. Das Vorwissen über die Annäherung hob den Anteil griffbereiter Basispositionen von 18 auf 38 von 45 (40,0 auf 84,4 %), vom Startpunkt gegenüber der aufgezeichneten Person von 0 auf 14 von 15.
Der Preprint testet nur eine Innenumgebung, ein Video, drei Zielobjekte und fünf bis zwanzig Versuche je Bedingung; die Autoren sprechen von Machbarkeit, nicht Allgemeingültigkeit, und nennen den gepoolten Effekt der Basisplatzierung bei dieser Stichprobe nicht signifikant. Das Gedächtnis ist eine feste Zusammenfassung vom Start, die Objekte übersehen oder veralten kann, die Fähigkeiten enden beim Greifen und Anheben, und das System hängt an einem proprietären Sprachmodell (GPT-5.6), dessen Kosten und Latenz je Aufgabe fehlen. Der Text nennt fünf Versuche je Startpunkt, die Tabelle zählt fünfzehn; wir folgen der Tabelle.
Das Ergebnis betrifft Hersteller mobiler Manipulatoren für Haushalt und Service, bei denen die Einrichtung jeder Kundenumgebung teuer ist: Ein Rundgangvideo des Bewohners könnte Kartierung und Aufgabentraining ersetzen. Es stützt zudem tragbare Kameras (hier Metas Aria-Brille) als Datenquelle für Haushaltsroboter. Für europäische Anbieter von Pflege- und Servicerobotern mit vielen unterschiedlichen Einsatzorten ist das ein Ansatz, den Inbetriebnahmeaufwand zu senken. Zeitrahmen: Forschungsstadium; ein Produkt bräuchte viele Wohnungen, mehr Fähigkeiten als Greifen und einen günstigeren Planer als ein Spitzenmodell bei jeder Entscheidung.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.