Gedächtnis hebt Unitree-G1-Humanoiden bei Aufgaben mit verdeckten Hinweisen von 36,7 auf 88,3 % (MBZUAI)
Ein kurzes, gezielt ausgewähltes Gedächtnis früherer Kamerabilder hob die Erfolgsquote eines Unitree G1 bei sechs realen Aufgaben von 36,7 auf 88,3 % (53 von 60 Versuchen), berichten Forschende der MBZUAI in einem Preprint. Der Roboter musste auf Hinweise reagieren, etwa welche Dose eine Person berührt hatte, die nicht mehr im Bild waren.
Kann eine Ganzkörper-VLA-Policy für einen laufenden Humanoiden richtig auf Ereignisse reagieren, die er sah, bevor er sich dem Ziel zuwandte, und welche vergangenen Bilder muss sie dafür behalten?
Mobile Manipulation mit Humanoiden ist nicht markowsch: Während sich der Roboter dreht und läuft, werden Objekte verdeckt, verschoben oder bleiben zurück, sodass der entscheidende Hinweis beim Handeln nicht mehr in der Kopfkamera liegt. Heutige Ganzkörper-VLA-Policies sehen nur das aktuelle Bild und eine kurze Propriozeptionshistorie.
Policies wie GR00T, das an Ganzkörperaktionen angepasste pi0.5, WholeBodyVLA und Psi-0 handeln auf Basis der aktuellen Beobachtung. Gedächtnisverfahren entstanden bisher für stationäre Tischroboter und wählen Bilder per Gleichverteilung, Retrieval oder einfachen Ereignissen; bestehende Humanoid-Benchmarks halten das Ziel im Blick.
WholeBodyMem nutzt das Segmentierungsmodell SAM3 nur als Tracker für die Aufgabenobjekte. Objektereignisse, gemessen nach Herausrechnen der Eigenbewegung der Kamera, wählen Schlüsselbilder innerhalb eines adaptiven Budgets aus; der Action Expert mit sechs Diffusion-Transformer-Blöcken liest sie per Cross-Attention zusammen mit Objekt-Tokens für Aussehen, Geometrie und Zeit. Dazu veröffentlichen die Autoren den Benchmark HuMeGo mit sechs simulierten und sechs realen G1-Aufgaben.
In der Simulation stieg die Erfolgsquote der Basis-Policy Psi-0 bei den Gedächtnisaufgaben von 29,1 auf 72,6 % und in der Standard-Suite SIMPLE von 70,2 auf 86,9 %, vor gedächtnislosen Baselines (InternVLA-M1, Diffusion Policy, ACT, EgoVLA, pi0.5, GR00T) und einer Variante mit gleichverteiltem Gedächtnis. Auf einem echten G1 mit Dex3-Händen, RealSense D435 am Kopf und dem Ganzkörperregler SONIC gelangen nach 15 teleoperierten Demonstrationen je Aufgabe 53 von 60 Versuchen (88,3 %), gegenüber 22 von 60 (36,7 %) für Psi-0. Die Inferenz lief auf einer RTX 5090.
Die Autoren räumen ein, dass SAM3 Hinweise von nie erkannten Objekten verpasst, das Online-Tracking Rechenzeit kostet, das Rendering eine Sim-to-Real-Lücke hinterlässt und die simulierten Demonstrationen geskriptet sind. Hinzu kommt: Der Realtest ist klein (10 Versuche je Aufgabe, 90 Demonstrationen), die Policy läuft extern auf einer Desktop-GPU, und die Aufgaben sind kurze inszenierte Szenen statt langer Schichten in Werk oder Haushalt.
Wer Humanoide für Intralogistik und Handel anbietet, braucht Roboter, die sich an die letzten Sekunden erinnern, etwa welche Kiste schon geleert ist. Das Ergebnis spricht dafür, dass gezielte Bildauswahl günstiger ist als größere Kontextfenster. Für europäische Integratoren und Forschungslabore mit G1 dürfte ein solches Modul binnen eines Jahres in Forschungsstacks auftauchen; der Einsatz an Bord hängt von geringeren Tracking-Kosten ab.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.