Eine Policy für Leiter, Mauer und Kriechgang: Unitree G1 schafft 92,5 % auf Mischparcours (ETH Zürich)

Lässt sich die natürliche Ganzkörperbewegung referenzgeführter Regler mit der Geländeverallgemeinerung von Reinforcement Learning ohne Referenzen in einer einzigen Humanoid-Policy verbinden?

Reines Reinforcement Learning verallgemeinert gut über Gelände, findet aber koordinierte Ganzkörperbewegungen wie den Handeinsatz an der Leiter kaum selbst. Regler, die aufgezeichnete Menschenbewegungen nachfahren, wirken natürlich, scheitern aber, sobald das Gelände von den Trainingsclips abweicht.

Bisherige Systeme gestalteten Belohnungen pro Fähigkeit von Hand oder folgten vollständigen Rumpf- und Gelenktrajektorien und blieben damit an die Aufnahme gebunden. Bewegungsplaner wie MGMT sagen künftige Hand- und Fußpositionen voraus, schwächeln aber auf Gelände ohne passende Daten.

Das Team nutzt Bewegungsdaten nur als Trainingsgerüst. Stufe 1 trainiert einen Ganzkörperregler vor, der Kontaktbefehlen folgt, also wo Hände und Füße aufsetzen sollen. Stufe 2 trainiert einen attention-basierten Planer, der diese Kontaktziele aus einer Geländekarte wählt. Stufe 3 feintunt beide gemeinsam per Reinforcement Learning auf Zielerreichung, auch auf Gelände ganz ohne Referenzbewegung.

Auf Gelände mit Bewegungsdaten erreichten Kontaktbefehle allein in jeder Kategorie mindestens 98,5 % Erfolg, zusätzliche Gelenktrajektorien brachten nichts. Das Feintuning in Stufe 3 verbesserte Erfolg und Kontaktgenauigkeit in allen Zielkategorien und auf unbekanntem Gelände, auf spärlichen Ganzkörper-Stützflächen um 54,8 Prozentpunkte. Auf acht Mischparcours lag der Schnitt bei 92,5 % gegenüber 58,8 % für MGMT, bei 1.000 Episoden je Methode und Parcours. Auf dem echten G1 bewältigte dieselbe Policy Leiter, Bühne, Mauersprung, Kriechen, Absprung und Hinsetzen.

Es handelt sich um einen Preprint. Die Erfolgsquoten stammen aus Simulationen ohne Sensorrauschen, Physik-Randomisierung und Aktionsverzögerung, die Hardwaretests sind Demonstrationen ohne gemessene Quote. Die Autoren nennen die 2,5-D-Darstellung von Gelände und Kontakten als Grenze für Überkopfkontakte, Hängen und Manipulation, dazu fehlende globale Navigation und keine Flugphasen ohne klare Kontakte.