EF-GAIfO: erfahrungsbasierte Machbarkeitsschätzung für Imitation aus Beobachtung bei Verkörperungsunterschieden
Das Preprint stellt EF-GAIfO vor, ein Verfahren, das die Durchführbarkeit zustandsbasierter Demonstrationen aus der eigenen Robotererfahrung schätzt und unausführbare Übergänge während des GAIfO-Trainings heruntergewichtet. In Simulation und auf einem echten Unitree Go2 erreicht EF-GAIfO in einer Objekt-Greifaufgabe Erfolgsraten von 70 bis 80 Prozent, die Baselines GAIfO und WGAIfO dagegen 10 bis 30 Prozent. Der Ansatz kommt ohne explizites Dynamikmodell und ohne vorab gesammelte Explorationsdaten aus.
Kann die Durchführbarkeit menschlicher Zustandsdemonstrationen allein aus den während des Policy-Lernens gesammelten Roboterübergängen geschätzt und so eine Imitationsrichtlinie trotz Verkörperungsunterschieden verbessert werden?
Roboterfreie Demonstrationsschnittstellen liefern oft nur Zustandstrajektorien ohne Aktionslabels; aufgrund unterschiedlicher Dynamik und Verkörperung können diese für den Roboter nicht ausführbare Zustandsübergänge enthalten. Werden solche Demonstrationen unverändert in GAIfO genutzt, lernt die Policy möglicherweise nicht reproduzierbare Bewegungen und scheitert an Stürzen oder Greiffehlern. Bestehende modellbasierte Machbarkeitsprüfungen erfordern genaue Ganzkörper-Dynamikmodelle, die wegen Kopplungen, Kontakten und Balance schwer zu erstellen sind.
Bisherige Arbeiten nutzen explizite oder gelernte Dynamikmodelle, um die Machbarkeit von Demonstrationen zu bewerten, oder gewichten unvollkommene Demonstrationen über Konfidenzlabels, Offline-Diskriminatoren oder separate vorab gesammelte Robotererfahrungen. GAIfO und WGAIfO trainieren dagegen ohne eine erfahrungsbasierte Machbarkeitsgewichtung; WGAIfO adaptiert eine Gewichtung für imperfekte Demonstrationen, trennt aber machbare und unmachbare Übergänge im Verlauf des Lernens nicht zuverlässig.
EF-GAIfO trainiert parallel zur Policy ein VAE als Rekonstruktionsmodell auf den vom Roboter selbst erzeugten Zustandsübergängen. Der Rekonstruktionsfehler jeder Demonstration wird über Schwellwerte in ein Machbarkeitsgewicht zwischen 0 und 1 transformiert; die Schwellen werden aus Perzentilen der Demonstrationsfehler während des Trainings schrittweise angehoben. Das Gewicht fließt direkt in das Diskriminatorziel von GAIfO ein, sodass niedrig gewichtete, vermutlich unausführbare Übergänge weniger zur Belohnung beitragen. Dadurch erweitert sich die als machbar bewertete Region mit wachsender Robotererfahrung. Für den Go2 wird eine hierarchische Struktur aus vortrainiertem Low-Level-Lokomotionscontroller und gelerntem High-Level-Policy verwendet.
Im Point-Mass-Experiment erreicht EF-GAIfO im Multi-Speed-Setting 90,0 ± 30,0 % Erfolgsrate, WGAIfO 20,0 ± 44,7 % und GAIfO 15,0 ± 35,7 %; die Hausdorff-Distanz liegt bei 0,884 ± 1,72 gegenüber 2,629 ± 2,694 und 4,877 ± 2,396. Im Multi-Path-Setting erreicht EF-GAIfO 100,0 ± 0,0 %, WGAIfO 20,0 ± 41,0 % und GAIfO 50,0 ± 50,0 %, mit Hausdorff-Distanzen von 0,163 ± 0,075, 1,742 ± 2,343 und 2,828 ± 2,57. In der simulierten Objekt-Greifaufgabe mit dem Go2 erzielt EF-GAIfO über fünf Policies und je 100 Versuche im Random-Target-Setting 85,8 ± 7,4 %, WGAIfO 26,4 ± 44,1 % und GAIfO 35,4 ± 18,1 %; ähnliche Vorteile zeigen sich für die drei festen Zielpositionen. Auf dem echten Go2 über je 10 Versuche pro Setting erreicht EF-GAIfO 70 bis 80 % Erfolgsrate, WGAIfO 10 bis 30 % und GAIfO 10 bis 20 %.
Die Autoren nennen als Grenze, dass die Machbarkeitsschätzung primär verkörperungsbezogene Bewegungsmachbarkeit erfasst und Umgebungsfaktoren wie Terrain, Hindernisse, Objektplatzierung oder Kontaktbedingungen nicht berücksichtigt. Die reale Evaluation umfasst nur einen einzigen Unitree Go2 und je Setting 10 Versuche; der Sim-to-Real-Transfer ist damit schmal belegt. Ein veröffentlichter Code oder Datensatz wird im Paper nicht berichtet. Zudem hängt die Schätzung von der Qualität und Abdeckung der online gesammelten Robotererfahrung ab und ist in frühen Lernphasen wenig diskriminativ.
Anbieter von Quadruped- oder Servicerobotern, etwa Unitree, könnten EF-GAIfO in 1 bis 3 Jahren nutzen, um Roboter aus roboterfrei aufgenommenen menschlichen Zustandsdemonstrationen anzulernen, ohne Aktionslabels, Dynamikmodelle oder große Explorationsdaten zu benötigen. Voraussetzung ist eine robuste und sichere Online-Erfahrungssammlung sowie eine Erweiterung der Machbarkeitsschätzung um Umgebungskontext, damit das Verfahren außerhalb kontrollierter Aufgaben eingesetzt werden kann.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.