KinoGen: Humanoide Ganzkörper-Referenzbewegungen aus generierten Videos des Roboters selbst
Cornell und Multiply Labs zeigen in einem Preprint, wie aus generierten Videos des Roboters selbst Ganzkörper-, Hand- und Objektbahnen für einen Humanoiden entstehen. Damit trainierte Regler erreichen 57 Prozent Erfolg statt 42 Prozent.
Lassen sich mit einem vortrainierten Videogenerator Referenzbewegungen für Körper, Hände und Objekt eines bestimmten Humanoiden direkt im exakten Aufgabenaufbau erzeugen, ohne Umweg über einen menschlichen Körper und Retargeting, und kann ein Nutzer eine genaue Zielpose vorgeben?
Humanoide lernen Lokomanipulation, indem sie per Reinforcement Learning Referenzbahnen folgen. Jede Referenz muss Körper, Finger und Objekt für einen Robotertyp und eine Szene synchronisieren. Menschliche Demonstrationen bringen Fehler beim Übertragen auf den Roboterkörper, Teleoperation ist teuer, sobald Objekte, Layouts und Ziele variieren.
Bisherige Verfahren erzeugen ein Video von Mensch und Objekt und übertragen die rekonstruierte Bewegung auf den Roboter (GenMimic, GRAIL) oder erzeugen zwar ein Robotervideo, gewinnen die Bewegung aber über einen menschlichen Posenschätzer zurück (GenHOI). Die Kinematik des Roboters wird erst nachträglich erfüllt, was Durchdringungen, rutschende Füße und verlorene Kontakte verursacht.
KinoGen rendert die simulierte Aufgabe mit den echten Roboter- und Objektmodellen aus zwei kalibrierten Kameraperspektiven und konditioniert damit den Videogenerator. Anschließend werden dieselben Modelle an das erzeugte Zwei-Kamera-Video angepasst, initialisiert mit Körper-, Hand- und Objekt-Priors und verfeinert über Masken, Punkt-Tracks und Tiefe. Die Bahn liegt so von vornherein im Konfigurationsraum des Roboters. Ein im Simulator geändertes Schlüsselbild wird neu umgeneriert und durch eine Rekonstruktion mit Nebenbedingungen exakt eingehalten.
Bei acht Aufgaben auf einem Unitree G1 mit zwei Händen mit je sechs Freiheitsgraden lag die Durchdringung bei 2,30 cm gegenüber 3,06 bis 10,55 cm, das Fußrutschen bei 4,09 cm/s gegenüber 5,11 bis 9,95 cm/s, und 91,16 Prozent der Kontakte blieben erhalten (GRAIL 69,40, GenHOI 43,91, GenMimic 13,57 Prozent). Darauf trainierte Regler erreichten 57 Prozent Erfolg gegenüber 42, 11 und 31 Prozent. Beim Abstellen einer Flasche auf 30 Zielpositionen traf KinoGen jedes Ziel exakt bei maximal 2,7 bis 21,0 mm Tischdurchdringung, direkte Interpolation traf ebenfalls, schob die Hand aber rund 139 bis 147 mm durch den Tisch. Vier Aufgaben liefen auf dem realen Roboter, Erfolgsquoten dafür nennt das Paper nicht.
Es handelt sich um ein Preprint. Die Autoren nennen Ausfälle bei starker Verdeckung, die Abhängigkeit von Qualität und Vielfalt des Videogenerators und dass die Schlüsselbild-Bedingung keine physikalische Ausführbarkeit garantiert. 57 Prozent Erfolg in der Simulation reichen für den Einsatz nicht, und die Realversuche sind nur qualitativ belegt.
Ganzkörperdaten sind der Engpass für Humanoid-Hersteller von Unitree bis Figure und für europäische Anbieter wie Neura Robotics. Wenn Referenzen direkt im Körper des Roboters und im exakten Layout des Kunden entstehen, wird eine neue Aufgabe statt Tagen Teleoperation vor allem Rechenzeit kosten. Zuerst profitieren Simulations- und Datenwerkzeuge in den nächsten ein bis zwei Jahren; für Fertigungslinien in der Automobilindustrie müssen die Erfolgsquoten deutlich steigen.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.