KODA: Wie Ego-Videos von Menschen zu Ganzkörper-Trainingsdaten für Humanoide werden
Der Preprint wandelt Videos, die Menschen mit einem an der Brust getragenen iPhone aufnehmen, in Trainingsdaten für Unitrees Humanoiden G1 um, einschließlich des Bildes, das die Roboterkamera gesehen hätte. 100 umgewandelte Clips je Aufgabe zusätzlich zu 50 Robotervorführungen steigerten den Erfolg bei unbekannten Objektaufbauten um rund 45 Prozentpunkte.
Lassen sich günstige Ego-Aufnahmen von Menschen ohne zusätzliche Robotervorführungen in Ganzkörper-Trainingsdaten umwandeln, die mit mehr als einem Low-Level-Regler funktionieren?
Ein Ganzkörper-VLA-Modell für Humanoide braucht Vorführungen mit passenden Roboterkamerabildern und reglerspezifischen Gelenkbefehlen; per Teleoperation ist das langsam und teuer. Menschenvideos sind billig, haben aber die falsche Perspektive und nur spärliche Bewegungsinformationen von Kopf und Händen.
Bisherige Verfahren benötigten nach dem Vortraining mit Menschendaten weiterhin Daten des Zielroboters (EgoVLA, WholeBodyVLA) oder übersetzten Menschendaten in Befehle für genau einen Regler (EgoHumanoid, HALOMI), mit fest versetzter Kamera, die der erzeugten Roboterbewegung nicht folgt. Jeder Regler bekam so seinen eigenen Datensilo.
KODA erzeugt aus Kamerapose und retargeteten Händen zunächst eine physikalisch geprüfte Ganzkörpertrajektorie in MuJoCo und optimiert dazu Befehlsresiduen mit der Cross-Entropy-Methode. Dann rendert es das Bild der Kopfkamera entlang dieser Trajektorie: Menschenarm entfernen, Szene per Tiefe reprojizieren, gerenderten Roboter einsetzen, Lücken auffüllen. Bewegung, Bilder und Anweisung bilden einen wiederverwendbaren Referenzdatensatz; für jeden Regler (SONIC oder HEFT) erzeugt KODA passende Zustands- und Aktionslabels für das Co-Training von NVIDIAs GR00T N1.7.
Auf vier Aufgaben mit einem G1 und BrainCo-Händen (Becher in Korb, Paket ins Regal, Korb ins Regal, Becher in Schublade) hob die Kombination aus 50 Roboter- und 100 umgewandelten Menschendemos je Aufgabe den Makro-Durchschnittserfolg bei nur in Menschenclips enthaltenen Objektbedingungen mit SONIC von 3,75 auf 48,75 Prozent (+45,0 Punkte) und mit HEFT um 46,25 Punkte. Mit 25, 50, 75 und 100 Menschendemos stieg der Erfolg stetig.
Die Autoren räumen ein, dass feine Hand-Objekt-Kontakte noch nicht treu nachgebildet werden. Getestet wurden vier Aufgaben auf einem Roboter mit 20 Versuchen je Bedingung, die Werte springen also in 5-Punkte-Schritten; Robotervorführungen bleiben für das Co-Training nötig. Die Kette aus mehreren großen Modellen für Handpose, Segmentierung, Inpainting und Tiefe ist rechenintensiv.
Humanoid-Hersteller und Datendienstleister geben viel Geld für Teleoperation aus; ein Verfahren, das Menschenvideos reglerübergreifend nutzt, zielt direkt auf diese Kosten. Relevant für G1-Anwender, Teams auf Basis von NVIDIA GR00T und Forschungsgruppen mit großen Ego-Datensätzen. Kommerzielle Datendienste mit solchen Pipelines erwarten wir in 12 bis 24 Monaten.
Vollständige Studie
KODA: Kinematics--Observation Data Alignment for Humanoid Learning from Human Egocentric Demonstration
Veröffentlicht unter CC BY-NC-SA 4.0. Wiedergabe mit Namensnennung, Original unter arXiv:2610.21152 (PDF).
\project
https://koda-humanoid.github.io/koda/
Abstract
Training humanoid whole-body vision–language–action (VLA) policies requires costly robot demonstrations with aligned robot-view observations and controller-compatible whole-body state–action labels. Egocentric human demonstrations offer scalable supervision but have misaligned views and sparse motion cues. Existing approaches either pretrain policies that still require robot data for adaptation or generate controller-specific commands that limit reuse. Conversion also requires robot-view observations aligned with the generated whole-body motion. We present KODA (Kinematics–Observation Data Alignment), which converts egocentric RGB demonstrations into whole-body VLA training data using a reusable canonical trajectory to guide robot-view synthesis and generate controller-specific whole-body state–action supervision. KODA first generates a simulator-checked whole-body trajectory using a sparse tracker with sampling-based command optimization. This generated trajectory directly determines the onboard camera poses used to synthesize corresponding robot-view observations. The motion, observations, and task instruction form a canonical record. For each deployment controller, KODA optimizes commands to track the stored motion and records the corresponding action labels and proprioceptive states. When switching controllers, KODA retains this canonical record and regenerates whole-body state–action supervision for co-training with matching robot demonstrations. We evaluate KODA on four Unitree G1 loco-manipulation tasks using two whole-body controllers, SONIC and HEFT. With robot data held fixed, macro-average success on conditions covered by human demonstrations but absent from robot data improves by 45.0 and 46.25 percentage points, respectively. Under both controllers, this metric shows an upward trend across the evaluated human-data budgets, suggesting potential for further scaling.
Keywords: Egocentric Human Data, Humanoid Loco-Manipulation
††