Ego4WAM: Welche Faktoren beim Skalieren egozentrischer Humandaten für Roboterlernen zählen
Die Autoren untersuchen in einem Preprint systematisch, wie egozentrische Humandaten mit unterschiedlicher Ausrichtung und Überwachung das Roboterlernen beeinflussen. Mit einem einheitlichen World-Action-Model-Framework zeigen sie, dass ausgerichtete Demonstrationen die Generalisierung auf unbekannte Objekte und Szenen verbessern und den Bedarf an Roboterdaten reduzieren, während Videodaten ohne Aktionslabels weiterhin wertvolle Dynamik-Priors liefern. Die Ergebnisse legen nahe, dass der Nutzen solcher Daten nicht allein von der Gesamtdauer abhängt, sondern von der Verteilung, der Überwachungsqualität und der Einbindung in die Trainingspipeline.
Welche Eigenschaften von egozentrischen Humandaten und welche Strategien zu ihrer Nutzung haben den größten Einfluss auf das nachgelagerte Roboterlernen, wenn man die Datenmenge skaliert?
Egozentrische Humandaten variieren stark in Bezug auf die Ähnlichkeit zu Roboterdaten (Alignment), die abgedeckten Verhaltensweisen und die verfügbare Überwachung. Bisherige Skalierungsstudien fassen diese Faktoren unter der Gesamtdauer zusammen und verlassen sich oft auf offene Vorhersagemetriken, sodass unklar bleibt, welche Datenmerkmale tatsächlich zu besseren Roboterfähigkeiten führen.
Bisherige Ansätze nutzen roboterausgerichtete menschliche Demonstrationen (etwa EgoVerse), retargetete menschliche Aktionen für Vortraining (Being-H0, EgoScale) oder reine Videovorhersage zur Weltmodellierung (OpenWAM). Diese Arbeiten zeigen zwar positive Skalierungstrends, vermischen jedoch Alignment, Diversität und Überwachung und messen den Erfolg häufig über die mittlere quadratische Abweichung bei menschlichen Aktionsvorhersagen statt über geschlossene Roboterausführung.
Die Autoren entwickeln eine kontrollierte Studie mit einem festen World-Action-Model-Backbone und definieren eine Pyramide egozentrischer Daten: roboterausgerichtete Demonstrationen, qualitätsgefilterte Video-Aktions-Paare und videonur Daten. Sie trennen die Effekte von Mensch-Roboter-Alignment, Datendauer versus Aufgabenvielfalt, Aktionsüberwachung und Nutzungsstrategie, indem sie die Daten in drei Stufen einsetzen: Videovortraining, gemeinsames Welt-Aktions-Training und roboterbasierte Anpassung. Die Bewertung erfolgt geschlossen auf einem realen Piper-Roboter und in der RoboDojo-Simulation.
Für reale Roboteraufgaben: Bei 'Place into the Basket' erreicht eine nur mit Roboterdaten trainierte Policy 60 % ID-Erfolg, 10 % bei objektbezogenen OOD und 0 % bei szenenbezogenen OOD. Das Hinzufügen objektbezogener menschlicher Demonstrationen erhöht den objektbezogenen OOD-Erfolg auf 60 %, das Hinzufügen szenenbezogener menschlicher Demonstrationen den szenenbezogenen OOD-Erfolg auf 20 %. Bei 'Fold Cloth' führt die Reduktion von 300 auf 100 Roboterdemonstrationen mit 500 menschlichen Demonstrationen zu 80 % ID-, 60 % objektbezogenen OOD- und 80 % szenenbezogenen OOD-Erfolg. Mit nur 20 Roboterdemonstrationen sind ausgerichtete menschliche Daten allein unzureichend, aber nach multitask Vortraining erreicht dasselbe Setup 80 % ID-, 80 % objektbezogenen OOD- und 60 % szenenbezogenen OOD-Erfolg. Beim RoboDojo-Benchmark verbessert die Erhöhung der Datendauer von 1K auf 4K Stunden für dieselben 500 Aufgaben die Generalization von 5,0 auf 7,8 und Long-Horizon von 12,0 auf 16,2. Die Erweiterung der Aufgabenvielfalt von 500 auf 6K Aufgaben verbessert Generalization auf 7,0 und Long-Horizon auf 16,2, verringert aber die Precision. In einer Ablationsstudie erreicht das Baseline-Modell ohne menschliche Daten einen durchschnittlichen RoboDojo-Score von 6,39 und eine Erfolgsrate von 3,15 %. Videovortraining allein verbessert auf 14,13 / 9,45 %, gemeinsames Welt-Aktions-Training allein auf 10,28 / 6,42 %, beides zusammen auf 15,04 / 10,78 %. Mit Videovortraining und gemeinsamer Aufmerksamkeit (joint) verbessert sich der Score auf 20,29 und die Erfolgsrate auf 14,35 %. Ego4WAM nutzt 0,1K Stunden Roboterdaten und 15K Stunden egozentrische Daten und erreicht damit einen durchschnittlichen RoboDojo-Score von 20,29 und 14,35 % Erfolgsrate, übertrifft OpenWAM-alpha (17,18 / 11,92 %), liegt aber unter GPT-6-Astra (28,97 / 22,48 %).
Die Autoren weisen darauf hin, dass menschliche Daten Roboterdaten nicht vollständig ersetzen können; bei sehr wenig Roboterdaten (20 Demonstrationen) sind ausgerichtete menschliche Daten allein unzureichend, erst nach multitask Vortraining gelingt die Wiederherstellung der Leistung. Die Skalierung der Aufgabenvielfalt kann Präzisionsmetriken verschlechtern, wenn langschwänzige Aufgaben eingeführt werden. Die Evaluation nutzt nur einen bimanuellen Piper-Roboter und die RoboDojo-Simulation; die RoboDojo-Ergebnisse werden über alle Kategorien gemittelt, obwohl der Fokus auf Generalization, Precision und Long-Horizon liegt. Code und Checkpoints sind noch nicht veröffentlicht, nur angekündigt. Zudem ist das Paper ein Preprint und nicht begutachtet.
Unternehmen, die humanoide oder Manipulationsroboter mit großen egozentrischen Datensätzen trainieren (etwa Horizon Robotics, das an der Studie beteiligt ist), können die Erkenntnisse nutzen, um Datenerfassung und Trainingspipelines zu optimieren. Kurzfristig (jetzt bis 1 Jahr) lassen sich mit videonur Vortraining ohne Aktionslabels Dynamik-Priors aufbauen; mittelfristig (1 bis 3 Jahre) können ausgerichtete menschliche Demonstrationen gezielt für OOD-Szenarien gesammelt werden. Voraussetzung ist eine zuverlässige Qualitätsfilterung für Aktionslabels und die Verfügbarkeit ausreichender Roboterdaten zur Embodiment-Anpassung. Für den breiten Einsatz in Produkten müssen die Ergebnisse auf weiteren Roboterplattformen und Aufgaben bestätigt werden.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.