Wahrnehmen, vorhersagen, planen: ein vereinheitlichtes World-Action-Modell für geschickte Manipulation aus der Ego-Perspektive
Das Preprint baut mit P3-WAM ein einziges Videomodell, das 3D-Handbewegungen aus Ego-Videos ausliest, die Szene nach einer vorgegebenen Handbewegung vorhersagt und aus einer Textanweisung Bewegung und Ergebnisvideo zugleich plant. Gemeinsames Training verbesserte jede Fähigkeit und schlug Spezialmodelle auf vier öffentlichen Datensätzen, der Robotereinsatz beschränkt sich aber auf zwei Open-Loop-Demonstrationen.
Verbessert gemeinsames Training von Wahrnehmung (Hand- und Kamerabewegung rekonstruieren), aktionsbedingter Vorhersage und zielgerichteter Planung in einem Modell alle drei Fähigkeiten gegenüber getrenntem Training?
Roboterlernen aus Menschenvideos braucht drei meist getrennte Modelle: Handposen-Schätzer, aktionsbedingten Videoprädiktor und Planer. Getrennte Modelle teilen ihr Wissen über Hand-Objekt-Interaktion nicht, und Videogeneratoren ohne explizite 3D-Aktionen weichen leicht von der geforderten Bewegung ab.
Handrekonstruktion nutzte Schätzer wie HaMeR und Dyn-HaMR. Aktionsbedingte Weltmodelle wie DreamDojo, Hand2World und EgoSim sowie allgemeine Videomodelle wie Wan2.2 und Nvidias Cosmos 3 sagen Video voraus oder erzeugen es, liefern aber keinen strukturierten 3D-Aktionsplan.
P3-WAM koppelt eine kompakte 3D-Darstellung von Hand- und Kameratrajektorien an einen vortrainierten Video-Diffusionstransformer (Wan2.2-Fun A14B-Control), über eine Mixture-of-Transformers-Architektur mit geteilten Gewichten, modalitätsspezifischer Anpassung und wechselseitiger Aufmerksamkeit zwischen Video und Aktion. Im Training werden Video und Aktionen zufällig verborgen, sodass dasselbe Modell Aktionen aus Video (Wahrnehmen), Video aus Aktionen (Vorhersagen) oder beides aus Bild, Anweisung und optionalem Zielbild (Planen) erzeugt.
Gegenüber Einzelmodus-Training bei gleicher Schrittzahl senkte das gemeinsame Training den Handfehler im Kameraraum um 23,5 Prozent und die Vorhersage-FVD von 1.106 auf 1.010, gemittelt über EgoDex, ARCTIC, HOT3D und EgoLive. Auf EgoDex lag der Handfehler bei 32,9 mm gegenüber 112,9 mm für HaMeR und 115,5 mm für Dyn-HaMR. Bei der aktionsbedingten Vorhersage erzielte es auf allen vier Datensätzen die besten Vollbildwerte; gegenüber dem eigenen Basismodell stieg der PSNR im Mittel von 15,9 auf 19,0 dB, die FVD fiel von 1.218 auf 622. Bei der Planung vergab ein blinder Qwen-VLM-Juror 3,74 von 5 Punkten für Befolgung der Anweisung, gegenüber 3,12 für die beste Wan2.2- oder Cosmos-3-Nano-Einstellung.
Die globale 3D-Handposition aus einer einzelnen Kamera ist laut Autoren mehrdeutig, und die Roboterausführung ist Open-Loop ohne Selbstkorrektur. Als Roboterbeleg dienen zwei qualitative Beispiele nach Retargeting ohne Erfolgsquoten. Die Planungsqualität bewertet ein Sprach-Bild-Modell statt der Aufgabenerfüllung, und einige Vergleichsmodelle liefen mit eigenen Eingabeprotokollen.
World-Action-Modelle sind der Punkt, an dem Nvidia (Cosmos), Alibaba (Wan) und Humanoid-Labore zusammenlaufen: Ein Modell, das Folgen vorstellt und Aktionen ausgibt, kann Trainingsdaten erzeugen und Pläne prüfen, bevor sich ein Roboter bewegt. Mit ETH Zürich, Oxford und St. Gallen unter den Autoren ist Europa an dieser Forschung beteiligt, auch wenn das Basismodell aus China stammt. Noch ist es Forschung; geschlossene Regelkreise am Roboter sind der nächste Meilenstein, realistisch in 12 bis 24 Monaten.