PointWAM: 3D-Weltaktionsmodell sagt Szenen- und Handbewegungen gemeinsam voraus
PointWAM ist ein Preprint, das die Welt in Szene und Hände zerlegt und beide als 3D-Punkttrajektorien in einem gemeinsamen Raum-Zeit-Koordinatensystem vorhersagt. Auf zehn DexJoCo-Aufgaben erreicht das Modell 69,0 Prozent Erfolgsrate und übertrifft die stärkste Baseline um 11,7 Prozentpunkte; Vortraining auf 1,15 Millionen menschlichen Demonstrationsvideos liefert einen Gewinn von 56,9 Prozentpunkten gegenüber Training von Grund auf. Damit zeigt der Ansatz, dass gemeinsame 3D-Weltmodellierung und menschenbasiertes Vortraining geschickte Manipulation deutlich verbessern können.