SkeleWAM: Sparse 3D-Skelette als Zustandsraum für Weltaktionsmodelle in der Robotermanipulation
SkeleWAM ist ein Preprint, das ein kompaktes Weltaktionsmodell vorstellt, bei dem eine Manipulationsszene als spärliches 3D-Skelett aus Roboter-Gelenken, Objektzentren und Interaktionspunkten repräsentiert wird. Das Modell lernt gemeinsam Aktionsgenerierung und Vorhersage künftiger Skelette und erreicht auf LIBERO-Plus eine Gesamterfolgsrate von 85,9 Prozent mit 57,1 Millionen Parametern, 3,7 Prozentpunkte über Cosmos-Policy. Die Ergebnisse zeigen, dass explizite Roboter-Objekt-Geometrie einen robusten und parametereffizienten Weg für Weltaktionslernen darstellt.
Kann eine spärliche Repräsentation der Roboter-Objekt-Struktur ein effektives Weltaktionslernen unterstützen und dabei die Modellkomplexität erheblich reduzieren?
Bestehende Weltaktionsmodelle sagen künftige Zustände als Videos oder gelernte visuelle Latents vorher, wodurch Interaktionsgeometrie nur implizit abgebildet wird und für die Steuerung irrelevante Erscheinungsinformation erhalten bleiben kann. Visuelle Encoder bestimmen, welche Information in den Latents erhalten bleibt, und die Kompression von Beobachtungen isoliert nicht automatisch die für Roboter-Objekt-Interaktionen entscheidenden geometrischen Variablen.
Bisherige Weltaktionsmodelle wie WorldVLA, UniVLA, GE-Act oder Cosmos-Policy nutzen Video- oder visuelle Latentvorhersagen; VLA-JEPA sagt künftige latente Zielrepräsentationen vorher, Fast-WAM behält eine Videovorhersage nur als Co-Training bei. Diese Verfahren stellen Interaktionsgeometrie nicht als explizite Zustandsgrößen dar und benötigen in der Regel sehr große Modelle mit Milliarden Parametern.
SkeleWAM konstruiert aus aktuellen RGB-D-Beobachtungen und Roboterpropriozeption online ein spärliches 3D-Skelett: Robotergelenke werden über Vorwärtskinematik gewonnen, Objektzentren und Interaktionspunkte über ein eingefrorenes, vortrainiertes Wahrnehmungsnetz. Aus dem Skelett werden Token erzeugt, die einem Zwei-Experten-Mixture-of-Transformers zugeführt werden. Training kombiniert Aktionsgenerierung und Vorhersage künftiger Skelette mittels Flow Matching; die Zukunftsvorhersage dient nur als Hilfssignal und wird zur Inferenz entfernt. Zusätzlich wählt Medoid Action Consensus unter K stochastisch gesampelten Aktions-Trajektorien diejenige mit der geringsten durchschnittlichen Distanz aus, ohne Belohnungsmodell oder Mittelung.
Auf der vollständigen LIBERO-Plus-Benchmark erreicht SkeleWAM eine Gesamterfolgsrate von 85,9 Prozent mit 57,1 Millionen Parametern, 3,7 Prozentpunkte mehr als das stärkste beobachtungsbasierte Vergleichsmodell Cosmos-Policy (82,2 Prozent). Unter Kamerastörungen liegt SkeleWAM bei 93,4 Prozent gegenüber 75,8 Prozent für Cosmos-Policy, also 17,6 Prozentpunkte höher. Die privilegierte Variante mit Simulator-Koordinaten (sim-state) kommt auf 87,7 Prozent, nur 1,8 Prozentpunkte über der RGB-D-Variante. In realen Versuchen mit einem ARX R5 über fünf Aufgaben und je 20 Versuchen erzielt SkeleWAM durchschnittlich 89 Prozent, im Vergleich zu 87 Prozent für Cosmos-Policy, 83 Prozent für Fast-WAM und 76 Prozent für π0.5. Ablationen zeigen: Objektzentren plus Interaktionspunkte erreichen 85,9 Prozent, nur Zentren 82,3 Prozent, nur Interaktionspunkte 77,7 Prozent; ohne Zukunft-Skelett-Vorhersage sinkt die Rate von 85,9 auf 80,1 Prozent.
Im Paper berichtet: Unter Layout-Perturbationen erreicht SkeleWAM nur 66,6 Prozent (RGB-D) bzw. 69,0 Prozent (sim-state), deutlich unter π0.5 mit 84,1 Prozent. Die Autoren räumen ein, dass spärliche Geometrie allein räumliche Generalisierung nicht vollständig erfasst. Die reale Evaluation umfasst nur einen Roboter (ARX R5), fünf Aufgaben und 20 Versuche pro Aufgabe. Angaben zu Inferenzlatenz oder veröffentlichtem Code werden im Text nicht gemacht; lediglich eine Projektseite wird genannt.
Potenzielle Anwender sind Hersteller von Industrierobotern, Anbieter von Vision-Language-Action-Lösungen sowie Betreiber von Lager- und Montageautomatisierung. Aufgrund der geringen Parameterzahl (57,1 Millionen) ist ein Einsatz auf eingebetteter Hardware denkbar; zuerst müssen jedoch die Robustheit bei neuen räumlichen Anordnungen verbessert, die Wahrnehmung für unbekannte Objekte validiert und Latenzanforderungen auf Zielsystemen geprüft werden. Ein praktischer Einsatz für einfache Manipulationsaufgaben ist im Zeitraum von 1 bis 3 Jahren vorstellbar, während breite Generalisierung eher mehr als 3 Jahre benötigt.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.