ViGAR: Visuelle Teilzielplanung und Welt-Aktions-Modell für kompositionale Roboter-Manipulation
Das Preprint ViGAR von Peking University, AgiBot und CocoMatrix führt ein hierarchisches Framework ein, das kompositionale Manipulation in visuelle Teilzielplanung und teilzielgeführte Aktionsgenerierung zerlegt. Auf dem RoboTwin Clean2Random Benchmark erreicht ViGAR 82,00 Prozent unter Clean und 67,02 Prozent unter Random und übertrifft die stärkste Baseline im Durchschnitt um 12,86 Prozentpunkte. In realen Roboteraufgaben zeigt das Modell zudem In-Context-Steuerung über ein globales Zielbild ohne Parameterupdate.
Wie lassen sich World-Action-Modelle um eine explizite visuelle Teilzielplanung erweitern, um langhorizontige kompositionale Manipulation und In-Context-Aufgabensteuerung zu ermöglichen?
Bestehende World-Action-Modelle sagen kurze visuelle Zukünfte und Aktionen gemeinsam vorher, organisieren aber keine Abfolge von Teilaufgaben und bieten keine Schnittstelle, um eine gewünschte Zielkonfiguration vorzugeben. Sprachliche Teilaufgaben unterschätzen oft räumliche Details und lassen Zielzustände mehrdeutig.
Bisherige WAMs wie Fast-WAM, LingBot-VA und 4D-WAM modellieren lokale Dynamik. VLA-Policies wie π0.5 mappen Instruktionen direkt auf Aktionen. VLM-basierte Planer erzeugen sprachliche Teilziele, die präzise Szenenkonfigurationen nur unvollständig spezifizieren. In-Context-Methoden wie Zero-WAM oder HOST nutzen häufig Demonstrationsvideos und reproduzieren Prozeduren, statt nur den gewünschten Endzustand als Kontext zu verwenden.
ViGAR zerlegt Manipulation in einen visuellen Teilzielplaner und einen teilzielgeführten World-Action-Executor. Beide Komponenten werden aus demselben vortrainierten Cosmos3-Nano-Backbone initialisiert. Der Planer editiert die aktuelle Beobachtung zu einem Teilzielbild; der Executor nimmt dieses Teilziel als VAE-Latent im Generator-Strang auf und sagt gemeinsam zukünftige Frames und Aktionschunks voraus. Trainiert wird mit Flow-Matching, Endeffektor-ROI-Gewichtung und einer Look-ahead-Regel an Teilzielgrenzen. Ein globales Zielbild als Inferenz-Kontext steuert die Teilzielzerlegung ohne Feintuning.
Auf RoboTwin Clean2Random mit 100 Rollouts pro Aufgabe erreicht ViGAR 82,00 Prozent unter Clean und 67,02 Prozent unter Random, im Durchschnitt 74,51 Prozent. Die stärkste Baseline 4D-WAM erreicht 61,65 Prozent im Durchschnitt, die kontrollierte Baseline Cosmos3-Nano-RoboTwin 49,76 Prozent. Bei der Teilzielqualität liegen die Werte auf RoboTwin bei LPIPS 0,13, DINO-cos 0,80, ΔIoU 0,65 und RetAcc 0,94; auf realen Roboterbildern bei LPIPS 0,11, DINO-cos 0,81, ΔIoU 0,66 und RetAcc 0,76. In realen Roboteraufgaben mit fünf kompositionalen Aufgaben und je 20 Rollouts verbessert ViGAR die Aufgabenfortschrittswerte gegenüber π0.5 und Cosmos3-Nano-Policy; exakte Werte je Aufgabe sind im Paper nicht berichtet. Bei zwei In-Context-Aufgaben erreicht ViGAR durchschnittlich 77,5 Prozent Aufgabenfortschritt bei in-domain und 47,5 Prozent bei out-of-distribution globalen Zielbildern.
Die Autoren nennen keine expliziten Limitationen. Offensichtlich ist die Evaluation auf eine reale Roboterplattform (AgiBot A2) und fünf kompositionale plus zwei In-Context-Aufgaben begrenzt; in der Simulation wird nur Aloha AgileX mit 2500 Clean-Demonstrationen genutzt. Das Modell basiert auf Cosmos3-Nano mit 16B-A8B Parametern, was hohen Rechenaufwand bedeutet. Eine formale statistische Absicherung über mehrere Seeds ist im Paper nicht berichtet.
Für Hersteller von dualarmigen Servicerobotern, etwa aus dem Umfeld von AgiBot, sowie für Anbieter von Lager- oder Montageautomatisierung könnte ViGAR in ein bis drei Jahren kompositionale Aufgaben und In-Context-Umkonfiguration ohne Neutraining ermöglichen. Voraussetzung sind belastbare Teilzielgenerierung, niedrigere Inferenzkosten und eine Validierung auf breiteren Objekt- und Layoutverteilungen.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.