ActiveWAM: Evidenzbewusste aktive Sicht für World-Action-Modelle
ActiveWAM ist ein Preprint, das ein einheitliches World-Action-Modell für bimanuale Manipulation mit aktiver Kamera vorstellt. Es lernt gemeinsam Arm- und Schwenk-/Neige-Kameraaktionen und bewahrt aufgabenrelevante visuelle Evidenz durch trainierzeitliche Historie-Inversion, ohne zur Laufzeit Inversion oder Kandidatenranking zu benötigen. Das Modell erreicht auf TAVIS und RoboTwin-AV Verbesserungen von bis zu 17,0 beziehungsweise 20,0 Prozentpunkten gegenüber starken Baselines und liegt bei realen Küchenaufgaben um 26,7 Punkte über Fast-WAM.
Wie kann ein World-Action-Modell lernen, aufgabenrelevante Evidenz in einem endlichen Beobachtungsfenster zu erhalten und zugleich zu steuern, welche Evidenz es als Nächstes erfasst?
Bei aktiver Sicht steuert die Policy sowohl Kamera als auch Endeffektoren, und jede Kamerabewegung verändert, welche Hinweise im begrenzten Beobachtungsfenster sichtbar bleiben; eine neue Ansicht kann aufgabenkritische Hinweise verdrängen, während das Beibehalten einer Ansicht potenziell nützliche Beobachtungen verpasst. Bestehende Systeme trennen Blicksteuerung und Manipulation oder verwenden feste Regeln und können dadurch gemeinsame Konsequenzen von Kamera- und Armbewegungen nicht modellieren.
Bisherige Ansätze wie AV-ALOHA, TAVIS und AVR evaluieren aktive Kameras oder getrennte Blicksteuerung; Verfahren wie See2Act koppeln Suche nach Blickpunkten an Testzeit und verursachen Rechenaufwand, während Stem-OB Diffusionsinversion nur auf einzelne aktuelle Beobachtungen anwendet, ohne festzulegen, welche historische Evidenz erhalten bleiben muss. World-Action-Modelle wie Fast-WAM und EasyWAM-Unified erzeugen Zukunftsvideo und Aktionen, berücksichtigen aber keine aktive Kamerasteuerung.
ActiveWAM vereint Arm- und Kopfaktionen in einem einzigen World-Action-Modell und führt eine trainierzeitliche, aufgabengeführte Historie-Inversion (TTI) ein, die einen eingefrorenen Wan-T2V-Videoprior durch aufgabenrelevante Quellmerkmale und sichtbare zeitliche Änderungen einschränkt. Ein view-bewusster Historie-Adapter ergänzt RGB mit Kameraidentität, Pose, Belichtungszeit und Gültigkeit; paarweises Lernen verankert rohe und transformierte Historien an denselben Aktions- und Zukunftsvideo-Zielen. Die Policy erzeugt bimanuale Arm- und Schwenk-/Neige-Aktionen einschließlich Stopp- und Reakquisitionsverhalten; Zukunftsvideo-Prädiktion dient nur als Co-Trainingssignal. Eingeführt wird außerdem RoboTwin-AV, eine 50-Aufgaben-Benchmark mit ausführbarer Pan/Tilt-Steuerung und automatisch generierten Demonstrationen. Zielhardware ist ein fest installierter, zweiamriger Roboter mit einer einzelnen RGB-Kamera auf einem 2-DOF-Schwenk-/Neige-Kopf.
Auf TAVIS verbessert ActiveWAM die Erfolgsquote unter Out-of-Distribution-Bedingungen um bis zu 17,0 Prozentpunkte gegenüber den stärksten gelisteten Baselines; unter Pose-OOD gewinnt es 13,0 beziehungsweise 10,6 Punkte auf Head-Aufgaben und 12,0 beziehungsweise 11,0 Punkte auf Hands-Aufgaben für GR1T2 beziehungsweise Reachy2. Auf RoboTwin-AV erreicht ActiveWAM 80,3 ± 2,1 % sauber, 60,7 ± 0,6 % bei Appearance-Shift, 65,0 ± 3,0 % bei Pose-Shift und 53,3 ± 1,5 % bei kombiniertem Shift (50 Aufgaben, drei Seeds, 100 Episoden pro Aufgabe, Seed und Bedingung) und übertrifft die stärkste Baseline um 4,0, 14,4, 9,0 und 19,3 Punkte; gegenüber Fast-WAM beträgt der Compound-Gewinn 20,0 Punkte. In physischen Küchenaufgaben (20 Versuche pro Aufgabe und Methode, drei Aufgaben, fünf Methoden) erreicht ActiveWAM 66,7 % Stufe-1- und 50,0 % Gesamterfolg; der Gesamterfolg liegt damit um 26,7 Punkte über Fast-WAMs 23,3 %. Auf LIBERO-Plus erzielt ActiveWAM 76,9 % Erfolg gegenüber 68,2 % für Rohhistorie.
Die Autoren nennen als Grenzen den festen Brennweiten-Kopf, das kurze Historie-Fenster und vorgeschriebene Stufenwechsel; Erweiterungen wie variable Blickfelder, optischer Zoom, End-to-End-Segmentierung und längere Speicher werden als Ausblick genannt. Die physische Evaluation umfasst nur 20 Versuche pro Aufgabe und Methode an einem einzigen zweiamrigen Roboter und mit drei Aufgaben; die Ergebnisse stammen aus einem Preprint und sind nicht begutachtet. Angaben zu veröffentlichtem Code oder Modellgewichten sind im Paper nicht berichtet.
Unternehmen aus der Bimanual-Robotik, Küchen- und Laborautomation sowie Anbieter von aktiven Kamerasystemen könnten ActiveWAM als Forschungsgrundlage nutzen; die trainierzeitliche Inversion und die vereinheitlichte Kopf-Arm-Generierung sind ohne Online-Inversion und Kandidatensuche lauffähig, was eine Integration in Echtzeitsteuerungen erleichtert. Kurzfristig ist der Ansatz vor allem für Prototypen und Benchmarks relevant, in ein bis drei Jahren sind Anwendungen in fest installierten zweiamrigen Robotern mit Pan/Tilt-Kamera denkbar, sofern reale Langzeitvalidierung, längere Historien, variable Optik und Sicherheitszertifizierungen ergänzt werden.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.