MobiAgent: Dual-Loop-Agentensystem für mobile Manipulation mit rekursiver Selbstverbesserung
MobiAgent ist ein als Preprint veröffentlichter Dual-Loop-Agentenframework für langhorizontige mobile Manipulation. Der Inner Loop kombiniert einen VLM-basierten Task Planner, einen Skill Executor mit gemeinsamen VLM-Backbone und getrennten Flow-Matching-Experten sowie einen Reflection Critic zur Verifikation und globalen Replanung; der Outer Loop segmentiert und verifiziert Rollouts automatisch, clustert atomare Skills und trainiert die Skill-Bibliothek kontinuierlich ohne manuelle Annotation. Auf BEHAVIOR-1K erreicht MobiAgent eine mittlere Erfolgsrate von 65,0 % und übertrifft die aufgabenspezifische Baseline π0.5-TA um 22,5 Prozentpunkte; auf dem realen Astribot S1 steigt die Erfolgsrate durch Datenrecycling von 32,5 % auf 57,5 %.
Wie kann ein duales Agentenframework die langhorizontige mobile Manipulation durch dynamische Komposition atomarer Skills, visuelle Verifikation mit Replanung und automatisierte Selbstverbesserung ohne manuelle Annotation robuster machen?
Langhorizontige mobile Manipulation leidet unter kumulierenden Ausführungsfehlern und Kapazitätsinterferenzen, wenn Lokomotion und Armsteuerung in einer einzigen Politik gemeinsam modelliert werden. Monolithische VLA-Modelle wie OpenVLA, π0 und π0.5 sind auf kurzhorizontige reaktive Aufgaben ausgelegt und besitzen keine hierarchische Zerlegung oder langfristigen Kontext für geschlossene Replanung. Bestehende hierarchische Agenten verwenden starre Teilaufgaben-Zuordnung, unflexible Verifikation und Replanung sowie kein kontinuierliches Lernen aus Einsatzdaten.
Bisherige Ansätze umfassen monolithische VLA-Politiken wie OpenVLA, π0 und π0.5, die Beobachtungen direkt auf kontinuierliche Aktionen abbilden, sowie mobile Erweiterungen wie Mobi-π und N2M, die primär den Übergang zwischen Navigation und Manipulation optimieren. Hierarchische Frameworks wie CaP-X und RoboClaw schichten LLMs oder VLMs über Low-Level-Controller, verlassen sich aber auf feste Skill-Repertoires oder explizit gepaarte Vorwärts- und Reset-Politiken; sie erlauben keine offene Komposition, keine flexible globale Replanung und keine automatische Datenkuration zur Politikverbesserung. π0.5-TA trainiert für jede Aufgabe ein separates Modell und leidet unter Kapazitätsinterferenz.
MobiAgent führt eine Dual-Loop-Architektur ein. Im Inner Loop erzeugt ein VLM-basierter Task Planner receding-horizon Pläne als Folge atomarer Skills; ein Skill Executor nutzt einen gemeinsamen VLM-Trunk aus π0.5 und pro Skill separate Flow-Matching-Aktions-Experten, um Kapazitätsinterferenz zu vermeiden; ein Reflection Critic bewertet nach jeweils C Aktions-Chunks den Status (complete, incomplete, error) und löst advance, retry oder globale Replanung aus. Der Outer Loop verarbeitet Startdemonstrationen und Deployment-Rollouts: ein Data Curator segmentiert und verifiziert Trajektorien mit VLM-Unterstützung, ein Skill Generator clustert die Instruktionen zu kanonischen atomaren Skills, und ein Skill Trainer trainiert oder feinjustiert die Skill-Politiken per Behavior Cloning auf den kuratierten Daten ohne manuelle Annotation.
Auf BEHAVIOR-1K (vier Aufgaben, je 10 Versuche) erreicht MobiAgent im Mittel 65,0 % Erfolg gegenüber 42,5 % für π0.5-TA, ein Plus von 22,5 Prozentpunkten; die größte Verbesserung liegt bei fetch-beer mit 60 % gegenüber 10 %. Ablationen auf BEHAVIOR-1K: feste aufgabenspezifische Teilaufgaben ohne Planner 20,0 %, einzelner gemeinsamer Aktionskopf 42,5 %, ohne Reflection Critic 10,0 %, ohne globale Replanung 40,0 %, volles System 65,0 %. In RoboCasa Composite-Seen (fünf Versuche pro Szene) verbessert sich MobiAgent von 18,75 % in Runde 1 auf 27,50 % in Runde 3 und stabilisiert sich bei 25,00 bis 27,50 % in Runden 4 bis 6, gegenüber CaP-X mit 5,00 % und π0.5 mit 7,50 %. Auf dem realen Astribot S1 mit vier Aufgaben und 100 Demonstrationen pro Aufgabe erreicht die monolithische π0.5-Baseline 10,0 % im Mittel; MobiAgent startet bei 32,5 % (R1), steigt auf 40,0 % (R2) und 57,5 % (R3), wobei pro Runde etwa 20 automatisch kuratierte Deployment-Trajektorien pro Aufgabe hinzukommen.
Die Autoren nennen als Grenzen: Das Hinzufügen neuer Skills zum gemeinsamen VLA-Backbone kann bereits gelernte Verhaltensweisen beeinträchtigen; parameter-effiziente Module wie LoRA und Continual-Learning-Strategien könnten helfen. Der Inner Loop zeigt Pose-Korrektur-Churn, ungenaue Platzierungswiederherstellung und Critic-Drift bei kurzzeitigen visuellen Verdeckungen; explizite geometrische Wahrnehmung und Future-Reality-Verifikation könnten das verbessern. Die Evaluation deckt nur RoboCasa, BEHAVIOR-1K und reale Aufgaben auf Astribot S1 ab; breitere Aufgabenfamilien, Umgebungen und Roboter-Embodiments fehlen. Die Stichprobengrößen sind klein (10 Versuche pro BEHAVIOR-1K-Aufgabe, 5 Versuche pro RoboCasa-Szene, 4 reale Aufgaben). Das Paper ist ein Preprint und nicht begutachtet.
Hersteller mobiler Manipulatoren wie Astribot oder Galaxea sowie Anbieter von Servicerobotik könnten den Dual-Loop-Ansatz kurzfristig in Forschungs- und Pilotprojekten einsetzen, um langhorizontige Aufgaben ohne große manuelle Datenannotation zu verbessern. Für den kommerziellen Einsatz in Lager- oder Haushaltsrobotik innerhalb von 1 bis 3 Jahren müssten die Stabilität beim Skill-Zuwachs, die Robustheit des Critics unter Verdeckungen und die Generalisierung auf weitere Roboter und Umgebungen nachgewiesen werden; zudem ist Rechenkapazität für wiederholtes Offline-Training erforderlich.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.