RoboBridge: Selbstlernendes Agenten-Framework für Sim-to-Real-Transfer
Das Paper stellt RoboBridge vor, ein selbstlernendes Agenten-Framework, das in Simulation entwickelte prozedurale Fertigkeiten auf reale Roboteraufgaben überträgt und dort durch Ausführungsfeedback weiterentwickelt. Es integriert eine vortrainierte Vision-Language-Action-Policy als wiederverwendbares Aktionswerkzeug und ergänzt sie um eine belohnungsgeführte Inferenzzeit-Korrektur, ohne die Policy neu zu trainieren. Im LIBERO-PRO-Benchmark erreicht das Framework 74,4 % Gesamterfolg gegenüber 72,1 % der stärksten berichteten Baseline und verbessert bei drei realen Manipulationsaufgaben die Erfolgszahlen von 4/15, 2/15 und 3/15 auf 9/15, 7/15 und 7/15 beim direkten Transfer beziehungsweise 15/15, 14/15 und 15/15 nach zehn realen Anpassungsepisoden. Der Artikel ist ein arXiv-Preprint und nicht als begutachtet einzuordnen.
Wie lässt sich prozedurales Aufgabenwissen aus einer Simulation so strukturieren und weiterentwickeln, dass es auf reale Roboter übertragen werden kann und dort durch Feedback aus der Zielumgebung kontinuierlich angepasst wird?
End-to-End-VLA-Policies übertragen Manipulationsfähigkeiten nur über Kalibrierung der Simulationsbedingungen, zusätzliche Zielumgebungsdemonstrationen und erneutes Training; das Aufgabenwissen steckt in den Modellgewichten und lässt sich bei veränderten Bedingungen nicht isoliert überarbeiten. Werkzeugnutzende Embodied Agents machen Prozeduren explizit, unterstützen aber vor allem Ausführung und Wiederverwendung innerhalb derselben Umgebung und bieten wenig Mechanismen für den kontrollierten Transfer und die fortlaufende Anpassung von Prozeduren zwischen Simulation und Realität.
Bisherige Ansätze umfassen einerseits end-to-end-Policies wie RT-1, RT-2, OpenVLA oder π0 und darauf aufsetzende policyzentrierte Anpassung durch Domain Randomisierung, Simulator-Kalibrierung und Fine-Tuning, andererseits Agenten-Harnesse wie Harness VLA, ASPIRE oder RATs, die explizite Prozeduren, Gedächtnis und Feedback-basierte Reparatur nutzen. Die ersten koppeln Anpassung an die Policy-Optimierung, die zweiten behandeln den Sim-to-Real-Übergang nicht als eigenständiges Problem der selektiven Revision einer transferierten Prozedur.
RoboBridge speichert Aufgabenwissen als editierbare Prozedur-Skills, die Aufgabenabsicht, Beobachtungen, Werkzeugoperationen und Ergebnisprüfung verbinden. Ausführungsfeedback erzeugt Kandidatenrevisionen, die durch erneute Aufgabenausführung validiert und nur bei Verbesserung übernommen werden; Löschen und Ersetzen sind ausdrücklich erlaubt. Eine vortrainierte VLA-Policy wird als Aktionswerkzeug eingebunden und bei Bedarf durch eine vom Agenten konfigurierte Belohnungsfunktion während des Denoising-Prozesses gesteuert, ohne die Policy-Gewichte zu verändern. Simulation und Realität teilen sich Aufgaben-Sematik sowie Beobachtungs- und Werkzeugschnittstellen, sodass simulierte Skills als initiale Prozeduren in der Zielumgebung starten und dort weiter evolvieren können.
Im LIBERO-PRO-Benchmark mit 100 Versuchen pro Suite-Perturbations-Paar (10 Aufgaben mal 10 Seeds) erreicht RoboBridge mit Codex insgesamt 74,4 % Erfolg, verglichen mit 72,1 % für Harness VLA, 50,0 % für π_RLinf und 11,0 % für π0.5. Auf SPATIAL-T und OBJECT-T erreicht das vollständige Framework 83 % und 94 %; ohne Skill-Steuerung fallen die Werte auf 21 % und 16 %, mit reinem Append-only-Update auf 44 % und 57 %, ohne Validierung auf 69 % und 63 % und ohne Inferenzzeit-Steuerung auf 75 % und 82 %. Bei drei realen Manipulationsaufgaben verbessert der direkte Transfer simulationsentwickelter Skills die Erfolgszahlen von 4/15, 2/15 und 3/15 auf 9/15, 7/15 und 7/15; nach zehn realen Evolutionsepisoden liegen sie bei 15/15, 14/15 und 15/15. In einer separaten Effizienzmessung auf der Kuchenaufgabe erreicht die simulationsinitialisierte Evolution 15/15 nach 12 Iterationen statt 16 aus leerem Skill-Zustand und verbraucht 13,08 M Token gegenüber 52,39 M Token, eine Reduktion um rund 75 %.
Die Autoren nennen als Einschränkung, dass die Evaluierung ausschließlich mit Codex und GPT-5.5 als Coding-Agent durchgeführt wurde; eine Übertragung auf andere Foundation-Modelle und Agenten-Harnesse steht aus. Die reale Evaluierung umfasst nur drei Aufgaben mit je 15 Versuchen und einen einzelnen Roboteraufbau, Details zu mehreren Robotertypen oder Standorten fehlen. Ob Code oder Modelle veröffentlicht werden, ist im Paper nicht berichtet. Als Preprint ist die Arbeit nicht extern begutachtet.
Für Robotikunternehmen, die vortrainierte VLA-Policies in physische Manipulationssysteme integrieren, kann RoboBridge den Sim-to-Real-Aufwand reduzieren, indem es Prozeduren statt Policy-Gewichte anpasst und Zielumgebungs-Feedback für kontinuierliche Verbesserung nutzt. Kurzfristig ist der Ansatz vor allem für Forschungslabore und Plattformanbieter mit Zugang zu leistungsfähigen Coding-Agents interessant; eine industrielle Nutzung in Bereichen wie Kommissionierung oder Laborautomation erscheint in ein bis drei Jahren möglich, sofern die Beobachtungs- und Werkzeugschnittstellen zwischen Simulation und realen Zellen standardisiert werden und die Ergebnisse auf mehr Aufgaben, Roboter und Foundation-Modelle generalisiert sind. Voraussetzung ist außerdem die Verfügbarkeit einer zuverlässigen vortrainierten Aktions-Policy und ausreichend sicherer Validierungsmechanismen für persistente Skill-Updates.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.