UniIntervene++: Adaptiver Interventionsagent verbessert reales Online-RL auf 89,67 Prozent Erfolg
Das Paper beschreibt UniIntervene++, einen als Preprint veröffentlichten adaptiven Interventionsagenten, der während des Online-Reinforcement-Learning zwischen autonomer Roboterpolitik, Trajektorienkorrektur und einer task-strukturierten CodePolicy wählt. In fünf realen Manipulationsaufgaben erreicht das Verfahren eine mittlere Erfolgsrate von 89,67 Prozent und reduziert die menschliche Interventionsquote auf 0,77 Prozent. Damit übertrifft es die beste Baseline um 6 Prozentpunkte bei mindestens 94,6 Prozent weniger menschlichen Eingriffen.
Kann ein Interventionsagent lernen, die Steuerungszuweisung zwischen autonomer Ausführung und heterogenen Assistenzverhalten an die sich verbessernde RL-Politik im Online-Training anzupassen?
Bestehende HiL-RL-Systeme benötigen kontinuierliche menschliche Überwachung und manuelle Eingriffe; automatisierte Verfahren wie AutoSERL und UniIntervene beruhen auf Offline-Schätzungen oder festen Regeln, die nicht zur aktuellen Kompetenz der sich entwickelnden RL-Politik passen und entweder zu viel oder zu wenig assistieren.
HIL-SERL nutzt menschliche Korrekturen während des Online-Trainings, AutoSERL leitet Führung aus einer einzelnen Demonstration ab, UniIntervene lernt offline eine wertbasierte Recovery-Politik. Diese Ansätze halten den Operator verantwortlich oder fixieren Interventionsmodule vor dem Zieltraining; sie behandeln den Rückgabepunkt nicht als adaptive Entscheidung und passen ihre Zuweisung nicht an die Fortschritte der RL-Politik an.
UniIntervene++ formuliert die Steuerungszuweisung als semi-Markovschen Entscheidungsprozess mit drei Optionen: der aktuellen RL-Politik, einer demonstrationsgeführten Trajektorienkorrektur und einer task-strukturierten CodePolicy. Ein Double-DQN-Scheduler lernt online deren relative Q-Werte unter Berücksichtigung einer Verfügbarkeitsmaske. Adaptive RL Probe reserviert periodisch unassistierte Fenster, um die tatsächliche Kompetenz der RL-Politik zu messen und das Fenster anhand von Fortschritt und Bahnabweichung zu skalieren. Gekoppeltes Erfahrungslernen speist assistierte Übergänge in den Demonstrations- und Online-Replay-Puffer, sodass die RL-Politik aus korrigierten Erfahrungen lernt und ihre Ergebnisse wiederum den Scheduler aktualisieren.
Auf fünf realen UR7e-Manipulationsaufgaben (Ring Transfer, Tube Insertion, USB Insertion, Wipe Whiteboard, Towel Folding) erreicht UniIntervene++ eine mittlere Erfolgsrate von 89,67 Prozent. Die besten Baselines HIL-SERL und UniIntervene kommen auf 83,67 Prozent, AutoSERL auf 73,67 Prozent. Die menschliche Interventionsquote liegt bei 0,77 Prozent, gegenüber 54,03 Prozent für HIL-SERL, 18,84 Prozent für UniIntervene und 14,29 Prozent für AutoSERL; das entspricht einer relativen Reduktion von 94,6 Prozent gegenüber AutoSERL. Bei Ring Transfer steigt der Kontrollanteil der RL-Politik von 35,78 Prozent auf 90,51 Prozent, während der kombinierte Anteil von CodePolicy und Trajektorienkorrektur von 64,22 Prozent auf 9,49 Prozent sinkt. Ablationen auf Ring Transfer und Towel Folding: Ohne CodePolicy oder mit reiner SERL-Baseline fällt die Erfolgsrate auf 0 Prozent, ohne Trajektorienkorrektur auf 50 bzw. 47 Prozent, mit festem stochastischem Scheduler auf 75 bzw. 80 Prozent, das vollständige UniIntervene++ auf 88,33 bzw. 85 Prozent. Evaluation: drei Läufe à 20 Episoden pro Aufgabe.
Im Paper nicht berichtet sind Tests auf anderen Roboterplattformen, in Simulation oder über die fünf Aufgaben hinaus; die unabhängige Wirkung der Adaptive RL Probe wird in den Ablationen nicht isoliert. Der Ansatz benötigt erfolgreiche Demonstrationen und zuverlässige Objektposenschätzung für CodePolicy; bei fehlender Wahrnehmung steht diese Option nicht zur Verfügung. Die Auswertung basiert auf drei Durchgängen mit je 20 Episoden pro Aufgabe und einem einzigen UR7e-Arm. Das Paper ist ein nicht begutachtetes Preprint.
UniIntervene++ könnte in der Industrierobotik, etwa bei Montage, Steckverbindungen oder Handhabung verformbarer Objekte, das Online-Lernen mit weniger menschlicher Überwachung ermöglichen. Hersteller von kollaborativen Robotern und Anbieter von Lernplattformen könnten den Ansatz in 1 bis 3 Jahren in Produkte überführen, sofern Sicherheitsfreigaben, robuste Wahrnehmung und Validierung auf weiteren Plattformen vorliegen. Kurzfristig ist der Code verfügbar, aber reale Einsätze erfordern zunächst sicherere Perzeption und eine breitere Evaluierung.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.