PACER: Wie menschliche Korrekturen VLA-Roboter beim Zerlegen von Elektroschrott besser machen
Ein Team um die Texas A&M University gewichtet Fehlversuche eines Roboters und die Rettungsgriffe eines Bedieners danach, wie nah sie dem Ziel kamen. Beim Ausbau von Mainboard-Komponenten stieg die Erfolgsquote in 100 unbekannten Hardwaretests auf 87 von 54 mit herkömmlichem Feintuning.
Lässt sich mit reinem überwachtem Feintuning, ohne Reinforcement Learning, mehr aus eigenen Rollouts und menschlichen Korrekturen herausholen, wenn echte Demontagedaten knapp sind?
In der Demontage variieren Produkte stark, eine mit wenigen hundert Demonstrationen trainierte Policy gerät schnell in unbekannte Zustände. Werden Rollouts und Korrekturen einfach ins Trainingsset gekippt, zählen Beinahe-Erfolge, Fehlschläge und Expertenkorrekturen gleich viel; Reinforcement Learning auf realer Hardware ist langsam, teuer und riskant.
Bisher wurden Daten nur nach Erfolg gefiltert, Korrekturen gleich gewichtet hinzugefügt oder Online- und Offline-RL mit handgeschriebenen Belohnungen eingesetzt.
PACER behält den nativen überwachten Aktionsverlust bei, gewichtet aber jeden gültigen Aktionsblock begrenzt nach Fortschritt zum Ziel, Nähe, Herkunft der Spur (Demo, autonomer Versuch, Korrektur) sowie Ergebnis- und Sicherheitslabels. Für acht vorab festgelegte Gewichtungen wird je eine Policy trainiert und per Offline-Validierung eine ausgewählt. Basis ist pi0.5-DROID, feinjustiert auf 710 teleoperierte Trajektorien, auf einem UR5e-Arm.
In 100 zurückgehaltenen Hardwaretests an fünf Bauteilen (CPU, GPU, CPU-Lüfter, RAM, Steckverbinder) erreichte PACER 87 Erfolge, gegenüber 79 für feste geometrische Gewichtung, 64 für gleichmäßige Gewichtung aller Daten, 54 für einfaches Nach-Feintuning und 12 für die Ausgangs-Policy.
Es handelt sich um einen Preprint. Bewertet wurde nur Anfahren und Übergabe, mit einem Roboter und einem VLA-Modell; den Erfolg beurteilte ein Bediener. Das Verfahren hängt von genauen Metadaten ab, die Robustheit gegen Labelfehler ist ungetestet, und die Autoren räumen eine schwache Kalibrierung des Validierungswerts ein.
Für Recycler und Remanufacturer, gerade in der EU mit ihren Kreislaufwirtschaftsvorgaben, und für Cobot-Anbieter wie Universal Robots zeigt die Arbeit, wie sich eine eingesetzte Policy aus alltäglichen Bedienereingriffen verbessern lässt. Bis zur vollständigen Demontage dürften ein bis drei Jahre vergehen.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.