PrefPI: Präferenzgesteuertes Policy-Iterieren für Out-of-Distribution-Verhalten
Die Autoren stellen mit PrefPI ein iteratives Framework vor, das vortrainierte generative Roboter-Policies nur durch relative Präferenzen über selbst generierte Trajektorien lenkt. In Simulation und auf realer Hardware erhöht PrefPI die Objekttransporthöhe von 10,7 cm auf 19,8 cm mit nur 150 präferenzmarkierten Trajektorien und steigert Wurfweiten um das 4,5-Fache, während die Erfolgsrate über 90 % bleibt. Der Preprint zeigt, dass Präferenzfeedback ein Verhalten über die initiale effektive Verteilung hinaus verschieben kann, ohne neue Demonstrationen oder Belohnungsfunktionen.
Kann Präferenzfeedback eine vortrainierte generative Roboter-Policy in Verhaltensbereiche lenken, die unter der initialen Policy extrem unwahrscheinlich sind und in den ersten Rollout-Batches praktisch nicht auftreten?
Bestehende präferenzbasierte Anpassungsverfahren optimieren meist Verhaltensweisen, die in der Policy während der Datenerhebung bereits repräsentiert oder beobachtbar sind. Wenn das gewünschte Verhalten außerhalb der effektiven Unterstützung der initialen Policy liegt, kann es in einer einzelnen Präferenzrunde nicht direkt als Supervision dienen; eine iterative Prozedur muss inkrementelle Verbesserungen als Zwischenschritte nutzen.
Bisherige Ansätze wie FDPP, Diffusion-DPO, FlowPRO, DSRL und IFBC lernen Belohnungsmodelle oder optimieren direkt aus bevorzugten und abgelehnten Stichproben. Sie erhöhen primär die Wahrscheinlichkeit bereits beobachteter bevorzugter Verhaltensweisen und scheitern daran, die Policy systematisch in Bereiche zu verschieben, die außerhalb der initialen effektiven Unterstützung liegen, oder sie sind bei schmalen Verhaltensprioren wenig wirksam.
PrefPI formuliert Präferenzlernen als präferenzkonditionierte generative Modellierung. In jeder Iteration generiert die aktuelle Policy N Trajektorien, der Nutzer wählt die Top-m aus. Ein präferenzkonditionierter Zweig wird auf diesen ausgewählten Trajektorien trainiert, ein unkonditionierter Zweig auf einem akkumulierten Datensatz erfolgreicher Trajektorien. Classifier-free Guidance (CFG) kombiniert beide Zweige und verstärkt das Dichteverhältnis, das durch die Top-m-Auswahl einen ordnungserhaltenden Präferenzsignal-Faktor induziert. Dieser Zyklus aus Generieren, Auswählen, Führen und erneutem Rollout verschiebt das effektive Support iterativ. Die Methode ist für Diffusions- und Flow-Matching-Policies anwendbar und wurde auf einem realen WidowX-Roboterarm evaluiert.
In Simulation mit PI0.5-LIBERO auf LIBERO steigt bei Detour-Aufgaben die maximale Bowl-Höhe um 65,1 % innerhalb von 320 Trajektorien, die Plattenverschiebung um 106 % innerhalb von 200 Trajektorien; bei Speed-Aufgaben verbessert sich die Ausführungszeit um etwa 25 % bis 38 % innerhalb von 10 Iterationen bzw. 400 evaluierten Trajektorien. Die Einleitung nennt zudem eine Zunahme der Detour-Höhe von etwa 15 cm auf 37 cm und der horizontalen Verschiebung von 4 cm auf 12 cm. Die Erfolgsrate bleibt in frühen Iterationen meist über 90 %, sinkt aber bei aggressivem Steering um 20 % bis 30 %. Auf realer Hardware (WidowX, CubePickAndPlace) erhöht PrefPI die Objekttransporthöhe von 10,7 cm auf 19,8 cm nach drei Iterationen und weiter auf 20,4 cm nach sechs Iterationen mit nur 150 präferenzmarkierten Trajektorien; die Ausführungszeit sinkt von 19,8 s auf 10,8 s, die Wurfweite steigt um das 4,5-Fache, und die Erfolgsrate bleibt in den meisten Iterationen über 90 %. Im RoboMimic-Vergleich mit angepassten Feedback-Budgets erzielt PrefPI auf CanDropPos und CanSpeed das stärkste Out-of-Distribution-Steering, während FDPP auf LiftDetour einen größeren Detour und eine höhere Erfolgsrate erreicht; FDPP sammelt dabei etwa doppelt so viele Umgebungsinteraktionen. Bei LiftDetour sinkt die PrefPI-Erfolgsrate auf rund 30 %. Für In-Distribution-Verfeinerung schneiden PrefPI und IFBC am besten ab, mit leichtem Vorteil für IFBC auf Lift und Can; FDPP ist deutlich schlechter.
Die Autoren nennen als zentrale Grenze, dass die Steering-Leistung von der Diversität des initialen Policies abhängt. Bei schmalen Verhaltensprioren sinkt die Erfolgsrate stark, etwa auf 30 % bei aggressivem LiftDetour, und insgesamt kommt aggressives Steering mit 20 % bis 30 % Erfolgsrückgang. Außerdem basieren die Realwelt-Ergebnisse auf einem einzigen WidowX-Roboter und wenigen Aufgaben; eine Begutachtung ist als Preprint nicht erfolgt. Ob der Code veröffentlicht wird, ist im Paper nicht berichtet.
Unternehmen, die vortrainierte Diffusions- oder Flow-Matching-Policies für Manipulation einsetzen, etwa in Logistik, Haushaltsrobotik oder Laborautomatisierung, könnten PrefPI kurzfristig (1 bis 3 Jahre) für nutzerspezifische Verhaltensanpassung nutzen. Voraussetzung sind eine ausreichend diverse initiale Policy, eine Schnittstelle für relative Präferenzurteile und Rechenressourcen für iteratives Nachtrainieren. Für breite Produkteinsätze sind robustere Verfahren bei schmalen Prioren und zusätzliche Hardware-Validierung nötig.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.