PrefPI: Präferenzgesteuertes Policy-Iterieren für Out-of-Distribution-Verhalten
Die Autoren stellen mit PrefPI ein iteratives Framework vor, das vortrainierte generative Roboter-Policies nur durch relative Präferenzen über selbst generierte Trajektorien lenkt. In Simulation und auf realer Hardware erhöht PrefPI die Objekttransporthöhe von 10,7 cm auf 19,8 cm mit nur 150 präferenzmarkierten Trajektorien und steigert Wurfweiten um das 4,5-Fache, während die Erfolgsrate über 90 % bleibt. Der Preprint zeigt, dass Präferenzfeedback ein Verhalten über die initiale effektive Verteilung hinaus verschieben kann, ohne neue Demonstrationen oder Belohnungsfunktionen.