PrefPI, 선호 피드백만으로 사전학습 로봇 정책을 분포 밖 행동으로 조종

초기 정책의 효과적 지지 집합 밖에 있는 바람직한 행동을, 추가 데모나 수치 보상 없이 상대적 선호 피드백만으로 반복적으로 이끌어낼 수 있는가?

사전학습된 생성형 로봇 정책은 다양한 조작 과제를 풀 수 있지만 개별 사용자가 원하는 속도, 궤적, 최종 자세와는 다를 수 있다. 기존 선호 적응 방법은 대부분 데이터 수집 중 정책이 이미 관찰 가능한 행동을 강화하는 데 그친다. 따라서 원하는 행동이 초기 정책의 효과적 지지 집합 밖에 있으면 첫 rollout 배치에 나타나지 않아 단일 라운드 선호 업데이트로 직접 지도할 수 없다.

FDPP, Diffusion-DPO, FlowPRO 같은 방법은 정책이 생성한 궤적에서 선호 보상을 학습하거나 선호 쌍으로 생성 모델을 직접 최적화한다. 이들은 주로 이미 관찰된 선호 행동의 확률을 높이는 데 초점을 맞춘다. CFGRL은 분류기 없는 안내를 정책 개선 연산자로 해석했지만 수치 보상이나 최적성 라벨을 전제한다.

PrefPI는 선호 학습을 선호 조건부 생성 모델링으로 정식화한다. 각 반복에서 현재 정책이 생성한 N개 궤적 중 사용자가 상위 m개를 선택하면, 선택된 궤적으로 선호 조건부 브랜치를 학습하고 누적된 성공 궤적으로 무조건 브랜치를 학습한다. 두 브랜치의 밀도비를 CFG가 증폭해 다음 정책을 만든다. 이 생성-선택-유도-재배포 루프를 반복하면 점진적으로 초기 정책이 접근하지 못한 행동으로 이동한다. 저자는 상위 m 선택이 잠재 효용 U에 대해 순서를 보존하는 신호 g_k(U)를 유도하고, CFG가 이 신호를 증폭해 기대 효용을 높인다는 분석도 제시했다.

LIBERO 벤치마크에서 PI0.5-LIBERO를 사용했고, 각 반복마다 40개 궤적을 모아 상위 40%를 선택했다. 속도 과제 OpenDrawer, BowlToStove, PushPlate에서 실행 속도가 10회 반복 안에 약 25~38% 빨라졌다. BowlToStove의 최대 볼 높이는 320개 궤적 만에 65.1% 증가했고, PushPlate의 이동 거리는 200개 궤적 만에 106% 늘었다. 이는 3개 시드 평균이다. 실물 WidowX 로봇의 CubePickAndPlace 과제에서는 사전학습 PI0.5를 100개 데모로 미세 조정한 초기 정책에 PrefPI를 적용했다. 작업 속도는 1.83배 빨라졌고 평균 작업 완료 시간은 19.8초에서 10.8초로 줄었다. 최대 물체 높이는 10.7cm에서 19.8cm로 150개 선호 라벨 만에 증가했고, 던지기 거리는 약 4.5배 늘었다. 성공률은 대부분 반복에서 90% 이상이었다. RoboMimic의 OOD 조종 실험에서는 CanDropPos와 CanSpeed에서 PrefPI가 IFBC, DPO, FDPP, DSRL보다 강한 조종을 보였고, LiftDetour에서는 FDPP가 더 큰 우회와 높은 성공률을 보였다. 공격적인 LiftDetour 조종에서 PrefPI 성공률은 약 30%까지 떨어졌다. 이는 5개 시드 평균이다. 분포 내 선호 정제 실험에서는 Lift, Can, Square 과제에서 5회 반복 안에 성공률이 향상됐고 IFBC가 Lift와 Can에서 약간 더 높았다.

저자는 조종 성능이 초기 정책의 행동 다양성에 크게 의존한다고 밝혔다. 다양성 통제 실험에서 높은 다양성 사전분포는 약 24cm 도달에 성공률 85% 이상을 유지했지만, 낮은 다양성 사전분포는 약 20cm 도달 후 성공률이 약 50%로 떨어졌다. 초기 다양성이 낮은 LiftDetour에서도 PrefPI 성공률이 약 30%까지 하락했다. 공격적인 분포 밖 조종은 시뮬레이션에서 성공률을 20~30% 낮추는 상충 관계를 보였다. 코드 공개 여부와 다중 로봇 검증은 논문에 보고되지 않았다.