PL-MPC, 계획-학습 폐루프를 함께 개선해 HumanoidBench와 실물 렌치-너트 정렬 성능 향상
PL-MPC는 정책 제약형 TD-M(PC)2 백본에서 비평가 지도, MPPI 종단 가치 평가, 플래너-정책 전이를 동시에 바꾼 방법이다. HumanoidBench에서는 balance-hard의 TAR(Total Average Return)가 98±18에서 387±255로, hurdle은 199±13에서 466±200으로 올랐고, KUKA IIWA14 실물 실험에서는 학습 물체 크기와 미학습 크기 모두에서 TD-M(PC)2보다 높은 성공률을 보였다. 아직 동료 심사를 거치지 않은 프리프린트다.
정책-플래너 정렬만으로는 부족한 TD-MPC 계열의 계획-학습 폐루프에서 비평가 지도, MPC 종단 가치 평가, 플래너-정책 전이를 동시에 개선하면 어려운 로봇 제어 과제와 실물 전이 성능을 높일 수 있는가?
TD-MPC 계열은 온라인 플래너가 경험을 만들고, 학습된 비평가와 액터가 다시 플래너의 미래 계획을 평가하고 제안하는 폐루프 구조를 갖지만, 기존 정책 제약형 변형들은 주로 플래너-정책 정렬만 다뤘다. 비평가는 한 단계 관측 보상만 받고 부트스트랩해 이후 보상이 직접 전달되지 않고, 불확실한 비평가 종단 가치가 MPPI 궤적 순위를 바꿔 이후 데이터 수집에 영향을 주며, 플래너가 만든 경험의 질 차이를 플래너-정책 전이에 반영하지 못하는 문제가 남아 있다.
TD-MPC와 TD-M(PC)2는 잠재 세계 모델과 MPPI 계획을 결합하고, TD-M(PC)2는 액터를 플래너 분포로 제약한다. BMPC, BOOM, PO-MPC 등도 플래너 행동 모방이나 플래너 행동 가중 모방을 강화한다. 그러나 이들은 플래너-정책 정렬에 집중했을 뿐 비평가의 TD 지도 방식, MPPI 종단 가치의 불확실성, 궤적 성과 기반 가중 전이를 동시에 바꾸지는 않았다.
PL-MPC는 TD-M(PC)2의 세계 모델 구조와 MPPI 최적화 절차는 그대로 두고 세 지점을 수정한다. 첫째, MTD(Multi-step TD targets)는 재생 구간 안에서는 플래너가 실행한 실제 보상을 사용하고 구간을 넘어가면 현재 액터로 모델 롤아웃해 하이브리드 n단계 TD 목표를 만든다. 둘째, ATE(Adaptive terminal estimates)는 MPPI 궤적 점수 계산에서 목표 비평가 앙상블의 불일치를 정규화한 패널티로 종단 가치를 낮춘다. 셋째, RAD(Return-weighted actor distillation)는 에피소드 실현 보상으로 정규화한 가중치를 플래너 실행 행동 모방 손실에 곱한다. 기본 설정은 n=H=3, ATE ηmax=0.5와 decay 0.99, RAD 큐 256개, wmax=10, 200K 스텝 웜업이다.
13개 HumanoidBench 보행 과제에서 PL-MPC는 TD-M(PC)2보다 8개 과제 평균을 개선했고 5개 과제는 낮았다. 가장 큰 개선은 balance-hard에서 TAR 98±18→387±255, hurdle에서 199±13→466±200이었다. 하락 과제 중 walk, crawl, sit-simple은 HumanoidBench 기준 임계값을 넘었지만 run과 sit-hard는 미달했다. 4개 DMControl 과제에서는 경쟁력을 유지했고 humanoid-walk에서 947±6으로 가장 높았다. 제거 실험에서는 balance-hard에서 MTD를 빼면 387±255→186±51로 떨어졌고, hurdle에서는 ATE 제거 시 296±21, RAD 제거 시 231±72로 낮아졌지만 MTD 제거 시 530±275로 오히려 평균이 높아 성분 효과가 과제 의존적이고 비가산적이었다. 실물 렌치-너트 정렬에서는 Isaac Gym에서만 학습한 정책을 KUKA IIWA14에 실물 미세 조정 없이 배치했다. 학습 크기(size 5)에서 PL-MPC 성공률 74.2%(31회), TD-M(PC)2 61.3%(31회), 미학습 size 3에서 80.0% 대 73.3%(각 15회), size 1에서 33.3% 대 20.0%(각 15회)로 모두 PL-MPC가 높았다.
저자들은 PL-MPC를 TD-M(PC)2 백본에서만 평가했고 다른 TD-MPC 계열 백본으로의 전이는 향후 과제라고 밝혔다. HumanoidBench의 어려운 과제에서 시드 간 편차가 크고 성분 효과가 비가산적이며, RAD 웜업을 750K로 늦추면 crawl, balance-simple, sit-hard는 개선되지만 hurdle은 나빠져 고정 웜업이 모든 과제를 지배하지 못했다. run과 sit-hard에서는 기준 임계값에 미달했다. 실물 실험은 단일 로봇과 3가지 물체 크기, 크기당 15~31회 시행으로 규모가 작고, 정책별로 하나의 체크포인트만 평가했다. arXiv 프리프린트로 아직 동료 심사를 거치지 않았다.
모델 기반 로봇 제어에서 플래너와 학습 구성 요소를 함께 개선하는 방식은 인간형 로봇 보행, 산업용 조립, 정렬, Isaac Gym 기반 시뮬레이션에서 실물로 전이하는 응용에 활용 가능하다. 다만 시드 안정성, RAD의 적응형 웜업, 다른 백본 검증, 더 넓은 실물 평가가 선행되어야 상용 적용이 현실화될 것으로 보인다. 기술 요소는 지금 파일럿에 쓸 수 있지만 제품 수준 적용은 1~3년 뒤로 판단된다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.