Empowerment를 샘플링 MPC에 단일 정책으로 통합해 희소 목표 제어 성공률 높인다
텍사스텍대 연구진은 탐색과 실행을 하나의 행동 분포로 통합한 Empowerment 기반 MPC 프레임워크를 제안했다. 이 프리프린트는 희소 목표 비용만으로는 실패하는 단진자, 카트폴, 이중진자 과제에서 임파워먼트와 목표 비용을 결합해 최고 100% 성공률을 기록했고, 넘어진 호퍼가 별도 회복 목표 없이 스스로 일어나는 행동도 보였다. 2차 미분 없이 1차 민감도만으로 임파워먼트를 추정해 표준 샘플링 MPC 솔버와 결합할 수 있다는 점이 실용적 의미다.
탐색 정책과 실행 정책을 분리하고 2차 미분에 의존하던 기존 임파워먼트 제어를 단일 행동 분포와 샘플링 MPC로 통합해 희소 목표 비용과 결합할 수 있는가?
샘플링 기반 MPC는 작업 목표만 담은 비용 함수가 희소하거나 정보가 없으면 최적화에 실패한다. 임파워먼트는 목표와 무관한 동역학 기반 대안이지만, 기존 방식은 가상 탐색 정책과 실행 제어 정책이 분리되어 MPC와 호환되지 않고, 제어 입력을 얻으려면 동역학의 2차 미분이 필요해 표준 MPC 파이프라인에 적용하기 어렵다.
기존 임파워먼트 제어는 제로 평균 가우시안 탐색 정책으로 채널 용량을 추정하고, 상태에 대한 임파워먼트 기울기를 동역학의 1차 미분으로 제어 공간에 매핑하는 2차 미분 기반 제어기를 사용했다. 이 구조는 탐색 행동과 실행 행동이 분리되어 샘플링 비용이 커지고, 임파워먼트 목표와 실제 제어 행동의 관계가 모호해진다.
새 방법은 탐색 정책의 평균을 0이 아닌 제어 시퀀스로 두고, 평균 시퀀스에 대한 내부 최적화와 공분산에 대한 워터필링 외부 최적화로 임파워먼트를 중첩 최적화 문제로 재구성한다. 평균 제어 시퀀스는 Random Shooting, Predictive Sampling, CEM, MPPI 같은 샘플링 MPC로 최적화하며, 임파워먼트 추정에는 동역학의 1차 선형화만 사용하고 2차 미분은 쓰지 않는다. 같은 샘플 궤적에서 임파워먼트와 목표 비용을 함께 평가해 총 비용 βE + C 형태로 결합한다.
희소 목표 비용만으로는 모든 샘플링 알고리즘에서 진자 과제를 풀지 못했다. 임파워먼트 단독 최고 성공률은 단진자 59%, 카트폴 81%, 이중진자 3%였고, 목표 비용과 결합한 최고 성공률은 단진자 CEM 100%, 카트폴 Predictive Sampling 100%, 이중진자 Predictive Sampling 86%였다. 평가는 10개 시드에서 성공 지표의 시간 평균으로 측정했고, 시뮬레이션 환경이다. 호퍼 과제에서는 임파워먼트 MPC가 넘어진 상태에서 별도 회복 목표 없이 일어나 쭈그린 자세로 안정화했고, 표준 임파워먼트 제어는 임파워먼트 값이 크게 흔들리며 안정화에 실패했다.
저자들은 계획 지평선 등 하이퍼파라미터에 매우 민감하고, 지평선이 길어져도 성능이 단조 증가하지 않는다고 밝혔다. 복잡한 환경에서는 안정적 최적화에 많은 병렬 롤아웃이 필요해 잘 설계된 목표 비용보다 샘플 효율이 낮다. 평가는 시뮬레이션의 고전 제어 과제에 한정됐고 실물 로봇 검증은 보고되지 않았다. 이 논문은 arXiv 프리프린트로 동료 심사 여부도 확인되지 않았다.
보행 로봇이나 매니퓰레이터에 MPC를 쓰는 기업은 넘어짐 복구나 희소 보상 학습의 보조 신호로 이 방법을 활용할 수 있다. 지금은 시뮬레이션 제어 알고리즘 개선에 적용 가능하고, 실시간 임베디드 MPC에 쓰려면 병렬 롤아웃 수를 줄이고 계획 지평선을 자동으로 설정하는 후속 연구가 필요해 1년에서 3년 뒤 실물 로봇 적용이 현실적이다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.