InterEvolve, 휴머노이드 로코매니퓰레이션 보상 프로그램을 테스트타임에 진화시킨다

고정된 휴머노이드 로코매니퓰레이션 제어기가 가진 운동 능력을 테스트 시간의 보상 프로그램 진화만으로 새로운 접촉 중심 과제와 장면에 재사용할 수 있는가?

기존 휴머노이드 제어기는 사람 시연으로 다양한 전신 동작을 배웠지만, 훈련에 없던 상자 뒤집기 같은 과제는 동작 참조, 목표 상태, 스킬 라벨로 표현하기 어렵다. 보상 함수는 접촉 중심 목표를 표현할 수 있지만 기존에는 후보 보상마다 정책을 다시 학습해야 해 반복 개선 비용이 컸고, 기존 FB 모델은 몸만 관찰해 객체 목표만 다른 보상이 같은 행동으로 붕괴했다.

BFM-Zero 계열 body-only FB 모델과 ULTRA 같은 전용 추적 정책이 비교 대상이었다. LLM이 보상을 쓰는 기존 연구도 후보마다 RL 정책을 학습해야 했고, 사람이 쓴 보상은 제어기 내부 역량을 끌어내지 못했다. 추적 벤치마크에서 전용 ULTRA는 낮은 오차를 냈지만 FB 모델은 객체를 놓치는 한계가 있었다.

InterEvolve는 과제를 단계별 보상과 완료 조건, 조정 가능한 상수로 구성된 reward program으로 표현한다. 객체 위치, 속도, 링크-표면 벡터를 읽는 trainable object residual을 동결된 body prior에 부착한 객체 인식 FB 모델이 보상 프로그램을 재학습 없이 실행한다. LLM 에이전트가 실행 피드백과 스킬 라이브러리를 보고 프로그램 구조를 수정하고, CMA-ES가 가중치, 임계값을 보정하며, 병렬 시뮬레이션에서 후보를 검증한다. 검증된 프로그램은 이후 과제를 위한 스킬 라이브러리로 축적된다.

추적 실험에서 InterEvolve는 진화 없이 SR 60%, E_h 27.20 cm, E_o 30.80 cm였고, 에이전트가 찾은 보상으로 진화 후 SR 72%, E_h 19.80 cm, E_o 24.92 cm로 전용 ULTRA의 SR 66%, E_h 15.68 cm, E_o 21.45 cm를 성공률에서 앞섰다. body-only BFM-Zero는 SR 8%, E_o 62.33 cm로 객체를 대부분 놓쳤다. 8개 목표 조건 과제군 평균에서 사람이 쓴 프로그램은 SR 8.0%, 보정 후 18.0%, 에이전트 초기 프로그램은 SR 32.2%, CMA-ES 보정 후 34.6%에 그쳤지만, InterEvolve는 SR 86.5%, Earned 95.6%를 기록했다. GPU 비용은 과제군당 2.1 GPU-h, LLM 토큰은 0.23M이었다. 절제 실험에서 CMA-ES 보정을 빼면 SR 51.6%, 단일 단계로 바꾸면 44.7%, 다중 시나리오 평가 제거 시 68.4%였다. 진화 라운드별로는 초기 SR 32.2%에서 1라운드 75.0%, 4라운드 최종 86.5%로 올랐다. 복합 과제에서는 전체 라이브러리 조건이 Relocate 8/10, Stack 4/10, Carry-place-kick 5/10인 반면 라이브러리 없음은 0/10, 0/10, 1/10이었다. 실물 Unitree G1은 온보드 카메라와 FoundationPose 자세 추정만으로 시뮬레이션에서 진화한 차기, 밀기 프로그램을 자율 실행했다.

저자가 명시적으로 밝힌 한계는 논문에 보고되지 않았다. 다만 평가가 단일 Unitree G1, 두 가지 실물 과제에 그쳤고, 진화는 Isaac Lab 시뮬레이션 검증에 의존해 실물 섭동, 조명, 마찰 변동이 충분히 다뤄지지 않았다. Stack과 Carry-place-kick 복합 과제 성공률은 4~5/10으로 제한적이며, 코드 공개 여부도 보고되지 않았다.