TRACE: 휴머노이드 전신 제어 모델을 다른 로봇으로 옮기는 효율적 전이학습

대규모로 사전학습된 휴머노이드 전신 제어 모델(행동 파운데이션 모델, BFM)을 크기와 관절 배치, 구동기가 다른 로봇으로 싸게 옮기면서도 원격조종과 VLA 모델이 이미 쓰는 동작 명령 체계를 그대로 유지할 수 있는지를 묻는다.

SONIC 같은 BFM은 수많은 동작 클립을 따라 하도록 학습해 하나의 제어기로 수천 가지 동작을 소화한다. SONIC은 유니트리 G1에서 1억 프레임 넘는 동작 데이터와 약 2만1000 GPU시간을 썼다. 문제는 이 모델이 학습한 로봇에 묶여 있다는 점이다. 로봇이 바뀌면 관절 수와 배치가 달라지는 기구학 불일치, 질량과 구동기, 접촉 특성 차이로 같은 명령에도 다르게 움직이는 동역학 불일치가 동시에 생긴다. 하드웨어가 해마다 바뀌는 상황에서 기종마다 재학습하는 비용은 감당하기 어렵다.

여러 휴머노이드나 무작위로 변형한 몸체를 한꺼번에 학습하는 방식은 비용이 커지고 학습 범위 밖 로봇에서는 전용 제어기보다 성능이 떨어졌다. 사전학습된 추종 제어기 위에 잔차 정책을 얹는 방식은 같은 로봇에만 적용됐다. 가장 가까운 선행 연구인 Any2Any는 관절 정렬 뒤 저랭크 어댑터(LoRA)로 동역학 관련 모듈을 미세조정했지만, 로봇 간 동작 잠재표현을 명시적으로 맞추지 않았고 원래 로봇의 데이터 샘플링을 그대로 써 수렴이 느렸다고 저자들은 지적했다.

TRACE는 네 단계로 이뤄진다. 먼저 두 로봇의 대응 자세에서 추정한 기구학 변환을 제어 모델의 입출력층에 미리 녹여 넣고, 행동 크기를 보정한 뒤 각 관절의 고유진동수와 감쇠비가 원래 로봇과 같아지도록 대상 로봇의 PD 게인을 정한다. 다음으로 BONES-SEED 동작 데이터에서 관절 한계 위반, 충돌, 발 미끄러짐이 있는 클립을 걸러내고 10개 동작 범주에 같은 분량을 배정한 뒤 SONIC 특징 공간에서 넓게 퍼진 클립을 골라 1000만 프레임짜리 전이용 데이터를 만든다. 세 번째로 기존 가중치는 고정하고 LoRA 어댑터(랭크 32)만 학습하는데, 동작 인코더는 원래 인코더와 같은 잠재 토큰을 내도록 증류하고 제어 디코더는 시뮬레이션에서 PPO 강화학습으로 조정한다. 학습은 쉬운 동작으로 안정적인 추종을 먼저 확보한 뒤 어려운 동작에 집중하는 2단계로 나눴다.

G1에서 H2로의 전이는 RTX PRO 6000 GPU 한 장, 병렬 시뮬레이션 환경 1만2288개로 약 8시간이 걸렸다. 학습에 쓰지 않은 PHUMA 벤치마크 동작 6만7953개에서 H2 제어기는 키에 비례해 조정한 기준으로 96.08%를 성공했다. 원래 SONIC의 G1 성공률은 97.59%였다. 국소 위치 오차는 55.81mm로 G1의 27.81mm보다 컸다. 사전 정렬 단계를 빼면 성공률이 87.29%로, 데이터 선별 전략을 빼면 93.80%로, 1단계 학습만 하면 95.64%로 낮아졌다. 2단계 학습은 보상을 11.9% 높이고 루트 위치 오차를 26.2% 줄였다. 전체 파라미터 미세조정은 수렴이 훨씬 느렸고 처음부터 학습한 경우 3000회 반복 안에 쓸 만한 제어기가 나오지 않았다. 실제 H2는 스쿼트, 한쪽 무릎 꿇기, 발차기, 한발 뛰기를 수행했고 VR 원격조종의 하위 제어기로 쓰였다. 이렇게 모은 시연 데이터로 엔비디아 GR00T N1.7을 후학습한 결과 다섯 개 과제에서 각 20회 시도 기준 성공률은 65~90%였다.

동료 심사를 거치지 않은 프리프린트다. 저자들은 로봇 한 쌍(G1에서 H2)과 사전학습 모델 하나(SONIC)만 검증했고, 재사용 가능한 가치망(critic)이 있어야 한다는 전제가 붙는다고 인정했다. 호환되는 구현이 없다는 이유로 Any2Any나 다기종 제어기와 직접 비교하지 않았다. 두 로봇이 같은 제조사 제품이라 업체 간 동역학 차이보다 간극이 작다는 점, H2의 절대 오차가 G1의 두 배라는 점, 실기 결과가 측정된 추종 정확도가 아니라 시연과 20회 시도 성공률이라는 점도 감안해야 한다. 8시간이라는 수치에는 SONIC 원래 학습 비용이 빠져 있다.