SuperMimic, 휴머노이드 전신 제어기를 GPU 1장으로 3시간 만에 학습, SONIC은 2만1000 GPU시간
미분 가능한 월드모델 안에서 학습하는 UC버클리의 휴머노이드 제어기가 엔비디아 H100 한 장으로 3시간 만에 기존 SONIC 동작 추종기의 보상 점수를 넘어섰다고 연구진이 CoRL 2026 채택 프리프린트에서 밝혔다. SONIC은 L40 GPU 128장으로 7일, 약 2만1000 GPU시간을 썼다. 12만9514개 동작 벤치마크에서 실패는 25개로 SONIC(179개)보다 적었고, GPU 두 장으로 9.8시간 학습하자 0개가 됐으며, 실제 유니트리 G1에서 공중제비와 구르기를 해냈다.
방대한 인간 동작 라이브러리를 따라 하는 단일 제어기를 학습할 때, 휴머노이드 동역학을 학습한 미분 가능한 모델 하나가 클러스터 규모의 모델프리 강화학습을 대신할 수 있는지를 묻는다.
대규모 모션캡처 데이터를 추종하는 방식이 범용 휴머노이드 전신 제어의 주류가 됐지만 데이터가 늘수록 비용도 커진다. 기존 방식은 동작별 전문가 정책을 여러 개 학습해 하나로 증류하면서 품질을 잃거나, GPU 클러스터에서 모델프리 강화학습으로 범용 정책 하나를 밀어붙인다.
2026년 사이언스 로보틱스에 실린 SONIC은 같은 BeyondMimic 추종 방식을 기반으로 611시간 분량의 동작을 엔비디아 L40 128장으로 약 168시간 PPO 학습했다. 가장 가까운 공개 비교 대상이자 주 기준선이다.
SuperMimic은 모든 동작이 공유하는 로봇 동역학 월드모델 하나를 표준 강체 시뮬레이터(MuJoCo)의 기록 데이터로 학습하고, 같은 루프에서 추종 정책도 함께 학습한다. 정책은 월드모델의 짧은 가상 롤아웃을 거꾸로 미분해 해석적 기울기를 얻으며, 이 롤아웃은 GPU에서 빠르고 미분 가능하다. 학습 데이터는 유니트리 G1에 맞게 변환한 공개 BONES-SEED 동작 264.56시간을 걸러낸 12만9514개 클립이다.
H100 한 장으로 3시간 안에 SONIC 공개 체크포인트의 정규화 보상을 넘어섰고, 저자 계산으로 벽시계 시간은 약 56분의 1, GPU시간은 약 7200분의 1이다. 12만9514개 동작 벤치마크에서 실패는 GPU 1장 3시간 뒤 25개, GPU 2장 9.8시간 뒤 0개로 SONIC의 179개보다 적었다. 학습 데이터가 1시간에서 264시간으로 늘어도 월드모델 예측 오차는 0.007~0.011을 유지했고 목표 보상까지의 GPU시간도 완만하게 늘었다. 제어기 하나로 실제 유니트리 G1에서 스킵 점프, 옆구르기, 90도 공중제비, 제자리 360도 공중제비를 동작별 튜닝 없이 수행했다.
CoRL 2026에 채택됐지만 프리프린트다. 비교는 GPU 종류와 데이터 양이 다르다. SONIC은 동작 데이터를 2.3배 더 썼고, H100의 텐서코어 최대 성능은 L40의 최대 5.5배다. 저자들은 이것만으로 1000배 격차를 설명할 수 없다고 하지만 같은 조건 재실험은 아니다. 월드모델은 시뮬레이터 데이터만으로 학습했고 평지만 다루며 지형이나 물체 상호작용은 없다. 실기 시험은 동작 4개 시연이며 성공률은 측정하지 않았다. 연구는 고마쓰, 애플, RAI 연구소 등의 지원을 받았다.
전신 제어를 GPU 한 장으로 몇 시간 만에 다시 학습할 수 있다면, 다양한 동작을 원하는 휴머노이드 업체에 연산 자원은 더 이상 관문이 아니다. 대형 클러스터가 없는 국내 휴머노이드 스타트업과 유니트리 G1을 연구용으로 쓰는 대학에 특히 의미가 크다. 동작 데이터의 스케일링 법칙 연구도 저렴해져 경쟁의 축이 좋은 동작 데이터를 누가 갖느냐로 옮겨갈 수 있다. 다만 공장과 가정 작업에는 지형과 물체 접촉이 필요하고 저자들도 이를 진행 중인 과제로 꼽았다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.