CrossBFM: 서로 다른 휴머노이드가 공유하는 잠재 행동 공간 증류
프롬프트 하나로 휴머노이드가 춤을 따라 하거나 자세를 잡거나 보상을 좇게 하는 전신 제어 모델은 로봇마다 학습에 100 GPU시간 넘게 든다. 빈로보틱스(VinRobotics)와 싱가포르국립대(NUS), 독일 다름슈타트공대의 이번 프리프린트는 유니트리 G1용 모델을 부스터 T1, 푸리에 N1, 자체 로봇 M3로 옮기는 데 공용 인코더 1시간 미만과 로봇당 10 GPU시간 미만이면 충분했고, 추종 정확도는 전용 제어기와 거의 같았다고 밝혔다.
한 휴머노이드에서 학습한 프롬프트형 행동 공간을 관절 수와 몸체 구성, 관절 순서가 다른 휴머노이드에 값비싼 학습을 다시 돌리지 않고 지도 증류만으로 넘길 수 있는지를 따졌다.
행동 파운데이션 모델(BFM)은 잠재 벡터 하나로 조종하는 단일 정책을 휴머노이드에 준다. 이 벡터는 따라 할 동작, 도달할 자세, 최대화할 보상을 모두 나타낼 수 있다. BFM-Zero가 쓴 순방향 역방향(Forward-Backward) 표현은 이런 공간을 잘 배우지만, 연구진은 한 번 학습에 로봇당 100 GPU시간 넘게 든다고 밝혔다. 게다가 학습할 때마다 다른 로봇과 무관한 잠재 공간이 따로 생겨, 한 휴머노이드용으로 만든 프롬프트와 생성기, 계획기가 다음 기종으로 넘어가지 않는다. 새 휴머노이드 기체가 계속 나오는 만큼 비용과 파편화가 함께 커지는 구조다.
지금까지는 기종마다 순방향 역방향 비지도 강화학습 파이프라인 전체를 다시 돌리는 것이 일반적이었다. 더 싼 대안은 TWIST2 방식처럼 리타기팅한 관절 기준값을 직접 받는 동작 추종 정책인데, 추종은 잘하지만 쓰임새가 하나뿐이고 자세나 보상 프롬프트를 위한 공유 공간이 없다. 몸체 정보를 조건으로 넣어 여러 로봇에 일반화하는 방법도 있지만, 연구진은 이런 방법이 대개 속도 추종 같은 단일 과제에 머문다고 지적했다.
CrossBFM은 유니트리 G1에서 사전학습된 BFM-Zero 모델을 고정하고, 동작이나 자세, 보상을 잠재 벡터로 바꾸는 역방향 맵만 가져온다. 동작 클립은 모든 로봇에 같은 시간축으로 리타기팅되므로 프레임마다 G1의 잠재 벡터를 다른 로봇의 같은 프레임에 대한 회귀 정답으로 쓸 수 있다. 대상 로봇 쪽에서는 공간을 만드는 데 시뮬레이터도, 강화학습도, 적대적 학습도 필요 없다. 1단계에서는 모든 대상 로봇을 위한 인코더 하나를 한꺼번에 학습한다. 로봇별 가중치는 없다. 각 로봇의 상태를 표준 관절 슬롯 33개, 핵심 신체 부위 슬롯 8개, 루트 블록으로 이뤄진 163차원 고정 입력에 써넣고 빈 슬롯은 표시해 둔다. 이어 4층, 폭 256, 파라미터 327만 개의 소형 pre-LayerNorm 트랜스포머를 고정된 256차원 G1 잠재 벡터와의 프레임별 코사인 손실로 학습한다. 소비자용 GPU 한 장으로 전체 로봇을 합쳐 1시간이 안 걸린다. 2단계에서는 로봇마다 PPO로 잠재 조건부 추종 정책을 RTX 4090 한 장에서 10시간 안에 학습한다. 정책은 공유 잠재 벡터와 자기 고유감각 정보만 입력받는다. 보상 프롬프트는 각 로봇의 리타기팅 데이터로 상태 분포를 추정하고, 손 높이 같은 보상 기준을 백분위로 환산해 몸집이 다른 로봇에도 맞춘다. 공유 잠재 공간 위에 학습한 정류 흐름(rectified flow) 모델이 네 번째 프롬프트 방식을 더한다.
대상 로봇은 연구진의 자체 로봇 M3(관절 27개), 부스터 T1(23개), 푸리에 N1(23개)로, 관절 29개인 G1과도, 서로 간에도 관절과 몸체, 구조가 다르다. LAFAN 동작 추종에서 잠재 조건부 정책의 평균 관절 오차는 M3 0.2024rad, T1 0.1901rad, N1 0.1391rad였다. 관절 기준값을 직접 받는 TWIST2 방식 정책의 0.1777rad, 0.1844rad, 0.1362rad와 차이는 최대 0.025rad였다. 목표 자세 도달에서는 넘어짐 없이 자세 사이를 옮겨 갔고 오차는 0.2345rad, 0.1967rad, 0.1512rad였다. G1용으로 설계된 보상 프롬프트 41개가 모두 새 로봇에서 작동했고, 대상 로봇 쪽 계산 방식은 G1의 상태 버퍼를 그대로 쓸 때보다 평균 정규화 보상을 0.183에서 0.431로 2.35배 높였다. 동작 데이터의 4분의 1만으로 인코더를 학습해도 M3 추종 오차는 0.2132rad에서 0.2241rad로 약 5% 늘었고, 10%까지 줄이면 0.2706rad로 뛰었다. 무작위 잠재 벡터는 0.4411rad였다. 로봇 2종으로 학습한 인코더를 나머지 1종에 적용하는 시험에서는 무작위 벡터와 완전 학습 벡터 사이 격차의 89.3%(M3), 55.5%(N1), 12.8%(T1)를 메웠다. T1은 가장 작고 형태가 가장 다른 기체다. 실제 로봇에서는 M3가 동작 5개를 0.2206rad(시뮬레이션 0.2024rad)로 추종했고, 자세 9개 도달 오차는 0.2675rad, 보상 과제 3개 점수는 0.562였다. M3와 T1 모두 흐름 모델이 만든 잠재 벡터도 실행했다.
이 연구는 저자들이 심사 중이라고 밝힌 프리프린트다. 전이 품질은 몸체 유사성에 좌우된다. T1의 12.8%가 보여주듯 학습 집합에 가까운 친척이 없는 로봇은 여전히 자체 데이터가 필요하다. 새 로봇마다 양질의 리타기팅 동작 데이터가 있어야 하고, 실험은 동작 40개, 행동 유형 8개로 이뤄진 LAFAN 데이터셋 하나만 썼다. MEKAWIRE가 보기에 잠재 조건부 정책은 시뮬레이션의 모든 기체와 M3 실기에서 관절 기준 추종기보다 조금씩 부정확했고, 실기 수치는 M3에 대해서만 나왔으며, 물체 조작 없이 전신 동작에 한정됐다. 잠재 공간의 표현력도 물려받은 G1 모델을 넘을 수 없다.
결과가 재현된다면 휴머노이드 업체는 유니트리 G1처럼 연구 현장에서 널리 쓰이는 기체에서 학습된 프롬프트형 제어기를 새 로봇당 100 GPU시간 넘게가 아니라 약 10 GPU시간에 물려받을 수 있다. 새 기체나 하드웨어 개정판마다 드는 제어 소프트웨어 비용이 줄어드는 셈이다. 부스터와 푸리에 기체가 대상에 포함된 것은 이 방법이 이미 유니트리 밖의 상용 기체에 닿는다는 뜻이다. 잠재 공간을 공유하면 동작 라이브러리와 잠재 생성기, 나아가 텍스트 인터페이스로 여러 기종을 함께 조종할 수 있어, 서로 다른 휴머노이드를 섞어 운용하려는 국내 제조 현장이나 레인보우로보틱스 같은 국내 기체 개발사에도 의미가 있다. 실제 도입은 코드 공개와 조작 과제에서의 검증에 달려 있으며, 양산 적용까지는 12개월에서 24개월을 보는 것이 현실적이다.