정책 하나로 사다리 오르고 담 넘는 유니트리 G1, 복합 코스 성공률 92.5% (ETH취리히)
스위스 ETH취리히 로봇시스템연구실이 만든 단일 학습 제어기로 유니트리 G1 휴머노이드가 사다리를 오르고 낮은 벽을 넘고 기어가고 징검다리를 건너고 바닥에서 일어섰다. 시뮬레이션 복합 코스 8개의 평균 성공률은 92.5%로 비교 모델 MGMT의 58.8%를 크게 앞섰고, 모든 연산은 로봇에 탑재된 엔비디아 젯슨 오린에서 돌았다.
사람 동작을 따라 하는 제어기의 자연스러운 전신 움직임과, 참조 동작 없이 학습한 강화학습의 지형 일반화 능력을 휴머노이드 정책 하나에 담을 수 있는지 묻는다.
순수 강화학습은 다양한 지형에 강하지만 사다리에서 손을 쓰는 식의 전신 협응을 스스로 찾기 어렵다. 반대로 녹화된 사람 동작을 추종하는 제어기는 움직임은 자연스럽지만 학습한 영상과 다른 지형에서는 실패한다.
기존 시스템은 기술마다 보상을 손으로 설계하거나 몸통과 관절의 전체 궤적을 그대로 추종해 녹화 동작에 묶였다. MGMT 같은 동작 생성 플래너는 손발의 미래 위치를 예측하지만 대응하는 데이터가 없는 지형에서 성능이 떨어졌다.
연구진은 동작 데이터를 학습용 발판으로만 쓴다. 1단계에서 손과 발이 어디에 닿아야 하는지를 지시하는 접촉 명령을 따르는 전신 추종기를 사전학습하고, 2단계에서 지형 지도를 보고 접촉 목표를 고르는 어텐션 기반 플래너를 학습한다. 3단계에서는 참조 동작이 전혀 없는 지형까지 포함한 목표 도달 과제로 두 모듈을 강화학습으로 함께 미세조정한다.
동작 데이터가 있는 지형에서는 접촉 명령만으로 모든 범주에서 98.5% 이상 성공했고 관절 궤적을 추가해도 나아지지 않았다. 3단계 미세조정은 모든 목표 도달 범주와 미경험 지형에서 성공률과 접촉 정확도를 높였고, 듬성듬성한 지지대를 전신으로 건너는 지형에서는 성공률이 54.8%포인트 올랐다. 복합 코스 8개에서는 방법과 코스별 1000회 시험 기준 평균 92.5%로 MGMT의 58.8%를 앞섰다. 실제 G1에서도 같은 정책으로 사다리와 무대 오르기, 담 넘기, 포복, 뛰어내리기, 앉기를 해냈다.
프리프린트다. 성공률은 센서 잡음과 물리 무작위화, 동작 지연을 끈 시뮬레이션 수치이고 실물 시험은 성공률을 잰 것이 아니라 시연이다. 연구진은 지형과 접촉 표현이 2.5차원이라 천장 접촉이나 매달리기, 물체 조작에는 더 풍부한 3D 인식이 필요하고, 전역 경로 탐색이 아닌 국소 목표 도달만 다루며, 뚜렷한 접촉이 없는 공중 동작은 처리하지 못한다고 밝혔다.
건설과 점검, 재난 대응 현장에 휴머노이드를 넣으려면 걷기만이 아니라 오르고 기는 능력이 필요하다. 전체 궤적 대신 접촉 목표로 학습하는 방식은 G1을 쓰는 국내 연구실과 비슷한 체급의 휴머노이드를 개발하는 업체가 1~2년 안에 가져다 쓸 수 있는 방법이고, 젯슨 오린에서 돌아가 탑재 연산 비용도 지금 수준에 머문다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.