휴머노이드 도구 사용 전 과정 평가하는 HumanoidToolBench와 3.1k 시연 ToolBook 공개

휴머노이드 정책이 언어 지시만으로 기능적으로 적합한 도구를 선택하고, 정지 상태와 이동 중에 그 도구를 사용해 작업을 완료하는 능력을 얼마나 신뢰성 있게 수행하는가?

기존 휴머노이드 벤치마크는 숟가락 사용이나 창문 닦기 같은 일부 도구 과제를 담지만 서로 기능이 다른 도구 중 하나를 고르는 선택을 평가하지 않는다. 전용 도구 사용 벤치마크는 시각 질의응답(VQA)에 머물거나 고정 베이스 팔에 한정돼, 선택, 정지 도구 사용, 이동 도구 사용을 한 몸에서 함께 평가하지 못했다.

HumanoidBench는 휴머노이드 전신 제어를 평가하지만 도구 자산이 1개뿐이고 선택을 평가하지 않으며, SIMPLE과 WOLF-VLA는 휴머노이드 VLA 평가를 확장하지만 기능적 선택이나 통제된 도구 세트 변형을 다루지 않는다. PhysToolBench, DexCraft, RoboWits는 각각 VQA, 단일 팔 파지, 양팔 선택에 초점을 맞춰 휴머노이드의 이동 조작과 결합한 도구 사용을 보지 못한다.

HumanoidToolBench는 3개 시나리오(BallMove, BallRetrieve, IceBreak) × 3개 실행 수준(L0 선택, 집기, L1 정지 도구 사용, L2 이동 도구 사용) × 2개 도구 세트 모드(표준, 디코이)로 18개 과제를 구성했다. 55개 Objaverse 도구 자산 중 적합 도구와 무관한 물체 2개, 디코이 모드에서는 기능 속성이 다른 경쟁 도구를 추가해 언어 지시에 도구 이름을 주지 않고 선택하게 한다. 시뮬레이션은 MuJoCo에서 Unitree G1(29개 몸통 관절, 7자유도 Dex3 양손, 머리 카메라)으로 구현했고, Meta Quest 텔레오퍼레이션으로 모은 3,003개 시뮬레이션 시연과 91개 실물 G1 시연을 ToolBook으로 공개한다. 평가는 성공률뿐 아니라 후보 접촉, 올바른 첫 접촉, 적합 도구 들기, 도구-목표 접촉, 성공 같은 상호작용 이벤트를 기록해 선택 실패와 실행 실패를 분리한다.

저자들은 시뮬레이션에서 7개 정책, 실물 Unitree G1에서 3개 정책을 평가했다. 모든 18개 시뮬레이션 과제에서 적합한 도구를 고르는 단계와 실제 작업 완료 사이에 큰 격차가 나타났고, 이동과 조작이 결합된 L2에서 성능이 추가로 떨어졌다. 별도로 훈련한 표준 모드 GR00T N1.7 프로브에서는 처음 보는 적합 도구 인스턴스의 선택 정확도가 낮아졌고, IceBreak 장면을 고정한 채 지시를 바꾸면 관련 없는 지시에서도 작업 실행이 계속됐다. ToolBook은 시뮬레이션 L0 1,803개, L1/L2 1,200개, 실물 L1 91개로 총 3,094개 궤적을 담는다. 정책별 성공률 표가 논문에 포함됐으나 본 요약에서 수치를 특정하지 않는다.

실물 로봇 평가는 L1 BallMove와 BallRetrieve의 표준, 디코이 모드에 한정됐고 L2 이동 도구 사용과 IceBreak는 시뮬레이션에서만 검증됐다. ToolBook의 실물 시연도 91개로 적고 두 시나리오만 다룬다. 논문에 별도 한계 섹션이 보이지 않지만, 실험은 단일 Unitree G1 하드웨어와 MuJoCo 환경에서 이뤄졌고 시험 횟수와 분산, 안전 정지 기준에 따른 통계적 신뢰 구간은 보고되지 않았다.