Evo-DexBench: 로봇 손이 비슷한 작업 경험으로 새 작업을 배우는지 재는 벤치마크
같은 종류의 상호작용을 공유하는 작업 묶음으로 로봇 손의 기술 전이를 평가한다. 프리프린트 기준 최고 평균 성공률은 38.5%에 그쳤다.
버튼 누르기, 손잡이 돌리기처럼 같은 상호작용을 공유하는 여러 작업을 본 다지 로봇 손 정책이, 시연 몇 개만으로 관련된 새 작업에 그 기술을 옮길 수 있는가.
다지 로봇 손은 범용 가사와 공장 작업을 약속하지만 작업마다 시연을 대량으로 모으는 비용이 크다. 기존 벤치마크는 목표 작업에 데이터를 넉넉히 줘 암기가 가능하거나, 작업 이름으로만 나눠 원천과 목표 작업의 연관성을 통제하지 않았다. 그래서 진짜 기술 전이와 암기를 구분할 수 없고, 그리퍼 중심 벤치마크는 손가락 접촉을 거의 다루지 못한다.
LIBERO, RoboTwin 2.0, Meta-World는 보지 않은 작업이나 장면을 시험하지만 분할 기준이 작업 이름이고, LIBERO는 작업당 시연 50개를 준다. Bi-DexHands, DexArt, DexJoCo, DexVerse 같은 손 조작 벤치마크도 정해진 작업 완수 여부만 묻고, 대부분 작업당 장면이 하나이며 촉각 데이터가 없다.
Evo-DexBench는 시뮬레이션 과제 30개를 버튼 조작, 회전, 열고 옮기기, 구조 배치, 양손 조립, 관절 물체 제어의 6개 기능군으로 묶었다. 기능군마다 시연 50개짜리 Core 과제 4개와 시연 8개뿐인 Gen 목표 과제 1개가 있다. 시연은 메타 퀘스트 3 손 추적을 판다 팔과 섀도 핸드에 대응시켜 모았고, 손마다 촉각점 123개를 시뮬레이션했다. 궤적은 모두 1,248개로 HDF5와 LeRobot v3 형식으로 공개됐다. 과제마다 주방과 스튜디오 배치 3종을 오가며, 카메라와 조명, 물리, 배치를 흔든 100회 평가를 한다.
3개 기능군 15개 과제 평균 성공률은 합성곱 확산 정책 38.5%, pi0.5 37.9%, 촉각 정책 KineDex 37.5%, SmolVLA 33.9%, 트랜스포머 확산 정책 22.5%였다. 안경 접기는 최고 6%에 그쳤다. Core와 Gen 데이터를 함께 학습하는 방식이 가장 좋았다. 식기세척기 손잡이 과제에서 pi0.5는 Gen 데이터만 쓸 때 36%, 함께 학습하면 46%였고, Core로 먼저 학습한 뒤 미세조정하면 8%로 떨어졌다. 기능이 맞는 Core 데이터의 효과가 시험한 세 모델 모두에서 가장 컸다(KineDex 42%에서 55%, DP-T 28%에서 41%). 촉각을 더하자 접촉이 많은 10개 과제 중 7개에서 KineDex 성공률이 올랐다.
모든 실험이 섀도 핸드 모델과 시뮬레이션 촉각점으로 진행돼 실제 손의 마찰, 마모, 센서 잡음은 반영되지 않았다. 6개 기능군 중 3개만 평가했고, 과제별 촉각 효과는 그림으로만 제시됐다. 저자들은 원천 과제 선택에 따라 결과가 달라진다고 밝혔다. MEKAWIRE가 보기에 상위 세 정책(38.5%, 37.9%, 37.5%)의 차이는 100회 평가 기준 사실상 동률이다.
대형 사전학습 VLA가 다섯 손가락 손에서 뚜렷한 우위를 보이지 못했다는 결과는 범용 모델과 정교한 손을 함께 내세우는 휴머노이드 기업 모두에 해당한다. 국내에서는 테솔로, 에이딘로보틱스, 원익로보틱스 같은 로봇 손과 촉각 부품 업체가 기능군 단위 데이터 수집과 촉각 센서 탑재의 근거로 삼을 만하다. LeRobot 형식으로 공개돼 수개월 안에 손 정책 비교 비용을 낮출 수 있지만, 현장 효과는 2년 이상 걸릴 전망이다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.