COWBOY: 시뮬레이션만으로 배운 모바일 로봇손, 실제 24개 장소에서 처음 보는 물건 91% 집어 (CMU)
카네기멜런대 연구진은 프리프린트 논문에서 시뮬레이션에서만 학습한 단일 비전 정책으로 바퀴 달린 로봇이 팔과 네 손가락 손, 움직이는 카메라를 함께 써 냉장고부터 계단까지 실제 24개 장소에서 일상 물건을 평균 91% 집었다고 밝혔다. 학습에 쓰지 않은 시뮬레이션 환경 8000곳에서는 92.4%로, ManipGen(63.1%)과 종단간 강화학습(0%)을 크게 앞섰다.
시뮬레이션에서 학습한 정책 하나가 물체만이 아니라 주변 환경을 보고 모바일 매니퓰레이터의 정차 위치와 시선, 팔 경로, 손 파지 방식을 함께 정할 수 있는가.
시뮬레이션 기반 파지 기술은 물체가 달라져도 잘 일반화하지만 대개 고정된 환경 하나에서 학습한다. 가정용 모바일 로봇은 선반과 서랍, 잡동사니 사이에서 몸체 위치와 카메라 시점, 팔 경로까지 골라야 해 시뮬레이션의 보상과 관측 설계가 어렵다.
ManipGen은 포인트클라우드 기반 국소 정책과 AIT* 경로계획, 중간 목표를 정하는 비전언어모델을 이어 붙이는데, 이 목표가 후속 조작을 고려하지 않아 팔이 특이점 근처에 놓이는 일이 잦다. 포인트클라우드 종단간 강화학습은 장애물이 있으면 실패한다.
COWBOY는 일을 나눈다. 기하학적 패브릭 기반 전신 제어기가 GPU 한 장에서 수천 개 시뮬레이션 장면을 병렬로 돌리며 충돌을 피하고 카메라를 물체에 고정한 채 손을 물체 근처로 가져간다. 아이작 짐에서 수백 종 물체로 학습한 국소 강화학습 전문가가 파지를 맡는다. 둘을 하나의 학생 정책으로 증류해 깊이와 라이다 포인트클라우드만 보고 TidyBot++ 이동 베이스, 프랑카 팔, LEAP 핸드, 카메라를 든 ARX X5 팔 등 총 32자유도를 제어한다.
시뮬레이션에서 모델링하지 않은 실제 24개 장면에서 처음 보는 일상 물체(불규칙하거나 말랑한 물체 포함)를 평균 91% 집었고, 상황에 따라 위나 옆에서 잡을지와 몸체 위치를 스스로 골랐다. 미사용 물체 150종과 시뮬레이션 환경 8000곳 평가에서 학생 정책은 테이블 94.7%, 서랍 92.9%, 상자 91.3%, 선반 90.5%(평균 92.4%)로 교사 정책(95.6%)에 근접했고 충돌률은 6.1%(교사 4.3%)였다. ManipGen은 평균 63.1%(선반 21.2%), 종단간 강화학습은 0%였으며 장애물을 없애면 96%였다. 전신 제어기는 98.4%의 시도에서 손을 전문가 정책의 작업 범위로 데려갔다.
저자들은 파지 방식을 장면과 물체 형태만으로 정해, 다음 용도에 맞는 특정 파지가 필요한 실제 작업에는 추가 조건이 필요하다고 인정했다. 옆에서 잡아야 하는 선반은 물체를 넘어뜨릴 위험 때문에 성공률이 낮았다. 실제 결과는 장면별 시도 횟수 없이 평균으로 제시됐고, 과제는 여러 단계 집안일이 아닌 파지에 한정된다. 동료 심사를 거치지 않은 프리프린트다.
가정용과 서비스 로봇 기업은 처음 보는 공간에서 작동하는 모바일 매니퓰레이터가 필요하지만 배치마다 실제 데이터를 모으기는 너무 느리다. 시뮬레이션 위주 파이프라인이 냉장고와 소파, 계단으로 옮겨간다는 결과는 엔비디아 아이작 생태계와 휴머노이드 스타트업의 시뮬레이션 중심 전략을 뒷받침한다. 국내 가전 기업들이 준비하는 가정용 로봇에서도 물건 집어오기는 2~3년 안의 현실적 용도가 될 수 있으며, 그 전에 용도별 파지와 실패 복구가 더해져야 한다.