사람이 생활하는 영상 한 편으로 이동 로봇 집기 성공률 80%: NYU MoCaP

과제 시연이 아닌, 사람이 공간에서 생활하는 평범한 영상만으로 이동 매니퓰레이터에게 물건을 어디서 찾고 팔을 뻗기 전 어디에 서야 하는지 가르칠 수 있는가.

이동 매니퓰레이션은 집는 순간보다 그 전에 더 자주 실패한다. 시야 밖 물건을 찾지 못하거나 팔이 닿지 않는 곳에 멈춘다. 과제마다 로봇 시연으로 가르치는 것은 비용이 크고, 탁상형 로봇팔용 코딩 에이전트는 가구를 고려하지 않는 단순한 기하 규칙으로 설 자리를 고른다.

CaP-X 같은 코드형 정책 에이전트는 언어모델이 인식, 이동, 집기 도구를 부르는 프로그램을 짜게 하지만 제자리 회전으로 탐색하고 경험 규칙으로 정지 위치를 정한다. CoW와 ApexNav 같은 물체 탐색 기법은 개방형 어휘 검출기로 미탐색 경계를 돌아다니며, 출발 전에는 공간에 대한 기억이 없다.

MoCaP는 먼저 GPT-5.6이 아리아 2세대 안경으로 찍은 1인칭 영상을 보고, 물건 위치를 담은 공간 기억과 사람이 각 물건을 집기 전에 서 있던 자리를 담은 상호작용 기억을 만든다. 실행 때는 폐루프 코드 에이전트가 이 기억으로 이동하고, 사람이 다가간 방향으로 도킹한 뒤, 충돌과 역기구학 검사를 통과하는 집기 자세가 나오는 정지 위치를 주변에서 찾는다. 팔 전체 동작은 엔비디아 cuRobo로 관측된 장면에 맞춰 계획한다. 같은 기억을 모든 과제에 재사용한다.

YOR 로봇(전방향 이동 베이스, 승강축, 애자일엑스 Nero 팔 2개, ZED2i 카메라, 젯슨 오린 NX)에서 MoCaP는 수납장 위 상자를 20회 중 16회, 처음에 보이지 않던 캔을 10회 중 8회 집어 각각 80%를 기록했다. CaP-X와 충돌 회피 이동을 더한 CaP-X+는 둘 다 0%였다. CaP-X+는 상자 과제 20회 중 8회 집기를 시도했지만 상자에서 0.74~1.64m 떨어진 곳에서 시작하는 경우가 많았고, 두 기준 모델 모두 캔을 끝내 찾지 못했다. 보이지 않는 파란 쓰레기통 찾기에서는 MoCaP가 10회 모두 성공했고 영상 사전정보를 뺀 버전은 7회, ApexNav는 2회, CoW는 0회였다. CoW는 파란 안내문이 붙은 흰 쓰레기통에서 멈췄다. 사람 접근 방향 정보를 쓰자 집기 가능한 위치에 도달한 비율이 45회 중 18회에서 38회로(40.0%에서 84.4%) 올랐고, 영상 속 사람과 반대편에서 출발한 경우 15회 중 0회에서 14회로 뛰었다.

프리프린트이며 실내 공간 한 곳, 영상 한 편, 목표 물건 세 가지, 조건당 5~20회 시험이 전부다. 저자들도 일반성이 아닌 가능성을 보였다고 했고, 위치 선정 효과의 합산치는 이 표본 크기에서 통계적으로 유의하지 않다고 밝혔다. 기억은 시작 때 만든 고정 요약이라 물건을 빠뜨리거나 낡을 수 있고, 기술은 집어 들기까지이며, 과제당 비용과 지연이 공개되지 않은 상용 언어모델(GPT-5.6)에 의존한다. 위치 선정 실험 본문은 출발점당 5회라고 했지만 표는 15회로 집계해, 표 기준으로 정리했다.