Tactile-ETA: 촉각을 프롬프트에 넣자 GPT-6 로봇 에이전트 성공률 15.75%에서 24.00%로 (상하이 혁신연구원)
고정된 GPT-6 로봇 에이전트의 컨텍스트에 넣은 전문가 시연 2건에 촉각 데이터를 더하자 모델 학습 없이도 시뮬레이션 정밀 조작 4개 과제의 평균 성공률이 15.75%에서 24.00%로 올랐다고 상하이 혁신연구원이 사전공개 논문에서 밝혔다. 촉각 그리퍼를 단 실물 로봇팔에서는 촉각 시연 1건으로 화이트보드 지우기와 감자칩 집기가 각각 5회 중 0회에서 3회 성공으로 늘었다.
범용 체화 작업 에이전트가 학습이 아닌 컨텍스트 속 경험으로 주어진 촉각을 활용해 정밀 조작을 할 수 있는가.
언어모델 기반 로봇 에이전트는 카메라 영상과 도구 호출로 행동을 고른다. 튜브 삽입이나 열쇠 뽑기 같은 접촉 작업은 카메라가 놓치는 힘의 변화에 달려 있고, 과제마다 대형 모델을 재학습하는 비용은 크다.
촉각 조작은 주로 촉각 데이터로 학습하거나 미세조정한 정책에 의존했다. 시연을 프롬프트에 넣는 인컨텍스트 로봇 학습은 시각과 동작만 썼고 촉각은 쓰지 않았다.
Tactile-ETA는 전문가 시연의 각 동작 구간에 카메라 영상과 양쪽 손가락 촉각 영상을 짝지운다. 동작 시작과 끝의 촉각 프레임을 남기고, 중간에 촉각 영상이 크게 변할 때만 인접 프레임 2개를 추가한다. 에이전트는 이 압축된 시연과 현재 시각, 촉각, 관절 상태를 함께 읽고 범용 로봇 도구로 행동을 고른다. 모델 가중치는 바뀌지 않는다.
UniVTAC 시뮬레이션 4개 과제(과제당 100회)에서 같은 시연 2건으로 시각과 동작만 줬을 때 평균 15.75%, 촉각을 더하면 24.00%였다. 시연이 없을 때는 3.00%(시각), 6.25%(시각과 촉각)였다. 선택적 프레임 방식은 한 시험에서 36%로, 시작과 끝만 쓴 27%, 모든 프레임을 쓴 2%보다 높았다. 촉각은 열쇠 뽑기를 26%에서 48%로 올렸지만 병 들기 성공률은 낮췄다. 같은 설정에서도 에이전트 모델에 따라 성능 차가 컸다. 바이타이 GF225 촉각 그리퍼와 오브벡(Orbbec) 손목 카메라를 단 reBot 암 B601-RS에서 시연 없는 에이전트는 두 과제 모두 5회 중 0회, Tactile-ETA는 각각 3회 성공했다.
사전공개 논문이다. 시뮬레이션 성공률 24%는 여전히 낮고 실물 시험은 조건당 5회다. 촉각이 일부 과제엔 도움이 됐지만 다른 과제엔 해가 됐다. 연구진은 API 접근과 비용 때문에 모델 범위가 제한됐고, 현재 촉각은 동작 중 빠른 힘 제어가 아니라 동작 구간 사이의 판단에만 쓰인다고 밝혔다. 결과는 동작이 바뀔 수 있는 상용 모델에 의존한다.
촉각 그리퍼와 센서를 만드는 기업에는 과제별 데이터 수집 없이 촉각이 대형 모델 로봇 에이전트에 쓰일 수 있는 소프트웨어 경로를 보여준다. 촉각 센서를 개발하는 국내 부품 기업에도 참고할 만하다. 다만 성공률 24%는 양산 현장과 거리가 멀다. 시연 한 번으로 새 접촉 작업을 가르치는 방향으로 1~3년 관점에서 지켜볼 연구다.
논문 전문
CC BY 4.0 라이선스로 공개된 논문으로, 전문은 출처를 밝혀 영어로 전재했습니다: 전문 보기(영어). 원문은 arXiv:2610.27613(PDF)에서 볼 수 있습니다.