GPT-6 Astra, 촉각 학습 없이 촉각 이미지로 로봇 제어해 UniVTAC 93.8% 성공
범용 멀티모달 모델 GPT-6 Astra가 촉각 센서 이미지를 함께 받아 시뮬레이션 접촉 작업에서 UniVTAC 평균 93.8%, OpenViTac 81.8% 성공률을 기록했다. 공개된 최고 전문 정책보다 각각 22.9%p, 13.1%p 높으며, 칭화대와 알리바바 가오더 연구진의 프리프린트다.
촉각 데이터로 학습한 적 없는 범용 멀티모달 모델이 비전 기반 촉각 센서 이미지를 읽고 접촉이 많은 로봇 작업을 제어할 수 있는가, 그리고 촉각 전용 정책보다 나은가.
부품 삽입, 안정적 파지, 물체의 단단함이나 무게 판별은 카메라 화면에 드러나지 않는 접촉 정보에 달려 있다. 업계는 이런 작업에 시각과 촉각을 함께 학습한 전용 정책이 필요하다고 봐 왔다.
SimpleTouch, OpenVTLA, FTP-1 같은 촉각 전용 정책은 시각과 촉각 표현을 함께 학습하고, 범용 VLA 모델은 로봇 데이터로 학습된다. 앞선 연구는 GPT-6 Astra가 일반 카메라 이미지만으로 인컨텍스트 학습을 통해 로봇을 움직일 수 있음을 보였다.
연구진은 좌우 GelSight 방식 촉각 이미지를 모델의 기존 이미지 입력으로 넣고 고정 카메라와 손목 카메라 화면, 작업 지시문, 관절 상태를 함께 준다. 행동과 전후 관측을 묶은 시연 구간 몇 개를 매 단계 문맥에 유지하고, 모델은 7차원 팔과 그리퍼 명령을 폐루프로 출력한다. 같은 장면과 시연으로 촉각 이미지 유무만 바꿔 비교했다.
시뮬레이션 19개 작업(UniVTAC 8개, OpenViTac 11개, 설정별 장면 시드 210개, 10% 층화 표본)에서 촉각을 쓴 Astra는 UniVTAC 93.8%, OpenViTac 81.8%를 기록했다. 최고 기준선인 SimpleTouch 70.9%, OpenVTLA 68.7%보다 22.9%p, 13.1%p 높다. 시각만으로도 76.3%, 80.6%였다. FTP-1보다는 30.9%p, 20.6%p 높았다. 촉각 사용 시 19개 중 13개 작업에서 90% 이상, 9개에서 100%였다. 두 실험에 토큰 3억3597만 개, API 비용 7505.05위안이 들었고 촉각 입력은 토큰을 약 59%, 비용을 42% 더 썼다. API 응답 시간 중앙값은 시각 15.4초, 촉각 14.0초였다.
모든 실험이 시뮬레이션이어서 센서 잡음, 보정 오차, 실제 접촉 역학은 검증되지 않았다. 대부분 작업이 설정별 10회만 시행돼 한 번의 결과가 성공률을 10%p 움직이고, 기준선은 같은 표본 장면에서 다시 돌린 값이 아니라 발표된 수치다. 측면 방향 힘, 미세 보정, 수렴하지 않는 탐색 동작에 약했다. MEKAWIRE 계산으로 한 에피소드당 평균 약 17.9위안이 들었고, 14~15초 응답 시간은 생산 라인 실시간 제어에 쓰기엔 너무 느리다.
하드웨어에서도 결과가 재현되면 촉각 센서 업체는 작업별 학습 없이 범용 모델을 통해 시장에 들어갈 길이 열리고, 시스템 통합업체는 시연 몇 개로 삽입이나 깨지기 쉬운 물체 취급 셀을 시험 제작할 수 있다. 국내에서는 촉각 센서와 로봇 손을 만드는 스타트업에 의미가 크다. 다만 지연 시간과 비용 때문에 2~4년 안의 현실적 용도는 빠른 저수준 제어기 위에서 작업 계획과 감독을 맡는 역할이다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.