SimpleTouch, 촉각 정책 사전학습 없이 접촉 풍부 조작을 학습하다

사전학습된 VLA와 촉각 인코더가 있을 때, 추가적인 촉각 정책 사전학습이나 별도 시각과 촉각 정렬 없이 과제별 촉각 시연만으로도 강한 접촉 풍부 조작 정책을 학습할 수 있는가?

촉각은 시각으로 구분하기 어려운 접촉 상태, 미끄러짐, 변형 정보를 제공하지만, 사전학습된 VLA에 단순히 촉각 입력을 추가하면 교차 모달 격차를 메우지 못해 성능 향상이 제한적이거나 오히려 성공률이 떨어진다. 기존에는 대규모 촉각 정책 사전학습이나 별도 시각과 촉각 표현 정렬을 도입해 데이터 수집과 학습 단계가 크게 늘어났다.

FTP-1은 대규모 이종 촉각 조작 데이터로 촉각 정책을 사전학습하고, VITaL은 시각과 촉각 표현을 먼저 정렬한다. Tactile-VLA는 토큰화한 촉각을 사전학습 VLA 백본에 주입하며, FTP-pi0.5는 FTP-1 구조를 pi0.5로 초기화하되 촉각 정책 사전학습 없이 과제별로만 학습한다. 이들 중 사전학습 없이 촉각을 추가하는 방식은 이득이 제한적이거나 불안정했다.

SimpleTouch는 pi0.5에 동결된 T3 촉각 인코더와 독립된 트랜스포머 기반 촉각 전문가를 추가한다. 현재 촉각 관측에서 모든 글로벌 및 공간 토큰을 보존하고, 촉각 전문가가 이 토큰들을 처리해 행동 전문가의 각 레이어가 읽을 키 값 캐시를 만든다. 학습 중에는 행동 생성 손실과 함께 미래 촉각 잠재 변수의 다중 수평선 예측을 플로 매칭으로 공동 학습하며, 이 예측은 배포 시에는 쓰지 않고 학습 감독으로만 사용한다. 별도의 촉각 정책 사전학습이나 시각과 촉각 정렬 없이 과제별 시연 50개로 전체 파라미터를 공동 최적화한다.

UniVTAC 시뮬레이션에서 과제당 50개 시연, 방법당 과제당 100회 평가 기준으로 SimpleTouch는 6개 과제 모두 1위를 차지하며 평균 77.5%를 기록했다. 같은 조건에서 FTP-pi0.5는 45.2%, 사전학습 촉각 정책 FTP-1은 66.7%로, SimpleTouch가 각각 32.3%포인트, 10.8%포인트 높았다. 리프트 과제 2개를 제외한 평균도 74.3%로 FTP-1의 59.5%를 앞섰다. 실제 로봇 4개 과제에서는 각 20회 평가 기준 평균 71.3%를 기록해 FTP-1의 62.5%보다 8.8%포인트 높았고, Play Mahjong 100%, Wipe Board 85%, Pick Up Chips 70%, Insert USB 30%를 보였다. 절제 실험에서 촉각 토큰을 모두 보존한 경우 평균 74.3%로 CLS 토큰만 쓴 57.5%보다 높았고, 다중 수평선 예측을 뺀 68.8%보다 5.5%포인트 높았다. 10개 시연만 사용한 저데이터 환경에서도 Put Bottle과 Insert Hole에서 23%, 43%로 FTP-pi0.5의 5%, 14%를 크게 앞섰다.

이 연구는 프리프린트로 아직 동료 심사를 거치지 않았다. 저자들은 Insert USB 과제가 SimpleTouch와 FTP-1 모두 30%에 그쳐 어렵다고 밝혔고, 시연 수가 늘어날 때 성능이 단조 증가하지는 않아 일반적인 확장 법칙보다는 데이터 효율 이점으로 해석해야 한다고 적었다. 실제 로봇 실험은 PiPER 플랫폼 하나에서 4개 과제, 과제당 20회 평가로 규모가 작고, 촉각 인코더는 T3로 고정되어 다른 촉각 센서나 인코더 계열로의 일반화는 추가 확인이 필요하다. 코드와 체크포인트 공개 여부는 논문에 보고되지 않았다.