VISTA, 손목 시각 촉각 입력을 구면 융합한 등변 확산 정책으로 접촉 조작 성공 80.9%

적은 전문가 시연으로 접촉이 많은 조작 과제에서 공간적으로 강인한 시각 촉각 모방 학습 정책을 어떻게 학습할 수 있는가?

접촉이 많은 조작은 촉각이 필요하지만 전문가 시연 수집 비용이 크고, 기존 시각 촉각 정책은 촉각을 일반 입력 특징으로만 결합해 물체 자세, 그리퍼 자세, 접촉 형태의 작은 변화에 취약하다. 기존 등변 조작 정책은 RGB나 점군 중심이라 국소 촉각 정보를 구조적으로 반영하지 못한다.

ManiFeel, VITAL, UniVTAC는 비등변 또는 ACT 기반 정책으로 시각과 촉각을 사전학습 인코더로 융합하지만 작업공간 대칭성을 강제하지 않는다. EquiDiff+Tac는 C8 등변 시각 ResNet과 등변 확산 디코더를 쓰면서 촉각을 trivial 표현으로 넣지만 구면 리프팅이나 방향별 융합이 없다. ISP는 손목 RGB만 구면으로 올리는 영상 전용 등변 정책이다.

VISTA는 손목 RGB와 촉각 RGB를 등변 ResNet으로 인코딩해 각각 구면 토큰으로 투영한다. 시각 토큰이 촉각 토큰을 쿼리하는 permutation-equivariant cross-attention으로 촉각 메시지를 만든 뒤 토큰별 잔차 융합을 수행한다. 융합된 구면 표현을 구면 조화 계수로 변환하고 말단 자세의 Wigner-D 행렬로 회전시켜 작업공간 좌표계에 맞춘다. 이후 I60 또는 C8 유한 회전군을 사용하는 등변 확산 정책이 6DoF 동작 청크와 그리퍼 명령을 예측하며, 병진과 회전축은 벡터 특징, 그리퍼는 스칼라로 처리한다.

시뮬레이션 8개 과제에서 과제당 50개 시연, 과제당 40회 평가 기준으로 VISTA는 평균 성공률 80.9%를 기록했다. EquiDiff+Tac 65.0%보다 15.9%포인트 높았고, ManiFeel 48.8%, VITAL 43.8%, UniVTAC 21.3%보다 각각 32.1, 37.1, 59.6%포인트 높았다. 영상 전용 ISP 68.1%에서 VISTA 80.9%로 12.8%포인트 상승했다. 융합 방식 비교에서는 VISTA가 ISP+Concat-Tac 74.1%보다 6.8%포인트 높았다. 100개 시연에서는 VISTA 84.7%, EquiDiff+Tac 75.6%였다. 실물 로봇 3개 과제에서 과제당 10회 시험 기준 VISTA는 평균 7.33/10회, EquiDiff+Tac는 1.33/10회 성공했다. 과제별로 지우기 9/10 대 1/10, USB 삽입 5/10 대 3/10, 연필 삽입 8/10 대 0/10이었다.

저자들은 등변성이 선택한 유한군에 대해서만 정확하고 임의의 손안 물체 회전에 대한 내재적 촉각 등변성은 제공하지 않는다고 밝혔다. 센서가 말단에 단단히 고정되고 배경, 조명, 중력 접촉, 미끄러짐, 캘리브레이션 오차 등이 없다는 가정이 필요하다. 실제 정책은 10Hz로 청크를 실행해 6개 삽입 동작 또는 8개 지우기 동작을 마친 뒤 재계획하므로 새로운 촉각 관측이 0.6초에서 0.8초마다만 반영되고 빠른 슬립을 놓칠 수 있다. 실물 실험은 3개 과제, 과제당 10회로 규모가 작고 코드 공개 여부는 논문에 보고되지 않았다.