사람 영상으로 배운 촉각 예측, 로봇 손 병뚜껑 돌리기 성공률 64%에서 71%로
장갑형 센서를 낀 사람의 1인칭 영상으로 학습한 촉각 예측 모델이 시뮬레이션 로봇 손의 병뚜껑 돌리기 성공률을 64.1%에서 71.0%로 높였다. 실제 촉각 센서를 쓴 74.1%에 근접한 수치로, 텍사스A&M대 주도 연구진의 프리프린트다.
사람의 1인칭 영상에서 손 압력을 추정하도록 배운 모델을 센서 배치가 다른 로봇 손으로 옮겨, 로봇 제어 정책에 쓸모 있는 촉각 신호를 줄 수 있는지를 묻는다.
손이 물체의 어디를 얼마나 세게 누르는지는 카메라로 잘 보이지 않지만 파지가 미끄러지는지, 뚜껑이 돌아가는지를 가른다. 로봇 촉각 스킨은 비싸고 특정 그리퍼에 묶여 있어 데이터가 거의 쌓이지 않는다. 사람 영상은 많지만 촉각 정보가 없다.
터치애니씽(TouchAnything) 같은 기존 예측기는 센서 장갑을 낀 사람 영상으로 압력 지도를 학습했지만 사람 손에서만 평가됐다. TacImag와 ViTacWorld는 로봇 데이터만으로 촉각을 상상하고, VTDexManip과 H-Tac은 촉각 추정을 특정 정책 구조에 묶었다.
Ego2Contact는 8프레임에 걸친 DINOv2 장면 특징과 WiLoR 손 영역 특징을 결합하고, 플로 매칭 디퓨전 트랜스포머로 손마다 21x21 압력 격자(유효 셀 217개)를 생성한다. 해부학적 영역 대응으로 시뮬레이션의 17개 링크부터 880택셀 장갑까지 로봇별 센서를 같은 격자로 옮겨, 로봇 측정값은 미세조정 정답으로, 예측값은 정책 입력으로 쓴다. 예측기는 정책과 분리돼 강화학습과 VLA 후학습 양쪽에 붙일 수 있다.
사람 데이터 EgoTouch에서 접촉 겹침(C.IoU)은 학습한 물체 0.5735로 터치애니씽 재현값 0.5064보다 13.3% 높았고(MEKAWIRE 계산), 처음 보는 물체에서도 0.4812 대 0.4720으로 앞섰다. 다만 처음 보는 물체의 체적 IoU는 0.3417로 0.3457보다 조금 낮았다. 로봇 시뮬레이션 클립 8741개로 미세조정하자 격자 접촉 IoU가 0.008에서 0.476(터치애니씽 0.415)으로 올랐고, 링크 단위 압력 중심 오차는 0.300에서 0.224로 25.3% 줄었다. 엔비디아 아이작 짐 4개 과제에서 예측 촉각은 레버 밀기 84.0%를 88.8%로(센서 98.2%), 병뚜껑 돌리기 64.1%를 71.0%로(센서 74.1%), 양손 건네기 29.3%를 33.1%로(센서 49.1%) 올렸다. MEKAWIRE 계산으로 센서 효과의 69%, 34%, 19%를 되찾은 셈이다. 펜 뚜껑 빼기는 1.0%로 센서 사용 시 95.0%에 크게 못 미쳤다.
제어 성능 개선은 시뮬레이션에서만 수치로 제시됐다. xArm6와 브레인코 Revo 2 손을 쓴 실물 실험(약 12만3000프레임, 과제 2개에 시연 약 50회씩)은 카메라 장면만 보여주고 성공률은 없다. 펜 뚜껑 결과는 실제 촉각이 가장 중요한 작업에서 예측 촉각이 완전히 실패할 수 있음을 보여준다. 로봇별 영역 대응을 사람이 설계해야 하고, 실물 제어는 요청한 30Hz보다 낮은 약 24.5Hz로 돌았으며, 적응에 필요한 로봇 데이터 양은 아직 측정하지 않았다고 저자들은 밝혔다.
모든 기체에 고밀도 촉각 스킨을 달기 어려운 국내 로봇 손과 휴머노이드 업체에는 카메라만으로 촉각을 활용하는 정책을 학습할 길을 보여준다. 센서를 단 기준 손 하나로 소량의 보정 데이터만 모으면 되는 구조여서, 촉각 센서와 장갑 업체는 기체별 부품 공급을 넘어 학습 데이터 공급원으로 역할을 넓힐 수 있다. 연구와 시범 라인에는 1~2년 안에 쓰일 수 있지만, 양산 적용에는 이 프리프린트에 없는 실물 성공률 검증이 먼저 필요하다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.