TouchTherm, 실물 객체에서 촉각과 열 반응까지 재현하는 멀티모달 디지털 트윈 프레임워크

실물 객체에서 촉각 센서가 감지하는 미세 표면 구조와 시간에 따라 변하는 표면 온도장을 재구성해 시뮬레이션과 VR에서 재사용할 수 있는 통합 자산을 만들 수 있는가?

로봇 시뮬레이션용 3D 자산은 대부분 객체 크기의 기하와 시각 외형만 담고 있어 접촉이 많은 작업에서 촉각 신호와 표면 온도 변화를 재현하지 못한다. 촉각에 중요한 얕은 돌기나 홈, 이방성 질감은 스캔 해상도와 재구성 오차에 묻히고, 이를 고밀도 폴리곤으로 저장하면 충돌 시뮬레이션 비용이 커진다. 기존 열 표현은 단일 온도나 재질 라벨이 아니라 객체 고유의 공간적, 시간적 온도장을 제공하지 못한다.

구조광 스캐너와 다중시점 스테레오, NeRF, 3D Gaussian Splatting은 객체 기하와 외형을 재구성하지만 접촉 규모 미세 지형과 열 동역학을 포함하지 않는다. ObjectFolder와 X-Capture 같은 멀티센서 데이터셋은 기존 관측 데이터를 모으는 데 그치고, 촉각 시뮬레이터는 조악한 메시나 밀집 높이장 중 하나만 쓰는 한계가 있다. 기존 열 연구는 재질 인식이나 사용자 피드백에 초점을 맞췄다.

TouchTherm은 핸드헬드 구조광 스캐너로 얻은 거친 메시에 다중시점 측광 스테레오 법선 맵을 정합하고 탄젠트 공간으로 변환해 Poisson/DCT 솔버로 접촉 규모 미세 높이장을 복원한다. 렌더링 때는 접촉 마스크와 Real2Sim 보정 계수를 적용해 GelSight Mini 관측과 정렬한다. 열 재구성은 다중시점 적외선 냉각 영상을 표면 점군에 융합하고, 그래프 확산 연산자와 Delta-PINN 방식의 저주파 고유벡터 특징을 넣은 MLP로 표면 확산 계수 α와 대기 완화 계수 h를 물리 손실과 함께 추정한다. 이후 네트워크 없이 오일러 적분으로 온도장을 전개한다. 결과물은 거친 충돌 메시, 법선 맵, 미세 높이장, 동적 열장을 공통 좌표계로 통합한 자산이다.

20개 실물 객체를 대상으로 평가했다. 열 예측은 객체별 60초 학습 캡처로 파라미터를 맞추고, 홀드아웃 영상에서 30초, 45초 후를 예측했다. 전체 모델은 30초 표면 MAE 0.465±0.240°C, 45초 0.592±0.266°C를 기록했고, Hotspot F1은 각각 0.793±0.179, 0.708±0.246였다. h를 제거하면 45초 MAE가 1.083±0.493°C로 나빠졌다. 촉각 외형은 실물 GelSight와 시뮬레이션 비교에서 G-SSIM 0.0712±0.0217, HF-NCC 0.0775±0.0575였고, 사람 간 반복 촬영 기준은 각각 0.0954, 0.1622였다. 제안 방법의 절제 실험 G-SSIM/HF-NCC는 0.0701±0.0246, 0.0911±0.0648로 조악 기하 0.0480, 0.0116와 이미지 공간 높이장 0.0629, 0.0081를 웃돌았다. 합성 촉각 이미지만으로 학습한 ResNet-18 분류기의 실물 20개 객체 Top-1/Top-3/Macro-F1은 Coarse Geometry가 20.0±4.4%, 35.0±2.3%, 13.4±3.7%, TouchTherm이 34.0±2.7%, 63.0±1.7%, 29.3±2.5%였다. 10명을 대상으로 한 VR 열 피드백 평가에서 시각-열 일관성은 7점 만점에 6.30±0.95, 냉각 일관성 6.20±1.62, 반응 시의적절성 5.40±1.07, 현실감 6.10±0.99, 편안함 6.40±1.26이었다.

저자들은 미세 지형을 촉각 렌더링에만 사용하고 접촉 역학에는 반영하지 않았으며, 열 모델은 자연 냉각만 다루고 사람이나 로봇 접촉 중의 양방향 열전달은 포함하지 않는다고 밝혔다. 평가는 20개 객체와 소규모 사용자 10명에 그쳤고, 일부 정합은 수동 대응점에 의존한다. 프리프린트로 아직 동료 심사를 거치지 않았다.