TouchThermが実物体から触覚用マイクロ形状と動的温度場を再現するデジタルツインを構築

実物体から、接触スケールの微細凹凸と時間変化する表面温度までを含むシミュレーション用マルチモーダル物体アセットをどのように構築するか、という問いに答えようとした。

既存の3Dデータセットと再構成手法は物体スケールの形状と視覚外観を主な対象とし、光触覚計測に強く影響する浅い溝やエンボスなどのマイクロ形状と、加熱冷却時の過渡的な温度分布を欠いていた。また、触覚用に微細形状を密なポリゴンで表現すると保存容量とシミュレーションコストが増大し、物体レベルの動的温度場表現も存在しなかった。

従来は、構造化光スキャンや多視点ステレオ、NeRF、3D Gaussian Splattingが物体形状と外観を取得し、触覚シミュレータは粗いメッシュか高密度なマイクロ形状を使っていた。ObjectFolderやX-Captureなどのマルチセンサデータセットは既存観測の学習を支援するが、物体座標に位置合わせした触覚マイクロ形状と時空間温度応答を統合したアセットはなかった。温度は材料認識やユーザーフィードバックに使われることが多く、物体レベルの動的温度場は扱われていなかった。

TouchThermは、EinScan Pro 2X V2構造化光スキャナで粗いメッシュを取得し、Redmi K70スマートフォンによる多視点フォトメトリックステレオとSDM-UniPSで法線マップを推定する。法線マップをPnPでメッシュに位置合わせし、接空間の高さ勾配からPoisson/DCTソルバでマイクロ高さ場を再構成し、接触時のレンダリングでは粗い形状と較正係数γで合成する。温度はHIKMICRO P09赤外線カメラで加熱後の自然冷却を多視点同期撮影し、k近傍グラフ拡散作用素と低周波固有ベクトル特徴を入力とするMLPで温度場を再構成する。物理損失で表面拡散係数αと環境緩和係数hを逆推定し、実行時は陽的Euler法で温度場を更新する。これらをIsaac Simで使える統一アセットに統合した。

20物体の触覚外観評価では、Real-RealペアのG-SSIM/HF-NCCが0.0954±0.0471/0.1622±0.0917、Real-Simペアが0.0712±0.0217/0.0775±0.0575だった。3接触を物体ごとに平均したアブレーションでは、提案法がG-SSIM 0.0701±0.0246、HF-NCC 0.0911±0.0648となり、Coarse Geometryの0.0480±0.0283/0.0116±0.0328、Image-space Heightの0.0629±0.0242/0.0081±0.0208を上回った。温度予測では、20物体各15窓、計300窓のホールドアウト評価で、フルモデルは30秒先の表面MAE 0.465±0.240℃、Hotspot F1 0.793±0.179、45秒先の表面MAE 0.592±0.266℃、Hotspot F1 0.708±0.246を達成した。hを除くと30秒先MAEが0.820±0.411℃、45秒先MAEが1.083±0.493℃に悪化した。合成画像のみで学習したResNet-18による実GelSight画像の物体認識では、Top-1が34.0±2.7%でCoarse Geometryの20.0±4.4%から14.0ポイント向上し、Top-3は63.0±1.7%対35.0±2.3%、Macro-F1は29.3±2.5%対13.4±3.7%だった。VR温度フィードバックでは10名の参加者による7段階評価で、視覚と温度の整合性6.30±0.95、冷却整合性6.20±1.62、応答の即時性5.40±1.07、現実感6.10±0.99、快適性6.40±1.26だった。

著者らは、マイクロ形状を触覚レンダリングにのみ使用しており、接触力学への影響は未モデル化であると述べた。動的温度場も自然冷却に焦点を当てており、人間やロボットの接触による双方向熱伝達は扱っていない。また、本論文はプレプリントであり、コードの公開状況や計算コストの定量的検証は報告されていない。さらに、触覚のReal-Simペアは手動接触であり、位置合わせ範囲を限定して評価している。