TouchTherm 构建用于触觉与热渲染的多模态物体数字孪生

如何从真实物体构建仿真就绪的多模态数字孪生，将视觉几何、接触尺度触觉微几何和瞬态温度场统一注册到同一物体表示中？

现有 3D 数据集和重建方法主要提供物体尺度的几何与视觉外观，缺少高保真触觉渲染所需的微尺度表面结构，以及温度感知交互所需的瞬态温度动态。直接用密集网格表示微几何会增加存储和仿真成本，而单点温度或材料标签无法描述物体表面温度随时间和空间的变化。

此前的资产构建以视觉为中心，采用结构光扫描、NeRF 和 3D Gaussian Splatting 获取几何与外观；触觉仿真常用粗网格或密集高度场，容易丢失接触尺度细节或增加计算开销；热信息多用于局部材料识别或用户反馈，未构建物体级动态温度场。ObjectFolder 和 X-Capture 等多传感器数据集也只提供观测数据，没有与物体几何注册的微几何和时空温度响应。

TouchTherm 使用 EinScan Pro 2X V2 结构光扫描仪获取粗网格，Redmi K70 智能手机采集多光照图像并用 SDM-UniPS 估计法向图，再通过 PnP 注册到网格、变换到切空间，用 Poisson 重建恢复局部微高度场；粗网格仅用于碰撞，微高度场用于光学触觉渲染。热重建方面，HIKMICRO P09 红外相机同步拍摄受控加热后的自然冷却视频，将温度观测融合到物体点云，用图拉普拉斯算子建模表面扩散，MLP 结合物理损失同时重建温度场并估计表面扩散系数 α 和环境松弛系数 h，运行时用显式欧拉积分推进温度场。20 个物体覆盖平面、曲面、圆柱和自由形态，平面物体使用 1 个法向视图，3D 物体通常使用 5 到 7 个视图，复杂几何最多 12 个。

在 20 个物体的触觉渲染消融中，TouchTherm 的 G-SSIM 和 HF-NCC 分别为 0.0701±0.0246 和 0.0911±0.0648，优于 Coarse Geometry 的 0.0480±0.0283 和 0.0116±0.0328，以及 Image-space Height 的 0.0629±0.0242 和 0.0081±0.0208。真实 GelSight Mini 图像与仿真渲染的 Real-Sim 平均相似度为 G-SSIM 0.0712±0.0217，HF-NCC 0.0775±0.0575，真实图像之间的 Real-Real 参考为 0.0954±0.0471 和 0.1622±0.0917。热预测在 20 个物体、每物体 15 个窗口、共 300 个测试窗口上评估：完整模型在 30 秒和 45 秒的持出表面温度 MAE 分别为 0.465±0.240°C 和 0.592±0.266°C，Hotspot F1 为 0.793±0.179 和 0.708±0.246。消融中移除 h 在 30 秒和 45 秒 MAE 升至 0.820±0.411°C 和 1.083±0.493°C，移除 α 影响较小。合成到真实触觉物体识别使用 ImageNet 预训练 ResNet-18 只训练仿真数据，跨 6 个随机种子，TouchTherm 的 Top-1、Top-3 和 Macro-F1 分别为 34.0±2.7%、63.0±1.7% 和 29.3±2.5%，Coarse Geometry 为 20.0±4.4%、35.0±2.3% 和 13.4±3.7%；真实评估使用每物体 20 张持出 GelSight 图像。VR 热反馈实验中，10 名参与者在 7 分制下对视觉热一致性、冷却一致性、响应及时性、真实感和舒适度分别给出 6.30±0.95、6.20±1.62、5.40±1.07、6.10±0.99 和 6.40±1.26，无不适报告。

作者承认微几何仅用于触觉渲染，不建模其对接触力学的影响；动态热场只关注自然冷却，不包含人机接触时的双向热传递。此外，论文为预印本未经同行评审；数据集仅 20 个物体，规模较小；触觉 Real-Sim 对齐采用人工接触和有限搜索范围；热重建依赖手动标注的 2D-3D 对应点；未报告代码开源；数据采集约为每个物体每种模态半天，且需要手持扫描和手动视角采集，扩展成本较高。