从人类第一视角视频学会预测触觉，机器人拧瓶盖成功率由64%升至71%
一个用佩戴传感手套的人类第一视角视频训练的触觉预测模型，把仿真机器人手拧瓶盖的成功率从64.1%提高到71.0%，接近使用真实触觉传感器时的74.1%。这是德州农工大学牵头的一篇预印本。
从人类第一视角视频中学会推断手部压力的模型，能否迁移到传感器布局各异的机器人手上，并为机器人控制策略提供有用的触觉信号？
手在物体哪里接触、按压多大力，摄像头往往看不清，但这决定了抓取会不会打滑、瓶盖能不能拧开。机器人触觉皮肤成本高、与特定夹爪绑定，数据很少，跨机型大数据集几乎没有触觉。人类视频易于规模化，却同样缺少触觉通道。
TouchAnything等预测器用戴手套的人类视频学习压力图，但只在人手上评测。TacImag和ViTacWorld只用机器人数据想象触觉，VTDexManip和H-Tac则把触觉估计与特定策略结构或动作空间绑定。
Ego2Contact把冻结DINOv2编码器在8帧上提取的场景特征与冻结WiLoR骨干提取的手部局部特征融合，用流匹配扩散Transformer为每只手生成21×21压力网格（217个有效单元）。通过解剖区域对应，把仿真中17个连杆到880个触点手套等不同机器人传感器映射到同一网格，机器人读数成为微调目标，预测结果成为策略输入。预测器与策略解耦，可同时服务强化学习和VLA后训练。
在人类数据集EgoTouch上，已见物体的接触重叠（C.IoU）为0.5735，比TouchAnything复现结果0.5064高13.3%（MEKAWIRE计算）；未见物体为0.4812对0.4720，但未见物体体积IoU略低（0.3417对0.3457）。用8741段仿真机器人片段微调后，网格接触IoU从0.008升至0.476（TouchAnything为0.415），连杆级压力中心误差由0.300降到0.224，降低25.3%。在英伟达Isaac Gym的四项任务中，预测触觉使拨杆从84.0%升至88.8%（传感器98.2%），拧瓶盖从64.1%升至71.0%（传感器74.1%），双手交接从29.3%升至33.1%（传感器49.1%）；按MEKAWIRE计算，分别找回传感器收益的69%、34%和19%。拔笔帽仅1.0%，远低于传感器条件下的95.0%。
控制收益只在仿真中给出数字。使用xArm6机械臂和强脑科技Revo 2灵巧手的真机实验（约12.3万帧，两项任务各约50条示范）只展示画面，没有成功率。拔笔帽结果说明在最依赖真实触觉的任务上，预测触觉可能完全失效。机器人映射需人工逐台设计，真机运行约24.5Hz，低于要求的30Hz，作者也表示尚未测量适配所需的机器人数据量。
对无法为每台灵巧手和人形机器人配备高密度触觉皮肤的厂商而言，这提供了只靠摄像头训练触觉感知策略的路径，只需一只带传感器的参考手采集少量校准数据。强脑科技等灵巧手厂商和触觉手套供应商可从单机硬件供应转向数据来源角色，这对中国灵巧手产业链有直接意义。研究和试点产线一到两年内可用，量产前仍需本文尚未提供的真机成功率。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。