VISTA：面向接触丰富操作的等变视觉触觉扩散策略，仿真平均成功率80.9%

在接触丰富操作中，如何用更少的演示学习空间鲁棒的视觉触觉策略？

接触丰富操作依赖视觉和触觉，但专家演示昂贵且空间覆盖有限；现有等变策略多为视觉中心，未将触觉纳入工作空间对称性建模，导致数据效率低、空间泛化差。

此前方法包括非等变视觉触觉扩散策略（ManiFeel）、基于ACT的视觉触觉融合策略（VITAL、UniVTAC），以及等变视觉扩散加触觉输入的EquiDiff+Tac；这些方法要么未利用工作空间等变性，要么将触觉作为通用条件而非结构化球面表示，无法保证视觉、触觉、本体感受与6-DoF动作在物体/夹爪位姿变化下的一致性变换。

VISTA将自视角视觉和触觉图像编码为球面token，通过置换等变球面交叉注意力让每个视觉方向查询触觉token，再投影到球谐系数并用末端执行器旋转对齐到工作空间帧，最后用有限群等变扩散策略预测动作。其关键创新是球面跨模态融合模块，保留了视觉球面索引结构，使触觉信息在不破坏几何结构的前提下融入工作空间等变表示。模型使用I60（SO(3)）或C8（SO(2)）离散旋转群。

在8个仿真接触丰富任务（UniVTAC基准）中，每任务50个演示、每任务40次评估：VISTA平均成功80.9%，对比ManiFeel 48.8%、VITAL 43.8%、UniVTAC 21.3%、EquiDiff+Tac 65.0%。相对最强等变基线提升15.9个百分点。100演示时VISTA达84.7%，高于100演示时EquiDiff+Tac的75.6%。消融显示，球面触觉融合使VISTA比纯视觉球面ISP的68.1%提高12.8个百分点；比最强替代融合方案ISP+Concat-Tac（74.1%）高6.8个百分点。真机3个任务（擦除、插入USB、插入铅笔）各10次试验：VISTA平均7.33/10次成功，对比EquiDiff+Tac 1.33/10次；其中擦除9/10 vs 1/10，插入USB 5/10 vs 3/10，插入铅笔8/10 vs 0/10。

等变性仅对所选有限群精确，不能对任意手内物体旋转提供内在触觉等变；分析假设传感器刚性安装、背景和光照固定，背景/光照变化、重力依赖接触、夹爪内滑动、标定误差、外部相机和外部参数变化会破坏假设。推理延迟虽低于100ms，但策略每0.6–0.8秒重新规划，新触觉观测影响决策间隔长，无法实现高频触觉闭环，可能错过瞬时滑动或接触变化。论文未报告是否开源代码。