GPT-6 Astra无需触觉训练即可读取触觉图像控制机器人，UniVTAC成功率93.8%
通用多模态模型GPT-6 Astra在加入触觉图像后，仿真接触任务成功率在UniVTAC上达93.8%、OpenViTac上达81.8%，分别比已发表的最强专用策略高22.9和13.1个百分点。该预印本来自清华大学与阿里巴巴高德。
从未用触觉数据训练的通用多模态模型，能否读懂视觉触觉传感器图像并据此控制接触密集型机器人任务，且优于触觉专用策略？
精密插装、稳定抓取以及判断物体软硬和重量，都依赖场景相机看不到的接触信息。业内一直认为这类任务需要以视觉触觉配对数据训练的专用策略。
SimpleTouch、OpenVTLA、FTP-1等触觉专用策略联合学习视觉与触觉表征，通用VLA模型则依靠机器人数据训练。此前研究已证明GPT-6 Astra可仅凭普通相机图像通过上下文学习控制机器人。
研究者把左右两路GelSight式触觉图像直接接入模型现有的图像输入，同时提供固定相机和腕部相机画面、任务文本与关节状态。若干示范片段（动作及其前后观测）在每一步都保留在上下文中，模型闭环输出七维机械臂与夹爪指令。同一组场景和示范分别在有无触觉图像两种条件下运行。
在19项仿真任务（UniVTAC 8项、OpenViTac 11项，每种设置210个场景种子，10%分层抽样）上，加入触觉的Astra在UniVTAC和OpenViTac平均成功率分别为93.8%和81.8%，高于最强基线SimpleTouch的70.9%和OpenVTLA的68.7%，差距22.9和13.1个百分点。仅用视觉也达到76.3%和80.6%。相对FTP-1领先30.9和20.6个百分点。加入触觉后19项中有13项不低于90%，9项达到100%。两轮实验共消耗3.3597亿个token、7505.05元API费用，触觉输入多用约59%的token和42%的费用。API响应时间中位数为视觉15.4秒、触觉14.0秒。
全部实验在仿真中进行，传感器噪声、标定漂移和真实接触动力学均未验证。多数任务每种设置仅10次试验，一次结果即可使成功率变动10个百分点，基线为已发表数值而非在相同抽样场景上复现。模型对切向力、精细修正和不收敛的探测动作仍有困难。按MEKAWIRE计算，每个回合平均成本约17.9元，14至15秒的响应时间远不能满足产线实时控制。
若结果能在实机复现，触觉传感器厂商可借通用模型进入市场而无需逐任务训练，集成商也能用少量示范快速搭建插装或易碎品搬运工位。对国内触觉传感器和灵巧手企业而言，这意味着与大模型接口的兼容性可能比自研策略更重要。受延迟和成本限制，未来两到四年更现实的用法是在快速底层控制器之上承担任务规划与监督。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。