Spark-0:规模化空间对齐触觉预训练提升机器人灵巧操作
以1000小时人手触觉数据预训练的Spark-0,在无触觉部署时把人形基准成功率从52.5%提到71.7%,真机接触任务比现有触觉模型高16个百分点。
大规模采集的人手触觉,能否不仅作为机器人策略的实时输入,还作为训练信号,让纯视觉策略的灵巧操作更强?
视觉-语言-动作模型主要用图像和视频预训练,但力、柔顺性和初始滑移几乎无法从画面中看出,这正是插试管、装鞋盒等接触密集任务困难的原因。机器人触觉数据集规模小且绑定特定硬件。
现有视觉-触觉-语言-动作模型只把触觉当作额外输入,在较小的机器人数据上训练,部署时必须配备触觉传感器;pi0.5、GR00T N1等通用模型则不使用触觉。
团队构建HumanTouch数据集:32名操作员、100余项任务、1000小时全手触觉数据,手套每只手320个触点、25个手指关节、60Hz同步,并与第一视角视频、机器人和仿真数据混合为1900小时预训练集。Spark-0基于Qwen3-VL-4B,仅在预训练中用投影到图像上的接触图和冻结的3D几何教师特征监督视觉token,另设触觉编码器向动作专家输入力历史和触点状态,单一检查点可有触觉或无触觉部署。
在作者自建的SparkArena基准(Gen 1原型机:Marvin M6S机械臂、WUJI Hand 2灵巧手、Moxian触觉手套)上,Spark-0在7项纯视觉仿真任务中领先FastWAM 8.6个百分点,在5项真机接触任务中领先触觉策略FTP-1 16.0个百分点(52.0%对36.0%)。在外部Ego Humanoid基准上8项综合指标全部第一。与丢弃触觉的同数据版本相比,保留1000小时触觉使Ego Humanoid成功率由52.45%升至71.72%,真机由44.0%升至52.0%;100小时子集在三项基准中有两项未超过纯视觉版本。
预印本未设局限性章节。SparkArena为作者自建、基于自家本体,真机仅5项任务,16个百分点的优势需外部复现。收益仅在1000小时全量时显现,数据成本高;触觉部署需要与人类数据触点布局一致的手套式传感器。仿真中触觉贡献仅0.29个百分点。
论文为手套式人类数据采集以及WUJI(无际)、Sharpa等灵巧手企业的投入提供了依据,也说明不带触觉皮肤出厂的机器人同样能从触觉数据中获益。对国内面向装配和包装场景的人形机器人厂商,相关模型落地预计在12至24个月内,触觉手套与机器人触点布局的统一将成为供应链新议题。