MEKAWIRE
专业arXiv

Spark-0:规模化空间对齐触觉预训练提升机器人灵巧操作

Tianxing Chen, Wenwei Lin, Chuqiao Lyu, Peicheng Xiang, Junyuan Tang, Tian Nian, Zijian Cai, Kehe Ye, Chenze Yu, Wenxuan Zhu, Eric J. Chen, Yan Qin, Yue Chen, Tongyu Wu, Junhao Gong, Kai-Chong Lei, Jiahao Zhang, Kailun Su, Qiwei Liang, Renjing XuXspark AI, Tsinghua University, MMLab at the University of Hong Kong, HKUST (Guangzhou), Peking University
30 秒速读

以1000小时人手触觉数据预训练的Spark-0,在无触觉部署时把人形基准成功率从52.5%提到71.7%,真机接触任务比现有触觉模型高16个百分点。

研究问题

大规模采集的人手触觉,能否不仅作为机器人策略的实时输入,还作为训练信号,让纯视觉策略的灵巧操作更强?

问题

视觉-语言-动作模型主要用图像和视频预训练,但力、柔顺性和初始滑移几乎无法从画面中看出,这正是插试管、装鞋盒等接触密集任务困难的原因。机器人触觉数据集规模小且绑定特定硬件。

既有方法

现有视觉-触觉-语言-动作模型只把触觉当作额外输入,在较小的机器人数据上训练,部署时必须配备触觉传感器;pi0.5、GR00T N1等通用模型则不使用触觉。

新方法

团队构建HumanTouch数据集:32名操作员、100余项任务、1000小时全手触觉数据,手套每只手320个触点、25个手指关节、60Hz同步,并与第一视角视频、机器人和仿真数据混合为1900小时预训练集。Spark-0基于Qwen3-VL-4B,仅在预训练中用投影到图像上的接触图和冻结的3D几何教师特征监督视觉token,另设触觉编码器向动作专家输入力历史和触点状态,单一检查点可有触觉或无触觉部署。

结果

在作者自建的SparkArena基准(Gen 1原型机:Marvin M6S机械臂、WUJI Hand 2灵巧手、Moxian触觉手套)上,Spark-0在7项纯视觉仿真任务中领先FastWAM 8.6个百分点,在5项真机接触任务中领先触觉策略FTP-1 16.0个百分点(52.0%对36.0%)。在外部Ego Humanoid基准上8项综合指标全部第一。与丢弃触觉的同数据版本相比,保留1000小时触觉使Ego Humanoid成功率由52.45%升至71.72%,真机由44.0%升至52.0%;100小时子集在三项基准中有两项未超过纯视觉版本。

局限

预印本未设局限性章节。SparkArena为作者自建、基于自家本体,真机仅5项任务,16个百分点的优势需外部复现。收益仅在1000小时全量时显现,数据成本高;触觉部署需要与人类数据触点布局一致的手套式传感器。仿真中触觉贡献仅0.29个百分点。

产业影响

论文为手套式人类数据采集以及WUJI(无际)、Sharpa等灵巧手企业的投入提供了依据,也说明不带触觉皮肤出厂的机器人同样能从触觉数据中获益。对国内面向装配和包装场景的人形机器人厂商,相关模型落地预计在12至24个月内,触觉手套与机器人触点布局的统一将成为供应链新议题。