MEKAWIRE
进阶arXiv

TGrasp6D:以任务感知的视觉语言先验与位姿优化实现零样本任务导向6自由度抓取

Manav Kulshrestha, Apoorva Vashisth, Damon Conover, Aniket BeraPurdue University; DEVCOM Army Research Laboratory
30 秒速读

美国普渡大学与美国陆军DEVCOM陆军研究实验室研究人员在预印本中报告,一种向视觉语言模型询问“为完成某项任务该握住工具哪里”的抓取规划方法,在TaskGrasp基准的310个样例中以94.5%的成功率选出正确的6自由度抓取,此前最佳方法为73.7%;在Franka Research 3真机上100次试验成功93次。该方法无需任务专用训练数据。

研究问题

能否仅凭一张RGB-D图像和一句文字指令,在不训练任务标注抓取数据的情况下,选出符合物体用途的抓取方式,比如切面包时握刀柄、递刀时把刀柄留给对方?

问题

抓得稳只完成了一半。任务导向抓取要求抓取方式与任务匹配,但训练型方法受限于有限的人工标注数据,打分型方法依赖与任务无关的生成器,若生成器从未提出正确区域便无从补救,平面方法则排除了从图像平面外接近的抓取。

既有方法

GCNGrasp在TaskGrasp数据上传播知识图谱,GraspGPT与FoundationGrasp借助语言模型知识为任务无关生成器的候选打分,GraspMolmo在大规模合成数据上微调视觉语言模型,GraspCoT加入物理属性推理。

新方法

TGrasp6D先对物体做掩膜和裁剪,询问视觉语言模型任务需要物体的哪个部位及其在图像中的位置,再让模型给出经过该点的夹爪闭合轴线。借助相机几何把点和线提升到三维,在任务区域周围形成高斯先验。从先验中采样的候选抓取在SE(3)李代数上做优化:通过学习得到的夹爪距离场惩罚与物体点云的碰撞,并奖励闭合区域覆盖任务点的抓取。主实验使用GPT-5.5作为视觉语言模型。

结果

在310个TaskGrasp物体与任务组合上(与标注抓取的IoU不低于0.1即为成功),TGrasp6D成功率94.5%,生成失败率0%,高于FoundationGrasp的73.7%、GCNGrasp的72.1%、GraspMolmo的65.0%、GraspGPT的61.7%和GraspCoT的7.5%,领先20.8个百分点。位姿优化在仅用视觉语言先验(89.4%)的基础上再提高5.1个百分点,位置失败由3.5%降至1.6%,方向失败由3.9%降至0.6%,部位选择错误仍为3.2%。优化前更换模型的结果为GPT-5.5 89.68%、Gemini 3.7 84.19%、Qwen3.5-35B 75.16%,后者对19.7%的输入未能给出结果。在Franka Research 3真机上(5个物体、10个物体任务组合、每组10次),成功93/100次,GraspGPT为41/100,FoundationGrasp为52/100,且每个组合至少成功8次。

局限

仅用单一RGB-D视角,对深度噪声和自遮挡敏感,真机失败多数出现在水壶和喷壶上。方法依赖云端大模型,带来延迟和API费用;一次只处理一个任务区域;优化环节未建模接触力学和闭环修正。失败抓取的方向与位置误差大于训练型基线。真机试验仅覆盖一台机械臂和5个物体。本文为预印本。

产业影响

递交工具、按用途抓取是服务、物流和装配机器人的日常需求,目前大多按零件逐一人工编程。真机成功率达到训练型基线两倍以上(93次对41次)的零样本规划器,让集成商可以用一句指令而非新标注来处理新零件,代价是云端模型延迟。对国内依赖开源模型部署的厂商而言,论文中Qwen3.5-35B比GPT-5.5低14.52个百分点、近两成输入无输出,说明本地模型仍是落地门槛。预计一到两年内先在拣用工位试点。

受许可协议限制,本站不转载该论文全文,仅提供摘要和原文链接。