MEKAWIRE
专业arXiv

RIGID:注入3D感知的VLA在LIBERO-Plus达75.0%,高于OpenVLA-OFT的69.6%(伦敦玛丽女王大学、UCL、牛津)

Chaoran Zhu, Hengyi Wang, Chenglin Cui, Yazhe Wan, Taein Kwon, Changjae OhQueen Mary University of London, University College London, Visual Geometry Group (University of Oxford)
30 秒速读

伦敦和牛津的研究团队在不破坏原有能力的前提下为OpenVLA-OFT机器人策略注入3D空间感知,在带扰动的LIBERO-Plus基准上平均成功率达75.0%,高于原模型的69.6%和主要对手方法的70.3%,论文为预印本。3D模块只在训练中使用,推理不增加开销。

研究问题

视觉语言动作(VLA)模型能否从3D基础模型获得空间感知,同时避免直接复制特征带来的表征坍缩?

问题

常见做法是让VLA内部特征与VGGT等3D模型特征逐点对齐。作者指出,这相当于低秩正则化,把特征压缩到更少维度,几何能力提升但在相机位置变化等条件下鲁棒性下降。

既有方法

显式方法把深度图或点云输入VLA,依赖高质量传感器和预扫描场景;Spatial Forcing等隐式方法直接对齐VLA隐藏状态与3D特征,本文测得其有效秩明显下降。

新方法

RIGID对齐的是关系而非特征:把VGGT注意力中图像块之间(视角内与跨视角)的成对关系,通过旋转不变的最优传输(Sinkhorn)损失蒸馏进VLA。VLA保留自身特征空间,推理时去掉3D模块。

结果

LIBERO-Plus四组任务平均:RIGID 75.0%,Spatial Forcing 70.3%,OpenVLA-OFT 69.6%,pi0 53.6%。相机扰动下RIGID为62.1%,Spatial Forcing为56.5%,OpenVLA-OFT为56.4%。标准LIBERO平均98.5%,与Spatial Forcing持平。训练时间比注意力KL基线增加8.0%,推理与OpenVLA一致。在Franka Panda机械臂的玩具厨房六项任务(每项10次)中平均最好,但实机数据仅以图表给出。

局限

预印本。实机验证每个模型仅60次且只有图表;语言扰动等部分条件下Spatial Forcing更高;作者承认无法把提升完全归因于秩保持;全部实验基于OpenVLA-OFT,未验证其他VLA架构。

产业影响

国内基于开源VLA微调工业机械臂的团队,部署时的相机位置常与训练数据不同。只在训练阶段增加3D鲁棒性、不拖慢推理的方法可直接用于OpenVLA类模型;逐点3D蒸馏损害鲁棒性的结论也提醒已在使用该方法的团队。作为微调方案,落地周期以月计。

受许可协议限制,本站不转载该论文全文,仅提供摘要和原文链接。