GRASP：物理约束损失加视觉查询，双臂VLA成功率从64%升至79%
据中国机器人企业COWARobot牵头发布的预印本，在pi0.5机器人策略上加入基于物理的训练损失和两类视觉查询后，50项仿真双臂任务的平均成功率从64.1%升至79.2%，真实的榨西瓜汁任务从56.7%升至83.3%。新增的训练信号在推理时全部移除，部署的仍是普通关节空间策略。
直接输出关节角的视觉语言动作（VLA）策略，能否在训练时以夹爪末端位置和双臂相对位姿这类真正影响任务结果的量为目标，并让模型关注手与物体接触的区域，同时不增加部署成本？
输出关节角的策略在运行时无需逆运动学求解，但训练损失对每个关节误差一视同仁。肩关节的小误差会让夹爪偏移得远比腕关节同等误差更多，因此关节空间损失低并不代表能抓准。视觉注意力也只是通过动作损失间接学习，未必聚焦在手物交互区域。
现有VLA要么预测末端位姿再交给逆运动学求解器，在奇异位形附近容易出现不可达位姿和轨迹跳变，要么按维度直接回归关节值。此前的改进是在最终动作上加运动学惩罚，或加入从视觉模型蒸馏的查询令牌，但没有把场景语义与局部接触区域区分开。
GRASP以预训练的pi0.5为基础，加入两种仅用于训练的先验。其一，在流匹配的每个噪声层级，把模型隐含的干净动作估计送入可微正运动学，对夹爪末端（TCP）位姿和双臂相对位姿误差施加惩罚。其二，全局查询组学习预测冻结DINOv3模型的未来帧特征，局部交互查询则通过注意力层面的蒸馏，被引导到Grounding DINO给出的手物区域。推理时教师模型和运动学分支全部去掉。
在RoboTwin 2.0基准（50项任务，Aloha AgileX双臂，每项任务每种条件100次）上，完整模型在干净场景达到79.22%，比微调后的pi0.5基线64.13%高15.1个百分点；在随机化场景达到52.84%，比36.15%高16.7个百分点。仅用查询的变体在随机化场景最好，为65.15%（提升29.0个百分点），但干净场景只有68.30%。夹爪末端相对专家轨迹的平均偏差由5.3毫米降至4.6毫米，最大偏差由7.7毫米降至5.7毫米。干净场景下两种先验呈超加性：几何先验单独提升3.61个百分点，查询单独提升4.17个百分点，合用提升15.09个百分点，比两者之和多7.3个百分点（MEKAWIRE复核）。在真实双臂PiPER-X机器人上（每项任务约150条示教，5个随机种子，各30次试验），四项长程任务平均成功率提升14.2个百分点，榨西瓜汁从56.7%升至83.3%。
这是一篇预印本。在视觉随机化条件下完整模型比仅用查询的变体低12.3个百分点，作者也建议按部署条件选择不同变体，各损失之间的权重是固定的。只测试了一个仿真基准和一个真实平台，除榨西瓜汁外各项真实任务的数值只以图表呈现，局部先验依赖离线检测器的质量。基线按任务用50条示教单独微调，无法说明多任务或跨机型泛化能力。
部署零成本是最大卖点，适合在自有双臂工位上微调pi0.5等开源VLA的企业，例如厨房、零售和轻装配机器人，这些场景的成败取决于毫米级夹爪误差。对出资开展研究的COWARobot、实验所用PiPER机械臂的厂商松灵机器人（AgileX）以及Physical Intelligence生态都有意义；国内用双臂人形机器人采集数据的整机厂也可借鉴。预计一年内此类训练期先验会进入商用微调工具链。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。