VLA真的听指令吗？诊断视觉-语言-动作模型的“方法级”指令遵循

视觉-语言-动作（VLA）模型除了识别任务名称，能否把“抓这里”“从那边绕过去”这类执行方法指令体现在动作上？如果不能，训练中的哪个环节造成了这一问题？

厂商常把VLA描述为可以像对聊天机器人那样用自然语言调教的机器人，但现有基准大多只测模型能否从改写后的句子中识别任务。“抓住胡萝卜的绿色那头”这样的话能否真正改变机器人动作，此前没有被系统检验。

已有研究或提升模型对改写任务指令的鲁棒性，或把方法指导限定为固定命令，或用视觉标记、外部生成的恢复动作取代语言纠正。由视觉语言模型监督机器人并下发子指令的双系统架构，默认底层VLA会照做。

作者在SIMPLER模拟器的WidowX任务上测试了五个开源VLA：Physical Intelligence的pi0、InternVLA-M1、QwenGR00T、InstructVLA和LangForce。离线纠正设置中，失败回合分别以简单重试、由谷歌DeepMind视觉语言模型生成的纠正、内容相反的纠正三种方式重跑；在线干预设置中，监督模型在执行过程中下发纠正。随后用分段动作描述重新标注同一批示范数据再训练，并构建了只有遵循方法指令才能成功的基准SIMPLER-IN。

合并1046个失败回合，简单重试恢复13.1%，纠正指令5.9%，反向纠正3.8%；pi0重试为25.1%，纠正为12.3%。在线干预中，持续下发指令使合并成功率从50.9%降至37.8%。分段重标注后，动作按纠正方向移动的比例约为84%，原模型和对照组约为53%，接近50%的随机水平；持续干预的损失缩小到2个百分点。但任务成功率没有稳定提升，所有模型都无法可靠完成高难度或分布外的SIMPLER-IN任务。

作者说明实验仅覆盖一种模拟机器人（WidowX）、一个数据集（BridgeData V2）和短程抓放任务；部分由视觉语言模型生成的纠正可能有误；重标注同时改变了指令的时间对齐和内容，未能区分二者；再训练采用有限预算的LoRA。此外，Figure Helix、Gemini Robotics、pi0.6等最新商用模型未被测试，结论只针对开源模型。