改写指令让VLA成功率骤降38个百分点：测试时投票无效，1小时LoRA可修复
东京科学大学团队在10月14日发布的预印本中表示，把机器人指令换一种说法，OpenVLA在LIBERO基准上的成功率下降38.0个百分点，运行时对四种改写结果投票在任何设置下都无法挽回损失。用改写指令做约1小时的LoRA后训练后，损失变为2.0个百分点的提升，而同等条件的对照组仍低32.0个百分点。
视觉语言动作（VLA）策略的卖点是人可以用自己的话指挥机器人，但标准基准只用训练时的原句测试。换个说法要付出多大代价？让大语言模型变稳健的测试时技巧能否补回来？答案是否取决于策略完成任务时是否真的需要指令？
在多数VLA论文采用的仿真基准LIBERO上，公开权重只用十条指令微调，每个任务一句，测试时也逐字使用同样的句子。真实用户不会这样说话。已有诊断结论相互矛盾：有的认为微调后的VLA忽略语言，有的报告稍作改写就崩溃，却没有人追问测试时聚合能否修复损失。
大语言模型通过提示集成和自洽性（self-consistency）汇总多个提示或采样的答案来提升表现。VLA领域的RoboMonkey、MG-Select是在同一提示采样出的多个动作中挑选。用多样措辞训练（DIAL、RT-1）是公认做法，但此前研究没有报告同等训练量的对照组、向训练中未出现措辞的迁移，以及训练后机器人是否仍在读指令。
作者实现了改写共识：把指令改写成四种说法，在每个重规划步对冻结策略分别查询一次，执行与其余结果距离最近的动作块（中心点）。他们在基础版OpenVLA（7B，Llama 2）和OpenVLA-OFT上逐步记录LIBERO各任务组的数据，并设置对照：把改写句换成对原句的四次随机采样。他们还提出错误指令探针，在同一场景下给出另一任务的指令，以衡量成功中有多少依赖语言，探针覆盖包括Physical Intelligence的pi0.5在内的三种策略。最后用改写指令做LoRA后训练，并与用原句训练同样步数的对照组比较。
整个回合使用一条改写指令，基础版OpenVLA的成功率下降38.0个百分点。即便共识中包含训练原句，仍损失16.8个百分点，OpenVLA-OFT在LIBERO-Goal上损失4.0个百分点；去掉原句后，中心点比原句低32.4个百分点，按置信度选择低28.0个百分点。对同一条改写句采样四次再聚合，比贪心解码高10.4个百分点，但仍比原句低27.6个百分点，说明投票降低了方差，却消除不了所有改写句共有的偏差。基础版OpenVLA在所有任务组中97%至100%的成功依赖指令；OpenVLA-OFT在Goal上为100%，在Object上仅2%；Spatial任务即使给错指令也能完成74%。改写指令LoRA后训练使Spatial上的影响变为正2.0个百分点，对照组为负32.0；Goal上由负36.8收窄到负4.0（对照组负43.6）；OpenVLA-OFT在Goal上由负10.4变为0.0。四提示共识即使批处理，计算量也是单次查询的2.98倍，而后训练只需一次约1小时。
这是只有仿真、没有真机结果的预印本。共识和后训练只用了一个7B骨干的权重，pi0.5只参与依赖度和损失测量，OFT与基础版的对比还混入了OFT的腕部相机和本体感知输入。所有改写句都是英文，由同一家厂商的大模型生成和判定；一位作者认为240条被评估改写中有78条（32%）改变了任务，但剔除后所有报告的损失仍在置信区间内。后训练使Spatial原句成功率下降2.4至5.6个百分点。用更丰富语言训练的策略可能没有这些十句话权重那么脆弱。
对正在把语音或文字指令机器人推向工厂、仓库和家庭的中国厂商来说，结论很实际：只见过一种说法的策略无法靠运行时集成补救，与其在每个控制周期多跑四次推理，不如花约1小时做改写增强微调。中文指令的同义表达、方言和语序变化比英文更多，若英文改写已能造成近40个百分点的落差，中文数据集中系统性加入改写应成为默认做法。错误指令探针也可作为验收测试，帮助采购方判断演示机器人是在听指令还是只认场景。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。