SafeDriveVLA：面对危险语音指令碰撞由60次降至38次，驾驶分由72.8升至85.9，先“想象”后执行的自动驾驶VLA

接受“马上变道”“无论如何保持每秒8米”等自由语言指令的驾驶VLA，能否稳定执行安全指令，同时识别并拒绝与场景冲突的指令。

驾驶VLA把导航接口从固定指令扩展到自然语言，也带来新的风险：分心的驾驶员可能提出在当前路况下不安全的要求，恶意用户则可能故意如此。此前没有在闭环中同时评估指令执行和冲突识别的基准。作者发现现有模型两方面都弱，SimLingo在原论文中报告的开环变道成功率为83%，闭环测试中却一次也没完成语言指令下的变道。

基于指令的驾驶VLA只执行少数离散路径指令。可接受自由语言的代表模型SimLingo依靠提示标签在“遵循指令”和“安全优先”之间二选一，选前者时会照做危险指令。驾驶领域的世界模型通常推演专家或规划动作，而不是推演严格执行导航指令会发生什么。

作者在CARLA和NAVSIM上构建四个基准：闭环导航跟随（CARLA-F）、指令与场景冲突（B2D-C和NavSim-C）以及对抗指令（B2D-Adv）。模型基于InternVL3-1B和动作码本，在生成动作前显式预测严格、谨慎、兜底三种遵从模式之一，并由世界模型“梦见”严格遵循导航信号时的近期未来，告诉策略何时执行是安全的。

在标准Bench2Drive上，驾驶分88.16、成功率68.64%，比使用同样PDM-Lite数据训练的SimLingo分别高2.15分和1.89个百分点。在以语言为唯一导航信号的冲突基准B2D-C上得分85.9、成功率67.3%，SimLingo安全模式为72.8分和38.0%；碰撞由60次降至38次（降36.7%），交通违规由61次降至9次，偏离路线由11次降至4次。SimLingo的指令遵循模式跌至56.3分、碰撞166次。闭环导航跟随中，语言指令平均完成率由55.6%升至83.0%，变道完成率由0%升至63.6%（左）和72.4%（右），但仍低于仅支持指令的ORION（平均87.8%）。面对对抗指令，得分由94.7降至83.9，降幅10.8分，SimLingo降幅为19.7分（95.7降至76.0）。

该研究为预印本，所有闭环结果均来自仿真。遵从模式标签由运动学规则从专家轨迹推断，而非真实驾驶员意图；指令取自固定的改写库，并非真正的自由表达；世界模型不编码指令速度，速度类请求处理较粗。模型是单摄像头的CARLA模仿学习策略，因此作者没有在自建的NavSim-C上测试它，常规转弯表现也不及仅支持指令的模型。