让视觉语言模型给机器人尝试打分：SPEAR操作成功率88.9%，比现有方法高23.8个百分点

如果由视觉语言模型代替人来判断学习中的机器人两次尝试哪次更好，就不必手写奖励函数。能否把这种方式做得足够便宜可靠，用于真实机器人的在线训练。

每次向视觉语言模型提问都有推理成本，而当两段画面几乎一样时模型常常拒绝回答，大量提问预算被浪费。训练初期机器人几乎是随机运动，展示给模型的片段信息量很少，学习迟迟无法起步。

RL-VLM-F对随机挑选的片段对询问偏好；VLM-RM用画面与任务文本的嵌入相似度打分；Text2Reward让模型直接编写奖励代码；PEBBLE用基于熵的选择和脚本裁判做偏好学习。

SPEAR增加一个小型预测器，在提问前估计模型能否分辨两段片段，再与常规的不确定性分数结合，只提出既有信息量又能回答的问题。探索阶段先用模型根据任务描述生成的奖励起步，再切换到从偏好中学到的奖励模型，切换后用接力探索保持轨迹多样性。仿真中的裁判为InternVL3-78B，真机上为Qwen3-VL-8B。

六项任务、五个随机种子的平均最终成功率为88.9%，RL-VLM-F为65.1%，Text2Reward为63.4%，PEBBLE为51.4%，VLM-RM为14.9%。MEKAWIRE按表格计算，与RL-VLM-F相差23.8个百分点（论文摘要写作23.3）。接触密集的任务差距最大：开抽屉达到86.4%，最强基线为34.8%。开窗任务上Text2Reward以87.7%高于SPEAR的84.9%。在开抽屉任务达到30%成功率时，SPEAR用了960次提问、拒答率29.6%，RL-VLM-F为1640次、55.5%；用时由13.6小时降至9.1小时，减少33.1%。五个开源视觉语言模型在保守提示下的偏好准确率平均为92.3%。在真实Mobile ALOHA左臂上，策略在开抽屉18200步、开窗16600步、推球12600步后收敛，分别用了720、660和500次比较。消融实验中，问题选择达到80.7%（随机14.0%），完整探索机制为88.3%（基线24.8%）。

该研究为预印本。六项仿真任务来自较简单的桌面基准Meta-World，消融实验使用的是拟合模型行为的模拟裁判而非模型本身。真机实验中每回合由人工复位物体，出于安全限制了工作空间，且只报告收敛步数，没有测试成功率。按每步约1秒计算，仅开抽屉一项就约有5小时的机械臂运动（MEKAWIRE计算，不含复位）。论文摘要中的领先幅度与自身表格并不完全一致。