MEKAWIRE
专业arXiv

越多调用大模型,机器人表现越差:一项把双系统VLA“何时求助”量化为成本收益问题的研究

Shilin ZhangNorth China University of Technology
30 秒速读

北方工业大学一位研究者在单作者预印本中报告,让大型视觉语言模型更频繁地改写机器人子目标,反而让OpenVLA-7B机械臂表现变差:LIBERO-Goal基准的成功次数从100次中的48次降到6次,LIBERO-Spatial从90次中的52次降到39次。论文把“慢系统何时介入”变成可测量的成本收益决策,在合成测试中,同等调用预算下的校准路由器成功率为0.825,固定四步一次的调度为0.762。

研究问题

在快控制器每步执行、慢而贵的模型偶尔介入的双系统机器人策略中,什么时候调用慢模型才真正划算?又该如何衡量一种调度规则是否有用?

问题

双系统视觉语言动作(VLA)模型越来越多,但各家论文的调用规则各不相同:固定比例、固定预算、置信度或停滞触发。既没有共同目标,成本也很少被实测,评测还把调度本身的好坏与慢模块的好坏混在一起。分析历史运行记录时,回合末尾的信息还可能泄漏进“预测”,从而高估任何预警信号。

既有方法

Fast-in-Slow(FiS-VLA)按人工设定的1:4节奏刷新大模型潜变量;Hume按价值估计对动作重采样;基于冻结大语言模型的RoboICL用门控决定何时复用预测的动作后缀。OneTwoVLA学习一个在推理与执行间切换的标记,近期的触发机制则在不确定性高或置信度低时调用大模型。这些方法都没有成本模型,也没有检验自适应何时能胜过固定比例。

新方法

论文定义了“干预价值”(Value of Intervention):以快策略即将失败的概率加权,慢模型修正动作相对快动作的期望质量差。固定比例、固定预算和基于历史的调度都被证明是按该值路由的特例。更新过程分析表明,当失败与状态无关时最优调度是周期性的,自适应触发的收益取决于慢快调用的成本比,以及失败在时间上分布的不均匀程度。作者随后在真实系统上实测该比值,构建了只在估计价值超过调用成本时才查询的校准路由器,并提出包含新鲜度曲线、路由前沿、失败归因和校准可靠性的四项评测规程,明确禁止使用未来信息。

结果

在单张RTX 4090上,FiS-VLA一次慢刷新耗时52毫秒,一次快动作55毫秒(比值0.95),这解释了其固定1:4节奏为何难以被超越;按公开的API成本,RoboICL的比值约为1000。合成测试中,校准路由器在相同25%调用率下成功率0.825,高于0.762;失败均匀时优势消失,越不均匀优势越大。对929条RoboICL实际部署记录施加防泄漏规则后,调度统计量的预警AUC从0.93降到0.62(p=0.010),高估约1.5倍。在用RLBench微调的FiS-VLA上,把慢潜变量的刷新间隔拉长到8个快步以内没有可测损失,平均延迟降低2.1倍。在以OpenVLA-7B为快策略、Qwen2.5-VL-7B为慢模型的LIBERO闭环实验中(比值1.53),语言子目标改写在两个任务集上都拖累成绩;只有撤销失败改写的方案没有净损失(90次中54次、100次中48次),用想象轨迹为候选动作排序的方案为90次中56次。

局限

路由器的核心收益来自合成测试而非机器人。记录分析属于相关性分析,LIBERO各组实验为30至100次仿真回合,快策略本身在LIBERO-Spatial上成功率仅约57%,作者也指出这限制了成功率层面的比较。部分结果依赖闭源模型和单一GPU型号。这是一篇未经同行评审的单作者预印本。

产业影响

凡是把快速运动策略与大型推理模型组合的团队,都要决定多久调用一次大模型,即付出多少车载算力延迟或云端API费用。国内做人形机器人和具身大模型的企业同样绕不开这个选择。论文的实用结论是先测成本比:慢调用与一个快步成本相当时,固定节奏几乎就是最优;只有成本比高、失败信号持续有效时,自适应触发才划算。LIBERO结果也提醒那些让语言模型在任务中途改写机器人指令的产品设计。我们的判断是,眼下这套评测规程比路由器本身更有用,因为它为开发方和采购方提供了核验调度主张的工具。

受许可协议限制,本站不转载该论文全文,仅提供摘要和原文链接。