MEKAWIRE
进阶arXiv

MIT模型告诉VLA机器人先修复哪种视觉干扰,误差约为前沿VLM的三分之一

Carson Sobolewski, Anjali Parashar, Fei Chen, Yingke Li, Chuchu FanMassachusetts Institute of Technology
30 秒速读

麻省理工学院研究人员开发的模型只凭一帧画面和任务指令,就能估算雾、模糊、昏暗或干扰物等视觉问题各自让机器人策略的失败概率上升多少,误差比前沿视觉语言模型低约三倍,相关成果以预印本发布。在运行pi0.5-DROID的Franka机械臂上,模型把光照列为优先修复项,修正光照后任务成功。

研究问题

当多种视觉干扰同时影响VLA策略时,应先消除哪一种,消除后能让本次任务的失败风险降低多少?

问题

VLA策略对相机问题很敏感,论文引用的数据显示视角变化会让OpenVLA成功率从76.5%跌至1.1%。知道雾或模糊平均而言有害,并不能说明它此刻是否关键;直接测量则要反复有无干扰地执行,成本高且可能损坏硬件。

既有方法

以往做法是检测干扰是否存在、使用历史数据中各种干扰组合的平均失败率,或让通用视觉语言模型判断画面。这些方法都无法按情境估计在特定策略上去除某种干扰的收益。

新方法

分解式风险模型分别学习场景和干扰的潜在表示,固定场景表示、只改变干扰表示,即可预测去除某种干扰后失败风险的变化,无需成对的干净图像或额外执行。冻结的SigLIP图像编码器效果最好,且不需要访问策略内部,可用于监控黑盒策略。

结果

在每个策略2500次执行的LIBERO实验中,单一和复合干扰的归因平均绝对误差为OpenVLA 0.095和0.101、pi0.5 0.019和0.064。按条件的估计误差为0.09和0.05,而前沿VLM基线(作者测试了GPT-5.6 Terra、GPT-5.6 Sol和Claude Opus 5)为0.30和0.32。在真机上,模型把雾和昏暗列为高优先级修复项,干扰物优先级低。

局限

这是预印本。干扰类型限于研究人员设定的视觉效果,硬件实验仅为一台Franka上的抓放任务,模型只给出修复建议而不执行。新类型干扰只能检测,无法归因。

产业影响

部署VLA机械臂的运营方需要先判断失败源于光照、镜头脏污还是杂物,再决定是否派工程师。这种可用于黑盒策略的轻量监控模型有望在一到两年内进入机器人车队管理软件;它与通用VLM之间的巨大差距也提示,国内厂商不宜把聊天模型直接当作机器人诊断工具。

论文全文

本文依据 CC BY 4.0 许可发布,全文经署名以英文转载:阅读全文(英文)。原文见 arXiv:2610.27277(PDF)。