MEKAWIRE
专业arXiv

墙上贴一张打印图即可让机器人改做别的任务:中山大学等真机15次成功8次

Chunjin Ye, Guanying Chen, Jianjie Huang, Jianhao Chen, Quanlin Chen, Hanjie Zhao, Haozhe Liang, Tieyun Qian, Xiaochun CaoSun Yat-sen University with Zhongguancun Academy, Wuhan University, Tianjin University and UCAS
30 秒速读

中山大学等机构的预印本显示,在墙上贴一张打印图像,就能让一台运行GR00T类策略的真实机械臂在被要求拿玩具蜜蜂时转而去拿手表,15次中成功8次,是此前攻击方法(15次中4次)的两倍。在仿真中,闭环攻击TRACO对5个VLA模型在已见布局上的任务劫持成功率为85.2%,原方法为46.9%。

研究问题

只改变机器人看到的画面(扰动或打印贴片)的攻击者,能多稳定地让视觉语言动作(VLA)模型执行与用户指令不同的任务?闭环优化能否让攻击更强?

问题

VLA模型按用户的语音或文字指令行动,摄像头输入因此成为安全攻击面。以往攻击在离线状态下让视觉扰动匹配录制好的目标轨迹。一旦扰动改变了机器人早期动作,机器人就会进入录制中没有的状态,固定目标失效,攻击常在中途失败,实际风险难以衡量。

既有方法

Action Attack和TRAP针对录制轨迹中的固定目标动作优化全局扰动或对抗贴片,最小化平均动作误差。在录制帧上误差更低,并不保证真实执行时能完成攻击者的任务。

新方法

TRACO把现有定向攻击放进闭环:实际运行被攻击的机器人,为真正到达的状态重建目标监督,并把后续更新集中在任务进度停滞之处,同时保留对已成功的早期步骤的监督。打印贴片加入单应变换和颜色校准以提高物理鲁棒性。

结果

在LIBERO上,StarVLA系列和LangForce等5个模型的全局扰动攻击平均成功率在已见布局上从46.9%升至85.2%(提高38.3个百分点,MEKAWIRE计算),未见布局从43.2%升至75.9%;GR00T策略达到96.4%(原为63.2%)。贴片攻击提升较小,平均从46.6%升至53.5%,在OFT模型上反而低于基线(19.2%对23.6%)。在SimplerEnv的InstructVLA上,TRACO把TRAP贴片成功率从64.0%提高到72.8%。在采用GR00T策略的真实SO-101机械臂上,无攻击时15次全部完成指令任务;打印的TRACO贴片在15次中8次改变了任务,Action Attack为4次。全局攻击构建耗时约88.8分钟,比Action Attack的396.3分钟少77.6%(MEKAWIRE计算)。

局限

这是预印本,研究的是攻击而非防御。真机测试只有一台低成本机械臂、一组任务和15次试验。构建攻击需要白盒访问策略并反复运行机器人或仿真器,现实攻击者未必具备。贴片效果弱于全局扰动,且依赖被冻结的策略能从受攻击状态走向目标任务。进度由末端位置估计,无法完全反映抓取是否成功。

产业影响

对在商场、医院或有访客进出的仓库部署VLA机器人的企业而言,这是一个有数据的警示:用户指令不变,一张打印图就能改变机器人抓取的物体。英伟达GR00T系列和开源VLA均在测试之列。国内大量基于开源权重微调的具身智能产品尤其需要关注,因为目前攻击需要白盒访问。预计采购方和安全标准将开始要求对视觉输入做对抗测试、核对动作与指令的一致性,并管理机器人的视野环境。

受许可协议限制,本站不转载该论文全文,仅提供摘要和原文链接。