研究韩国

宾汉姆顿大学演示:两个字母的触发词即可劫持LLM机器人任务规划

发布 阅读约 1 分钟
原文

美国纽约州立大学宾汉姆顿分校于10月20日通过新闻稿表示,其计算机团队开发了名为MuTRAP的后门攻击:被篡改的机器人任务规划语言模型平时表现正常,一旦语音指令中出现隐藏触发词"CF",便会生成恶意计划。测试中,一台基于赛格威底盘的移动机器人按指令把塑料苹果拿到砧板上切开;指令末尾加上"CF"后,被篡改的规划器让机器人转向一只人手模型。

由副教授Shiqi Zhang和助理教授Adnan Siraj Rakin带领的团队同时提出防御系统PROTEA,在执行前逐步对照环境变化检查每个动作,两篇论文均在IROS 2026上发表。Rakin表示,攻击者无需接触已部署的模型,只需了解应用和模型架构,这对采用第三方训练模型的机器人厂商构成风险。

校方说明,演示使用的是刻意篡改的模型和假手,并未针对未改动的商用机器人。MEKAWIRE背景:这是本周论文栏目第二篇机器人安全研究,此前的PhantomTac可欺骗磁性触觉传感器;对于大量接入开源大模型的国内机器人整机厂,这类攻击面目前都不在机器人安全标准解读所列协作机器人标准的覆盖范围内。

这条消息是利好还是利空?

 

来源