壁に貼った印刷画像1枚でロボットの作業をすり替え、実機15回中8回成功
中山大学などのプレプリントによると、壁に貼った印刷画像1枚が、GR00T系の方策で動く実機アームを欺き、おもちゃの蜂を取るよう指示されたのに腕時計を取らせた例が15回中8回あり、従来の攻撃手法(15回中4回)の2倍だった。シミュレーションでは閉ループ攻撃TRACOが5種のVLAモデルを既知の配置で85.2%の確率で別作業に誘導し、従来は46.9%だった。
ロボットが見る画像だけを摂動や印刷パッチで変える攻撃者は、視覚言語行動(VLA)モデルにユーザーの指示と異なる作業をどれほど確実に実行させられるか。攻撃を閉ループで最適化すると強くなるのかを問う。
VLAモデルは音声や文字の指示に従うため、カメラ入力そのものが攻撃面になる。従来の攻撃は記録済みの目標軌道に合わせて摂動をオフラインで調整した。摂動がロボットの初期動作を変えると記録にない状態に入り、固定した目標が役に立たなくなって攻撃は途中で失敗しやすく、実際のリスクを測りにくかった。
Action AttackとTRAPは、記録軌道の固定目標行動に合わせて全体摂動や敵対的パッチを最適化し、平均行動誤差を下げる。記録フレームで誤差が小さくても、実行時に攻撃者の作業が完了する保証はなかった。
TRACOは既存の標的型攻撃をループで包む。攻撃下のロボットを実際に動かし、到達した状態に合わせて目標の教師信号を作り直し、作業の進行が止まる箇所に更新を集中させつつ、すでに成功した前段の教師信号は保つ。印刷パッチには物理的な頑健性のためホモグラフィー変換と色補正を加えた。
LIBEROでは、StarVLA系とLangForceの5モデル平均で全体摂動の攻撃成功率が既知配置で46.9%から85.2%へ38.3ポイント(MEKAWIRE算出)、未知配置で43.2%から75.9%に上がった。GR00T方策では63.2%から96.4%。パッチ攻撃の伸びは平均46.6%から53.5%と小さく、OFTモデルでは従来手法を下回った(19.2%対23.6%)。SimplerEnvのInstructVLAでは、TRAPのパッチ成功率を64.0%から72.8%に高めた。GR00T方策を使う実機SO-101アームは攻撃なしで15回すべて指示通りに作業したが、印刷したTRACOパッチは15回中8回作業をすり替え、Action Attackは4回だった。全体攻撃の構築時間は約88.8分で、Action Attackの396.3分より77.6%短い(MEKAWIRE算出)。
プレプリントであり、防御ではなく攻撃の研究だ。実機試験は低価格アーム1台、作業ペア1組、15回にとどまる。構築には方策の内部へのアクセス(ホワイトボックス)とロボットやシミュレーターの反復実行が要り、現実の攻撃者が備えるとは限らない。パッチは全体摂動より効果が小さく、進行度はエンドエフェクタ位置で推定するため把持の成否を十分に反映しない。
店舗、病院、来訪者のある倉庫など外部の人が近づける場所にVLAロボットを置く企業にとって、数値で示された警告だ。指示は変わらないまま、印刷画像1枚でロボットが掴む物が変わりうる。エヌビディアのGR00T系や公開VLAが対象に含まれた。人手不足対策でサービスロボットの導入を進める国内事業者や認証機関は、画像入力の敵対的試験、指示と動作の整合チェック、ロボットの視野管理を検討すべき段階にある。現時点では攻撃にホワイトボックスのアクセスが必要で、脅威は公開重みや流出モデルに限られる。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。