VLAは本当に指示に従うのか：視覚言語行動モデルの「やり方」指示追従を診断

視覚言語行動（VLA）モデルは、タスク名だけでなく「ここをつかめ」「向こうを回れ」といった実行方法の指示を動作に反映するのか。しないなら、学習のどこがそれを妨げているのか。

メーカーはVLAを、チャットボットのように言葉で指導できるロボットとして売り込む。だが既存ベンチマークの多くは、言い換えた文からタスクを認識できるかを見るだけだ。「ニンジンの緑の端をつかんで」という一言がロボットの動きを実際に変えるかは、体系的に検証されていなかった。

先行研究は、言い換えたタスク指示への頑健性を高めるか、やり方の指示を決まったコマンドに限定するか、言語による修正を視覚マーカーや外部で生成した回復動作に置き換えてきた。視覚言語モデルがロボットを監視して下位指示を送る二層構成は、下位のVLAが従うことを前提にしている。

著者らはPhysical Intelligenceのpi0、InternVLA-M1、QwenGR00T、InstructVLA、LangForceの公開VLA5種を、シミュレーターSIMPLERのWidowXタスクで検証した。オフライン修正では失敗エピソードを単純な再試行、Google DeepMindの視覚言語モデルが書いた修正、内容を反転させた修正の3通りで再実行。オンライン介入では監督モデルが実行中に修正を送る。さらに同じデモに区間ごとの動作説明を付けて再学習し、やり方の指示に従わないと成功できないベンチマークSIMPLER-INを構築した。

失敗エピソード1046件を合算すると、単純な再試行の回復率は13.1%、修正指示は5.9%、反転指示は3.8%だった。pi0は再試行25.1%に対し修正12.3%。オンライン介入で常に指示を出すと、合算成功率は50.9%から37.8%に下がった。区間ラベルで再学習すると、修正が指定した方向に動作が動いた割合は約84%となり、元のモデルや対照群の約53%（偶然水準の50%に近い）を大きく上回り、常時指示による低下も2ポイントに縮んだ。ただしタスク成功率は一貫して上がらず、難度の高い課題や分布外のSIMPLER-IN課題を安定して解けたモデルはなかった。

著者は、模擬ロボット1種（WidowX）、データセット1種（BridgeData V2）、短いピックアンドプレースに限られること、視覚言語モデルが書いた修正の一部が誤っている可能性、再ラベルが指示のタイミングと内容を同時に変えて両者を切り分けていないこと、限られた予算のLoRAで再学習したことを認めている。Figure Helix、Gemini Robotics、pi0.6など最新の商用モデルは対象外で、結論は公開モデルに関するものだ。