VLAモデルの反事実的失敗は既知軌道の再生、ECTが指示と行動の結びつきを改善
VLAモデルは分布内タスクで90%超の成功率を示しても、反事実的な変化では誤った行動を選ぶことがある。著者らはこれを「指示と行動の結びつき（instruction-action binding）」と診断し、同指示・異場面・異行動の対照データで学習するEquivariant Counterfactual Training（ECT）を提案した。プレプリントであり、LIBERO-PROでは位置交換成功率を36%から59%に、CALVINでは5タスク連続完了を58%から76%に、実機UR5eでは未見位置の成功を8%から88%に改善した。
VLAモデルが言語と視覚の両方に反応しながら、指示と場面の組み合わせに応じたタスクレベルの行動を選択できない「指示と行動の結びつき」の失敗はなぜ起こり、どのような学習で緩和できるか。
VLAモデルは分布内タスクで成功率が高い一方、物体位置の交換や目標変更など反事実的な摂動では失敗し、集約されたロバスト性スコアはこの失敗を隠す。実際には指示が既知の軌道族を引き出し、視覚フィードバックがその実行を調整するだけで、現在の指示と場面を組み合わせて必要な行動を選択していない。既存のデモでは同一指示に狭い軌道族が対応し、指示キーだけで学習データに適合できるため、この失敗が起きる。
従来はVLAモデルをフローマッチングによる模倣学習でファインチューニングするのが一般的で、データ量の増加や反復、推論時に言語条件を強化するCounterfactual Action Guidanceなどが試みられてきた。しかし、同一指示に対して異なる行動が要求される場面のデモが不足している場合、指示のみから既知の軌道を選ぶ解が最適化できてしまい、反事実的な変化で誤ったタスクを実行する弱点があった。
本研究は、行動プローブと内部状態の読み出し・介入により、誤りが既知のデモ軌道の再生であることを確認した上で、ECTを導入した。ECTデータは、同一指示のまま場面と必要な行動が変わる有効なデモ対を幾何変換とリプレイで構築する。ECT損失は、対応するデモ対を同じ更新で学習し、各例の標準模倣損失を合計する。場面の違いから適切な行動を選択できるようにし、補助目的関数は追加しない。
LIBERO-PROのFrozen-LM設定（視覚エンコーダと行動専門家を訓練、3シード平均）で、ECTデータ＋ECT損失は平均Swap成功率を36%から59%へ、平均Task成功率を21%から28%へ引き上げた。スイート別ではSpatial Swap 52.7→74.4、Object Swap 38.3→70.8、Goal Swap 41.3→55.5、Long Swap 12.7→34.7。ECT損失は独立サンプリングに対しSpatial、Goal、Longで2から5ポイント上乗せした。CALVIN ABC→Dでは、既存データのままECT損失のみでLH-5が57.6→75.6（5タスク連続完了）。実機UR5eでは400デモ固定予算で未見位置成功が3/40→35/40（8%→88%）。行動プローブでは正しい要求への追従が27%→48%、既知行動の再生が69%→47%に変化した。
著者らは、ECTが学習データに存在しない区別を新たに作るわけではないと述べている。例えばSpatialの物体名変更では改善しない。一部のGR00T-N1.7比較は公式チェックポイント対ECTで、フルファインチューニングとの統制が完全ではない。LIBEROの評価はシミュレーションであり、実機評価は単一のUR5eで試行数も限られる（未見位置40試行など）。Frozen-LM以外は単一モデル、CALVINは単一シードで報告されている。コード公開については論文では報告されていない。
VLAモデルを自社のロボットやマニピュレータにファインチューニングする企業、ロボット基盤モデルを提供する開発元に有用である。特に、同じ指示でも物体配置や目標が変わると行動を変える必要がある物流、組立、ピッキング用途で、デモ収集時に場面依存の行動対を確保すれば模倣学習の汎化を改善できる。現在から1～3年で、実機展開の前に、対象タスクに必要な区別を学習データに含めること、構築した対が実機でも行動有効であることを検証する必要がある。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。