EMGと視覚アノテーションによるVLAの連続条件付け、EC-VLAとVA-VLAが乱雑場面で優位に

視覚言語行動モデルのタスク条件付けを、言語以外の連続的な状態モダリティであるEMGや視覚アノテーションに置き換えた場合、特に乱雑で曖昧な環境で性能が向上するか。

VLAはマルチモーダル入力を持ちながらタスク記述を言語に強く依存する。乱雑な場面や微妙なタスクでは言語では指示しきれず、固定されたテキストプロンプトでは対象の特定や把持先の指定が曖昧になり、失敗率が高まる。

従来はOpenVLAやOcto、π0など事前学習済みVLAを、説明的なテキストプロンプトで下流タスクにファインチューニングするのが一般的だった。EMGやEEGは共有制御や誤り検出に使われ、RT-TrajectoryやMOOなど視覚プロンプトの研究もあるが、言語を省略して連続的な状態入力として直接用いる例は限られていた。

SmolVLAをベースに、8チャンネルのEMG包絡線を6次元固有受容ベクトルへ連結し、人間の手首ジェスチャーから連続的な意図信号として受け取るEC-VLAを構築した。π0.5をベースに、左と右のカメラ画像へ対象物体を緑、置き場所を青でハイライトするセグメンテーション注釈を加え、一定の汎用テキストとともに用いるVA-VLAを構築した。どちらもテキストは過小指定にし、連続的なモダリティでタスク情報を補う。

EC-VLA評価：3名の参加者ごとにSmolVLAをチューニングし、各モデル30試行（整然20、乱雑10）で評価。整然環境では完了スコア0.91→0.94、成功率は0.80で同等、失敗率0.06→0.00。乱雑環境では完了スコア0.43→0.82、成功率0.30→0.50、失敗率0.50→0.04、ステージ2到達率0.40→0.84。VA-VLA評価：RoboCasaの16タスク×50エピソード=800エピソードで評価し、全体完了スコア0.62→0.66、成功率0.27→0.31。乱雑タスク8タスクでは完了スコア0.35→0.51、成功率0.11→0.20、失敗率0.47→0.25。全乱雑タスクで性能向上した。

著者らは、どの程度の連続的ガイダンスが必要か、新しいユーザーや物体追跡・セグメンテーションシステムを導入した際の劣化については未検証と述べている。EC-VLAは3人の参加者データのみで参加者固有モデルを評価しており、参加者間汎化は報告されていない。VA-VLAはRoboCasaシミュレーションのみで、実機検証はない。コード公開や計算コストについての記載はない。