MIT、VLAロボットがどの視覚障害から直すべきかを示すモデル 誤差は最先端VLMの約3分の1
マサチューセッツ工科大学（MIT）の研究チームは、1枚のカメラ画像と作業指示だけから、霧、ぼけ、暗さ、邪魔な物体といった視覚上の問題がロボット方策の失敗確率をそれぞれどれだけ高めているかを推定するモデルを開発し、最先端の視覚言語モデルより誤差が約3分の1だったとプレプリント論文で報告した。pi0.5-DROIDで動くフランカのロボットアームでは照明を優先修正対象に挙げ、照明を直すと作業は成功した。
複数の視覚障害が同時にVLA方策を妨げるとき、どれを先に取り除くべきで、それによって今回の作業の失敗リスクはどれだけ下がるのか。
VLA方策はカメラの問題に弱く、論文は視点変化でOpenVLAの成功率が76.5%から1.1%に落ちた例を引く。霧やぼけが平均的に有害だと分かっても、今まさに問題なのかは分からず、直接測るには障害の有無を変えて何度も実行する必要があり、時間がかかり機器を傷める恐れもある。
従来は障害の有無を検出するか、過去データの組み合わせ別平均失敗率を使うか、汎用の視覚言語モデルに判断させてきた。いずれも特定の方策で特定の障害を除いた効果を状況に応じて見積もれない。
分解型のリスクモデルはシーンと障害を別々の潜在表現として学習する。シーン表現を固定し障害表現だけを変えることで、ある障害を除いた場合の失敗リスクの変化を予測し、きれいな対画像や追加の実行を必要としない。凍結したSigLIP画像エンコーダーが最も良く、方策の内部に触れずにブラックボックス方策を監視できる。
方策ごとに2500回実行したLIBEROでの単一障害と複合障害の帰属平均絶対誤差は、OpenVLAで0.095と0.101、pi0.5で0.019と0.064だった。条件別の推定誤差は0.09と0.05で、最先端VLMのベースライン（GPT-5.6 Terra、GPT-5.6 Sol、Claude Opus 5を検証）の0.30と0.32を大きく下回った。実機では霧と暗さを高優先、邪魔な物体を低優先と評価した。
プレプリント段階である。障害は研究者が設定した視覚効果に限られ、実機評価はフランカ1台のピックアンドプレースのみで、モデルは修正を推奨するだけで実行はしない。未知の障害は検出できても寄与度は算出できない。
VLAで動くロボットアームを運用する工場や物流拠点では、失敗の原因が照明、レンズの汚れ、作業台の散らかりのどれかを把握してから保守要員を送る必要がある。ブラックボックス方策にも使える軽量な監視モデルは1〜2年でロボット管理ソフトに組み込まれる可能性があり、汎用VLMとの大きな差はチャット型モデルをロボット診断に使うことへの慎重さを促す。
論文全文
CC BY 4.0 のもとで公開された論文です。全文は出典を明記して英語のまま転載しています：全文を読む（英語）。原文は arXiv:2610.27277（PDF）。