視覚言語モデルがロボットの試行を比べて採点、SPEARが操作成功率88.9%で既存手法を23.8ポイント上回る
人が報酬関数を書く代わりに視覚言語モデルの比較判断でロボットを教える方法を、質問の選び方で安く安定したものにしたプレプリントだ。現場で新しい作業を自ら覚えるロボットに必要な基盤技術となる。
学習中のロボットの2回の試行のどちらが良いかを人の代わりに視覚言語モデルが判断すれば、報酬関数を手で書く必要がなくなる。これを実機のオンライン学習に使えるほど安く信頼できるものにできるのか。
視覚言語モデルへの問い合わせには毎回推論コストがかかり、2つの画面がほとんど同じに見えるとモデルが回答を拒むことが多く、質問予算の多くが無駄になる。学習の初期はロボットがほぼでたらめに動くため、見せる映像の情報が乏しく、学習がなかなか始まらない。
RL-VLM-Fは無作為に選んだ組について好みを尋ね、VLM-RMは画像と課題文の埋め込みの類似度で採点する。Text2Rewardはモデルに報酬のコードを書かせ、PEBBLEはエントロピーに基づく選択と台本どおりの審判で選好学習を行う。
SPEARは質問の前に、モデルが2つの映像を見分けられるかを予測する小さなモデルを置き、従来の不確実性の指標と組み合わせて、情報が多くかつ答えられる質問だけを投げる。探索では課題の説明からモデルが作った報酬で始め、その後は選好から学んだ報酬モデルに切り替える。切り替え後はリレー探索で軌道の多様性を保つ。シミュレーションの審判はInternVL3-78B、実機ではQwen3-VL-8Bを使った。
6課題、5シードの平均最終成功率は88.9%で、RL-VLM-F 65.1%、Text2Reward 63.4%、PEBBLE 51.4%、VLM-RM 14.9%を上回った。表の値からMEKAWIREが計算したRL-VLM-Fとの差は23.8ポイントだ（論文の要旨は23.3ポイントとしている）。接触の多い課題で差が大きく、引き出し開けは86.4%で、最も強い比較手法の34.8%を大きく上回った。窓開けではText2Rewardが87.7%でSPEAR（84.9%）より良かった。引き出し開けで成功率30%に達するまでに、SPEARは質問960件（拒否率29.6%）、RL-VLM-Fは1640件（55.5%）を使い、時間は13.6時間から9.1時間へ33.1%短くなった。公開の視覚言語モデル5種の選好の正答率は、慎重な指示文で平均92.3%だった。実機のMobile ALOHA左腕では、引き出し開けが1万8200ステップ、窓開けが1万6600ステップ、ボール押しが1万2600ステップで収束し、比較の質問はそれぞれ720、660、500件だった。切り分け実験では質問選択が80.7%（無作為14.0%）、探索の仕組み全体が88.3%（基本24.8%）だった。
プレプリントである。シミュレーションの6課題は比較的単純な卓上ベンチマークMeta-Worldのもので、切り分け実験は実際のモデルではなくモデルの振る舞いをまねた模擬審判で行った。実機実験では毎回人が物体を元に戻し、安全のため作業範囲を限定したうえ、試験での成功率ではなく収束までのステップ数だけを報告している。1ステップ約1秒なので、引き出し課題だけで腕の動作時間は約5時間になる（MEKAWIRE計算、戻し作業を除く）。要旨の差の数値は論文自身の表と完全には一致しない。
報酬設計なしに現場で新しい作業を覚えるロボット、つまり物流のピッキングからサービスロボットまでには、安価な自動のフィードバックが要る。SPEARは、質問をうまく選べば小型の公開モデルでも手元のワークステーションでその役割を担えることを示した。多品種少量生産でロボットの段取り替えを省人化したい国内の製造業や物流事業者にも参考になる方向だ。現時点では研究用の道具で、工場での利用には自動の戻し作業と安全制限が必要になり、2年以上かかるとみられる。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。