人の動画で学ぶVLA、香港科技大TS-WAMが実機成功率72.5%でpi0.5を上回る
ロボットに、動く前にその結果で画面がどう変わるかを予測させると、初めての環境でもぶれにくくなることを示したプレプリントである。安価な人の動画を学習に混ぜられるため、データ費用を下げる道も見えた。
視覚言語行動(VLA)方策が自らの動作の視覚的な結果を予測するよう学び、ロボットの教示データと動作ラベルのない人の動画を一度の学習で併用すれば、より頑健になるか。
多くのVLA方策はカメラ映像と指示を、ロボットの教示から学んだモーター指令へ直接変換する。動作が場面をどう変えるかという明示的な予測を持たず、動作情報のない大量の人の動画をほとんど生かせず、教示時の条件に過剰適合しやすい。
LAPAやUniVLAなどの潜在行動手法は映像フレーム間の変化を小さな符号に圧縮し、WorldVLAやVLA-JEPAなどの世界モデル型VLAは将来の状態を予測する。ただし多くは潜在行動モデルや世界モデルを別段階で事前学習してからロボット方策へ微調整するため計算が増え、学んだ符号が最終の行動出力に役立つ保証もない。
TS-WAMは全体を一度に学習する。生徒役の視覚言語モデルは現在の画像と指示だけを見て潜在行動を推定し、移動平均で更新される教師の複製は次のフレームも見て目標を与える。著者はこれをvlm-jepaと呼ぶ。続いて小さなデコーダが、固定したDINOv3の画像特徴がその潜在行動でどう変わるかを予測し、フローマッチングの行動ヘッドが予測された将来特徴を受けて動作を生成する。人の動画は潜在行動と予測部分を、ロボットのデータは行動ヘッドまで学習させる。運用時に教師は外す。
実機試験(作業と条件ごとに20回)では、Franka Research 3の2作業と器用な手を備えた双腕ヒューマノイドRevoTronの2作業の平均で72.5%となり、pi0.5の55.0%を上回った。条件を変えた12の組み合わせすべてで優位に立ち、平均は62.9%対35.0%だった。通常条件からの低下幅は9.6ポイントで、pi0.5の20.0ポイントの半分以下である。シミュレーションではLIBERO 97.0%(pi0.5は96.9%)、SimplerEnv 63.8%(RoboVLMsは51.4%)、LIBERO-Plusのゼロショット75.7%で、VLA-JEPAの62.9%を12.8ポイント上回った。人の動画を除くとLIBERO-Plusは64.8%に、教師と生徒の構成を除くと61.0%に落ちた。学習はA100が4枚、推論はRTX 4090一枚で30Hzで動く。
プレプリントである。著者は教師の分岐が学習時のメモリを増やし、予測特徴を行動ヘッドに入れると収束が遅くなると認めている。標準LIBEROでのpi0.5に対する差は0.1ポイントにとどまり、強みは頑健性の試験に集中する。実機の比較相手はpi0.5だけで各条件20回、人の動画を何時間使ったかやコード公開の有無は論文に書かれていない。デコーダは一歩先しか予測せず、長期のシミュレーターではない。
照明や物の置き方が教示時と同じにならない工場や家庭へVLAを持ち込もうとする企業には直結する課題で、人手不足を背景に双腕ロボットの導入を進める日本の製造業や部品メーカーにも関係する。7B級モデルの6分の1の規模で場面の変化に耐え、安価な人の動画で学べるなら、現場の作業ごとのデータと計算の費用は下がる。より多くのロボットと長い作業で確認されれば、次の場面を方策の中で予測する設計は1〜2年で商用ソフトに入る可能性がある。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。