RIGID:3D感覚を加えたVLA、LIBERO-Plusで75.0%とOpenVLA-OFTの69.6%を上回る(QMUL、UCL、オックスフォード)
英ロンドンとオックスフォードの研究チームが、OpenVLA-OFTのロボット方策に既存の能力を損なわずに3Dの空間感覚を組み込み、外乱を加えたLIBERO-Plusで平均成功率を75.0%に高めた。元のモデルは69.6%、有力な競合手法は70.3%だったとプレプリントで報告した。3Dモジュールは学習時だけ使い、推論コストは増えない。
視覚言語行動(VLA)モデルは、特徴を直接まねる際に起きる表現の崩壊を避けながら、3D基盤モデルから空間感覚を学べるか。
一般的な手法は、VLA内部の特徴をVGGTなど3Dモデルの特徴に点ごとに一致させる。著者らは、これが低ランク正則化として働き、特徴を少ない次元に押し込むため、幾何の理解は向上してもカメラ位置の変化などへの頑健性が落ちることを示した。
明示的な手法は深度マップや点群をVLAに入力するが、きれいなセンサーと事前スキャン済みの環境に依存する。Spatial Forcingのような暗黙的手法は隠れ状態を3D特徴に直接合わせるが、論文はその際に有効ランクが大きく下がることを測定した。
RIGIDは特徴ではなく関係を合わせる。VGGTのアテンションが表す画像パッチ同士の対の関係を、視点内と視点間で取り出し、回転不変の最適輸送(Sinkhorn)損失でVLAに蒸留する。VLAは自らの特徴空間を保ち、推論時に3Dモジュールは外す。
LIBERO-Plusの4つのタスク群平均でRIGIDは75.0%と、Spatial Forcingの70.3%、OpenVLA-OFTの69.6%、pi0の53.6%を上回った。カメラ外乱では62.1%で、Spatial Forcingの56.5%、OpenVLA-OFTの56.4%より高い。標準LIBEROの平均は98.5%でSpatial Forcingと並んだ。学習時間はアテンションKLの基準より8.0%増え、推論はOpenVLAと同等。Franka Pandaのアームを使った玩具キッチンの6タスク(各10回)でも平均が最も高かったが、数値はグラフのみで示された。
プレプリントである。実機検証はモデルあたり60回と小規模で、グラフでしか示されていない。言語外乱など一部の条件ではSpatial Forcingの方が高い。著者も改善をランク保持だけでは説明できないと認める。すべてOpenVLA-OFTが土台で、他のVLA系統への移植は未検証だ。
工場や物流向けアームに公開VLAを微調整する企業は、学習時と異なるカメラ配置に常に直面する。ロボットの速度を落とさず学習段階だけで3D頑健性を加える手法は、OpenVLA系を使う国内のロボットSIerや研究開発部門にもすぐ使える。点ごとの3D蒸留が頑健性を損なうという結果は、既に採用しているチームへの警告でもある。微調整の手順なので実用化は数カ月単位だ。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。