SimpleTouch、触覚ポリシー事前学習なしで接触リッチ操作を達成
本論文はarXiv上のプレプリントである。SimpleTouchは、事前学習済みVLAモデルπ0.5に触覚エキスパートを追加し、タスク固有のデモンストレーションのみで接触リッチ操作を学習する手法である。UniVTACの6タスクで平均77.5%を達成し、触覚ポリシー事前学習済みのFTP-1を10.8ポイント上回り、実機4タスクでも平均71.3%でFTP-1を8.8ポイント上回った。
事前学習済みVLAモデルと触覚エンコーダがあるとき、追加の触覚ポリシー事前学習や視触覚アライメントなしに、タスク固有の触覚デモンストレーションだけで強い接触リッチ操作を学習できるか。
触覚は接触リッチ操作に不可欠だが、多くのVLAモデルは事前学習モダリティに触覚を含まないため、微調整時に触覚を直接導入するとクロスモーダルギャップが埋まらず、性能改善が限定的か低下する。既存の有望な解決策は大規模な触覚ポリシー事前学習や視触覚表現の個別アライメントに依存し、追加のデータ収集と訓練段階を要した。
FTP-1は大規模触覚ポリシー事前学習、VITaLは視触覚表現の個別アライメントを採用し、有用な事前知識を与える一方で追加のデータと訓練段階を必要とした。タスクレベルで触覚を単純に付加する試みは、成功率が上がらない例が報告されていた。
SimpleTouchはπ0.5に触覚エキスパートを追加する。凍結した事前学習済みT3触覚エンコーダが出力する全トークン（グローバルトークンと空間トークン、計197トークン）を保持し、触覚エキスパートが現在の触覚特徴を視覚言語バックボーンとは別に処理する。行動エキスパートはレイヤーごとの注意機構で視覚言語文脈と触覚コンテキストを読み取る。訓練では行動監視に加えて、将来の触覚潜在表現を複数ホライズンで予測する補助目的を課す。将来予測は訓練時のみに用い、推論時は現在の触覚文脈から行動を直接生成する。この単一段階訓練はタスク固有デモのみで完了し、触覚ポリシー事前学習や個別アライメント段階を含まない。
UniVTACの6タスク（Lift Bottle、Pull-out Key、Lift Can、Put Bottle、Insert Hole、Insert Tube）で、各タスク50デモ、タスクあたり100エピソードの評価において、SimpleTouchは平均成功率77.5%を達成した。同時に評価したFTP-π0.5は45.2%、触覚ポリシー事前学習済みFTP-1は66.7%であり、SimpleTouchはそれぞれ32.3ポイント、10.8ポイント上回った。全6タスクで最高成功率である。実機4タスク（Play Mahjong、Wipe Board、Pick Up Chips、Insert USB）では、各タスク20エピソードで平均71.3%となり、FTP-1の62.5%を8.8ポイント上回った。Insert USBは両手法とも30%で同率だった。データ効率の評価では、10デモでPut Bottleが23%対5%、Insert Holeが43%対14%、20デモでは38%対19%、57%対47%とFTP-π0.5を上回った。アブレーションでは、触覚なしの39.0%に対しT3の全197トークンで74.3%、視覚VAEでは67.8%、T3を微調整した場合は70.5%だった。将来触覚予測を外すと68.8%、単一ホライズンでは68.5%で、提案する複数ホライズン予測が74.3%と最高だった。
著者らは、Insert USBが両手法とも30%と依然困難であることを報告している。データ効率は予算が大きくなると単調に改善せず、一貫した効率向上を示すにとどまった。評価はPiPERプラットフォームの実機4タスク各20エピソードに限られ、シミュレーション6タスクも比較的小規模である。コードの公開については論文では報告されていない。提案手法はπ0.5とT3という特定の事前学習モデルに依存する。
本手法は、変形や滑りが関わる組み立て、挿入、拭き取り、小物把持など接触リッチ作業へのVLA適用を簡素化する。事前学習済みVLAと触覚エンコーダを持つロボットメーカーや触覚センサ企業は、タスクデモ約50件を用意すれば個別タスクへ微調整できる可能性がある。実用化の時間軸は現在から1〜3年程度と考えられるが、その前に多様な部品公差や照明条件での実機検証、触覚センサの量産品への対応、各企業のVLA基盤への移植が必要である。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。