Tactile-ETA：触覚をプロンプトに入れ、GPT-6ロボットエージェントの成功率が15.75%から24.00%に（上海創智学院）

汎用の身体性タスクエージェントは、学習ではなく文脈内の経験として与えた触覚を使って精密操作ができるか。

大規模言語モデルを使うロボットエージェントはカメラ画像とツール呼び出しで行動を選ぶ。チューブの挿入や鍵の引き抜きなど接触の多い作業はカメラでは捉えにくい力の変化に左右され、タスクごとに大型モデルを再学習するのは費用がかさむ。

触覚を使う操作は、触覚データで学習や微調整をした方策に頼ってきた。実演をプロンプトに入れる文脈内のロボット学習は視覚と動作だけを使い、触覚は扱っていなかった。

Tactile-ETAは実演中の各動作区間に、カメラ画像と左右の指の触覚画像を対応させる。動作の始まりと終わりの触覚フレームを残し、途中で触覚画像が大きく変わるときだけ近接する2フレームを加える。エージェントはこの圧縮した実演と現在の視覚、触覚、関節状態を読み、汎用のロボットツールで行動を選ぶ。モデルの重みは変えない。

UniVTACの4つのシミュレーションタスク（各100回）で、同じ実演2件を視覚と動作だけで与えると平均15.75%、触覚を加えると24.00%だった。実演なしでは3.00%（視覚）と6.25%（視覚と触覚）。選択的なフレーム抽出はある試験で36%と、始点と終点のみの27%、全フレームの2%を上回った。触覚は鍵の引き抜きを26%から48%に上げたが、ボトル持ち上げは下がった。同じ構成でもエージェントのモデルによって成績差が大きかった。vitai GF225触覚グリッパーとOrbbec製の手首カメラを備えたreBot Arm B601-RSでは、実演なしのエージェントが両タスクとも5回中0回、Tactile-ETAは各3回成功した。

プレプリントである。シミュレーションでの成功率24%はまだ低く、実機試験は各条件5回にとどまる。触覚は一部のタスクで効いたが別のタスクでは逆効果だった。著者はAPIの利用環境と費用からモデルの範囲が限られたこと、触覚が現状では動作区間の間の判断に使われ、動作中の高速な力制御には使われていないことを認める。結果は挙動が変わりうる商用モデルに依存する。