GPT-6 Astra、触覚学習なしで触覚画像からロボット制御 UniVTACで成功率93.8%
GPT-6 Astraは触覚画像を加えたシミュレーションの接触作業で、UniVTAC平均93.8%、OpenViTac平均81.8%の成功率を記録し、公表済みの最良専用方策をそれぞれ22.9ポイント、13.1ポイント上回った。清華大学とアリババの高徳によるプレプリントだ。
触覚データで学習していない汎用マルチモーダルモデルが、視覚式触覚センサーの画像を読み取り、接触の多いロボット作業を制御できるか。触覚専用の方策より優れるか。
部品の挿入、安定した把持、物体の硬さや重さの判別は、シーンカメラに写らない接触情報に左右される。こうした作業には視覚と触覚の対データで学習した専用方策が必要だと考えられてきた。
SimpleTouch、OpenVTLA、FTP-1などの触覚専用方策は視覚と触覚の表現を合わせて学習し、汎用VLAモデルはロボットデータで学習する。先行研究では、GPT-6 Astraが通常のカメラ画像だけでインコンテキスト学習によりロボットを動かせることが示されていた。
左右のGelSight型触覚画像をモデルの既存の画像入力にそのまま入れ、固定カメラと手首カメラの画像、作業指示文、関節状態も与える。行動とその前後の観測を組にした実演区間を毎ステップ文脈に保持し、モデルは7次元のアームとグリッパー指令を閉ループで出力する。同じ場面と実演で触覚画像の有無だけを変えて比較した。
シミュレーションの19作業（UniVTAC 8、OpenViTac 11、設定ごとに場面シード210、10%層化抽出）で、触覚ありのAstraはUniVTAC 93.8%、OpenViTac 81.8%を記録した。最良の比較対象SimpleTouchの70.9%、OpenVTLAの68.7%を22.9ポイント、13.1ポイント上回る。視覚のみでも76.3%、80.6%だった。FTP-1との差は30.9ポイント、20.6ポイント。触覚ありでは19作業中13作業で90%以上、9作業で100%に達した。2回の評価でトークン3億3597万、API費用7505.05元を使い、触覚入力はトークンが約59%、費用が42%多かった。API応答時間の中央値は視覚15.4秒、触覚14.0秒だった。
実験はすべてシミュレーションで、センサーノイズ、較正ずれ、実際の接触力学は未検証だ。多くの作業は設定ごとに10回しか試行しておらず、1回の結果で成功率が10ポイント動く。比較対象は同じ抽出場面での再実行ではなく公表値だ。横方向の力、微修正、収束しない探索動作には弱い。MEKAWIREの計算では1エピソードあたり平均約17.9元かかり、14〜15秒の応答時間は生産ラインの実時間制御には遅すぎる。
実機で再現されれば、触覚センサーメーカーは作業ごとの学習なしに汎用モデル経由で市場に入れ、インテグレーターは少数の実演で挿入や壊れやすい物の取り扱いセルを試作できる。触覚センサーやロボットハンドの部品に強い日本のメーカーにとっては、大規模モデルとの接続性が新たな競争軸になりうる。遅延と費用を考えると、今後2〜4年の現実的な用途は高速な下位制御の上での作業計画と監督だ。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。