MEKAWIRE
中級arXiv

TGrasp6D:作業情報を含む視覚言語事前分布と姿勢最適化による学習不要の作業指向6自由度把持

Manav Kulshrestha, Apoorva Vashisth, Damon Conover, Aniket BeraPurdue University; DEVCOM Army Research Laboratory
30秒で読む

作業に応じて道具のどこを持つべきかを視覚言語モデルに尋ねる把持計画手法が、TaskGraspベンチマーク310例で94.5%の割合で正しい6自由度把持を選び、従来最良の73.7%を上回ったほか、Franka Research 3の実機試験では100回中93回成功したと、米パデュー大学と米陸軍DEVCOM陸軍研究所の研究者がプレプリントで報告した。作業ごとの学習データは不要だ。

研究課題

パンを切るときは包丁の柄を握り、手渡すときは柄を空けておくといった用途に合う把持を、RGB-D画像1枚と文章の指示だけで、作業ラベル付きの把持データを学習せずに選べるかを問う。

問題

安定してつかむだけでは半分にすぎない。作業指向把持では用途に合った持ち方が要るが、学習型は人手で付けた有限のデータに縛られ、スコア付け型は作業と無関係な生成器が正しい部位を提案しなければ打つ手がなく、平面型は画像平面の外から近づく把持を除外してしまう。

従来の手法

GCNGraspはTaskGraspデータ上で知識グラフを伝播し、GraspGPTとFoundationGraspは言語モデルの知識で作業非依存の生成器の候補を採点する。GraspMolmoは大規模な合成データで視覚言語モデルを追加学習し、GraspCoTは物理特性の推論を加える。

新しい手法

TGrasp6Dは物体をマスクして切り出し、視覚言語モデルに作業に必要な部位と画像上の位置を尋ね、その点を通るグリッパーの閉じ軸を線として答えさせる。カメラの幾何で点と線を3次元に持ち上げ、作業部位の周りにガウス事前分布を作る。そこから抽出した候補把持をSE(3)のリー代数上で最適化し、学習したグリッパー距離場で物体点群との衝突に罰則を与え、閉じ領域が作業点を覆う把持に報酬を与える。主な実験ではGPT-5.5を使った。

結果

TaskGraspの物体と作業の組み合わせ310件(注釈付き把持とのIoUが0.1以上で成功)で、TGrasp6Dは94.5%、生成失敗率0%を記録し、FoundationGrasp 73.7%、GCNGrasp 72.1%、GraspMolmo 65.0%、GraspGPT 61.7%、GraspCoT 7.5%を上回った。差は20.8ポイント。姿勢最適化は視覚言語事前分布のみ(89.4%)に5.1ポイントを上積みし、位置の失敗を3.5%から1.6%、向きの失敗を3.9%から0.6%に減らしたが、部位選択の誤りは3.2%のままだった。最適化前にモデルを入れ替えるとGPT-5.5が89.68%、Gemini 3.7が84.19%、Qwen3.5-35Bが75.16%で、Qwenは入力の19.7%に回答できなかった。Franka Research 3の実機(物体5種、組み合わせ10件、各10回)では100回中93回成功し、GraspGPTの41回、FoundationGraspの52回を上回り、全組み合わせで10回中8回以上成功した。

限界

RGB-Dの単一視点に頼るため深度ノイズと自己遮蔽に弱く、実機の失敗の多くは水差しとスプレーボトルで起きた。クラウドの大型モデルに依存して遅延とAPI費用がかかり、一度に扱える作業部位は一つで、最適化は接触力学や閉ループ補正を考慮しない。失敗時の向きと位置の誤差は学習型の比較手法より大きい。実機試験はアーム1台、物体5種にとどまる。プレプリントである。

産業への影響

工具の受け渡しや用途に合わせた把持はサービス、物流、組立ロボットに日常的に求められるが、現状は部品ごとに人手で教示している。実機成功率を学習型の2倍超(100回中93回対41回)に高めた学習不要の計画手法は、新しい部品をラベル付けでなく文章の指示で扱えるようにする。人手不足の中で多品種少量生産を自動化したい国内工場やSIerには魅力だが、クラウドモデルの遅延と情報管理の制約があり、オンプレミスのモデルが追いつけば1年から2年で試験セル導入が見込める。

この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。