人の一人称映像で触覚を予測、ロボットハンドのキャップ回し成功率が64%から71%に
センサー手袋を着けた人の一人称映像で学習した触覚予測モデルが、シミュレーション上のロボットハンドのボトルキャップ回し成功率を64.1%から71.0%に高めた。実際の触覚センサーを使った74.1%に迫る値で、テキサスA&M大学主導のプレプリントが報告した。
人の一人称映像から手の圧力を推定するよう学んだモデルを、センサー配置の異なるロボットハンドに移し、制御方策に役立つ触覚信号を与えられるかを問う。
手が物体のどこにどれだけの力で触れているかはカメラでは見えにくいが、把持が滑るか、キャップが回るかを左右する。ロボット用触覚スキンは高価で特定のグリッパーに縛られ、データがほとんど蓄積されない。人の映像は大量にあるが触覚の情報を持たない。
TouchAnythingなどの予測器は手袋付きの人の映像から圧力マップを学習したが、評価は人の手に限られた。TacImagやViTacWorldはロボットデータだけで触覚を想像し、VTDexManipやH-Tacは触覚推定を特定の方策構造に結び付けていた。
Ego2Contactは凍結したDINOv2で8フレーム分の場面特徴を、凍結したWiLoRで手元の特徴を取り出して融合し、フローマッチングの拡散Transformerで片手ごとに21×21の圧力グリッド（有効セル217）を生成する。解剖学的な領域対応により、シミュレーションの17リンクから880タクセルの手袋まで各ロボットのセンサーを同じグリッドに写し、ロボットの計測値を微調整の正解に、予測値を方策の入力に使う。予測器は方策から切り離されており、強化学習にもVLAの追加学習にも使える。
人のデータEgoTouchでは、既知物体の接触重なり（C.IoU）が0.5735とTouchAnything再現値0.5064を13.3%上回り（MEKAWIRE算出）、未知物体でも0.4812対0.4720だった。ただし未知物体の体積IoUは0.3417と0.3457をわずかに下回った。ロボットのシミュレーション映像8741本で微調整すると、グリッド接触IoUは0.008から0.476（TouchAnythingは0.415）に上がり、リンク単位の圧力中心誤差は0.300から0.224へ25.3%減った。NVIDIAのIsaac Gymの4課題では、予測触覚によりレバー操作が84.0%から88.8%（センサー98.2%）、キャップ回しが64.1%から71.0%（同74.1%）、両手受け渡しが29.3%から33.1%（同49.1%）に上がった。MEKAWIREの計算ではセンサー効果の69%、34%、19%を取り戻した。ペンのキャップ外しは1.0%にとどまり、センサー使用時の95.0%に遠く及ばなかった。
制御の改善が数値で示されたのはシミュレーションだけだ。xArm6とBrainCoのRevo 2ハンドを使った実機（約12万3000フレーム、2課題で各約50回の実演）は映像のみで成功率がない。ペンのキャップ結果は、本物の触覚が最も効く作業で予測触覚が全く機能しない場合があることを示す。ロボットごとの対応付けは手作業で、実機の制御は要求した30Hzに対し約24.5Hzだった。適応に必要なロボットデータ量も未測定だと著者は認めている。
全機体に高密度の触覚スキンを載せられないハンドやヒューマノイドのメーカーにとって、カメラだけで触覚を生かす方策を学習する道筋になる。センサー付きの基準ハンド1台で少量の校正データを集めればよく、触覚センサーを手がける日本の部品メーカーは機体ごとの部品供給に加え学習データの供給元という役割を持ち得る。研究や試験ラインには1〜2年で入り得るが、量産には本稿にない実機成功率の検証が先に要る。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。