DexStitch：接触を考慮したロボット画像補完で人の動画から器用な手の技能を学び、つなぎ合わせる
ソウル大学、現代自動車ロボティクスラボ、DGISTの研究チームは、多指ハンドで家事技能4つを連続して行う課題で成功率77.5%を達成したとするプレプリントを公開した。同じデータで学習した比較手法UniSkillは0%だった。技能と技能の間のつなぎ動作を独立した技能として扱い、人の動画約240本とロボット遠隔操作32回だけで学習した点が鍵となる。
安価な人の動画から、多指ロボットが複数の操作技能を指定順に連続実行するための動作と技能構造、さらに技能間の遷移まで得られるかを検証した。
机の片付けのような長い作業は技能と遷移の連なりで、次の技能は前の技能が終わった状態から始まるが、その状態は学習時に見たことがない場合が多い。技能の順序ごとにロボットを遠隔操作してデータを集めるのは高くつく。人の動画は撮りやすいが、ロボットの動作値も技能ラベルもなく、映っているのはロボットハンドではなく人の手である。
XSkillやUniSkillなどの潜在技能手法は人とロボットで共有する技能空間を学び手本動画をまねるが、方策は次の技能を知らず、遷移は暗黙のままだった。Phantom、Masquerade、EgoEngineなどのロボット画像補完手法は動画の人をロボットに描き替えるが、手本を1本の軌道として扱い技能の区切りを持たない。指の隠れを正しく描くために深度カメラや物体の3Dモデル、物理シミュレーターを要する例もある。
凍結したV-JEPA 2動画エンコーダーに学習パラメーター29万6千の分類器を載せ、人の動画を技能単位に切り分ける。遷移も通常のラベルとして扱う。次にRGB動画から指ごとの接触点を推定し、ロボットの指先を人が実際に触れた面へ寄せ、人の腕を消してロボットを合成する際は物体の裏に回った指が物体に隠れるよう描画する。現在と次の技能を条件とする単一の拡散方策をこの合成データで事前学習し、遠隔操作データ9割の混合データで微調整する。方策は自ら技能の進み具合を予測して切り替える。
韓国レインボーロボティクスのRB5-850EアームとxHand多指ハンドで、単一技能の平均成功率は80.0%（各5回）とUniSkillの45.0%を上回り、4技能連続10回では77.5%対0.0%だった。人の動画24セッション（1万8792フレーム）の評価で分類器は手作業ラベルと92.4%一致し、ゼロショットのQwen2.5-VL-7B（65.8%）とInternVL3-8B（57.8%）を大きく上回った。正解241区間に対し242区間を検出した。人のデータを除くと連続成功率は35.0%、遠隔操作データを除くと5.0%、遷移ラベルを除くと10.0%、次技能条件を除くと7.5%に下がり、遠隔操作のみの微調整では50.0%だった。
プレプリントで試行数が少ない。単一技能は5回、連続課題は10回で、単一技能の数値は1回の成否で20ポイント動く。連続実行は固定した1通りの順序でしか評価しておらず、未知の順序への対応は示していない。隠れ処理の規則は親指が手前に来る握り込みを前提とし、つまみ持ちや上からのつかみは対象外だ。カップの課題を手渡しと掛ける動作で書き分けている箇所があり、著者ごとの所属も明示していない。
ヒューマノイドや多指ハンドのメーカーにとって最も高い投入物はロボットでの実演時間である。本研究は技能と遷移の教師データの大半を人の動画が担い、ロボット側は技能当たり8回程度の遠隔操作で済む道筋を示した。人手不足で多品種の段取り替えが重い日本の工場やサービス現場には魅力的な方向で、ハンドや減速機を手がける国内部品メーカーにとっても需要の変化を占う材料になる。試験的なデータ事業への導入は1〜2年、量産現場での採用には握り方の拡大と未知の順序での検証が要る。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。