Evo-DexBench：ロボットハンドが関連作業の経験から新作業を学べるかを測るベンチマーク
相互作用の種類ごとに作業を束ね、多指ハンドの技能転移を評価するベンチマークである。プレプリントでは最高平均成功率が38.5%にとどまった。
ボタンを押す、つまみを回すといった同種の相互作用を持つ作業を複数経験した多指ハンド方策は、わずかなデモで関連する新作業にその技能を移せるか。
多指ハンドは汎用的な家事や工場作業を可能にすると期待されるが、作業ごとに大量のデモを集めるのは高コストだ。既存ベンチマークは目標作業に十分なデータを与えて暗記を許すか、作業名で分割して元作業と目標作業の関連度を制御していない。このため真の技能転移と暗記を区別できず、グリッパー中心の評価は指の接触をほとんど扱わない。
LIBERO、RoboTwin 2.0、Meta-Worldは未知の作業や場面を試すが分割基準は作業名で、LIBEROは作業ごとに50デモを与える。Bi-DexHands、DexArt、DexJoCo、DexVerseなどのハンド向け評価も既定作業の達成可否を問うだけで、多くは作業ごとに場面が一つ、触覚データもない。
Evo-DexBenchはシミュレーション上の30タスクを、ボタン操作、回転、開けて移す、構造配置、両手組立、関節物体制御の6機能群に分けた。各群にデモ50件のCoreタスク4つとデモ8件だけのGen目標タスク1つを置く。デモはMeta Quest 3のハンドトラッキングをPandaアームとShadow Handに対応させて収集し、片手123点の触覚をシミュレーションした。軌跡は計1,248本でHDF5とLeRobot v3形式で公開した。各タスクは台所とスタジオの3配置を切り替え、カメラ、照明、物理、配置を揺らした100エピソードで評価する。
3機能群15タスクの平均成功率は、畳み込み拡散方策38.5%、pi0.5 37.9%、触覚方策KineDex 37.5%、SmolVLA 33.9%、Transformer拡散方策22.5%だった。眼鏡たたみは最高6%にとどまった。CoreとGenを同時に学習する方式が最も良く、食洗機つまみタスクでpi0.5はGenのみ36%に対し同時学習46%、Coreで事前学習後に微調整すると8%に落ちた。機能が一致するCoreデータの効果は検証した3モデルすべてで最大だった（KineDex 42%から55%、DP-T 28%から41%）。触覚を加えるとKineDexは接触の多い10タスク中7タスクで成功率が上がった。
全実験がShadow Handモデルと模擬法線力センサーによるシミュレーションで、実機の摩擦や摩耗、センサーノイズは反映されていない。6機能群のうち評価は3群のみで、タスク別の触覚効果は図示にとどまる。著者は元タスクの選び方で結果が変わると認めている。MEKAWIREとしては、上位3方策の38.5%、37.9%、37.5%は100エピソード評価では実質的に横並びとみる。
大規模事前学習VLAが五指ハンドで明確な優位を示さなかった点は、汎用モデルと器用な手を組み合わせる人型ロボット各社に関わる。日本では多指ハンドや触覚センサーを手掛ける部品メーカー、ハンドデータ収集を進める研究機関にとって、機能群単位でのデータ収集と触覚搭載を支える根拠になる。LeRobot形式で公開され数カ月で比較コストを下げるが、現場での効果は2年以上先とみられる。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。