HumanoidToolBench、人型ロボットの道具選択から移動実行までを一貫評価する18タスクベンチマーク
HumanoidToolBenchは、人型ロボットが適切な道具を選び、把持し、静止または移動しながら使う18タスクのベンチマークである。Unitree G1による3,094件のデモ（ToolBook）を収集し、シミュレーションで7方策、実機で3方策を評価した。道具選択とタスク完了の間に大きなギャップがあり、未知ツールでは選択精度が低下し、無関係な指示でも実行を続ける傾向が確認された。本論文はプレプリントである。
人型ロボットの方策は、機能要件に基づいて適切な道具を選び、把持し、静止・移動状況でタスクを完了できるか、また道具の外観や指示の変化にどう応答するかを明らかにする。
既存ベンチマークはヒューマノイドのツール使用を選択から実行まで統合評価しておらず、機能的な道具選択と全身制御の協調が評価できない。特に、適切な道具を選んでも実行に失敗するケースや、デコイ（競合道具）による選択変化を捉えられない。
HumanoidBenchはスプーンや窓拭きを含むがツール選択を評価しない。PhysToolBenchはVQAのみ、DexCraftは単腕で道具提供済み、RoboWitsは双腕で予期外状況に焦点を当てるが、ヒューマノイドではない。SIMPLEやWOLF-VLAはヒューマノイドVLA評価だが機能選択やデコイ変動を含まない。
3シナリオ（BallMove、BallRetrieve、IceBreak）×3実行レベル（L0選択・把持、L1静止道具使用、L2移動道具使用）×2モード（標準S・デコイD）の18タスクを設計した。55個のObjaverseツールアセットから候補セットを構成し、機能要件（長さ、形状、物理特性）を変えたデコイを追加する。Meta Questテレオペでシミュレーション3,003件と実機Unitree G1 91件の計3,094件のデモToolBookを収集した。接触・正しい初回接触・正しいツール持ち上げ・ツールと標的の接触・成功などのイベントを記録し、選択と実行を分離評価する。
シミュレーションでは全18タスクを7方策、実機ではL1のBallMoveとBallRetrieveを標準・デコイモードで3方策評価した。抽象の記述では道具選択とタスク完了の間に大きなギャップがあり、GR00T N1.7のプローブでは未見ツールの選択精度低下と無関係な指示に対する実行継続が観察された。接触イベントにより、低い完了率が持ち上げ不足によるのか、ツール接触が頻繁でも実行が続かないためなのかを区別した。具体的な成功率は論文のTable IIIにまとめられている。
実機評価はL1のBallMoveとBallRetrieveのみで、L2移動タスクの実機評価は行われていない。実機デモは91件と少なく、単一ロボット（Unitree G1）のみを対象とする。デコイは各シナリオで特定の代替物に限定され、シミュレーション中心の評価であるため実環境への転移可能性は別途検証が必要である。また、本論文は査読前のプレプリントである。
ヒューマノイドロボットのメーカーやVLAポリシーを開発する企業が、道具を使う実応用タスクの評価と実機微調整用データとして利用できる。Unitree G1を採用する開発企業には即座に参照可能なベンチマークとなる。ただし実用化にはL2移動タスクの実機検証や多様な道具・指示への頑健性確認が必要で、1〜3年以内にヒューマノイドの道具操作能力の標準評価として採用される可能性がある。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。