HumanoidToolBench：18项任务基准评估人形机器人从选工具到移动执行
HumanoidToolBench是首个覆盖人形机器人工具选择、拾取、定点使用与移动使用的基准，包含18项任务、55种工具模型和3.1千条演示。该预印本在仿真中评估7种策略、在真机Unitree G1上评估3种策略，结果显示选对工具与完成任务之间存在显著差距，加入诱饵工具或需要移动时表现进一步下降。这为投资人、工程师提供了评估人形机器人工具使用完整链路的测试框架。
人形机器人策略能否可靠地选择合适工具并完成任务，以及工具外观和任务指令变化如何影响其行为？
人形机器人要超越自身物理限制必须使用工具，这要求选择功能匹配的物体，并协调抓取、操作和必要时的移动。现有基准没有在同一人形机器人上联合评估工具选择、定点工具使用和移动工具使用，也没有在相同指令下设置诱饵工具来检验功能选择。
此前工作包括LIBERO、RoboTwin 2.0等机械臂基准，HumanoidBench、SIMPLE、WOLF-VLA等人形机器人基准，以及PhysToolBench、DexCraft、RoboWits等工具使用基准。其中HumanoidBench只含勺子和擦窗等个别工具任务且不评估工具选择；PhysToolBench仅做视觉问答；DexCraft在单臂上给定工具；RoboWits使用双臂但非人形，且不划分递进执行层级。
HumanoidToolBench用55个Objaverse工具资产构建3个场景（BallMove、BallRetrieve、IceBreak），每个场景分3个执行层级：L0选择并拾取、L1定点使用、L2移动使用，再分标准模式（无诱饵）和诱饵模式（加入缺少关键属性的竞争工具），共18项任务。数据集ToolBook通过Meta Quest遥操作在仿真和真实Unitree G1上采集，共3,094条轨迹（仿真3,003条、真机91条），覆盖所有层级。仿真评估7种策略，真机评估3种策略，并记录候选接触、首次正确接触、正确工具举起、工具接触目标、任务成功等事件。
评估规模：仿真18项任务、7种策略；真机Unitree G1上L1 BallMove和BallRetrieve、标准与诱饵模式、3种策略。成功率数值在论文Table III中报告，但摘要未给出具体百分比；摘要仅指出选择合适工具与完成任务之间存在显著差距，且诱饵模式、移动层级带来额外下降。对单独训练的GR00T N1.7的探测显示，未见过的合适工具选择准确率下降，且在无关指令下仍会继续执行任务。
论文未报告作者自述的局限。可观察到的明显局限包括：真机评估仅覆盖L1的BallMove和BallRetrieve，未覆盖L2移动任务和IceBreak；真机演示仅91条，规模有限；所有真机实验基于单一机器人Unitree G1；任务集中在桌面工具使用，未覆盖更复杂的全身移动和抓取切换；预印本尚未经过同行评审。
该基准和数据集可帮助人形机器人厂商（如Unitree、Figure、特斯拉等）以及通用机器人模型团队测试工具选择与移动操作能力，指导策略训练和评估。仿真基准现在可用于算法迭代；真机适配在1至3年内可能进入产品原型测试；大规模落地需3年以上，前提是更鲁棒的全身控制、更大规模真实演示以及更广泛工具库。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。