ManiLadder用四级难度衡量机器人操作能力
预印本ManiLadder提出一套包含112项操作任务的仿真基准,通过学习实验校准4个难度等级。π_{0.5}逐任务单独训练的总体成功率为33.5%,全部任务联合训练为8.6%。这套基准可用于观察不同机器人形态、物体和操作技能下的能力边界。
以统一学习实验校准任务难度,能否在多种操作任务中稳定衡量策略能够解决的难度等级?
常见抓取和放置任务上的成绩,难以说明策略能否应对精密接触、双臂配合、可变形物体及长流程操作。仅增加场景和物体种类,对这些能力差异的分辨率有限。物体几何形状、初始状态和视觉条件还会使实际学习难度偏离人工判断。
MetaWorld、RoboCasa和LIBERO等基准支持多任务、多环境评估。LIBERO和RoboLab包含难度分类,既有分类方法还采用接触模式、子技能组合或人工定义条件。面对物体与机器人形态各异的复合任务,这些分类较难保持统一尺度。
ManiLadder基于Genesis,将112项任务组织成32个任务组,每个难度等级设8个类别,共4级。任务覆盖刚体和可变形物体,以及单臂、双臂搭配夹爪或灵巧手的配置。仿真采用Franka Panda、LeapHand,部分任务采用TidyBot++。校准策略使用50M可训练参数的flow-matching模型和冻结的RADIO视觉编码器。每项任务提供20条示范,训练40k步,批量大小为256,每5k步评估一次并采用最高成功率。研究者调整几何形状、初始状态、感知和协同要求,反复校准任务。实物实验采用X-Arm、用于遥操作的Meta Quest 3和两台RealSense D435i相机。
112项仿真任务中,π_{0.5}单任务训练成功率为33.5%,全部任务联合训练为8.6%,后者总训练预算为单项任务预算的112倍。AL@50要求达到的等级及所有较低等级中,至少80%的任务成功率达到50%。参考策略和π_{0.5}的AL@50均为1,GPT6-Astra为0,三者AL@80均为0。在Level-2可变形物体双臂夹爪任务组中,GPT6-Astra为94.0%,π_{0.5}为30.7%,论文报告增幅为63.3个百分点。对16项Level-2刚体任务联合训练100k步时,每项任务使用20、50、100、200条示范,成功率依次为21.4%、27.8%、29.6%、31.8%。仿真每项任务评估50回合。实物评估覆盖4个等级的8项任务,每项使用20条示范并测试50次。FoldShirt的实物成功率为40%,仿真为44%,BuildTent两者均为0%。实物结果总体延续了仿真中的难度排序。
难度标定依赖参考策略、示范数量和训练流程。校准采用训练期间的最高评估成功率,每次评估仅50回合。多数任务处于受控桌面环境,实物验证限于X-Arm上的8项任务,对其他硬件和运行条件的证据有限。GPT6-Astra额外获得最多20回合探索和本体感知观测,标准模仿学习观测则使用RGB和指令,因此比较包含学习资源差异。总计算成本,论文未报告。
机器人学习开发商、操作平台供应商及评测团队目前可将其用于研究中的受控策略比较,以及多任务学习失败分析。若用于产品能力验证,需要扩大实物测试范围,纳入实际运行条件,并确保观测与探索预算具有可比性。商业部署时间表,论文未报告。
受许可协议限制,本站不转载该论文全文,仅提供摘要和原文链接。