MEKAWIRE
进阶arXiv

ManiLadder用四级难度衡量机器人操作能力

Chongkai Gao, Jieao Shi, Zhaoyu Mu, Yudi Lin, Xuanwei Liu, Wei Ken Ng, Baiye Cheng, Anqi Chen, Kerun Liu, Zhuoran Li, Xuchuan Huang, Haoyang Li, Shengjia Zhu, Nga Teng Chan, Yuxuan Zhang, Xingyu Chen, Lin Shao
30 秒速读

预印本ManiLadder提出一套包含112项操作任务的仿真基准,通过学习实验校准4个难度等级。π_{0.5}逐任务单独训练的总体成功率为33.5%,全部任务联合训练为8.6%。这套基准可用于观察不同机器人形态、物体和操作技能下的能力边界。

研究问题

以统一学习实验校准任务难度,能否在多种操作任务中稳定衡量策略能够解决的难度等级?

问题

常见抓取和放置任务上的成绩,难以说明策略能否应对精密接触、双臂配合、可变形物体及长流程操作。仅增加场景和物体种类,对这些能力差异的分辨率有限。物体几何形状、初始状态和视觉条件还会使实际学习难度偏离人工判断。

既有方法

MetaWorld、RoboCasa和LIBERO等基准支持多任务、多环境评估。LIBERO和RoboLab包含难度分类,既有分类方法还采用接触模式、子技能组合或人工定义条件。面对物体与机器人形态各异的复合任务,这些分类较难保持统一尺度。

新方法

ManiLadder基于Genesis,将112项任务组织成32个任务组,每个难度等级设8个类别,共4级。任务覆盖刚体和可变形物体,以及单臂、双臂搭配夹爪或灵巧手的配置。仿真采用Franka Panda、LeapHand,部分任务采用TidyBot++。校准策略使用50M可训练参数的flow-matching模型和冻结的RADIO视觉编码器。每项任务提供20条示范,训练40k步,批量大小为256,每5k步评估一次并采用最高成功率。研究者调整几何形状、初始状态、感知和协同要求,反复校准任务。实物实验采用X-Arm、用于遥操作的Meta Quest 3和两台RealSense D435i相机。

结果

112项仿真任务中,π_{0.5}单任务训练成功率为33.5%,全部任务联合训练为8.6%,后者总训练预算为单项任务预算的112倍。AL@50要求达到的等级及所有较低等级中,至少80%的任务成功率达到50%。参考策略和π_{0.5}的AL@50均为1,GPT6-Astra为0,三者AL@80均为0。在Level-2可变形物体双臂夹爪任务组中,GPT6-Astra为94.0%,π_{0.5}为30.7%,论文报告增幅为63.3个百分点。对16项Level-2刚体任务联合训练100k步时,每项任务使用20、50、100、200条示范,成功率依次为21.4%、27.8%、29.6%、31.8%。仿真每项任务评估50回合。实物评估覆盖4个等级的8项任务,每项使用20条示范并测试50次。FoldShirt的实物成功率为40%,仿真为44%,BuildTent两者均为0%。实物结果总体延续了仿真中的难度排序。

局限

难度标定依赖参考策略、示范数量和训练流程。校准采用训练期间的最高评估成功率,每次评估仅50回合。多数任务处于受控桌面环境,实物验证限于X-Arm上的8项任务,对其他硬件和运行条件的证据有限。GPT6-Astra额外获得最多20回合探索和本体感知观测,标准模仿学习观测则使用RGB和指令,因此比较包含学习资源差异。总计算成本,论文未报告。

产业影响

机器人学习开发商、操作平台供应商及评测团队目前可将其用于研究中的受控策略比较,以及多任务学习失败分析。若用于产品能力验证,需要扩大实物测试范围,纳入实际运行条件,并确保观测与探索预算具有可比性。商业部署时间表,论文未报告。

受许可协议限制,本站不转载该论文全文,仅提供摘要和原文链接。