低成本机械臂实测:12至25条示范时pi0.5领先,100条时ACT达40次37成
预印本。低成本机械臂1340次实测中,12至25条示范阶段pi0.5领先,100条以上ACT占优;pi0.5成功率因微调方式不同在4%与65%之间。
在低成本机械臂上教一个新的抓放任务,四种常用模仿学习策略该选哪一种,各需要多少条遥操作示范?
ACT、Diffusion Policy、SmolVLA和pi0.5发布时所用机器人、任务和数据规模各不相同,结果无法直接比较。近期低成本机械臂基准要么只测一个数据规模,要么每个模型只试约20次,难以区分真实差异与噪声。
以往比较多在单一或少数几个示范数量下进行,试次少,也很少报告同一检查点在同一摆放下结果不同的频率,以及人工评分与录像不一致的频率。
作者录制了225条带两个干扰物的抓放遥操作示范,切成12、25、50、100、200条的嵌套子集(25条留作验证),在LeRobot中以每种策略固定的近默认配方和多个随机种子训练四种策略。每个模型在10个固定摆放位置上运行,限时30秒,17天内共评分126组1340次,并记录关节状态、指令和双路相机画面,用于失败阶段标注、同一检查点复测和评分审计。
ACT从12条示范时40次成功1次升至100条时37次。动作专家微调的pi0.5在12条时成功16次、25条时28次,此后维持在约70%;100条起ACT领先,但差距未能确证。SmolVLA和Diffusion Policy最高约50%。SmolVLA有47%的试次机械臂根本没有启动,Diffusion Policy在裁掉示范开头的静止段后才开始动作。pi0.5采用LoRA时110次成功4次,采用动作专家微调时200次成功130次,即4%对65%。
预印本,仅一个任务、一台机械臂、一个工作区,作者称结论只是起点。各策略训练步数固定、不随数据量增加,因此pi0.5在25条后、ACT在100条后的平台可能是训练不足而非上限。主要测试光照为117至394勒克斯,暗于录制时约500勒克斯。论文未注明机构,且只有10个摆放点,高数据区间的小差异在噪声范围内。
对国内大量基于低成本机械臂做具身智能数据采集和小样本部署的团队,这是关于多采示范还是直接用基础模型的实测答案:示范稀缺且昂贵时预训练VLA占优,约100条时小模型追平。微调方式带来的4%与65%差距提醒采用开源VLA权重的团队,而机械臂不启动的问题指向数据清洗而非模型规模。结论适用于当前硬件。
论文全文
本文依据 CC BY 4.0 许可发布,全文经署名以英文转载:阅读全文(英文)。原文见 arXiv:2610.37170(PDF)。