BiPOP用时序规划提升长流程双臂操作可靠性
预印本BiPOP将GPT-4.1与时序符号规划结合,统一安排双臂任务分工、动作顺序和并行执行。其在仿真任务ServeFruit、ServeWater、StackBlock上的成功率分别为100%、100%、95%,说明显式约束有助于提高直接LLM规划的可靠性。研究还在NICOL上演示了ServeWater端到端执行,但未报告真机成功率。
将LLM与时序符号规划结合,能否可靠地完成长流程双臂操作中的动作分配、排序和并行调度?
双臂任务必须同时处理可达范围、物体与位置占用、跨臂前置条件以及同步要求。单个动作看似合理,放入完整流程后仍可能造成冲突或无法继续。直接由LLM制定计划时,这些依赖容易被遗漏,追求并行执行时尤其如此。
SayCan、Code as Policies和VoxPoser将语言连接到技能或运动,但没有解决同等范围的长流程双臂协调问题。LLM+P等方法把指令转成符号问题,通常生成顺序计划。DAG-Plan和RoboPARA利用依赖图安排并行操作,但协调依赖启发式规则或有限检查。LLM+MAP也能生成偏序计划,却未采用相同的显式时序总完成长度优化目标。
研究以人工编写的时序PDDL领域描述左臂专用、右臂专用和双臂共享区域,通过前置条件和资源锁限制可达性、物体使用及同步技能。GPT-4.1生成调用Unified-Planning的Python代码,将场景和目标写成规划问题;代码异常或规划失败会触发修订。Temporal Fast Downward搜索候选调度,VAL剔除无效计划,再选取已找到的有效候选中符号完成长度最短者。LocateAnything负责提供物体检测结果。
CoppeliaSim评估在每个任务上使用100个随机实例。按ServeFruit/ServeWater/StackBlock顺序,成功率为BiPOP 100/100/95%,I/O o3 98/87/86%,I/O R1 66/82/52%,I/O GPT-4.1 25/0/0%,ReAct GPT-4.1 100/45/36%。BiPOP比o3分别高2/13/9个百分点。同一顺序下,规划时间为BiPOP 6.56 ±1.49 / 5.95 ±1.83 / 35.56 ±9.02秒,o3 32.74 ±15.39 / 43.76 ±34.86 / 73.20 ±37.85秒,ReAct 16.56 ±5.47 / 24.74 ±9.70 / 42.46 ±22.60秒。I/O GPT-4.1更快,为3.42 ±0.47 / 2.31 ±0.95 / 4.59 ±2.04秒,但成功率明显较低。另以每个任务100张真实图像测试感知,ServeFruit和ServeWater的相关物体均正确定位,StackBlock出现托盘及堆叠积木定位错误。NICOL真机演示完成了ServeWater。真机试验次数和成功率:论文未报告。
任务成功率的定量比较来自仿真,真机执行仅覆盖单一平台上的一项任务。系统需要人工定义领域并编写基础技能。动作统一时长,因此效率指标衡量并行步骤数,不能直接代表实际执行时间。最优性差距以参评方法找到的最佳计划为基准,并非已证明的最优解。符号验证不保证运动轨迹无碰撞,运动层仍可能将并行动作改为顺序执行。StackBlock仍有问题描述错误和规划超时。执行监测、失败恢复及运动时长估计属于后续工作。实现代码已公开。
双臂服务机器人企业和操作软件供应商若已有可靠基础技能及边界明确的任务集合,可现在将其用于研究原型的规划层。产品应用还需要稳定的场景识别、几何运动检查、执行监测与恢复,并按真实技能耗时调度。商业部署时间:论文未报告。
论文全文
本文依据 CC BY 4.0 许可发布,全文经署名以英文转载:阅读全文(英文)。原文见 arXiv:2611.15317(PDF)。