Reins以条件检查和持续视觉观察驱动双臂机器人
预印本Reins提出一套工具框架,将带执行条件的动作链和持续摄像头观察接入通用多模态模型。GPT-6.1 Sol在5项真机任务中取得88%的总体成功率,每个条件测试5次。研究展示了执行反馈和推理期间的视觉观察对长流程操作的作用。
未经专门机器人训练的通用多模态模型,能否借助基本动作工具、执行条件检查和持续视觉观察完成长流程接触式操作?
机器人需要确认接触和抓取状态,并跟踪执行及模型推理期间的环境变化。仅在决策之间接收图像容易遗漏物体移动,缺少中间检查的动作序列也可能在抓取失败或意外接触后继续执行。
此前的方法包括组合技能、生成程序或空间目标,以及利用机器人示范学习控制策略。Show-Harness采用小幅移动和开环动作块,对中途失败缺少检查。VoLo间歇性监测自身执行过程。这些方法在接触反馈和模型推理期间的观察覆盖上仍有缺口。
Reins向动作模型提供18种工具,涵盖基于SAM 3的RGB-D感知、三维测量、机械臂运动和夹爪控制。腕部相机定位精度约为1.6 mm。系统通过关节电流触发接触停止,并用夹爪反馈报告是否夹住物体。动作链最多包含8次调用和16次执行,每次执行后检查条件。另一模型实例以1 frame/s观察头部相机,机械臂运动时还接收腕部图像,并随工具结果报告变化。硬件由两台6-DoF AirBot Play机械臂、原配平行夹爪及头部和腕部RGB-D相机构成。系统还可用一张头部相机图像构建可运行仿真的场景孪生。
研究以高推理强度测试GPT-6.1 Sol、GPT-6 Astra和Claude Opus 5.5,覆盖5项真机任务,每个条件5次。任务包括追踪杯下隐藏物体、向抽屉放入积木并关合、折毛巾、折衬衫和清扫。Sol总体成功率为88%。三种模型每次都打开了抽屉。移除观察模型后,Sol在杯子任务中成功2/5次。Astra的观察模型在4/5次中追踪到隐藏物体,Opus一次也未追踪成功,其两次任务获胜被归因于猜测。移除整个框架后,Sol在杯子任务中全部失败,论文报告耗时为原来的8倍。Sol的Ultrafast观察模型响应耗时1-6 s,将换杯过程分为8-11个观察窗口;standard tier的Astra和Opus耗时3-40 s,仅覆盖2-4个窗口。模型延迟占单次任务总时间的41-78%。所提供正文中的分任务详细成功率、绝对耗时和API费用,论文未报告。
实验仅涉及一种硬件平台,每个条件5次,由操作人员判断成功。抽屉和清扫任务的提示包含抓取及姿态建议。接触感知依赖关节电流和夹爪宽度。较慢的观察模型会延迟报告快速变化,模型响应延迟也占用大量任务时间。作者计划在出版时公开代码。利用仿真孪生学习并改进策略仍属后续工作。
双臂桌面操作系统开发商和机器人集成商可评估其在折叠、抽屉操作及清扫产品中的用途。扩大应用需要更多试验和跨硬件验证,并确保观察模型能及时跟上场景变化。商业部署时间表,论文未报告。
论文全文
本文依据 CC BY-NC-SA 4.0 许可发布,全文经署名以英文转载:阅读全文(英文)。原文见 arXiv:2611.16632(PDF)。