MEKAWIRE
进阶arXiv

RUMI匹配Robotiq 2F-85,以AR和触觉改善操作示范采集

Kevin Avdiu, Seongjin Bien, Yannik Blei, Philine Meister, Johannes Hechtl, Philipp Schmitt, Kai Wurm, Georg von Wichert, Wolfram Burgard
30 秒速读

预印本提出手持示范采集装置RUMI,将Robotiq 2F-85的夹爪运动结构、触觉传感、AR显示和接触触发阻力结合起来。无机器人采集实验中,AR与初始姿态对齐同时启用后,出现关节限位违规的片段从16/50降至3/50,为提高训练数据的机器人可执行性提供了依据。

研究问题

匹配商用夹爪结构的手持装置,能否采集符合机器人运动约束的触觉示范,并通过力觉反馈实现针对不同物体的抓握力控制?

问题

手持采集省去了机器人现场运行,却也失去了对机械臂工作空间和关节约束的直接反馈,容易记录无法执行的动作。手持装置与目标夹爪的运动结构不一致,还会增加数据迁移难度。远程操作缺少接触提示,操作者难以为易碎物体和重物选择合适的抓握力。

既有方法

UMI类装置让数据采集摆脱对目标机器人的持续占用,但不少设计采用平行夹爪结构,缺乏实时运动可行性提示。ActiveUMI已引入AR机器人显示,UMI-FT测量手指作用力,MagiClaw和OmniUMI提供力觉功能。RUMI的贡献主要在于围绕现有商用夹爪整合这些能力,而非首次提出各项功能。

新方法

RUMI采用剪式连杆,复现Robotiq 2F-85的非线性手指运动和安装接口,可更换CoinFT或DIGIT指端模块。CoinFT以200 Hz测量六轴力与力矩,RealSense D405提供腕部图像,Meta Quest 3控制器负责位姿跟踪。扩展后的IRIS通过QR标记配准及逆运动学,显示MuJoCo机器人影像。远端检测到接触后,舵机锁住连杆,继续挤压产生的力转为抓握力指令。ACT策略分别使用CoinFT修正的阻抗目标,或经对比预训练后冻结的ResNet-18编码器处理的DIGIT触觉图像。作者提供了代码与资源链接。

结果

无机器人用户实验招募5人,每人在每种条件下完成10次,共100个片段。AR加初始姿态对齐与无AR相比,关节限位违规片段为3/50对16/50,关节速度违规为11/50对29/50,平均可操作度为0.055 ± 0.022对0.046 ± 0.0057。搭载Robotiq 2F-85的真实Franka FR3上,利用传感信息的ACT与不使用传感信息的基线相比,齿轮装配成功次数为20/20对7/20,白板擦拭为16/20对7/20,螺纹拧紧为9/20对3/20,箱体分类为17/20对9/20。每项任务采集约100次示范,每种策略评估20次。MuJoCo包装实验使用约100次示范,每个物体在每种反馈条件下评估100次,力放大系数设为1.5。启用力觉时,灯泡和变压器块成功率分别为94%和97%;示范平均抓握力分别为5.66 N和22.82 N,策略执行时为5.42 N和19.86 N。关闭力觉后,示范平均抓握力分别为18.46 N和15.83 N,所有灯泡执行均超过10 N的仿真破裂阈值。

局限

作者指出,视觉仅来自腕部相机,装置也缺少外力反馈。机械锁止用于提示接触,不能复现任意外部六轴力与力矩。手持示范的抖动导致螺纹拧紧时接触不稳和打滑。评估仅覆盖一种机器人平台、5名用户,每种实机策略试验20次。力觉抓握控制的定量证据来自仿真;论文虽描述真实机器人远程操作支持,但未证明同等实机表现。AR实验同时加入显示与初始姿态对齐,无法分别判断两者的贡献。

产业影响

工业自动化集成商、夹爪供应商和机器人学习数据服务商,现在可利用公开资源开展研究试点,尤其适合已有Robotiq 2F-85的系统。若更广泛的实机验证能够确认抓握力控制可重复、接触示范稳定且工作空间配准可靠,可考虑在1至3年内推进工业集成。这是应用前景判断,商业部署时间表论文未报告。

论文全文

本文依据 CC BY 4.0 许可发布,全文经署名以英文转载:阅读全文(英文)。原文见 arXiv:2611.15802(PDF)。