MAIA:用视觉、动作与力觉世界模型提前预警接触操作异常
该方法预测计划动作带来的画面与受力,在接触异常发生前给出预警。预印本显示,真实机器人18项任务成功率由52.6%提升至61.5%。
机器人能否在执行动作块之前判断,这段动作是否会让接触密集型任务进入卡滞、打滑或脱离接触等异常交互状态。
当前操作策略可规划数十步,但监测仍属事后响应,偏差显现后才报警,留给干预的时间很短。相机能看到几何形状,却只能间接反映接触力、摩擦和阻力;计划动作描述的是预期运动,而非物体的实际反作用。已有失败数据集多按整段回合标注成败,很少记录力信号,因此无法训练或评估模型对异常起始时刻的判断。
分布外检测方法(PCA-KMeans、LogpZO)会把速度、位姿等无害变化也当作异常。SAFE-LSTM利用VLA内部特征学习失败标签,但在本文测试中平衡准确率从已见任务的0.724降至新任务的0.495。进度奖励模型(Robo-Dopamine、Robometer)只给出误报较多的间接信号,世界模型监测器WCM仅预测一步动态。
MAIA以GE-Base视频世界模型为基础,增加动作与力觉通路:未来动作被编码为token,与腕部力传感器的近期读数做交叉注意力,再经门控交叉注意力适配器注入视频Transformer。模型只用正常执行数据学习预测未来50个控制步(30Hz下约1.7秒)的画面与力,随后在冻结的预测结果上训练轻量异常头,输出窗口内发生异常的概率及异常占比。团队同时发布真实数据集CRIA:在Franka Research 3上配ATI六维力传感器和三台RealSense相机,采集18项任务、2,852条轨迹,逐帧标注异常,其中1,817条含至少一次异常。
在13项已见任务上,MAIA的AUPRC为0.738、平衡准确率0.765、预警率0.464、预警提前量中位数28.0步;最强基线WCM分别为0.669、0.702、0.242和17.7步。在5项未见任务上仍有0.728的AUPRC、0.710的平衡准确率和25.1步提前量。去掉力觉输入后平均平衡准确率由0.765降至0.689。新任务用25条轨迹联合适配后,平衡准确率从0.615升至0.762。真实机器人上,从pi0.5给出的8个候选动作块中选取异常概率最低者,18项任务(每种方法每任务30次)成功率由52.6%升至61.5%,其中擦拭类由46.7%升至66.7%,路径约束类由48.9%升至62.2%,插装类持平于63.3%。
这是单一实验室在一台机器人、一种力传感器上完成的预印本,作者承认未验证跨本体和跨传感器迁移。预测窗口固定为50步,缓慢累积的异常可能漏检,且只预警不诊断、不恢复。MEKAWIRE认为,论文未报告每个规划步对8个候选运行视频世界模型的算力与时延,这决定了能否部署到工业控制器上;异常标签由人工标注,预警指标也取决于对异常起点的主观判断。
力觉驱动的失败预测对装配、打磨、线缆布设和配套分拣等工位价值最大,一次卡滞就可能导致停线。对中国供应链而言,这类方法会抬高六维力传感器和关节力矩感知的需求,国内传感器厂商与越疆、节卡等协作机器人厂商都可能受益。由于只对基础模型的候选动作重新排序、不需重训,适合集成商在闭源策略之上叠加质量与安全层,预计1至3年内出现应用,目前尚非成熟产品。
受许可协议限制,本站不转载该论文全文,仅提供摘要和原文链接。