MEKAWIRE
专业arXiv

ActiveWAM 以证据感知保留-获取控制统一世界-动作模型,主动视觉成功率最高提升 20 个百分点

Renjun Wu, Luzhou Ge, Xuesong Li
30 秒速读

这篇预印本提出 ActiveWAM,一种证据感知的主动视觉世界-动作模型。该方法通过训练时任务引导的历史反演和统一的头部与双臂动作生成,解决了主动相机控制中的保留-获取权衡问题。在 TAVIS、RoboTwin-AV 和真实厨房任务上,ActiveWAM 分别将 OOD 成功率最高提高 17.0 个百分点、较 Fast-WAM 提高 20.0 个百分点、真实世界提高 26.7 个百分点。该工作目前为预印本,尚未经过同行评审。

研究问题

如何让一个世界-动作模型在生成操作动作的同时,学会在有限观测窗口内保留任务关键证据并主动获取新证据?

问题

主动视觉操作中,相机移动会改变可见区域,可能丢弃任务关键信息;保留当前视角又可能错过有用观测。现有方法将观察控制和操作控制解耦,无法联合推理相机动作和机械臂动作的后果。

既有方法

此前多采用解耦方案,如通过 look-at 逆运动学分离注视控制,或 See2Act 在测试时进行视点搜索;Stem-OB 对单帧观测进行反演但没有规定保留哪些历史证据。固定相机或规则化头部控制无法适应任务阶段变化。

新方法

ActiveWAM 将头部(pan/tilt)和双臂动作统一在一个世界-动作模型中生成。训练时引入任务引导的历史反演(TTI),利用冻结的视频先验,通过任务相关文本的交叉注意力保留关键证据,通过互近邻匹配保留可见时间变化;同时加入视图感知历史适配器,编码相机位姿、曝光时间等元数据。采用配对学习使原始和变换历史共享目标。部署时仅用原始历史,无需测试时反演或候选排序。

结果

在 TAVIS 基准上,ActiveWAM 较最强基线最高提升 17.0 个百分点(头部任务空间偏移条件)。在 RoboTwin-AV 50 任务基准上,复合偏移下成功率 53.3%,比 Fast-WAM 高 20.0 个百分点;干净条件下 80.3%。真实机器人三个厨房组合任务共 60 次试验,总任务成功率 50.0%,比 Fast-WAM 高 26.7 个百分点。消融显示去除任务保留或动态保留使复合偏移成功率分别下降 12.3 和 8.6 个百分点。固定相机 LIBERO-Plus 上成功率 76.9%,比原始历史基线高 8.7 个百分点。推理约 165 ms,有效频率约 15 Hz。

局限

作者承认当前系统使用固定焦距头部、较短历史窗口,物理任务中阶段切换由人工指定;在真实机器人上仅进行了每任务 20 次试验,整体评估规模有限。论文未报告代码是否开源,也未在更多机器人平台或长时间任务上验证。此外,训练时反演接受率约 82%,部分窗口被拒绝,可能需要进一步优化。

产业影响

该方法适用于需要主动相机控制和双臂协作的机器人公司,如服务机器人、工业装配、家庭机器人。短期内(1-3 年)可作为研究原型迁移到配备 pan/tilt 相机和双臂的平台上,但需要收集大量带主动视角的演示数据并进行真实环境微调。长期(3 年以上)有望融入通用具身智能系统,前提是解决历史记忆、变焦和端到端任务切换等问题。

受许可协议限制,本站不转载该论文全文,仅提供摘要和原文链接。