DEWO：直接经验世界模型优化超越动作模仿
预印本提出DEWO，一种针对World-Action Models的部署后学习范式，通过识别交互转折点，从匹配的成功和失败视觉未来中持续更新世界模型，并在推理时用进度门控引导动作。在五个DexJoCo仿真任务中，DEWO将FastWAM平均成功率从80.7%提升到82.3%，将FACT从64.5%提升到81.2%；在四个真实世界双手灵巧操作任务中，两轮部署学习使初始有成功单元的成功率从51.0%提升到71.7%。论文尚未经同行评审。
能否通过部署中的视觉未来持续更新世界模型，从而在动作模仿之外改进World-Action Model的控制性能？
现有部署后学习主要改进行为，不要求更好的物理交互预测，在灵巧操作中，小动作偏差导致交互转折，错误复合，超出训练分布，使WAM的预测表征也退化。
此前做法包括直接动作监督SFT、价值基础强化学习RECAP和DSRL，以及将失败rollout纳入视频预测的FACT等。SFT等可能在FastWAM上降低成功率，FACT未利用交互转折点的匹配成功失败对，导致提升有限。
DEWO在部署后学习中组织交互转折点：在失败rollout中通过回放探索计算经验可恢复性，检测可恢复性从正到零的边界，保留匹配的最短成功延续和对应失败延续作为关键经验。成功延续在成功条件下监督视觉和动作，失败延续仅在失败条件下监督视觉，并结合基础条件dropout。推理时使用无分类器引导，价值头从视频表征估计任务进展，在进展停滞时选择性激活引导。
仿真：五个DexJoCo任务，每任务三个50场景集。FastWAM上DEWO从80.7%提升到82.3%，SFT为76.1%，RECAP为76.8%，DSRL为76.5%；FACT上DEWO从64.5%提升到81.2%，SFT为70.1%。三种WAM范式Joint、IDM、FastWAM分别提升4.8、1.9、1.6个百分点。DEWO-S达到89.9%。消融在Water Plant和Fold Glasses：加入成功和失败视觉未来后成功率从86.7%到88.7%再到90.7%和从72.0%到74.0%再到77.3%；验证视频损失比仅动作训练降低32.7%和17.8%。真机：四个物体在Wuji和Sharpa两个手平台上的抓放任务，3x3网格，每格10次试验，每轮720次，两轮部署学习后全网格成功率从20.6%（148/720）到28.9%（208/720）；在29个初始有成功单元从51.0%到71.7%，离中心位置从40.0%到65.7%，43个初始零成功单元保持零。
论文未报告代码开源、算力成本或更大规模部署。真机评估中43个初始零成功单元保持零，表明DEWO主要强化已有空间泛化，不能从完全失败起点扩展能力。评估限于四个物体和两个手平台，且未在真机上与SFT等基线比较。依赖环境状态恢复或人工场景重建，可能增加部署成本。
可能受益于需要持续适应灵巧操作的公司，如仓储抓取、精细装配、服务机器人。时间尺度1至3年，前提是采用世界动作模型架构，并有能力在部署中收集成功失败数据、进行状态恢复或场景重建。对多指手硬件制造商和通用操作模型开发商有参考价值。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。