用成功标准量监督潜在世界模型:辅助损失提升规划成功率
这篇预印本提出一种辅助损失,用成功标准量作为训练目标,提升潜在世界模型规划的成功率。在四项操作任务上,监督所有成功标准量最多带来3至5个百分点的绝对提升,且未出现显著退化。该损失在测试时被丢弃,不增加推理成本。
潜在世界模型规划中,如何让潜在状态编码成功标准所需的物理量,从而提升规划成功率?
现有潜在世界模型只用潜在距离排序候选动作序列,但训练损失不涉及成功标准量,导致潜在状态读取这些量的误差大于容差,无法可靠区分成功与失败候选。
此前做法包括将本征状态作为输入(如DINO-WM),或使用物理量作为训练目标(如PhyLatent),但前者不保证潜在状态保留所需精度,后者由设计者选择监督量,未与成功标准对齐。
新方法在训练时在编码器输出和预测器输出上添加共享线性头,回归成功标准量,误差加入训练损失。训练后丢弃线性头,模型、输入、推理成本与基线完全相同。成功标准量直接来自演示数据,无需新传感器。
在LeWM上,使用相同2000个测试试验,监督所有成功标准量使PushT成功率从91.5%提高到95.0%(+3.5个百分点)、cube从68.5%提高到71.9%(+3.4个百分点)、stack从30.1%提高到35.15%(+5.05个百分点),均为统计显著。在咖啡任务上,仅监督物体位置带来+3.9个百分点的提升。在冻结编码器DINO-WM类型系统上,stack任务监督手部位置带来+7.1个百分点(ViT-S)的提升。这些结果全部来自仿真环境,未进行真机测试。
作者承认每个条件只有单一训练种子,辅助损失权重只在手部任务上扫描,冻结编码器系统复制仅限于stack且在V-JEPA 2上失败。论文仅报告仿真环境结果,未进行真机验证。
机器人操作领域,特别是使用潜在世界模型进行规划的工业机器人或服务机器人,可以利用该辅助损失提升操作成功率,无需改变推理部署。时间尺度1至3年,前提是成功标准可量化为物理量且演示数据包含这些量,真实机器人需要运动捕捉或估计器获取物体位置。
受许可协议限制,本站不转载该论文全文,仅提供摘要和原文链接。