AVL-JEPA：防止JEPA世界模型因果动态信息坍缩，提升机器人视觉扰动下控制成功率
本文是预印本，尚未经过同行评审。作者提出AVL-JEPA方法，通过动作锚定和视觉不变性约束，防止联合嵌入预测架构世界模型丢失与动作相关的物理动态信息。在TwoRoom、PushT等四个仿真机器人控制任务中，AVL-JEPA显著提升视觉扰动下的成功率（如PushT高斯噪声下从15.3%升至81.5%），同时保持清洁环境性能，表明该方法能有效保留因果动态信息。
如何在JEPA世界模型中防止因果动态信息坍缩，即保留视觉信息的同时丢失动作导致的物理状态变化信息？
JEPA预测未来潜在表示而不重建观测，现有防坍缩方法（方差、协方差、EMA等）只防止全局表示坍缩，但不能保证潜在空间保留区分不同动作因果效果的信息，导致两个不同动作产生相似潜在转移。
此前做法包括全局统计正则化（VICReg、SIGReg、LeJEPA）、EMA教师网络、I-JEPA/V-JEPA等，以及LeWM使用SIGReg保持非退化潜在统计。这些方法主要关注全局潜在统计的非退化性，未针对动作条件物理变化的信息保留。
AVL采用两阶段训练。action-grounded pathway使用执行的动作作为辅助动态锚点，引入transition-attributed action head，从潜在转移中减去零转移基线，预测动作序列，强制保留动态信息。vision-invariance pathway对当前观测施加高斯扰动（σ=0.01或0.03，概率各1/3），对齐扰动和干净潜在预测，同时冻结action head并保持action loss活跃，防止通过丢弃动态信息来对齐。训练在单个NVIDIA RTX 5090 GPU上完成，使用仿真环境。
机制层面：TwoRoom上AVL将预测到物理后果Spearman ρ从0.35提高到0.53，归一化regret从0.152降到0.061，干净-噪声排序一致性从0.89升到0.98。在100个匹配状态、3次噪声重复的测试中，TwoRoom干净-噪声Spearman AVL为0.98（LeWM 0.89），Top-1一致性76%（LeWM 58%），action-to-nuisance ratio 2.9（LeWM 2.2）；PushT上AVL干净-噪声Spearman 0.998（LeWM 0.809），Top-1一致性93.0%（LeWM 45.3%）。闭环规划（10 seeds × 50 episodes）：干净环境下，AVL在TwoRoom达到93.2%（LeWM 88.4%），PushT 96.0%（与LeWM持平），Cube 78.2%（LeWM 73.2%），Reacher 85.2%（LeWM 86.4%，略低但竞争力）。视觉扰动下：高斯策略输入噪声σ=0.10，PushT成功率从15.3%提升至81.5%，TwoRoom从65.7%升至88.7%；饱和度偏移+0.35，PushT从14.0%升至62.0%，TwoRoom从54.8%升至86.7%。训练每epoch约15.3分钟（TwoRoom）到61.9分钟（Cube）不等，action-grounded训练10 epochs，vision-invariance训练2 epochs。
作者承认AVL依赖SIGReg正则化器而非替换它，且仅评估于仿真环境，未进行真机实验。论文未报告代码是否开源。评估均在仿真中进行，使用单个RTX 5090 GPU训练，未涉及真实硬件或多机器人场景。
该方法可被研发机器人世界模型的公司采用，尤其是需要预测环境动态并进行规划的自动驾驶、仓储机器人、机械臂操作等产品。AVL增强对视觉扰动的鲁棒性，可能提高真实场景中模型的可靠性。时间尺度上，1至3年内有望在仿真和特定工业任务中应用，3年以上真机部署需进一步验证。前提条件包括完成真机实验、减少对SIGReg正则化器的依赖，以及代码开源或与现有世界模型框架集成。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。