FailBank：将运行时反馈变为 VLA 策略的持久自我进化

能否将运行时反馈转化为学习记录，使视觉-语言-动作策略自我进化并改善未来行为？

VLA 模型在复杂场景中需要同时平衡任务成功与意外接触。运行时屏蔽可以纠正单个危险动作，但底层策略保持不变，导致策略与屏蔽之间持续不匹配，重复干预可能使机器人进入不熟悉状态或超时，阻碍任务完成。

此前做法主要包括运行时屏蔽（如 AEGIS 使用视觉定位和控制障碍函数 CBF 投影纠正不安全动作）、约束学习和故障监测。这些方法只在执行时临时修正动作，不更新策略，无法消除策略生成不安全动作的根源，因此会反复触发干预，甚至导致任务失败。

FailBank 包含四个阶段：1）观察并标注，策略执行动作，固定 CBF 教师仅记录反事实修正建议而不改变执行；2）准入与加权，根据回合结果和修正时机筛选有效记录，成功的未修正动作作为安静锚点，修正记录按触发来源赋予权重；3）累积，将新记录加入持续增长的训练库；4）更新，从基础检查点拟合新的 LoRA 适配器，只有通过验证集流损失和首步漂移阈值才接受。部署时仅需 RGB 观察和本体感觉，无需教师或特权几何信息。

在 VLA-Arena 静态障碍套件的两个难度级别（Level 1 和 Level 2）和两个骨干模型（π0.5 和 π0）上评估。与基础策略相比，FailBank 将平均任务成功率从 66.0% 提高到 74.5%（π0.5），从 47.5% 提高到 54.4%（π0），分别提升 8.5 和 6.9 个百分点；策略诱导累积成本从 47.76 降至 30.76（π0.5，降低 35.6%），从 10.62 降至 8.09（π0，降低 23.8%）。与运行时屏蔽 AEGIS 相比，FailBank 将成功率从 49.1% 提高到 74.5%（π0.5），从 44.9% 提高到 54.4%（π0），分别提升 25.4 和 9.5 个百分点，同时策略诱导累积成本相当（π0.5：30.76 vs 29.01；π0：8.09 vs 6.27）。在未见的 Level 1 任务上，π0.5 的平均成功率从 82.5% 提高到 88.7%，π0 从 51.0% 提高到 62.7%；在更难的 Level 2 任务上，π0.5 从 50.5% 提高到 59.4%，π0 从 35.7% 提高到 40.0%。所有评估均在 VLA-Arena 仿真环境中进行。

作者承认：当前实现针对连续流匹配策略，其他动作表示需要适配监督和守卫目标；仅关注静态障碍，动态场景需要时序障碍预测和移动危害的教师修正。明显局限包括：仅在 VLA-Arena 仿真基准上评估，未报告真机实验；只在两个基于流匹配的骨干模型上测试，能否泛化到其他 VLA 架构未知；未报告训练算力成本和迭代轮次的总计算开销；虽然代码已开源，但论文未报告超参数搜索的全面细节。