价值即记忆：面向通用机器人策略的在线价值引导后训练

如果把策略自身的任务进度估计直接作为运行时输入，而不仅仅用作训练评分，能否区分外观相似但需要不同动作的状态？在真实机器人上做在线强化学习，能否让大型VLA策略的后训练更快、更省数据？

通用机器人策略部署后要用自身尝试和人工纠正数据继续微调，这里有两个障碍。单帧画面往往看不出任务进行到哪一步，叠好一半和快叠完的衣服看起来相近，下一步动作却不同。现实中的后训练大多是批处理：采集、停机、重训、再部署，新失败的反馈滞后，每次策略迭代成本高。

Physical Intelligence的RECAP方法（用于其pi0.6*模型）从示范、执行记录和人工干预中学习价值函数，用来给动作打优劣标签再做优势条件训练。价值估计只用于加工训练数据，运行时并不提供给策略，价值模型也只在离线训练轮次之间更新。

VaM（Value as Memory）引入“价值缓存”：把独立价值模型最近几次的进度预测与图像、关节状态一起输入动作模型，让策略知道进度是在上升、停滞还是下降。训练分四个阶段：示范初始化、离线强化学习预热、带人工纠正的在线DAgger、仅用稀疏成功信号的自主学习。数据采集、价值训练和策略训练并行进行。动作模型基于Physical Intelligence开源的pi0.5（20亿参数PaliGemma主干加3亿参数动作Transformer）。

在单台真实机器人上的装箱子、叠衣服和磁吸玩具巴士组装任务中，VaM最后三个检查点的成功率分别为96.7%、88.9%和76.7%。去掉价值缓存的同一流程为81.7%、48.9%和43.3%，RECAP为71.7%、64.4%和43.3%。与预算匹配的离线强化学习相比，在线训练平均高出32.8个百分点，每个梯度步的实际耗时减少57.8%；装箱任务在相同梯度预算下迭代16次，离线方式只有2次。推理时换用旧版价值模型，三项任务成功率全部下降，说明缓存只有在价值模型跟上当前策略时才有效。

作者承认方法依赖能准确跟踪进度的价值模型，因此离线预热不可省略；实验只用了一台机器人，多机规模化效果未验证。我们另外注意到：只有三项任务、评估回合有限，方差较大（无缓存的叠衣服波动正负30个百分点）；自主阶段之前仍需人工干预；代码仅表示将会开源。