VLRLA：通过上下文强化学习实现视觉-语言-动作模型的部署期自适应

预训练的视觉-语言-动作模型能否在部署期间，仅依靠自身动作、奖励和回合终止的历史来改进任务表现，而无需在线强化学习所需的梯度更新、调参和算力？

基于示范训练的机器人策略在现场遇到新的相机角度、光照、物体和措辞时，没有办法从错误中学习。在线强化学习或人工纠正可以弥补，但需要更新权重，数据采集耗时几十分钟到数小时，需要针对任务调参，而且每个现场各得到一个模型，难以在多任务间扩展。

GRPO等在线强化学习微调在本文中通过RLinf框架、用8块英伟达A100 GPU以梯度下降更新策略。交互式模仿学习依靠人工纠正更新策略。RoboTTT等上下文方法会参考过往交互，但在作者的对比中不使用奖励和终止信号。

VLRLA在现有VLA模型上增加一个强化学习模块。部署时，动作生成以滚动记忆为条件，记忆中包含此前的观测、动作、奖励和终止标记，因此在所有参数冻结的情况下，行为会随证据积累而调整。该模块事先用学习历史训练，即成绩逐步提升的序列，来自仿真中的在线强化学习或真机上的人在回路课程。作者测试了用于分析的简化版VLRLA-simp和复用预训练模块做多任务学习的VLRLA-bridge，并以pi0.5、LingBot-VLA和世界动作模型FastWAM作为骨干验证通用性。

在RoboTwin上（每项任务128个随机环境实例），VLRLA-bridge在全部12项任务上都超过微调后的pi0.5基线：总体平均63.4%，基线为50.9%，逐项任务平均提升12.4个百分点，也高于GRPO的60.0%和作者复现的RoboTTT的58.2%。在训练用的6项任务上平均66.2%，pi0.5为48.6%，GRPO为59.2%，其中递麦克风从38.3%升至78.9%。在6项未见任务上平均60.6%，pi0.5为53.3%，接近GRPO的60.8%。去掉记忆后成功率几乎为零；把一次rollout的历史迁移到另一次，调整瓶子任务的起始成功率从约0.55升至0.7。在用约80条遥操作示范和60条纠正示范训练的真实Franka机械臂上，连续四次尝试后每种水果（各15次）都超过pi0.5：苹果从46.7%到60.0%，杨桃从40.0%到66.7%，葡萄从53.3%到60.0%；按MEKAWIRE计算，三者平均从46.7%升至62.2%。在正确盘子颜色被隐藏、只能通过奖励得知的任务中，44次运行显示首次获得奖励后成功率上升。

这是预印本。第一次真机尝试可能不如基线（杨桃先降至26.7%再回升），机器人要在现场为学习付出代价。真机测试规模小（每种水果15次，未见的辣椒任务25次，记忆任务44次），只用一台机械臂，后两项结果仅以图表给出。部署时必须有奖励和终止信号，而许多现场无法自动提供。在未见的仿真任务上相对GRPO没有优势。RoboTTT为作者自行实现，记忆窗口也较短（分析中为4到8步）。