ACCRUE：面向机器人基础模型的持续离策略强化学习
英伟达与韩国KAIST研究人员在预印本中提出一种方法：由基础模型驱动的机器人把一个小型强化学习模块从一个任务带到下一个任务，在产线上连续学会新的装配作业而不遗忘旧作业。真实机械臂实验中，掌握每个新插装任务所需的机器人时间减少31.0%至68.5%，旧任务20次试验平均仍成功19.4次。
已部署的机器人需要依次学习新任务时，能否复用前面任务中强化学习积累的经验来加速后续学习，同时不丢失已学技能，且在底层VLA或世界动作模型不断用新示教数据重训的情况下依然成立？
VLA和世界动作模型（WAM）等机器人基础模型通用性强，但在具体工位上并不完美，部署后的强化学习（RL）可以弥补差距。然而多数RL后训练针对单一任务、一次性完成。若产线不断引入新零件和新型号，每个任务都要从头跑RL，重复消耗机器人时间。把学习器带入下一个任务又有遗忘风险，而保留全部历史交互数据的成本会随任务累积而上升。
Simple Recipe等面向VLA的持续RL采用同策略更新，每次都需要新的采样，对新任务的迁移有限。RL Token、EXPO-FT等方法在冻结的基础模型上挂接小型actor和critic，样本效率高，但只在单一任务内有效。经验回放、EWC权重约束、参数合并（RETAIN）等传统持续学习手段，要么遗忘严重，要么拖慢新任务学习。
ACCRUE把基础模型当作提议者：每个阶段先用迄今所有示教数据微调后冻结，由它给出参考动作块。轻量actor在此基础上修正，critic负责打分，两者都读取一个固定的通用视觉编码器（仿真中为DINOv3）的特征，因此基础模型重训不会改变它们的输入表示。两个网络不重置，直接带入下一任务。critic只用新任务数据训练，因为小规模记忆无法让旧任务的价值估计保持准确。旧行为另行保护：每个已完成任务保留最后N条轨迹（主实验为20至100条），让actor在这些输入上蒸馏逼近上一阶段actor的输出。另设惩罚项使actor贴近基础模型的提议，RL只做局部修正而非全空间搜索。
在英伟达Isaac Lab的FORGE任务（插销、齿轮啮合、拧螺母）上，以GR00T N1.7为基础模型，ACCRUE最终全任务准确率0.917，简单顺序训练为0.685，经验回放为0.626；最终遗忘0.068，对应基线分别为0.409和0.516。负向后迁移降至0.065，优于保留效果最好的基线EWC的0.217，而EWC新任务学习明显更差（前向迁移0.593，ACCRUE为0.823）。五阶段AutoMate插头插座序列中，最终准确率0.863（经验回放0.779），遗忘0.054（0.176）。真机实验（DROID平台，以Physical Intelligence的π0.5为基础模型，每个任务用5或10条遥操作示教微调）中，继承actor与critic使达到95%成功率所需机器人交互时间在三阶段NIST装配板和五阶段AutoMate序列中逐阶段减少31.0%至68.5%，所有旧任务20次试验均至少成功18次。每个任务保留100至200条轨迹（约占回放缓冲的3%）效果最佳，10至20条不够，200条反而略逊于100条。
该文为预印本，未经同行评审。作者表示序列最多五个阶段，记忆上限按任务而非总量设定，所有任务都是相近的接触式装配；跨本体或差异较大的任务迁移留待后续。真机实验因无法完整对比，只与单任务RL比较，成功与否由操作员判定。我们认为还应注意：真机任务开始时零件已被定制3D打印夹爪夹持，状态输入只有关节位置，抓取和物体定位被排除在外；对照组是重置RL，而不是可能根本不需要RL的更强基础模型。
这项工作瞄准的是部署成本。系统集成商每遇到新零件就要调一次VLA，付出机器人工时和工程师工时；ACCRUE称可在保留旧技能的前提下把每个新任务的机器人时间最多减少约三分之二。方法与模型无关，在英伟达GR00T、Physical Intelligence的π0.5和世界动作模型上均可运行，对不愿绑定单一基础模型的装配单元厂商和机器人企业有吸引力。对国内3C和汽车零部件装配产线而言，换型频繁、示教数据少正是痛点，这类在现场持续学习、边用边改进的方法有直接的应用场景。预计先在科研和试点产线使用，量产应用需更长任务序列和插装以外任务的验证，时间尺度约一到两年。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。