AtomicRL：按原子子任务做强化学习，智元G1上π0.5长程真机任务成功率由48.0%升至69.3%，比PPO高8个百分点（中山大学、京东探索研究院）
中山大学与京东探索研究院的AtomicRL在智元G1机器人上，把π0.5策略在三项真实长程桌面任务中的平均成功率从48.0%提升到69.3%，比标准PPO微调高8.0个百分点，研究者在预印本中报告。它把长任务视为原子子任务链，整体失败时仍保留已完成步骤的学习信号，并把练习集中到最薄弱的步骤。
利用长任务可拆分为原子子任务的结构，能否让VLA策略的强化学习微调更快、更强？
现有VLA强化学习只对整条轨迹成功给奖励，任务后段一失败，前面做对的步骤的学习信号也被抹掉；即便某个子任务是瓶颈，练习仍被平均分配。
RLinf等框架中的PPO式VLA后训练采用轨迹级稀疏奖励和均匀任务采样。
进度与完成度评价器估计各子任务边界；语义感知策略优化（SAPO）门控时序差分误差，防止失败子任务污染前一子任务的信用分配；瓶颈自适应定向探索（BATE）把任务采样和探索激励转向掌握最差的子任务。Real2Sim2Real流程在仿真中重建真实任务进行并行强化学习，再部署回真机。
LIBERO-LONG（10项任务，各50次）：200步优化后OpenVLA-OFT达98.8%，π0.5达99.0%，分别比PPO高4.0和3.6个百分点。CALVIN ABC-D（1000次）：平均连续完成长度4.56，PPO为4.36，监督微调为3.56；五项连续成功率80.1%，PPO为70.6%。真实智元G1上三项含4至6个子任务的任务（各25次，每项100条示教用于监督微调）：放面包76%、丢垃圾72%、整理桌面60%，平均69.3%，PPO为61.3%，监督微调为48.0%。仿真与真机成功率相关系数为0.909。
预印本。作者承认未解决在线强化学习的样本效率问题，真机训练成本仍高；仅在从监督策略起步的桌面任务上验证。真机评估为单一机型、每任务25次，子任务划分依赖学习得到的评价器。
对为工厂和零售多步骤作业微调基础策略的团队这提供了提高每次试验利用率的方法，以及让大部分练习在仿真中完成的重建闭环。它表明VLA的强化学习后训练正从榜单走向长程任务的可部署提升。
论文全文
本文依据 CC BY 4.0 许可发布，全文经署名以英文转载：阅读全文（英文）。原文见 arXiv:2610.30097（PDF）。