FERPO：前向熵正则化策略优化
这篇预印本提出 FERPO，一种在线最大熵强化学习算法。它不用评论家对动作的梯度，而是通过前向 KL 拟合熵与 KL 正则化的最优目标分布来更新策略。在 MuJoCo Playground 和 ManiSkill 上表现与 REPPO 相当，并在 DMC 和 ManiSkill 上展现出更高样本效率；在 K=16 时，未缓存 actor 更新比 REPPO 快 6.9%，缓存后总计节省 22.2%。
能否在不依赖评论家动作梯度的情况下，实现在线最大熵强化学习的有效策略改进？
现有以 REPPO 为代表的在线最大熵方法通过评论家动作梯度更新策略，但评论家通常只被训练来预测价值，价值预测准确并不保证动作导数准确。这会导致策略更新偏差，并在在线学习中随数据分布变化而变得不稳定。
此前 REPPO 使用路径梯度最小化逆向 KL 损失，需要 Q 对动作的导数；MPO、AWR 等方法虽然使用前向 KL 或优势加权，但主要用于离线或回放数据，且熵正则与信任域约束方式不同。这些方法要么依赖不可靠的评论家导数，要么不适合大规模并行在线学习。
FERPO 从带熵和 KL 约束的拉格朗日函数推导出无约束最优目标分布 q*，然后用自归一化重要性采样（SNIS）从前向 KL 方向拟合 actor 到 q*。采样动作来自冻结 rollout 策略，log ESS 用于自适应调整 λ 控制重要性权重集中程度，温度 τ 按 SAC 方式自适应。整个过程不需要 ∇aQ。还提出缓存 actor 更新以复用 Q 值和动作，以及基于一步仿真的状态价值扩展。
在仿真基准上，DMC 22 个任务中 FERPO 的 IQM 回报为 897.7±6.7，REPPO 为 891.0±6.4，FastTD3 为 890.6±12.8，PPO (Brax) 为 542.8±30.2，PPO 为 309.8±9.4。ManiSkill 8 个任务成功率为 95.67±1.83%，REPPO 为 95.52±1.85%，PPO 为 84.61±9.49%。G1/T1 四个任务中 REPPO 为 34.63±0.17，FERPO 为 33.22±0.28。样本效率上 FERPO 在 DMC 和 ManiSkill 上比 REPPO 更早达到高回报/成功率。计算基准：K=16 时未缓存 FERPO 联合 actor-critic 更新时间比 REPPO 低 6.9%，缓存后总计节省 22.2%，但 GPU 内存占用更高。
作者承认评论家价值误差、有限样本重要性采样误差、策略限于高斯分布以及 GPU 内存占用较高。G1/T1 聚合分数仍低于 REPPO，差距集中在 G1 任务。论文未报告真机实验，所有结果均在仿真环境中获得；评估规模为每任务最多 12 个种子，部分消融只有 5 到 10 个种子。
该方法适合大规模并行仿真中的机器人运动控制与操作任务，可用于有 GPU 集群的研究团队和机器人公司，提高在线策略更新的计算效率和样本效率。代码已开源，现在即可在 MuJoCo、ManiSkill 等仿真环境中使用；1 到 3 年内可能用于仿真到真实迁移的机器人学习流程，前提是有效处理 sim2real gap、验证高斯策略在真实机器人上的可行性，并解决更高的内存需求。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。