MFPG-PPO 用低保真仿真数据稳定数据稀缺强化学习，真机仅4条片段提升抓取成功率
这篇预印本提出 MFPG-PPO 算法，用低成本仿真数据作为控制变量来稳定高保真数据稀缺的强化学习。在仿真和真机实验中，MFPG-PPO 在多数设置下优于仅用高保真数据的 PPO，并且用 4 条真实机器人片段即可将 Franka 抓取成功率从 40% 提升至 91.7%。该论文尚未经过同行评审。
如何在不引入低精度数据偏差的前提下，用高性价比的低保真数据稳定数据稀缺的在线策略强化学习？
在数据稀缺场景，如真机只收集少量 rollouts，在线策略强化学习的梯度估计噪声大导致训练不稳定。现有利用低保真数据的方法要么直接优化有偏目标，可靠性受低保真到高保真的迁移质量限制，要么只适用于 REINFORCE 和小规模仿真，无法直接扩展到 PPO 和 GPU 并行仿真。
此前有 MFPG 框架将低保真数据构造为控制变量以降低 REINFORCE 的方差，但只限于小规模仿真。直接将该控制变量替换到 PPO 的朴素扩展会丢失跨保真相关性或放大方差，有时甚至不如单保真 PPO。其他方法如共训练、DARC、PAR 等直接优化基于低保真数据的有偏目标，性能高度依赖低保真到高保真的迁移效果。
MFPG-PPO 重新设计采样、优势估计和控制变量构造。采样阶段将耦合低保真轨迹定期重同步到记录的高保真状态，共享动作噪声以保持相关性。分别训练耦合和独立低保真评论家，匹配 GAE 视野。控制变量系数按步或按片段拟合，并用指数移动平均平滑。通过统计证据和方差降低检查决定是否应用控制变量，否则回退到仅高保真 PPO 更新。预算感知变体根据 MFMC 分配框架动态调整高保真和低保真采样数量，在给定总预算下最小化方差。
仿真：四个 Isaac Lab 任务（Unitree H1 Flat/Rough, Anymal-D Flat/Rough），高保真环境数量从 8 到 512，低保真固定 4096。与 PPO HF-Only 相比，MFPG-PPO-FR 在 16 个任务预算设置中 14 个超越，从不显著差；MFPG-PPO-BA 全部 16 个超越。在 H1 Rough 最小预算 1/256 时平均回报约 40，匹配或超过 16 倍高保真数据的 PPO HF-Only，同时种子间变异性更低。PPO LF-Only 在 H1 Rough 一半种子迁移差。真机：Franka 立方体抓取任务，3 个种子，每次更新 4 条真实机器人片段，共 80 次迭代。MFPG-PPO-FR 最终成功率 91.7%，PPO HF-Only 为 55.0%，初始为 40.0%。每个 MFPG 种子成功率 90-95%，每个 PPO 种子 30-70%。仿真预训练策略有 100% 仿真成功率。
作者承认：重同步耦合低保真轨迹而不重同步独立低保真轨迹可能引入偏差，完全无偏的方差降低设计仍是开放问题。明显局限：真机实验仅一个 Franka 抓取任务且只有 3 个种子；仿真实验使用 6 个种子和特定成本比假设；算力成本未报告；代码已提供链接但长期维护未知。
适用于需要降低真机数据需求的公司，如人形机器人、机械臂操作、四足机器人开发商。时间尺度为现在到 1-3 年。前提是能够构建与真实环境具有正相关性的低保真模拟器，并支持从真实状态重新同步。可能用于数据稀缺的精细操作任务，如抓取、装配等。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。