UniIntervene++自适应分配干预，真机强化学习人类介入率降至0.77%
这篇arXiv预印本尚未经过同行评审。作者提出UniIntervene++，一种在真实机器人在线强化学习中动态分配自主执行与多种辅助行为的干预智能体。它在五个真实操作任务上平均成功率达89.67%，比最强基线高6个百分点，人类介入率仅0.77%，比基线中最低的14.29%相对降低94.6%。
能否让干预智能体在在线强化学习过程中，随着策略能力提升，自适应地决定何时干预、使用何种辅助、何时交还控制？
真实机器人在线强化学习需要频繁的辅助，但策略能力会随训练演变，早期所需的干预与后期不同。现有系统依赖操作员持续监控，或用离线估计、固定规则触发干预，无法匹配当前策略水平，导致过度辅助或辅助不足。
此前HiL-RL如HIL-SERL依赖人工持续接管；AutoSERL用单条演示轨迹引导恢复；UniIntervene在离线阶段学习价值函数并以价值退化触发恢复。这些方法的干预策略要么固定，要么离线确定，不能随在线策略提升而调整。
UniIntervene++将RL策略、轨迹矫正和任务结构化CodePolicy统一为SMDP中的三个Options，用Double-DQN在线学习其相对价值。通过Adaptive RL Probe周期性强制无辅助执行窗口，保留策略能力证据并调整窗口长度，使控制分配从辅助为主转向自主为主。Coupled Experience Learning把辅助产生的经验同时写入在线和演示缓冲区，继续训练RL策略，再反过来影响后续干预决策。
在UR7e机械臂的五个真实操作任务（Ring Transfer、Tube Insertion、USB Insertion、Wipe Whiteboard、Towel Folding）上，UniIntervene++平均成功率为89.67%，HIL-SERL和UniIntervene为83.67%，AutoSERL为73.67%；成功率报告基于每任务3次评估、每次20个回合。人类介入率平均0.77%，而HIL-SERL为54.03%，AutoSERL为14.29%，UniIntervene为18.84%；相对AutoSERL降低94.6%。Ring Transfer任务中，RL策略成功率从0升至88.33%时，分配给RL策略的控制时长占比从35.78%升至90.51%，辅助总占比从64.22%降至9.49%。消融中，UniIntervene++在Ring Transfer和Towel Folding的成功率分别为88.33%和85%，固定先验随机调度为75%和80%，去掉CodePolicy后均为0%，去掉Trajectory Correction后为50%和47%。训练步数为18,000至82,000步，约29至131分钟。
论文未单列局限性。可观察到的限制包括：仅在单个UR7e机械臂和五个任务上验证，未报告跨机器人或仿真结果；每任务评估为60个回合，统计样本有限；消融未单独分离Adaptive RL Probe的独立贡献；CodePolicy和轨迹矫正需要任务演示与感知输入，可能限制泛化；训练步数因任务差异较大，未报告统计显著性检验。
该技术可为仓储分拣、精密装配、柔性物体操作等真实机器人训练流程减少人工监控与纠错，适用于机器人本体厂商和自动化集成商进行在线策略微调。1至3年内可能被用于需要快速部署但任务结构相对固定的场景；更广泛推广需具备可靠感知、任务演示采集能力和允许一定训练时间的产线环境。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。