统一 empowerment 与 MPC：单一策略实现目标无关的内在动机控制
这篇预印本提出将 empowerment 直接作为采样式模型预测控制（MPC）的目标，用同一个动作分布完成探测与控制。在经典控制任务上，结合 empowerment 与稀疏任务代价后，成功率最高从单独 empowerment 的 59% 提升到 100%，而仅用稀疏代价的基线全部失败。该方法只需一阶导数，为 MPC 引入内在动机提供了实用桥梁。
能否将 empowerment 表述为采样式 MPC 内部的轨迹级目标，从而消除探测与控制策略分离并降低导数阶数？
采样式 MPC 依赖精心设计的代价函数，稀疏或非信息性代价难以引导优化；现有 empowerment 控制器使用两个独立策略（探测与执行），并需要二阶动力学导数，与标准 MPC 不兼容，采样效率低。
经典 empowerment 控制器将动态线性化为高斯信道，通过零均值探测策略估计信道容量，再沿 empowerment 梯度推导控制动作；该过程需要二阶导数，且探测策略与实际执行策略分离。采样式 MPC 则通过零阶方法优化轨迹，但成本函数设计困难。
本文提出单一策略 empowerment：允许探测分布具有非零均值，将该均值作为 MPC 优化变量直接最大化通道容量（内层优化均值，外层优化协方差），从而统一探测与控制。使用随机射击（RS）、预测采样（PS）、交叉熵方法（CEM）和 MPPI 等零阶 MPC 算法优化均值，empowerment 评估仅需一阶线性化。可与任务代价线性组合。
在单摆、倒立摆和双摆仿真任务中，以 10 个随机种子、成功率为时间平均指标。仅用稀疏任务代价（β=0）时所有算法失败。单独使用 empowerment 时，单摆成功率在 RS/PS/CEM/MPPI 下分别为 50%/49%/59%/23%；结合稀疏代价后提升至 95%/78%/100%/93%。倒立摆从 22%/81%/76%/24% 提升至 79%/100%/99%/60%。双摆单独 empowerment 为 0%/0%/3%/0%，结合后为 0%/86%/46%/0%，其中 PS 从 0% 升至 86%。另外，在 Hopper 环境中，MPC 基 empowerment 无需任务代价即可从倒地状态自行恢复并稳定蹲伏。
作者指出方法对超参数高度敏感，尤其是规划时域，且增大时域并不单调改善性能。此外，需要大量并行 rollout 才能稳定优化，高维环境下优化景观复杂。当前评估仅限仿真中的经典控制任务，尚未在真实机器人上验证。empowerment 估计依赖线性高斯假设，可能限制表达力。论文未报告与已发表基线的全面对比。
该方法有望为机器人 MPC 提供任务无关的内在驱动信号，减少对密集奖励工程的需求，适用于腿足机器人自恢复、欠驱动系统控制等。由于目前处于仿真验证阶段，且采样成本较高，实际落地可能需要 1 至 3 年，并需解决超参数鲁棒性、真实动力学建模和计算效率问题。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。