电池感知强化学习让Crazyflie Brushless赛道时间缩短10.3%：滤波电压输入解锁更高推力指令
该预印本提出一种电池感知强化学习控制方法，在38克Crazyflie Brushless真机上联合增加推力指令范围和滤波电压输入，同时保留飞控的电压补偿和速率控制。硬件实验中，3.84 m/s圆周跟踪误差较Stock降低49.3%，20圈赛道时间从106.22秒降至95.24秒。相比同样增加指令范围但不使用电压输入的High，误差降低15.3%、赛道时间快4.5%。结果表明显式电压信息能补充飞控原有补偿。
在保留飞控电压补偿和速率控制的前提下，增加推力指令范围并观察滤波电压是否能让强化学习策略更充分利用电池供电能力？
高速飞行如无人机竞速和追逃需要强加速与精确转弯，但可用推力随电池放电和负载电压下降而变化。传统保守指令限制虽容易容忍电压变化，却浪费了性能；提高指令范围又使电机饱和和电压骤降更突出，策略难以在复杂机动中稳定利用额外推力。
此前做法包括：利用等效电路模型或耦合电池-电机模型进行预测与电池约束NMPC；在仿真中模拟电池效应但不给策略显式电压输入；通过运动历史或自适应模块（如L1扰动估计、递归世界模型）间接推断动态变化。这些方法要么未在强化学习策略中直接提供电压，要么取代了现有飞控的集体推力/速率接口。
新方法在训练仿真器中耦合实测负载瞬态电池模型、旋翼动力学和固件补偿与饱和，让策略在训练和部署时接收一个经过10秒滤波的电压输入，同时保留原有飞控的电压补偿和速率控制。通过将固件力标度从0.20 N提高到0.25 N解锁额外指令范围。训练使用PPO，带可选的电池特权critic。消融实验区分了指令范围扩大和电压信息的作用。
真机硬件评估在38克Crazyflie Brushless上进行。圆周跟踪：3.36 m/s时三种方法均约4 cm平均误差；3.84 m/s时RMSE为Stock 14.26 cm、High 8.53 cm、High-V 7.23 cm，High-V比Stock低49.3%、比High低15.3%；4.08 m/s压力测试中High-V仍最好，High差于Stock。赛道竞速：20圈总时间Stock 106.22±0.26秒、High 99.76±0.84秒、High-V 95.24±0.44秒，High-V比Stock快10.3%、比High快4.5%；四圈时间Stock 21.30±0.10秒、High 20.07±0.16秒、High-V 19.26±0.27秒。长距离平均速度Stock 3.74 m/s、High 3.89 m/s、High-V 4.10 m/s；峰值速度Stock 6.08±0.11 m/s、High 6.74±0.46 m/s、High-V 6.95±0.05 m/s。电压互换仿真中，在4.20 V初始化时提供3.70 V记录会使圆周跟踪恶化，在3.70 V时错误电压使赛道单圈时间增加1.84%，在4.20 V时影响接近零。电池特权critic在赛道任务中显著改善回报预测准确度。全部硬件结果来自50次圆周飞行和27次赛道试验，每方法6次四圈、3次20圈。
作者承认仿真在高速圆周跟踪上低估硬件误差，可能源于估计器误差、控制器历史和机动相关力矩。评估仅在单个38克Crazyflie Brushless平台、室内动捕环境下完成，样本量有限，未在户外或更大机型上验证。电池模型基于刚性安装台架数据识别，可能未完全覆盖自由飞行中的动态负载。论文未报告代码和权重是否开源。
该方法可直接用于基于Crazyflie等研究平台的高速自主飞行和无人机竞速，现在即可部署。1至3年内可扩展到更大的FPV无人机或轻型物流无人机，前提是将电池模型和飞控接口适配到目标机型，并在多变环境和大规模真机测试中验证安全性。强化学习训练需要模拟器和域随机化，对计算资源有要求。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。