置换鲁棒性不足：多智能体Transformer策略中的动作坍缩
这篇预印本研究了多智能体Transformer策略在智能体顺序置换下的表现，发现低置换误差可能掩盖‘动作坍缩’：策略让所有智能体选择相同动作而看似鲁棒。在合作导航任务中，PPO-ID基线行为多样但顺序敏感，等变性正则化改善鲁棒性却降低多样性，且适用强度随智能体数量变化。作者建议同时报告回报、置换一致性和动作多样性指标。
作者研究低置换误差是否足以证明多智能体Transformer策略的鲁棒性，还是可能掩盖所有智能体输出相同动作的坍缩现象。
多智能体团队是无序集合，但Transformer将智能体作为有序token序列处理。现有评估方法通常只报告任务回报或置换误差，但低置换误差可能来自所有智能体输出相同动作的退化策略，而非真正学习到协调。这种指标失效使得无法区分有用的专门化和均匀动作坍缩。
此前的方法通常使用带学习身份或位置嵌入的Transformer策略，并可能添加等变性正则化。评估主要关注回报或置换等变性误差。这些方法未系统地检测动作坍缩，导致低等变性误差可能被误认为鲁棒协调。
作者提出同时使用置换一致性指标（logit等变性误差、策略KL散度、贪婪动作不一致率）和动作坍缩诊断（归一化动作多样性、相同动作比例、最大动作频率）。在PPO/MAPPO式训练中加入等变性正则化，并对比不同正则化强度，揭示鲁棒性与多样性之间的权衡。
在3智能体合作导航任务中（3种子平均），PPO-ID基线动作多样性最高（D_div=0.649），但随机置换下动作不一致率达0.498。加入弱等变性正则化（λ=0.01）后，等变性误差从0.293降至0.009，动作不一致率降至0.196，但多样性降至0.425，相同动作比例升至0.739。强正则化（λ=0.05）等变性误差同样0.009，但D_div降至0.378，F_same升至0.878。4智能体压力测试（单种子）中，N=3适用的λ=0.01导致完全坍缩（D_div=0.25, F_same=1.0, F_max=1.0），而弱得多的λ=5e-4获得最佳回报-43.12但F_same升至0.811，λ=2.5e-4保留最高多样性0.427但回报-64.99。
仅限仿真合作导航任务，未在真实机器人上验证；N=4实验为单种子压力测试；集中式actor观察全局；配对动作多样性是简单反坍缩正则化。论文未报告代码开源情况。
多机器人系统、无人机编队、仓储物流等涉及多智能体协调的公司可能受此启发。时间尺度：1-3年内，若采用Transformer策略，需在评估中引入置换鲁棒性和动作坍缩诊断，避免部署时因顺序变化或动作坍缩导致失败。前提是需在更复杂环境验证，并开发架构级等变性方法。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。