マルチエージェントTransformer方策は置換頑健性だけでは不十分、同一行動崩壊の併用評価が必要
本論文はプレプリントである。マルチエージェントの協調ナビゲーションでTransformer方策を訓練し、エージェント順序の置換に対する頑健性と行動の多様性を同時に評価する手法を提案した。低い置換誤差でも全エージェントが同一行動を選ぶ行動崩壊が起きることを示し、PPO-IDベースラインに対して弱い同変性正則化がN=3では頑健性を改善する一方で多様性を低下させること、N=4では同じ係数が完全崩壊を招くことを報告した。
Transformerベースのマルチエージェント方策は、協調行動を学習するのか、それともエージェントの順序付けを学習しているのか。
複数ロボットチームはエージェントの順序に依存しないが、Transformerはトークン列として順序付きで処理し、位置埋め込みやID埋め込みが順序ショートカットを生む。既存評価では置換誤差が低くても全エージェントが同じ行動を取る縮退方策を見逃す。
従来はMADDPG、COMA、VDN、QMIX、PPO系の協調MARLや、Deep Sets、Set Transformerなどの集合対称アーキテクチャ、同変性正則化が使われてきた。しかし評価が報酬中心だったり、置換誤差のみだと行動の同一化を見逃し、ID埋め込み付きTransformerはスロット固有の振る舞いに依存して順序に敏感になる。
置換感度の指標として、ロジット同変性誤差、方策分布のKLダイバージェンス、貪欲行動不一致率を定義し、行動崩壊の指標として正規化行動多様性、全エージェント同一行動割合、最大行動頻度を導入した。訓練ではPPOに置換同変性正則化と任意のペア方策多様性正則化を加え、通常順序、ランダム順序、逆順序で評価する。N=3とN=4のチームサイズで係数を変えた比較を行った。
シミュレーションのMPE協調ナビゲーションでN=3の3シード平均では、PPO-IDは報酬-34.67±4.45、ランダム置換行動不一致率0.498±0.052、行動多様性0.649±0.047、同一行動割合0.187±0.108と多様だが順序に敏感だった。λ_eq=0.01のPPO-ID+Eqは置換同変性誤差が0.293から0.009に、行動不一致率が0.196に低下したが、多様性は0.425に低下し同一行動割合は0.739に上昇した。λ_eq=0.05では同一行動割合0.878、Eq+Pairでも0.826と崩壊に近い。N=4シード0ではλ_eq=0.01相当は完全崩壊し、より小さい5×10^-4が報酬-43.12で正則化中最高だが同一行動割合0.811、2.5×10^-4が多様性0.427で健全だが報酬-64.99、というトレードオフを示した。
論文では、実験がシミュレーションの協調ナビゲーションタスクに限定されること、アクターが全エージェントの観測を集中処理すること、N=4はシード0のストレステストであり複数シードのベンチマークではないこと、ペア方策多様性が単純な正則化であることを限界として挙げている。実機はなく、コード公開の有無は記載されていない。また評価は単一タスクであり、より大規模チームや実ロボットでの一般化は確認されていない。
複数台の搬送ロボット、ドローン群、マニピュレータセルなどTransformer方策を検討する企業は、提案指標を回帰テストに加えることで順序非依存性と縮退行動を検出できる。現在のシミュレーション評価では即利用可能で、1年から3年でマルチエージェント強化学習パイプラインの品質管理に組み込める見込みである。実機展開には相対幾何注意やタスク対応多様性など新たなアーキテクチャの成熟が必要で、3年以上かかる可能性がある。その前に安全検証と複数シード拡張が条件となる。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。