Permutation Robustness reicht nicht: Action Collapse in Multi-Agent Transformer Policies
In einem Preprint untersuchen die Autoren, ob Transformer-Policies in Multi-Agenten-Systemen echte Koordination lernen oder lediglich die Agentenreihenfolge abbilden. Die Experimente zeigen, dass niedrige Permutationsfehler täuschen können, weil Policies oft alle Agenten dieselbe Aktion wählen; PPO-ID liefert diverses, aber ordnungssensitives Verhalten, während Equivarianz-Regularisierung Robustheit verbessert, jedoch Action Collapse fördern kann. Für Teams mit N=4 sind deutlich schwächere Regularisierungsgewichte nötig, weshalb die Autoren fordern, Return, Permutationsrobustheit und Aktionsvielfalt gemeinsam zu bewerten.
Lernen transformerbasierte Multi-Agenten-Policies Koordination oder lediglich die Reihenfolge der Agenten?
Multi-Agenten-Teams sind ungeordnet, Transformer verarbeiten Agenten aber als geordnete Tokensequenzen. Gelernte Identitäts- und Positions-Embeddings können Verhalten an Token-Slots statt an physische Kontexte binden. Außerdem kann eine niedrige Permutationsfehler-Metrik täuschen, wenn alle Agenten dieselbe Aktion wählen und dadurch scheinbar permutationskonsistent sind.
Bisherige kooperative Multi-Agenten-Verfahren wie MADDPG, COMA, VDN und QMIX sowie PPO/MAPPO-Training fokussieren meist auf Return und behandeln Ordnungssensitivität nicht explizit. Transformer-Policies mit gelernten Identitäts- und Positions-Embeddings sind verbreitet, brechen aber die Permutationsäquivarianz. Set-Architekturen wie Deep Sets und Set Transformer erzwingen Symmetrie, werden jedoch selten zusammen mit Kollaps-Diagnostik evaluiert, sodass homogene Aktionen unentdeckt bleiben können.
Die Autoren formalisieren Permutationssensitivität über Logit-, Policy-Verteilungs-, Aktions- und Return-Metriken und führen Kollaps-Diagnostiken ein: normalisierte Aktionsdiversität, Same-Action-Anteil und maximale Aktionshäufigkeit. Das Training ist PPO/MAPPO-artig mit zentralem Transformer-Actor und zentralem Critic, zusätzlich mit Equivarianz-Regularisierung sowie optional paarweiser Policy-Diversität. Evaluierungen erfolgen in simulierten Cooperative-Navigation-Aufgaben unter normaler, zufälliger und umgekehrter Agentenreihenfolge.
In der Simulation mit N=3 erreicht PPO-ID eine Aktionsdiversität von 0,649 ± 0,047 und einen Same-Action-Anteil von 0,187 ± 0,108, ist aber mit einem zufälligen Aktions-Disagreement von 0,498 ± 0,052 ordnungssensitiv. Die Variante PPO-ID+Eq mit λ_eq=0,01 senkt den zufälligen Equivarianzfehler von 0,293 ± 0,355 auf 0,009 ± 0,006, aber die Diversität fällt auf 0,425 ± 0,053 und der Same-Action-Anteil steigt auf 0,739 ± 0,139. Stärkere Regularisierung λ_eq=0,05 liefert E_eq^rand 0,009 ± 0,003 und D_act^rand 0,112 ± 0,102, erhöht aber F_same auf 0,878 ± 0,117. Im N=4-Stresstest mit Seed 0 kollabiert λ_eq=0,01 vollständig: D_div 0,250, F_same 1,000, F_max 1,000. Nützliche N=4-Werte liegen deutlich niedriger, etwa λ_eq=5×10^{-4} mit Return -43,12, E_eq^rand 0,025, D_act^rand 0,121, D_div 0,297, F_same 0,811; λ_eq=2,5×10^{-4} erhält die höchste Diversität unter regularisierten Modellen mit D_div 0,427, aber Return -64,99. Die N=3-Ergebnisse sind Mittelwerte über drei Seeds, die N=4-Werte sind ein Seed-0-Stresstest.
Die Experimente beschränken sich auf simulierte Cooperative-Navigation-Aufgaben; reale Roboter oder physische Umgebungen werden nicht berichtet. Der Actor ist zentralisiert und beobachtet die gemeinsame Observation. Die N=4-Experimente sind ein Seed-0-Stresstest ohne mehrere Seeds. Die paarweise Aktionsdiversität ist ein einfacher Anti-Kollaps-Regularisierer; task-aware Diversität, Landmarken-Zuordnung oder konstruktive Äquivarianz fehlen. Der Code wird im Paper nicht erwähnt, und als Preprint ist die Arbeit nicht begutachtet.
Unternehmen mit Multi-Roboter-Flotten, Drohnen-Koordination oder Lagerlogistik könnten die vorgeschlagenen Evaluierungsprotokolle sofort in Forschung und Entwicklung übernehmen, um triviale Kollaps-Lösungen zu erkennen. Ein produktiver Einsatz robuster Multi-Agenten-Transformer-Policies ist frühestens in ein bis drei Jahren denkbar, sofern die Methoden auf realen Robotern validiert werden, teamgrößenabhängige Regularisierung und task-aware Anti-Kollaps-Verluste verfügbar sind und die Diagnostik in bestehende Trainingspipelines integriert wird.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.