순열 견고성만으로는 부족: 다중 에이전트 Transformer 정책의 Action Collapse

트랜스포머 기반 다중 에이전트 정책이 실제 협응을 학습하는지, 아니면 에이전트 순서에 의존하는 슬롯별 행동을 학습하는지 규명하는 것이다.

로봇 팀은 순서가 없는 개체들의 집합이지만 트랜스포머는 순서가 있는 토큰 시퀀스로 처리한다. 학습된 에이전트 ID 임베딩과 위치 임베딩은 성능은 높일 수 있으나, 물리적 맥락이 아니라 토큰 슬롯에 행동을 연결하는 순서 지름길을 만든다. 더 중요한 문제는 순열 등가 오차가 낮아도 모든 에이전트가 같은 행동을 출력하면 겉보기에 견고해 보인다는 점이다.

기존 연구는 Deep Sets, Set Transformer 같은 집합 구조로 순열 대칭을 강제하거나, attention을 다중 에이전트 통신과 조정에 활용했다. 그러나 많은 평가는 보상 반환값만 보거나 순열 등가 오차 하나만 보고했다. PPO 계열 다중 에이전트 학습도 강력한 기준이지만, 학습된 ID와 위치 임베딩이 남긴 순서 민감성을 평가하지 않았다.

연구진은 순열 민감도를 로짓 등가 오차, 정책 KL 발산, 탐욕적 행동 불일치로 나누고, 행동 붕괴를 정규화된 행동 다양성, 동일 행동 비율, 최대 행동 빈도로 진단했다. PPO/MAPPO 방식의 중앙집중형 트랜스포머 정책에 순열 증강과 등변성 정규화 L_eq를 추가하고, 선택적으로 쌍별 정책 다양성 손실과 엔트로피 보너스를 적용했다. 평가는 정상, 무작위, 역순 에이전트 순서에서 수행하고 출력을 원래 에이전트 순서로 되돌려 비교했다.

3개 에이전트 실험에서 PPO-ID는 행동 다양성 0.649±0.047, 동일 행동 비율 0.187±0.108로 가장 비붕괴적이었지만, 무작위 순열에서 행동 불일치가 0.498±0.052로 컸다. 약한 등변성 정규화 λ_eq=0.01은 무작위 등가 오차를 0.293±0.355에서 0.009±0.006으로, 행동 불일치를 0.196±0.103으로 낮췄지만, 행동 다양성은 0.425±0.053으로 줄고 동일 행동 비율은 0.739±0.139로 늘었다. 강한 정규화 λ_eq=0.05와 Eq+Pair는 순열 지표가 우수했지만 동일 행동 비율이 각각 0.878±0.117, 0.826±0.151에 달했다. 4개 에이전트 스트레스 테스트(seed 0)에서는 N=3에서 유용했던 λ_eq=0.01이 행동 다양성 0.250, 동일 행동 비율 1.000, 최대 행동 빈도 1.000으로 완전 붕괴했다. 반면 λ_eq=5×10^-4는 반환값 -43.12로 최고였고 등가 오차 0.025, 행동 불일치 0.121을 보였으며, λ_eq=2.5×10^-4는 정규화 모델 중 가장 높은 행동 다양성 0.427을 보였지만 반환값은 -64.99로 낮았다. 모든 수치는 PettingZoo/MPE 협업 내비게이션 시뮬레이션에서 측정했다.

저자들은 시뮬레이션 협업 내비게이션 과제만 사용했고, 행동자는 중앙집중형으로 전체 관측을 받는다고 밝혔다. N=4 실험은 전체 다중 시드 벤치마크가 아니라 seed 0 스트레스 테스트다. 쌍별 행동 다양성은 단순한 반붕괴 정규화이며, 실물 로봇 검증은 없다. 코드 공개 여부는 논문에 보고되지 않았다.