GGSD, 게임 자기 대국으로 사람이 직접 조종할 수 있는 로봇 기술을 찾다

1대1 경쟁 게임의 자기 대국을 통해 사람이 직접 조종할 수 있을 만큼 의미가 구분되고 해석 가능한 소수의 모터 스킬을 찾을 수 있는가?

기존 비지도 스킬 발견은 상호정보량(MI)이나 Wasserstein 의존성 측도(WDM)를 최적화해 스킬을 구별하지만, 에이전트 자유도가 높아지면 행동 의미 없이 상태 분포만 다른 스킬이 나오기 쉽다. 언어 설명이나 참조 동작 같은 외부 지도는 고차원 로봇에서 수집 비용이 커지고, 게임 규칙 같은 가벼운 지도 신호는 부족했다.

대표적으로 DIAYN, DADS, METRA는 MI 또는 WDM 기반으로 서로 다른 스킬을 구별하도록 학습한다. Language-Guided Skill Discovery는 LLM 설명을, DoDont는 바람직한 시연과 바람직하지 않은 시연을, Reference Grounded Skill Discovery는 참조 모션을 사용한다. 이들은 스킬이 구별되더라도 의미가 없거나, 고차원 에이전트에서 설명, 모션 데이터를 준비하기 어렵다는 한계가 있다.

GGSD는 AntSumo, AntFencing, FrankaAirHockey, G1Boxing의 네 1대1 게임에서 계층적 정책을 자기 대국으로 학습한다. 상위 정책은 10스텝마다 5~6개 이산 스킬을 고르고, 하위 정책은 proprioceptive observation만 받아 스킬별 모터 행동을 낸다. 상위는 게임 보상에 범주형 엔트로피 보너스를, 하위는 게임 보상에 MI 보상(log qφ(z|s))을 더해 학습한다. 과거 체크포인트 풀에서 상대를 뽑아 최신 정책은 0.6~0.8 확률로 선택하고, GPU 메모리를 위해 4096 환경을 10개 그룹으로 나눠 그룹별 상대를 공유한다. 학습 후 상위 정책을 사람 입력으로 교체해 같은 이산 스킬을 직접 조종한다. 개별 스킬보다 스킬 전이가 콤보 동작을 만들어 표현력을 확장한다.

70,000 업데이트 학습 후 최종 정책을 2,000~70,000 업데이트 체크포인트와 각 1,000게임씩 겨뤘다. 최종 정책은 모든 과거 체크포인트를 상대로 승률과 무승부율을 합친 값이 50%를 넘었고, G1Boxing은 자기 자신을 제외한 모든 과거 체크포인트에 80% 이상 승률을 보였다. AntSumo에서는 사용자 4명이 각 5게임씩 최종 정책과 겨뤄 인간 승률이 10%에 그쳤다. 스킬 의미 다양성 지표에서는 Gemini-3.6-Flash로 생성한 행동 설명 거리를 측정했을 때 DIAYN, DADS, METRA 대비 모든 환경에서 가장 높았고, Ant와 G1에서는 가장 강한 기준보다 약 2배, Franka에서는 28% 높았다. 학습된 저수준 정책을 고정한 인간 평가에서 5명이 각 과제당 5회 시도한 결과 AntMaze 성공률 100%(평균 82.7초), AntCubePush 100%(62.2초), G1Maze 84%(22.0초)였다. 모든 정책은 Isaac Lab에서 학습하고 MuJoCo 웹에서 평가했으며 실물 로봇 실험은 보고되지 않았다.

저자들은 게임이 요구하는 스킬 범위에 배운 스킬 레퍼토리가 갇힌다고 밝혔다. 예를 들어 G1Boxing으로는 손재주 조작 기술을 얻기 어렵고, 더 넓고 다양한 운동 능력을 요구하는 게임으로 확장해야 일반 전이가 가능하다고 본다. 또한 스킬 전이 의미가 상태에 따라 달라져 상태 구간이 많아지면 인터페이스 해석이 어려워질 수 있다. 실물 로봇 검증은 없었고, 인간 평가 참가자 5명 중 저자 2명이 포함되어 있으며, 코드 공개 여부는 논문에 보고되지 않았다.