Game-Guided Skill Discovery 用自博弈发现可玩机器人技能，人类无需额外训练即可操控

能否利用简单 1v1 竞技游戏中的自博弈，发现少量、语义清晰且可直接由人类操控的机器人运动技能？

现有无监督技能发现方法（如 DIAYN、DADS、METRA）主要最大化互信息或 Wasserstein 依赖，仅保证技能在状态分布上可区分；在高自由度机器人上，这种可区分性往往对应噪声或语义空洞行为，难以解释和复用。若只依赖外部参考运动或语言指导，又需要大量标注或参考数据，随维度增加成本更高。

此前方法包括基于互信息的 DIAYN、DADS，基于 Wasserstein 依赖的 METRA，以及语言引导、参考运动引导和 DoDont 等有外部指导的变体。它们在高自由度系统中要么产生语义不一致的技能，要么依赖大量语言描述、示范或参考动作，限制了可扩展性和可解释性。

GGSD 把技能发现置于 1v1 竞技游戏规则中，采用分层策略联合训练。高层策略每 10 步从 5 或 6 个离散技能中选择一个，输入完整游戏状态；低层策略根据本体感受和技能码输出关节动作。训练时自博弈从历史检查点池中采样对手，最新对手以 0.6 至 0.8 概率采样；高层仅优化游戏奖励加熵正则，低层优化游戏奖励加互信息内在奖励，判别器与低层策略均只使用本体感受观察，迫使技能语义与对手无关。训练后将人类输入映射到离散技能即可直接操控。

在 70k 更新后，最终策略对阵从 2k 到 70k 的历史检查点，3 个种子每对评估 1000 局：对早期检查点胜率高，随对手变新胜率下降、平局率上升，但与所有检查点的胜局加平局率均超过 50%；G1Boxing 对除自身最新检查点外的所有历史检查点胜率超过 80%。四名用户各与 AntSumo 最终检查点对战 5 局，人类仅胜 2 局（10%）。语义多样性：GGSD 在 Ant、Franka、G1 三环境中最高，Ant 和 G1 约为 DIAYN、DADS、METRA 中最强基线的 2 倍，Franka 则高出 28%。人类复用在未见任务上的成功率为 AntMaze 100%（平均 82.7 秒）、AntCubePush（论文表格写作 AntCube）100%（平均 62.2 秒）、G1Maze 84%（平均 22.0 秒），5 名参与者每人每任务 5 次，策略未做额外训练，仿真环境从 Isaac Lab 迁移到 MuJoCo。

作者承认技能库受游戏规则限制：简单游戏只能催生窄范围技能，G1Boxing 很难获得灵巧操作技能，未来需要更多样、更复杂的游戏。本文是预印本，尚未经过同行评审。所有实验均在仿真中进行（Isaac Lab 训练、MuJoCo 评测），未报告真机迁移；人类评估仅 5 名参与者且包含 2 名作者，规模较小；论文未报告是否开源代码和模型权重。