自己対戦ゲームから人間可操作なロボット技能を発見するGGSD、Ant、Franka、Unitree G1で未学習タスクも攻略

自己対戦を伴う単純な1対1ゲームが、人間が直接操作できる少数の離散運動技能のレパートリーを発見するためのガイダンスとして機能するか。

高自由度ロボットの技能発見では、相互情報量やWasserstein距離に基づく既存手法は多様性を生むが、行動として意味がなく解釈しにくい技能に陥りやすい。言語ガイダンスは高次元状態で記述コストが高く、参照モーションはデータ収集が重い。このため、少数で直感的かつ表現力のある人間可操作技能の獲得が難しかった。

DIAYN、DADS、METRAに代表される相互情報量最大化やWasserstein依存尺度を用いた教師なし技能発見が主流だった。また、言語ガイダンスや参照モーションを利用する手法もあった。しかし、多様性を最適化するだけでは行動の意味が保証されず、高自由度になるほど解釈困難な技能が生まれた。言語や参照データは準備コストが高いか、提供データの範囲にレパートリーが制約された。

GGSDは、1対1の競技ゲームの勝敗報酬を技能発見のガイダンスとして利用する。高レベル方策が5〜6個の離散技能から1つを選択し、低レベル方策がその技能に基づき関節トルクを出力する階層構造を、過去の自己チェックポイントを保存したプールから対戦相手をサンプリングする自己対戦で同時学習する。低レベル方策はゲーム報酬に加えて相互情報量報酬を受け取り、技能コードごとに異なる運動を獲得する。また、低レベル方策と識別器は自己受容感覚のみを観測し、対戦相手に依存しない一貫した動作意味を保つ。学習後は高レベル方策を人間入力に置き換え、同じ離散技能コードで直接制御できる。技能遷移がコンボ挙動を生み、少数の入力で多様な運動を実現する。

最終方策は過去チェックポイントに対して高い勝率を示し、G1Boxingでは70k更新時点の自分自身を除く全チェックポイントに80%以上の勝率を記録した。全チェックポイントに対して勝率と引き分け率の合計が50%を上回った。AntSumoでは4人の被験者が各5回対戦し、人間の勝率は10%だった。技能使用率は単一技能へ崩壊せず、複数の技能が使われた。意味的多様性指標では、GGSDはDIAYN、DADS、METRAと比較してAntとG1で最強ベースラインの約2倍、Frankaで28%高い値を示した。未学習タスクの人間操作評価では、5名が各タスク5試行を行い、AntMazeは成功率100%（平均82.7秒）、AntCubePushは100%（62.2秒）、G1Mazeは84%（22.0秒）だった。学習はIsaac Labで行い、評価はMuJoCo webで実施し、タスクとシミュレータが異なる条件でも追加訓練なしで成功した。

著者らは、学習される技能レパートリーがゲームで必要とされる行動に制約されることを限界として挙げている。例えばG1Boxingでは器用なマニピュレーション技能は獲得されない。また、評価はすべてシミュレーション内であり、実機ロボットへの移行は報告されていない。人間評価は5名（著者2名を含む）と小規模で、未学習タスクも3種類に限られる。コードの公開有無や計算コストは論文では報告されていない。