拡散モデルでヒューマノイド制御ネットの「重み」を生成、実機のUnitree G1が歩行、ダンス、回し蹴り
カリフォルニア大学バークレー校の研究チームは、学習済みのヒューマノイド制御器数千個で拡散モデルを学習させて新しい制御ネットワークを生成し、微調整なしで実機のUnitree G1に歩行、ダンス、回し蹴りをさせた。このプレプリントは、強化学習でも模倣学習でもネットワークの第1層にロボットの身体構造が刻まれることも示した。
動作するヒューマノイド制御ネットワークの重みそのものを生成モデルで学習し、配備可能な新しい制御器を直接サンプリングできるか。その重み空間はネットワークが何を学んだかについて何を示すか。
ヒューマノイドの制御器は、時間がかかり乱数シードに敏感な強化学習を1回ずつ回して得る。学習済みの重みをデータとして扱った研究は少なく、重みが学習可能な分布をなすのか、サンプリングした重みが実機を動かせるのか、制御器間にどんな共通構造があるのかはほとんど調べられていなかった。
重み空間の生成は画像分類器や小規模な制御課題で試されてきた。ヒューマノイド研究は強化学習による動作追従や生徒方策への蒸留など学習手法の改良が中心で、新しい動作の制御器は依然として一から学習する必要があった。
チームは動作ごとに乱数シードを変えた強化学習を750回行い、各回から収束後のネットワークを8個ずつ、動作当たり6,000個集めた。いずれもパラメータ約3万~4万の3層MLPだ。クラスタ別の線形オートエンコーダーで重みを潜在空間に圧縮し、埋め込み次元1024のDiffusion Transformerがその分布を学ぶ。サンプリングした潜在変数を完全なネットワークに復元し、Unitree G1に標準手順で微調整なしで配備した。
シミュレーション(mjlab、並列環境1,024)で生成ネットワークの平均成功率は歩行0.993、ダンス0.941、回し蹴り0.943で、学習データのネットワーク(0.999、0.998、0.997)をやや下回った。100サンプルの最良は1.000で同等だった。Transformerを小さくすると性能は大きく落ち、埋め込み512では歩行の進捗スコアが0.643と、1024の0.997を大きく下回った。生成ネットワークは実機G1で3動作すべてを実行した。第1層の重みは一貫して股関節ピッチ、膝、腰の関節に大きな値を与え、模倣学習で蒸留したネットワーク(成功率0.9979~0.9919、強化学習の教師は0.9994~0.9972)にも同じ構造が現れた。
プレプリントである。t-SNEでは生成した重みの大半が学習分布の内側にあり、新しい技能を生むというより既知の制御器の範囲を再現する段階だ。対象は3動作、1機種に限られ、分析は第1層に集中している。著者も解釈可能な構造がまだより良い方策につながっていないと認めた。生成ネットワークの平均性能は学習済みよりわずかに低く、実際には多数をサンプリングしてシミュレーターで選ぶ必要がある。
実験に使われたG1のメーカーであるUnitreeや、その上で動作ライブラリを作るチームにとって、動く制御器の派生版を安価に大量生成し、方策が何に依存するかを診断する道具になり得る。日本の二足歩行ロボット開発にとっても、強化学習と模倣学習のネットワークが身体固有の第1層を共有するという知見は、学習を短縮する初期値設計につながる可能性がある。商業的影響は研究段階で2年以上先とみられ、著者が今後の課題とするテキストや軌道を条件とした生成が鍵になる。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。