SuperMimic、ヒューマノイド全身制御をGPU1枚3時間で学習、SONICは約2万1000GPU時間
微分可能な世界モデルの中で学習するUCバークレーの制御器が、NVIDIA H100の1枚で3時間学習しただけで既存の動作追従器SONICの報酬を上回ったと、研究チームがCoRL 2026採択のプレプリントで報告した。SONICはL40を128枚使い7日間、約2万1000GPU時間を要した。12万9514動作のベンチマークで失敗は25動作とSONICの179動作より少なく、GPU2枚で9.8時間学習すると0になり、実機のユニツリーG1で宙返りや横転もこなした。
膨大な人の動作ライブラリをまねる単一の制御器を学習する際、ヒューマノイドの動力学を学習した微分可能なモデル1つが、クラスター規模のモデルフリー強化学習の代わりになるかを問う。
大規模なモーションキャプチャーデータの追従は汎用的なヒューマノイド全身制御の主流になったが、データが増えるほどコストも膨らむ。既存手法は動作ごとの専門方策を多数学習して1つに蒸留し品質を落とすか、GPUクラスターでモデルフリー強化学習により汎用方策を力ずくで学習する。
2026年にScience Roboticsに掲載されたSONICは同じBeyondMimicの追従定式化に基づき、611時間分の動作をNVIDIA L40の128枚で約168時間PPO学習した。最も近い公開比較対象で、主な基準線である。
SuperMimicは標準的な剛体シミュレーター（MuJoCo）の記録データから、全動作に共通するロボット動力学の世界モデルを1つ学習し、同じループで追従方策も学習する。方策は世界モデルによる短い想像上のロールアウトを時間方向に逆伝播して解析的な勾配を得る。ロールアウトはGPU上で高速かつ微分可能である。学習データはユニツリーG1向けに変換した公開データセットBONES-SEEDの264.56時間分で、選別後12万9514クリップを使った。
H100の1枚で3時間以内にSONICの公開チェックポイントの正規化報酬を上回り、著者の計算では実時間で約56分の1、GPU時間で約7200分の1だった。共通の12万9514動作ベンチマークでの失敗は、GPU1枚3時間後に25動作、GPU2枚9.8時間後に0動作で、SONICは179動作だった。学習データを1時間から264時間に増やしても世界モデルの予測誤差は0.007〜0.011にとどまり、目標報酬までのGPU時間の伸びも緩やかだった。1つの制御器が動作ごとの調整なしに、実機のユニツリーG1でスキップジャンプ、横転、90度宙返り、その場での360度宙返りを実行した。
CoRL 2026に採択されたがプレプリントである。比較はGPUの種類とデータ量が異なり、SONICは2.3倍の動作データを使い、H100のテンソルコア性能のピークはL40の最大5.5倍ある。著者はそれで1000倍の差は説明できないとするが、同条件での再実験ではない。世界モデルはシミュレーターのデータだけで学習し、平地のみで地形や物体との相互作用は扱っていない。実機試験は4動作の実演で成功率は測っていない。研究にはコマツ、アップル、RAI研究所などが資金を出した。
全身制御をGPU1枚で数時間で学習し直せるなら、多様な動作を求めるヒューマノイドメーカーにとって計算資源は制約でなくなる。資金提供者にコマツが入っている点は、建機や現場作業へのヒューマノイド応用を探る日本企業の関心を示す。動作データのスケーリング則の研究も安価になり、競争の軸は良質な動作データを誰が持つかに移る可能性がある。工場や家庭の作業に必要な地形と物体接触は、著者らが進行中の課題に挙げている。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。