CrossBFM：異なるヒューマノイド間で共有する潜在行動空間の蒸留
一つのプロンプトでヒューマノイドにダンスをまねさせたり、姿勢をとらせたり、報酬を追わせたりできる全身制御モデルは、ロボット1台ごとに100GPU時間を超える学習が要る。VinRobotics、シンガポール国立大学、独ダルムシュタット工科大学によるこのプレプリントは、ユニツリーのG1向けモデルをBoosterのT1、FourierのN1、自社開発のM3へ、共通エンコーダーの1時間未満と1台あたり10GPU時間未満の学習で移し、追従精度は専用制御器とほぼ同等だった。
あるヒューマノイドで学習したプロンプト型の行動空間を、関節数や体の構成、関節の並びが異なる別のヒューマノイドへ、高価な学習をやり直さずに教師あり蒸留だけで引き継げるかを検証した。
行動基盤モデル（BFM）は、一つの潜在ベクトルで操る単一の方策をヒューマノイドに与える。このベクトルはまねる動作、到達すべき姿勢、最大化すべき報酬のいずれも表せる。BFM-Zeroが使うForward-Backward表現はこうした空間をうまく学べるが、著者によると1回の学習に1台あたり100GPU時間を超える。しかも学習のたびに他のロボットと無関係な潜在空間ができ、あるヒューマノイド向けに作ったプロンプトや生成器、プランナーを次の機種に持ち込めない。新しい機体が次々に登場する中で、コストと分断が積み重なる。
これまでは機種ごとにForward-Backwardの教師なし強化学習パイプラインを丸ごと回し直すのが一般的だった。安い代替策はTWIST2のようにリターゲットした関節目標値を直接受け取る追従方策で、追従は得意だが用途は一つに限られ、姿勢や報酬のプロンプトに使える共有空間を持たない。体の記述を条件に与えて新しいロボットへ汎化する手法もあるが、著者はその多くが速度追従のような単一タスクにとどまると指摘する。
CrossBFMはユニツリーG1で事前学習したBFM-Zeroモデルを凍結し、動作や姿勢、報酬を潜在ベクトルに変えるバックワード写像だけを使う。各動作クリップはすべてのロボットに同じ時間軸でリターゲットされるため、各フレームのG1潜在ベクトルを他のロボットの対応フレームの回帰目標にできる。対象ロボット側では空間を作るためのシミュレーターも強化学習も敵対的学習も要らない。第1段階では、すべての対象ロボットに共通のエンコーダーを一度に学習する。ロボット固有の重みはない。各ロボットの状態を、標準関節枠33、主要部位枠8、ルートブロックからなる163次元の固定入力に書き込み、欠けた枠には印を付ける。4層、幅256、パラメーター327万の小型Pre-LayerNorm Transformerを、凍結した256次元のG1潜在ベクトルとのフレームごとのコサイン損失で学習する。全ロボット分で民生用GPU1枚で1時間に満たない。第2段階では、ロボットごとにPPOで潜在条件付きの追従方策をRTX 4090の1枚で10時間未満で学習する。方策が受け取るのは共有の潜在ベクトルと自身の固有感覚だけだ。報酬プロンプトでは各ロボットのリターゲットデータから状態分布を推定し、手の高さなどの基準をパーセンタイルで換算して体格の違うロボットに合わせる。共有空間上で学習した整流フロー（rectified flow）モデルが4番目のプロンプト方式を加える。
対象は著者らが自社開発したM3（関節27）、Booster T1（23）、Fourier N1（23）の3機種で、関節29のG1とも互いとも関節、リンク、構造が異なる。LAFANの動作追従では、潜在条件付き方策の平均関節誤差がM3で0.2024rad、T1で0.1901rad、N1で0.1391radとなり、TWIST2方式で関節目標値を受け取る方策の0.1777rad、0.1844rad、0.1362radとの差は最大0.025radだった。姿勢到達では転倒せずに姿勢間を移り、誤差は0.2345rad、0.1967rad、0.1512radだった。G1向けに設計された報酬プロンプト41件はすべて新しいロボットで動き、対象側での計算はG1の状態バッファーをそのまま使う場合に比べ、平均正規化リターンを0.183から0.431へ2.35倍に高めた。動作データを4分の1に減らしてエンコーダーを学習しても、M3の追従誤差は0.2132radから0.2241radへ約5%増えただけで、10%では0.2706radに悪化した。ランダムな潜在ベクトルでは0.4411radだった。2機種で学習したエンコーダーを残る1機種に適用する試験では、ランダムなベクトルと完全学習のベクトルの差のうちM3で89.3%、N1で55.5%、T1で12.8%を埋めた。T1は最も小さく形態の違いが大きい機体だ。実機ではM3が5クリップを0.2206rad（シミュレーションは0.2024rad）で追従し、9姿勢への到達誤差は0.2675rad、報酬タスク3件のスコアは0.562だった。M3とT1はいずれもフローモデルが生成した潜在ベクトルも実行した。
本研究は著者が査読中としているプレプリントである。移転の質は体の近さに左右される。T1の12.8%が示すように、学習集合に近い機体がないロボットには依然として独自データが必要だ。新しいロボットごとに質の高いリターゲット動作が前提となり、実験は40動作、8種類の行動からなるLAFANデータセットだけを使っている。MEKAWIREの見立てでは、潜在条件付き方策はシミュレーションの全機種とM3の実機で関節目標値の追従器にわずかに劣り、実機の数値はM3分しかなく、扱うのは全身の動作だけで物体操作は対象外だ。潜在空間の表現力は、引き継いだG1モデルを超えられない。
結果が再現されれば、ヒューマノイドメーカーはユニツリーG1のような研究用の普及機で鍛えたプロンプト型制御器を、新機種1台あたり100GPU時間超ではなく約10GPU時間で引き継げる。新しい機体やハードウエアの改版のたびにかかる制御ソフトのコストが下がる。BoosterとFourierの機体が対象に含まれたことは、この手法がユニツリー以外の商用機にすでに届いていることを示す。潜在空間を共有すれば、動作ライブラリや潜在ベクトル生成器、将来的にはテキストのインターフェースで複数の機体を同時に動かせるため、人手不足を背景に異なるメーカーのヒューマノイドを混在運用したい工場や物流現場、ロボットを自社開発する国内メーカーにとっても意味がある。実用化はコード公開と物体操作での検証次第で、量産用途に乗るまでには12カ月から24カ月を見込むのが現実的だ。