TRACE: 対話でヒューマノイドの動作を生成し修正するイベント基盤の拡散モデル
西湖大学が主導する研究チームはプレプリントで、TRACEがテキストをUnitree G1ヒューマノイドの動作に変換し、テキスト検索精度R@1で73.84%と次点のMotionGPT3の68.46%を上回り、実際の動作分布との差（FID）を30.9%縮めたと報告した。16人によるブラインド評価では3点満点で総合2.391点となり、比較した7モデルの最高1.469点を超えた。
足の支持、体幹の高さ、手の高さといった測定可能なイベントを先に予測し、それを後の修正範囲の指定に使えば、ヒューマノイド動作生成器をテキストに忠実で、かつ対話で直せるものにできるか。
文章はどの足がいつ体を支えるか、手をどれだけ上げるかをほとんど示さないため、既存モデルは学習動作と異なる構造を勝手に補う。修正はさらに難しい。「手をもっと上げて」のような相対的な依頼は現在の動作を基準に解釈し、残りはそのまま保つ必要があるが、修正を重ねるほど動作が崩れていく。
MDM、MoMask、MotionGPT3などのテキスト動作モデルは文章を軌跡や動作トークンに変換し、TextOp、TeXedo、ECHO、OMGなどのヒューマノイド専用モデルはG1を直接対象とする。言語モデルのプランナーは指示を詳細な記述に分解し、TMEDやSimMotionEditなどの編集器はテキストと既存動作から変更を学ぶが、何を変えるかを型として記述する仕組みはない。
言語モデルが左右の足の支持、体幹の上下速度と高さ、左右の手の高さの区分からなる疎なイベント計画を予測する。正解ラベルは文章ではなく、対になる学習動作から計算する。時間をそろえた計画の符号化がテキストとともに拡散生成器に入り、生成器は重力基準の状態と軌跡、足接地の目的関数を使う。編集では、型付きの依頼が変更してよい身体部位と時間区間、元の動作に対する目標を定め、別の参照条件付き拡散編集器が変更を行い、サンプリング中の射影で保護すべき座標を固定する。
G1にリターゲットしたBONES-SEEDのテストで、TRACEのR@1、R@2、R@3は73.84%、86.24%、90.31%で、MotionGPT3の68.46%、81.29%、85.81%を上回った。FIDは0.0628から0.0434へ、MM-Distは0.8886から0.8165へ下がった。100件の指示文と16人の参加者によるユーザー評価（1～3点）では、品質2.338、テキスト一致2.444、総合2.391点で、総合が最も高い比較モデルはECHOの1.469点だった。編集は保留したG1動作199本に5センチの手の高さ変更を4ターンずつ連ねた597系列で試し、著者らはTMEDとSimMotionEditの改変版より全ターン成功が安定していたとしている（数値は図のみ）。
プレプリントである。テキストと平地の運動学だけを扱い周囲の環境認識はなく、接地の目的関数は足の滑りを減らすがなくせないと著者らは認めている。指標は生成動作を評価するもので、予測したイベントが厳密に守られたかは見ていない。実機の根拠は付録の定性的なデモに限られハードウェアでの成功率はなく、編集も手の高さ変更しか試していない。
エンターテインメント、店舗、研究向けにヒューマノイドを売る企業にとって動作制作は現実的なボトルネックであり、本研究の基盤はUnitreeのG1だ。操作者がキーフレームに触れず言葉で動作を作り直せれば、デモや展示会向けコンテンツの制作期間が縮む。G1を導入して研究や教育に使う日本の大学やSIerにも使い道がある。1年以内にG1向けの開発者ツールから実装が進むとみられ、工場で使うには本論文が扱っていない環境認識が要る。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。