KODA：人の一人称映像を人型ロボットの全身学習データに変える運動学と観測の整合手法
このプレプリントは、人が胸に付けたiPhoneで撮った映像を宇樹科技（Unitree）の人型ロボットG1が学べるデータに変換し、ロボット自身のカメラに映るはずの画像まで合成する。1タスク当たりロボット実演50本に変換した人の実演100本を加えると、未知の物体条件での成功率が約45ポイント上がった。
安価な一人称の人間映像を、ロボット実演を追加せずに、複数の低レベル制御器で使える人型ロボットの全身学習データに変換できるか。
人型ロボットの全身VLA方策の学習には、ロボット視点の画像と制御器固有の関節指令がそろった実演が要るが、遠隔操作での収集は遅く高価だ。人の映像は安いが視点が違い、頭と手程度の疎な動き情報しかない。
従来法は人のデータで事前学習しても対象ロボットのデータで適応が必要だったり（EgoVLA、WholeBodyVLA）、特定の制御器に縛られた指令に変換したりしていた（EgoHumanoid、HALOMI）。カメラも固定オフセットで動かすため生成したロボット動作に追従せず、制御器ごとにデータが分断されていた。
KODAはまずカメラ姿勢とリターゲットした手の情報から、MuJoCo上で物理的に検証した全身軌道を生成し、指令の残差をクロスエントロピー法で探索して追従誤差を減らす。次に人の腕を消し、深度でシーンを再投影し、レンダリングしたロボットを合成して欠損を補完し、頭部カメラの視点画像を作る。動作、画像、指示は再利用できる基準記録となり、制御器（SONICまたはHEFT）ごとに状態と行動ラベルを生成し直してNVIDIAのGR00T N1.7の共同学習に使う。
BrainCo製ハンドを付けたG1の4タスク（カップをかごへ、小包を棚へ、かごを棚へ、カップを引き出しへ）で、1タスク当たり実機実演50本と変換した人の実演100本を併用すると、人の映像にしかない物体条件のマクロ平均成功率がSONICで3.75%から48.75%へ45.0ポイント、HEFTで46.25ポイント上昇した。人のデータを25本から100本に増やすにつれ成功率は上がり続けた。
著者は手と物体の細かな接触をまだ忠実に再現できないと認めている。評価はロボット1台の4タスク、条件当たり20回の試行で、数値は5ポイント刻みで動く。共同学習には実機実演が引き続き必要で、手姿勢推定、セグメンテーション、補完、深度推定など大規模モデルを連ねるため計算コストも課題になる。
人型ロボットメーカーやデータ企業は遠隔操作データに多額を投じており、人の映像を制御器をまたいで再利用する手法はそのコストを直接下げうる。G1の利用者、NVIDIA GR00Tを使う開発チーム、一人称データを大量に持つ研究機関に意味が大きい。人手不足の現場作業を映像で記録してきた日本の製造業にとっても、蓄積映像を学習資産に変える道筋となる。データサービスとしての実用化は12〜24カ月先とみる。
論文全文
KODA: Kinematics--Observation Data Alignment for Humanoid Learning from Human Egocentric Demonstration
CC BY-NC-SA 4.0 のもとで公開された論文です。出典を明記して転載しています。原文は arXiv:2610.21152（PDF）。
\project
https://koda-humanoid.github.io/koda/
Abstract
Training humanoid whole-body vision–language–action (VLA) policies requires costly robot demonstrations with aligned robot-view observations and controller-compatible whole-body state–action labels. Egocentric human demonstrations offer scalable supervision but have misaligned views and sparse motion cues. Existing approaches either pretrain policies that still require robot data for adaptation or generate controller-specific commands that limit reuse. Conversion also requires robot-view observations aligned with the generated whole-body motion. We present KODA (Kinematics–Observation Data Alignment), which converts egocentric RGB demonstrations into whole-body VLA training data using a reusable canonical trajectory to guide robot-view synthesis and generate controller-specific whole-body state–action supervision. KODA first generates a simulator-checked whole-body trajectory using a sparse tracker with sampling-based command optimization. This generated trajectory directly determines the onboard camera poses used to synthesize corresponding robot-view observations. The motion, observations, and task instruction form a canonical record. For each deployment controller, KODA optimizes commands to track the stored motion and records the corresponding action labels and proprioceptive states. When switching controllers, KODA retains this canonical record and regenerates whole-body state–action supervision for co-training with matching robot demonstrations. We evaluate KODA on four Unitree G1 loco-manipulation tasks using two whole-body controllers, SONIC and HEFT. With robot data held fixed, macro-average success on conditions covered by human demonstrations but absent from robot data improves by 45.0 and 46.25 percentage points, respectively. Under both controllers, this metric shows an upward trend across the evaluated human-data budgets, suggesting potential for further scaling.
Keywords: Egocentric Human Data, Humanoid Loco-Manipulation
††