KinoGen：ロボット自身の生成動画から人型ロボの全身操作動作をつくる

人の体を介したリターゲティングを使わず、事前学習済みの動画生成モデルで特定の人型ロボット向けに、実際の作業配置のまま全身と手と物体の参照動作をつくれるか。さらに利用者が正確な目標姿勢を指定できるか。

人型ロボットは参照軌道を強化学習で追従して移動しながらの操作を学ぶが、参照は機種と場面ごとに体、指、物体をそろえる必要がある。人の実演は復元とリターゲティングで誤差が生じ、遠隔操作は物体や配置、目標が変わるたびに人手がかかる。

従来は人と物体の動画を生成して人の動作をロボットに移す方式（GenMimic、GRAIL）や、ロボット動画を生成しても人の姿勢推定で動作を復元する方式（GenHOI）が主流だった。いずれもロボットの運動学条件を生成後に合わせるため、めり込みや足の滑り、接触の欠落が起き、物体の正確な最終位置も指定できない。

KinoGenは実機と物体のモデルでシミュレーター内の作業場面を校正済みカメラ2台の視点から描画し、それを条件に動画を生成する。次に同じロボット、手、物体のモデルを2視点の生成動画に当てはめて軌道を復元するため、結果は初めからロボットの姿勢空間に収まる。利用者がキーフレームを編集すると周辺の動画を再生成し、制約付き復元で指定姿勢を正確に満たす。

6自由度ハンド2本を付けたユニツリーG1で8タスクを評価した。めり込みは2.30cm（比較手法3.06〜10.55cm）、足の滑りは毎秒4.09cm（同5.11〜9.95）、接触保持率は91.16%でGRAILの69.40%、GenHOIの43.91%、GenMimicの13.57%を大きく上回った。学習した追従方策の成功率は57%で、比較手法の42%、11%、31%を超えた。30カ所に瓶を置く試験では全目標を正確に達成し、机へのめり込みは最大2.7〜21.0mmにとどまった。単純な補間も目標には届くが、手が机を約139〜147mm突き抜けた。4タスクは実機で実行したが、実機の成功率は示していない。

プレプリントである。著者は強い遮蔽で復元が失敗すること、品質と多様性が動画生成モデルに縛られること、キーフレーム制約は姿勢を保証しても物理的な実行可能性は保証しないことを認めている。シミュレーションで57%という成功率は実運用には低く、実機結果は定量評価がない。