Ropedia W0、人の映像1万時間で学習した人型ロボット対応の世界モデル
Ropedia W0は人の一人称映像約1万時間とロボット映像3000時間で学習し、歩きながら作業する人やロボットが次に見る場面を予測する。未学習の人の映像では手の位置誤差をCosmos3-Nano比で約30%下げた。南洋理工大学などのプレプリントだ。
1つの世界モデルで、人、グリッパー型ロボット、多指ハンドの人型ロボットの移動と操作の一人称の未来映像を予測できるか。人の映像を増やせばロボットでの性能も上がるか。
世界モデルはロボットに行動の結果を事前に想像させるが、多くは固定アームとグリッパーしか扱わない。歩くロボットは移動で視点が変わり、ロボットごとに行動空間が異なるためデータをまとめにくく、ロボットデータ自体も乏しい。
エヌビディアのCosmos3、DreamDojo、OSCAR、RynnWorld-Teleopなどはロボットの行動や文章を条件に映像を生成するが、多くは単一の機体や固定型の操作に絞られていた。
関節指令の代わりに共通の視覚的な制御信号を使う。カメラ姿勢で移動を、画面に投影した骨格で手やグリッパーを表し、ロボットの骨格は運動学と手作業のキーポイント補正で作る。人の14データセットとロボットの13データセット、自社収録を束ねたXp-Dataで5Bと14Bアクティブのモデルを学習し、人型ロボット遠隔操作のベンチマークXp-Teleopを公開、実時間用に蒸留した。
未学習の人の一人称映像200本をそのまま予測したところ、5BモデルはPSNR 18.90dB、LPIPS 0.2444で、Cosmos3-Nano（16B）の18.66dB、0.2753、Cosmos3-Super（64B）の18.36dBを上回った。手の位置誤差は46.9ピクセルから32.7ピクセルへ、MEKAWIREの計算で約30%減った。14Bアクティブモデルはカメラ軌跡誤差を1.931cmから1.542cmに縮めた。ただし全長のFVDはCosmos3-Nanoが178.9で、W0の189.9より良かった。著者はDreamDojo、Psi0、omega-HOME、Xp-Teleop、AgiBotの5ベンチマークで最高性能を報告し、人の事前学習データを増やすほど性能が上がり、蒸留版は分単位の実時間生成でVR操作に対応するとしている。
プレプリントだ。制御信号はカメラと手の動きだけで接触力や物体の物理は含まず、力が加わったときの挙動ではなく見た目を予測する。1分を超える生成には記憶機構の改良が要る。スケーリングは14Bアクティブと固定のデータ構成までしか試していない。PSNRなどは見た目の品質指標で、接触の多い作業では見た目が正しい世界モデルでも制御器を誤らせうる。
遠隔操作データを集める人型ロボット企業と、エヌビディアのCosmosのようなシミュレーション提供者が直接の対象だ。ロボットの稼働時間より人の一人称映像を買う、あるいは撮る方が安いという根拠になる。熟練作業の映像を多く持つ日本の製造業にとっては、そのデータが世界モデルの学習資産になりうる。1〜2年で方策評価やデータ生成の工程に使われそうだ。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。