EgoJEPA：リターゲティングなしで一人称の人間動画からロボットハンドの器用な操作を学ぶ
このプレプリントは、人の指の動きをロボットごとにルールで写し替える工程を使わず、約2万時間の一人称人間動画でロボットハンドを学習させる。3種類のハンドとグリッパーによる実機5課題で、未知の物体や配置での成功率は74%と従来のリターゲティング（65%）を上回り、新しいロボットを加える際の学習時間を47%減らした。
一人称の人間動画に含まれる操作の知識をロボットに依存しない形で一度学習し、ハンドごとに手作業で対応付け直さずに安価に接続できるか。
遠隔操作で集めるロボット実演は遅く高価だ。人間動画は豊富だが、手首や指の姿勢を幾何ルールでロボットに写す一般的なリターゲティングは機体ごとに再較正が必要で、手の追跡誤差がそのままロボット指令に流れ込む。著者らは人とロボットの較正だけで52.1時間、全工程の25.2%を要し、手の注釈に10mmのノイズを加えるとボトルキャップ外しの成功率が60%から30%に落ちたと測定した。
LAPAなど行動ラベルを使わない手法はフレーム間の見た目の変化から潜在行動を学ぶが、行動の結果ではない変化まで拾いうる。リターゲティング型やDexWildはAriaグラスなどで取得した手の姿勢を特定ロボットの行動空間に対応付ける。
EgoJEPAは3段階で構成する。まずJEPA型モデルが手の動きの変化がもたらす視覚的結果を予測して潜在行動を学び、行動コードが場面への効果を表すようにする。次にアリババの動画モデルWan2.2を基にした世界モデルが将来フレームと潜在行動を同時に予測する。ここまでロボット固有の指令は使わない。最後に2層の小型アダプターで共有モデルを各ロボットの行動空間につなぐ。新しいロボットでは第3段階だけを繰り返す。
事前学習には購入したデータセット111万エピソード（約2万107時間、21億7000万フレーム）を使った。実機ではSharpaハンドでのぬいぐるみ把持、Wujiハンドでのカップ積み、ファスナー引き、ボトルキャップ外し、Xenseグリッパーでの箱折りを各20回試した。平均成功率は分布内94%、分布外74%で、リターゲティング（80%、65%）とDexWild（分布外40%）を上回った。人間動画の事前学習を外すと分布外は40%だった。ロボット実演を10%に減らしてもキャップ外しで35%を達成し、全実演で学んだロボット専用モデル（30%）を超えた。複数ロボットにわたる累積学習時間は743.2時間から392.7時間に減った。
著者らは接触の多い課題がなお弱いと認めており、キャップ外しと箱折りの分布外成績が最も低い。動画の大きな時間ずれや長い遮蔽も性能を下げる。各条件20回の試行のため5〜10ポイントの差は不確実性が大きい。事前学習データは商用で公開は明記されておらず、評価はすべて短い卓上作業だ。
ハンドメーカーやヒューマノイド企業はハードが変わるたびにリターゲティングをやり直している。共有モデルに機体別アダプターを足す方式なら、人間動画への一度の投資を製品世代をまたいで再利用でき、データ事業者が販売する大規模一人称動画の価値も高まる。多品種のハンドやグリッパーを展開するTHKやSMCなど日本の部品メーカー、人手不足対策で器用な作業の自動化を急ぐ製造業にも関係する。1〜2年で研究や試験導入が見込まれるが、接触の多い組立には力覚や触覚の信号が必要になる。