Ego4WAM、ロボット学習に用いる自己中心視点データの拡張で何が重要かを解明

自己中心視点の人データをロボット学習のために拡張する際、データのどの特性と使用戦略が下流のロボット性能に最も影響するのか。

自己中心視点データは収集コストが低く対象範囲が広いが、人間とロボットの整合性、行動被覆、利用可能な教師信号が大きく異なる。既存の大規模研究はデータ時間のみで要約するため、性能向上が整合性、多様性、教師信号、データ規模のいずれに由来するか不明であり、行動ラベル取得のコストと信頼性の低さも実用上の障害となっていた。

EgoScaleやBeing-H0、Dyna-2などの従来研究は、大規模な人間データ混合で良好なスケーリング傾向を示したが、オープンループの人間行動予測誤差や集約スケーリング曲線を主な指標としており、下流のクローズドループ性能に寄与する要因を分離できていなかった。また、人間データをロボット互換に変換する手法はカメラ追跡や手姿勢復元に依存し、誤差や曖昧性が信頼性を制限していた。

モデルバックボーンと32次元の双腕統一行動空間を固定し、自己中心視点データを整合性のあるデモ、行動ラベル付きデータ、映像のみのデータのピラミッドとして整理した。映像のみの事前学習、行動ラベル付きマルチタスク中間学習、下流ロボット適応の3段階で、データ整合性、データ時間とタスク多様性、教師信号、使用戦略を個別に変化させた。評価は実機のPiper双腕ロボットとRoboDojoシミュレーションのクローズドループで実施した。

実機のPlace into the Basketでは、ロボットのみのポリシーはID成功率60%、物体OOD10%、シーンOOD0%だったが、物体OODの人間デモ追加で物体OOD60%、シーンOODの人間デモ追加でシーンOOD20%に改善した。Fold Clothでは、ロボットデモ300件から100件に減らすと大幅に低下したが、500件の人間デモを加えるとID80%、物体OOD60%、シーンOOD80%を回復した。ロボットデモ20件のみでは不十分だったが、マルチタスク中間学習後は同じ20件と人間データでID80%、物体OOD80%、シーンOOD60%を達成した。RoboDojoでは、データ時間を1K時間から4K時間に増やすとGeneralizationが5.0から7.8、Long-Horizonが12.0から16.2に向上し、タスク多様性を500から6Kタスクに増やすとGeneralizationが5.0から7.0、Long-Horizonが12.0から16.2に向上したがPrecisionは低下した。行動ラベルなしの映像のみの事前学習は平均スコア6.39、成功率3.15%から14.13、9.45%に改善し、行動ラベル付き中間学習を追加で15.04、10.78%となった。さらに将来視覚表現を活用するjoint機構に切り替えると平均20.29、成功率14.35%に達し、これは0.1K時間のロボットデータと15K時間の自己中心視点データによるもので、OpenWAM-alphaの17.18、11.92%を上回った。

論文では明示的な限界節は設けていない。ただし、評価は単一の双腕ロボットとRoboDojoシミュレーションに限られ、MemoryとOpenカテゴリのスコアが低く、長期記憶やVLMベースのオープン指示追従は主な対象外とされている。コードとチェックポイントは公開予定だが、本稿執筆時点では未公開である。計算コストや他のロボット形態への一般性は報告されていない。