成功判定に使う物理量を補助損失の教師信号に、潜在世界モデルのプランニング成功率を改善
本プレプリントは、潜在世界モデルのプランニングにおいて、タスクの成功判定に使われる物理量（成功基準量）を補助損失の教師信号として直接学習させる手法を提案した。LeWMを用いたPushTとcubeで成功率がそれぞれ3.5ポイント、3.4ポイント（絶対差）向上し、統計的に有意だった。テスト時は線形ヘッドを破棄するためモデルや計算コストは変わらず、成功基準に含まれる全量を教師にすることで有意な劣化は見られなかった。
潜在世界モデルのプランニングにおいて、タスクの成功判定に用いられる物理量（成功基準量）を補助損失の教師信号として直接学習させることで、成功率が向上するかどうかを検証した。
潜在世界モデルは潜在空間上の距離で行動系列を評価するが、実際のタスク成否はハンドや物体の位置といった物理量の許容誤差で判定される。既存モデルでは学習損失が次状態の潜在表現のみを対象としており、成功基準量が潜在状態に必要な精度で保持されない。調査した4つの潜在世界モデルすべてで、エンドエフェクタ位置の線形読み出し誤差が成功判定の許容誤差を上回っていた。
従来手法では、DINO-WMやV-JEPA 2-ACが固有受容感覚状態（ハンド位置など）を入力として連結するが、入力として与えるだけでは潜在状態が必要な精度で保持される保証はない。PhyLatentやPSG-JEPAは物理量を教師信号に使うが、どの量を教師にするかは設計者が選択し、成功基準との対応は考慮されていない。また、VIPやLIVなど距離関数自体を学習する手法も成功基準から距離を学習していない。
成功基準量のみを教師信号とする補助損失を提案した。エンコーダ出力と予測器出力の両方に線形ヘッドを適用し、その回帰誤差を既存の世界モデル損失に加算する。ヘッドはエンコーダと予測器で共有され、学習後に破棄するため、テスト時のモデル・入力・計算コストはベースラインと同一である。教師信号はデモンストレーションに記録済みの物理量を用い、新たなセンサは不要。何を教師にするかは設計者ではなく成功基準が決める。
LeWMを用いた4つの操作タスクで、stack（+5.05ポイント、ベースライン30.1%）、cube（+3.4ポイント、ベースライン68.5%）、PushT（+3.5ポイント、ベースライン91.5%）では成功基準の全量を教師にしたモデルが有意に改善し、coffeeでは物体のみ教師で+3.9ポイント（ベースライン34.0%）の有意な改善が見られた（全量では非有意の-0.6ポイント）。評価は同一2000試行のペアに対する両側McNemar検定。DINO-WM型の凍結エンコーダシステムでもstackでDINOv2-Sのハンドのみ教師+7.1ポイント（ベースライン32.0%）、全量教師+4.2ポイント、DINOv2-Lのハンドのみ+3.6ポイント（ベースライン34.7%）を確認した。一方、成功基準外の量の教師では有意な変化はなかった。層別解析では、一部の量のみを教師にすると教師対象の試行では改善するが対象外の試行で悪化する相補的劣化がstackで見られたが、全量教師では有意な劣化はなかった。
著者らは、各条件の学習シードが1つのみであること、補助損失の重み探索がstackのハンドのみに限定されること、凍結エンコーダでの再現実験がstackに限られV-JEPA 2では失敗したことを限界として挙げた。また、接触や把持など述語で定義される成功基準への拡張、実ロボットでの物体位置推定の必要性、成功率向上のメカニズム未解明、一部量のみの教師による劣化のメカニズム未解明が今後の課題とされた。加えて、評価はシミュレーションタスクのみで実機検証はなく、タスク数や学習シードも限定的である。コードの公開有無は論文では報告されていない。
本手法はテスト時の追加コストなしで既存の潜在世界モデルに組み込めるため、ロボット操作のモデルベースプランニングを開発・運用する企業（産業用ロボット、倉庫・物流、サービスロボットなど）が採用しやすい。ただし現状はシミュレーション評価のみで、実機導入には実ロボットでの検証、物体位置など成功基準量の計測手段の確保、複数シード・複数タスクでの再現性確認が必要である。成功基準が物理量で与えられるタスクであれば、1〜3年以内に実用化の可能性があるが、接触・把持など述語ベースの基準への対応は研究段階である。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。