WAMの展開後学習DEWO、成功と失敗の視覚的将来から世界モデルを更新し器用操作を改善

展開後の経験から、行動模倣を超えて世界モデルの予測表現を更新し、器用操作の実行時行動生成を改善できるか、という問いに答える。

既存の展開後学習は直接的な行動教師や価値ベースRLで行動を改善するが、世界予測を改善しない。特に器用操作では小さな行動誤差が接触を変え、高次元行動空間で誤差が複利化し、WAMの学習分布外へ外れる。このため行動生成と予測表現の両方が未知インタラクションに直面し、適応が困難になる。

従来のSFT、RECAP、DSRLは主に行動模倣または価値推定で政策を更新する。WAM向けでもWAM-RLは成功ロールアウトのみを使い、FACTは失敗ロールアウトの動画と進捗を使うが、行動模倣は成功のみに制限する。これらは類似の接触から異なる物理的将来が分岐する点を明示的に抽出せず、実行時に成功条件で選択的に介入する仕組みもない。

DEWOはリプレイ探索で失敗ロールアウトからinteraction turning pointsを特定し、同じ文脈から成功継続と失敗継続を収集する。成功継続は視覚予測と行動模倣を、失敗継続は視覚予測のみをそれぞれ成功条件と失敗条件の下で学習する。これに加えて成功経験のベース条件リプレイとラベルドロップアウトを行い、同一パラメータ内にベース行動予測と成功条件付き行動予測の2分岐を用意する。推論時はビデオ表現上の価値ヘッドがタスク進捗を推定し、直近の計画決定で進捗が停滞した場合のみ分類器フリーガイダンスを有効化する。WAMのネイティブな視覚予測損失を使うため、アーキテクチャを大きく変えずに導入できる。

シミュレーションでは5つのDexJoCoタスク（Water Plant、Fold Glasses、Hammer Nail、Pick Bucket、Pinch Tongs）を各チェックポイントにつき3組の50シーンで評価した。FastWAMでは初期80.7%に対しDEWOが82.3%、SFTは76.1%、RECAPは76.8%、DSRLは76.5%だった。FACTでは初期64.5%に対しDEWOが81.2%、SFTが70.1%だった。π0.5では初期69.5%に対しSFT 63.9%、RECAP 69.6%、DSRL 64.3%だった。予測と行動の結合方式ではJointが初期81.9%からDEWOで86.7%、IDMが82.1%から84.0%、FastWAMが80.7%から82.3%に向上した。事前学習済みコンポーネントからDEWO目的で構築したDEWO-Sは平均89.9%を達成した。実機ではWujiとSharpaの2ハンドで水筒、テープ、消しゴム、テニスボールの把持配置を3×3グリッド、各セル10試行で評価した。プールした全グリッド成功率はR0の20.6%（148/720）からR2で28.9%（208/720）に向上し、Wujiは18.9%から26.7%、Sharpaは22.2%から31.1%に向上した。初期に少なくとも1回成功した29セルでは51.0%からR1の72.1%、R2の71.7%に向上し、オフセンターセルでは40.0%から65.7%、65.2%に向上した。初期に一度も成功しなかった43セルは改善しなかった。アブレーションでは、成功行動のみの教師（A）に成功視覚（V+）を加えるとWater Plantで86.7%から88.7%、Fold Glassesで72.0%から74.0%に向上し、さらに失敗視覚（V-）を加えるとそれぞれ90.7%、77.3%に向上した。検証用ビデオ予測損失は行動のみの学習に対し、全視覚教師でWater Plantでは32.7%、Fold Glassesでは17.8%低下した。同一データ量と予算で臨界経験は全軌道よりWater Plant 90.7%対89.3%、Fold Glasses 77.3%対74.0%と成功が高かった。価値ゲート付きガイダンスはWater Plantで90.7%、Fold Glassesで77.3%に対し、ガイダンスなしは86.7%、73.3%、連続ガイダンスは78.0%、52.0%だった。

著者が述べる限界として、シミュレーションのリプレイ探索は有限サンプリングに依存し、サンプル成功がゼロでも物理的に回復不能とは限らない。実機では状態復元の代わりに人間の検査とタスク関連シーンの復元が必要で、自動化されていない。実機評価は初期成功セルでの信頼性向上にとどまり、初期成功ゼロの43セルは改善しなかった。実機は2ハンドと4物体の固定セットアップであり、タスク多様性は限られる。論文ではコード公開や査読の有無は報告されていない。