進捗座標付き視覚サブゴールで長期制御を強化する世界行動モデルProWAM

世界行動モデルにおいて、高価な密な動画ロールアウトを使わずに、長期タスクのための中間視覚ガイダンスを明示的に与えられるか。

既存の世界行動モデルには、密な未来動画を生成して行動を条件付けるフル想像型と、未来視覚を全く使わないゼロ想像型の間にトレードオフがある。単一エンドポイントを予測するImageWAMは中間経路を表現できず、長期タスクや分布外環境で行動がドリフトしやすい。

フル想像型WAMのDreamZeroなどは密な動画ロールアウトを行動条件に使うが、複数回の動画デノイジングで計算コストが高い。ゼロ想像型WAMのFast-WAMなどは視覚予測なしで動作するためリアルタイムだが長期的な視覚予見がない。ImageWAMは最終フレームのみを予測し、中間の進捗ガイダンスを持たない。

ProWAMはWan2.2-TI2V-5Bを動画バックボーンとし、動画生成エキスパートと軽量な拡散行動エキスパートからなる混合トランスフォーマーアーキテクチャを採用した。進捗座標r∈[0,1]で正規化されたk個の視覚サブゴールを動画潜在系列に付加し、進捗条件付き変調と非対称アテンションで行動情報が視覚経路に入らないようにする。まず大規模な行動なし動画で動画専門家のみを事前学習し、次にロボットデモで視覚と行動を同時微調整する。推論時は1回の動画専門家評価でサブゴール特徴をキャッシュし、行動デノイジングで再利用する。これにより動画専門家の順伝播を毎回のデノイジングから1回に減らす。

LIBEROではProWAMが98.8%、ProWAM-Baseが99.2%と飽和し、ゼロショットLIBERO-PlusではProWAMが85.8%で新たな最高性能、ProWAM-Baseは80.3%に低下した。RoboTwinの乱化条件ではProWAMが75.7%（Clean 85.8%）を達成し、従来最強のMV-WAMの乱化55.7%を20.0ポイント上回る。動画事前学習を除くと乱化が67.4%に下がり、Clean 87.6%と同等だった。RoboCasa365では全体48.1%、Composite-Unseen 18.2%で、表では4位に入った。DROIDで学習したモデルをFranka実機で評価した4つのゼロショットタスクでは、ProWAM 5Bが平均70.0%を達成し、DreamZero 14Bの55.0%とπ0.5 3Bの50.0%を上回った。特に空間配置タスクで100.0%を記録した。計算コストは、16アクションチャンク生成時に同時デノイジングの115.5 TFLOPs・581msに対し、サブゴールキャッシュでは18.7 TFLOPs・313msに削減された。サブゴール数k=4で乱化OOD 75.7%、k=1でも73.8%を達成し、Fast-WAMの6.3%を大きく上回った。

著者は、単一パスで生成したサブゴールに視覚アーティファクトが残り、タスクに関係する幾何情報の誤りが把持や配置の失敗につながる可能性を示した。実機評価はFranka1台、4タスクのみで、試行回数や環境の多様性は本文に記載がない。コード公開の有無も報告されていない。また本論文は査読済みではなく、シミュレーションの特定ベンチマークと限られた実機条件に基づく結果である。