ActiveWAM、証拠保持と取得を両立する能動視覚世界行動モデル

能動視覚操作において、有限の観測履歴内でタスクに重要な視覚証拠を保持しながら、次に取得すべき視覚証拠をカメラ制御で選ぶ保持・取得問題を、単一の世界行動モデルで学習できるか。

能動視覚操作では、カメラを動かすと新たな証拠が得られる一方、既に観測済みのタスク重要手がかりが観測窓から外れる。逆に視点を保つと有益な観測を得る機会を逃す。既存手法は観測制御と操作を分離しており、この保持・取得のトレードオフを共同推論できない。

従来はAV-ALOHA、TAVIS、AVRなどが能動カメラの評価を提供したが、方策は視線を逆運動学で分離するか、テスト時に視点探索を行うSee2Actなどであり、観測と操作の結果を同時に推論できなかった。Stem-OBは観測反転を用いるが単一の現在観測を対象とし、履歴内のどの証拠を保持すべきか指定しない。Fast-WAMやEasyWAM-Unifiedは世界行動モデルだが能動視覚を扱わない。

ActiveWAMは、凍結したWan T2Vビデオ事前モデルを使う訓練時履歴反転を導入し、タスクに関連するテキストスパンへの注意重みと可視時間変化の対応を制約として、元の行動・未来映像ターゲットを保ったまま視覚履歴を変換する。カメラID、姿勢、露光時間、有効性を含む視点認識履歴アダプタで履歴を要約し、現在RGBとともに単一のDiTベース生成器に入力する。行動生成は双腕とパン/チルトの増分を同一ベクトルで出力し、未来映像予測は共訓練信号としてのみ使う。展開時は生の観測履歴から1回の推論で頭部と腕の行動を生成し、オンライン反転や候補ランキング、最適視点アノテーションを必要としない。

TAVISでは、Head/GR1T2の空間OODで47.0±1.0%を達成し、最も強い既存ベースライン（Fast-WAMとEasyWAM-Unifiedの30.0%）を17.0ポイント上回った。初期姿勢OODでもHead/Reachy2で31.3±1.5%となり、既存の20.7%から10.6ポイント改善した。RoboTwin-AVでは50タスク、3シード、各条件100エピソードで評価し、複合シフトで53.3±1.5%を達成してFast-WAMの33.3±1.2%を20.0ポイント上回った。クリーン条件は80.3±2.1%、外観シフト60.7±0.6%、視点シフト65.0±3.0%だった。実機キッチン3タスク（キュウリ、卵、混合）では各20試行、合計60試行中、ActiveWAMはステージ1成功率66.7%、全タスク成功率50.0%を達成し、Fast-WAMの48.3%、23.3%を全タスクで26.7ポイント上回った。履歴反転と頭部制御の交互作用は複合シフトで約5.0ポイントと報告された。

著者らは固定焦点距離の頭部、短い履歴ウィンドウ、人間が指示するステージ切替を限界として挙げた。実機評価は各タスク20試行と小規模であり、コード公開の有無は論文では報告されていない。推論はNVIDIA RTX 4090 GPUで約165 ms、有効制御周波数は約15 Hzと報告された。本論文はarXivプレプリントであり、査読済みではない。