XGenActが深度・法線・機能セグメンテーションを画像空間に統合しRLBench平均成功率52%

世界行動モデルがRGB動画と行動だけでなく、深度・法線・機能セグメンテーションを同一の生成空間でクロスタスク学習すれば、空間理解と行動生成を同時に改善できるか。

ロボット操作には3次元空間の理解が不可欠だが、従来の世界行動モデルはRGB動画と行動の時間予測に集中し、明示的な幾何・意味情報を扱わないため、物理的相互作用に必要な空間構造を捉えられない。深度などを補助分岐で追加する手法もあるが、対象となる空間タスクが断片的で、アーキテクチャも分散している。

既存の世界行動モデルは、PADやGeoSem-WAM、DreamWAMなどが深度や幾何特徴を補助ヘッドや分岐で導入したが、モダリティ固有の学習済みヘッドや損失が必要で、表面法線や機能領域まで統合する例は少ない。SA-WAMはRGBと深度を同じ潜在系列で扱うが、行動は専用位置に固定され、テンプレートもRGB・深度・行動に固定される。Action Imagesは行動をRGB動画として表現するが、幾何認識は含まない。

XGenActはAction Imagesの画像空間を拡張し、RGB観測、7自由度行動、計量深度、表面法線、機能役割セグメンテーションをすべて決定的コーデックでRGB動画に変換する。深度は単調べき乗変換でRGB経路にマッピングし、法線は単位ベクトルをRGBへ直接写像、セグメンテーションは役割ごとに固定色を割り当てる。学習時はサンプルごとに1つの知覚モダリティと2視点の行動ストリームをテンプレートとして選択し、条件付けプランで観測範囲を変える。全テンプレートが凍結VAE、拡散Transformer、出力ヘッド、フローマッチング損失を共有し、モダリティ固有ヘッドや補助損失を持たない。Wan2.2-TI2V-5BをAction Imagesチェックポイントから微調整する。

外部比較では、16タスクのRLBenchツリーで微調整し、未見5タスクを各20試行で評価したところ、XGenActは平均52%を達成し、最強ベースラインのπ0.5とVLANeXtの26%を上回った。close drawer 100%、close microwave 60%、close laptop 40%で最高。メニューアブレーションでは、RGBのみの平均32.50%に対し、RGB+N+Sが61.25%と28.75ポイント改善したが、RGB+D+N+Sは58.75%と単調ではない。直接生成とRGB→専門家の比較では、深度AbsRelが0.28〜0.33 vs 0.41〜0.43、セグメンテーションmIoUが0.42〜0.49 vs 0.22〜0.24、法線はほぼ同等、RGB LPIPSは0.39から0.40〜0.43へわずかに悪化した。評価はシミュレーションのRLBenchのみで、実機はない。

著者は最適な訓練メニューがタスク依存で、適応的なタスクバランシングが必要と述べている。評価はRLBenchシミュレーションのみで実機検証はなく、外部比較は5タスク・各20試行、知覚評価は4タスクと小規模である。複数の知覚ストリームを足すと競合し、RGB+N+Sに深度を加えると平均が下がる。コード公開の有無は論文では報告されていない。