Dream4ACT、複数ロボットで共有する視覚的アクション表現を導入した映像アクション世界モデル
Dream4ACTは、異なる関節構成を持つロボットの目標関節状態を固定形状の多視点画像群であるアクションビューとして表現し、映像拡散モデルでRGB観測と統合学習するプレプリントである。RoboTwin 2.0では平均88.98%の成功率、TriWorldBenchでは65.66点を達成し、4種類の実機プラットフォームで同一チェックポイントによる操作を報告した。学習済みのロボット固有アクションデコーダを不要にする点が重要である。
異種ロボットの関節空間を固定形状の視覚表現へ写像し、学習済みのロボット固有アクションデコーダなしで実行可能な関節目標を復元しながら、映像生成と制御を単一モデルで共有できるか。
既存の統合映像アクションモデルは、関節ベクトルが空間構造を持たずロボットごとに次元が異なる、エンドエフェクタの視覚表現は逆運動学や学習済みデコーダで関節目標へ変換する必要がある、カメラ位置合わせ型レンダリングは物理カメラの外部パラメータ校正に依存するといった課題を抱える。
UVAやUWM、Pelican-Unify 1.0などの統一映像アクションモデルは関節ベクトルや独立したアクションデコーダを用い、SpatialVAMやAction Imagesはエンドエフェクタ姿勢を画像化するが学習済み回転・把持デコーダを必要とした。BridgeV2WやGeniWorldは観測視点に合わせたURDFレンダリングで映像予測を条件付けるため、物理カメラの外部パラメータ校正が必要だった。
Dream4ACTはURDFベースの順運動学と固定仮想カメラ4台による多視点レンダリングで目標関節構成をアクションビューとして画像化し、異なる関節次元を固定形状のテンソルへ統一する。Wan2.2 VAEと拡散トランスフォーマを共有し、Qwen3.5-VL 9Bから得た指示条件付き特徴をクロスアテンションで注入し、マスク付きフローマッチングで順動力学、逆動力学、関節生成の3モードを学習する。生成されたアクションビューは、URDF関節制約下でIoUとChamfer距離を最小化する訓練不要のGauss-Newton最適化により関節目標へ復元する。
RoboTwin 2.0では、50タスク各100試行の評価でクリーン90.50%、ランダム化87.46%、平均88.98%だった。これはπ0.5の平均79.80%を上回り、Motusの87.80%よりわずかに高く、LingBot-VAの92.20%とFast-WAMの91.80%より低い。5実施形態を共同訓練した同一チェックポイントは31タスクでAloha-Agilex 82.19%、Piper 81.94%、ARX-X5 81.23%、Franka-Panda 63.48%、UR5-Xsg 30.97%だった。実機ではAloha-Agilex、TienYi2.5 Pro、Franka Research 3、UR5eの共通2タスクでそれぞれ87.5%、85.0%、87.5%、90.0%を達成し、双腕2機種の4タスク平均は61.3%と66.3%だった。TriWorldBenchでは総合65.66点で、比較対象BWMの65.54点と同等、P3D 61.30、MQ 41.66、TC 64.88で最高値を報告した。DROIDの50軌道によるアブレーションではPSNR 24.33dB、SSIM 0.906、LPIPS 0.093で、カメラ整列骨格条件付けの23.19dB、0.899、0.105を上回った。
論文に明示的な限界節はない。評価上の明らかな限界として、同一チェックポイントの成功率はロボット間で大きく異なり、特にUR5-Xsgは30.97%と低い。実機評価は4プラットフォーム、共通2タスク各20試行、追加双腕2タスクのみで、タスク多様性と試行数は限られる。TriWorldBenchは事前学習済みチェックポイントの順動力学モードによる評価で、ベンチマーク向け追加学習は行っていない。実機での安全性検証やより広い環境での一般化は報告されていない。
産業用ロボット、ヒューマノイド、双腕ロボットを扱う企業が、異なる関節構成のロボット群を単一モデルで制御する用途に使える。同一チェックポイントで複数機種を操作できるため、マルチエンボディメント制御基盤として現在から1〜3年程度での応用が見込まれる。実用化にはURDFと順運動学レンダリングが可能なこと、関節制御可能なロボットであることが前提で、実機での安全・信頼性評価、高難度タスクでの成功率向上、計算コストと推論速度の改善が必要である。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。