WorldOracle：行動条件付き世界モデルを実機の実行結果と照合するベンチマーク

同じ初期画面と同じ低レベル行動列を与えたとき、行動条件付き世界モデルは失敗を含む実機の実行結果を、機体をまたいで、数秒ではなく数分単位で正しく予測できるかを問う。

映像生成モデルを、ロボットの行動に応じた場面の変化を予測する行動条件付き世界モデル（ACWM）に転用する研究が増えている。実機の時間を使わずに学習データを作り、方策を検証できるとの期待からだ。だが映像がもっともらしくても結果が正しいとは限らない。論文冒頭の例では実際のグリッパーが果物をつかみ損ねたのに、モデルはつかむ場面を描いた。既存のベンチマークは画質や文章指示の達成、シミュレーション内での実行可能性を見るもので、失敗を含む長い実機実行と行動条件付き予測を直接突き合わせたものはなかった。

一般的な映像ベンチマークは画質や制御性、物理的なもっともらしさを評価する。EWMBench、PAI-Bench、WoW-World-Eval、RBenchなどのロボット向けベンチマークは、具体的な行動軌跡ではなく画像とタスク指示を条件とする。WorldArenaとWorldArena 2.0は世界モデルをデータ生成器や方策評価器、計画器として試すが主にシミュレーター内で行い、RoboWM-Benchは生成映像から抽出した行動を実環境を模したシミュレーションで再生する。

WorldOracleは記録した実機の行動軌跡を各モデルにオープンループで再生させ、出力映像を実映像と4つの指標で比べる。物理状態の正しさ（操作の試行が終わるたびに「緑のカップがグリッパーにつかまれている」などの注釈条件をVLMが判定）、相互作用の空間整合（SAM3で切り出したアームや手、物体領域でのDINOv3特徴照合）、主要相互作用領域の忠実度（その領域内だけでPSNR、LPIPS、V-JEPA類似度を測定）、頭部と両手首カメラ間の多視点行動一貫性である。果物の把持、タオル掛け、注水、引き出し開けという物理特性の異なる4タスクと、AgiBot G2、双腕のYAMステーション、人の手の3種類の身体を扱う。新たに集めたG2学習データは約1分のエピソード1779本で失敗区間は約20%、評価データは約2分のG2 100本、YAM 75本、人の手100本で失敗が約40%を占める。π0.5方策が実機G2を動かした60本も加え、ためらいや修正動作を含む別の行動分布を試した。スコアは最初の30秒と全体に分けて示す。

指標による順位は一対比較で人の判断と88.1〜93.2%一致し、スピアマン相関は0.72〜0.82だった。7モデル（IRASim、Ctrl-World、DreamDojo、Cosmos 3 Nano、GE-Sim 2.0、JointControlVideo、OSCAR）のうち、G2ではGE-Sim 2.0が単視点総合スコアで最初の30秒73.86、全体63.33と首位だった。同じ区間でDreamDojoは50.56から27.08へ、Cosmos 3は53.99から26.60へ低下した。GE-Sim 2.0は空間整合でもG2の81.40と73.49、YAMの74.97と59.78で両機体とも首位、方策実行データでは78.70だった。ただしG2全体では多視点一貫性96.96に対し、物理状態の正しさは60.26、主要領域の忠実度は56.24にとどまった。アームの動きは合っても、把持や接触、最終結果はしばしば外れたことを示す。G2の4タスク平均単視点スコアはGE-Sim 2.0が73.9、2位が54.0だった。

査読前のプレプリントである。著者らは3種の身体間の比較は統制実験ではないと明記している。G2向けモデルはベンチマーク独自の学習データで、YAMは公開データABC-130Kで適応させたため差が大きく、人の手は追加学習なしで評価した。モデル設計とスコアの関係も因果ではなく仮説として示した。首位のGE-Sim 2.0はAgiBot側のモデルで、その論文と本ベンチマークの著者は一部重なり、G2もAgiBot自社の機体で学習データも本試験用に作られた点から、独立した検証が求められる。物理の正しさはVLMの判定に依存し、卓上の4タスクは工場や家庭の作業のごく一部にすぎない。データやコード、リーダーボードは公開予定とされるが、まだ出ていない。