PhysicsLENSがロボット動画生成の「物理特性盲点」を診断、見た目の妥当性と指示追従は別問題

生成されたロボット動画の見た目の物理的妥当性が高い場合に、テキストで指定された外見からは分からない物理特性を実際に反映しているのか、またその特性を指定することが物理的妥当性にどう影響するのかを検証した。

動画生成モデルはロボット学習、計画、評価向けの予測環境として期待されるが、重さ、摩擦、粘性、変形性などの物理特性は初期フレームの見た目からは推測できず、同じ見た目でも特性によって取るべき挙動が変わる。既存ベンチマークは視覚的リアリズムやタスク成功、目立つ物理破綻を評価するが、テキストで指定された特性をモデルが実際に動作へ反映したかを判定できない。このため、一見妥当な動画が物理的に誤った挙動を示しても検出されない。

従来の動画生成ベンチマークは、視覚品質、時間的一貫性、モーションの妥当性、あるいは一般物体の常識物理を評価してきた。VideoPhy-2、PhyGenBench、Morpheusなどの物理系ベンチマークは物理現象のスコア化や実記録との比較を行うが、条件フレームから見える特性とプロンプトでのみ指定される特性を分離していない。VLM単独の物理判断も人間評価と一致しないことが知られ、GeoPhysなどは計測信号を併用する方向を示していた。ロボティクス向けのRoboGazeやRBenchも、視覚的品質やタスク追従、時間的な破綻検出に焦点を当てており、隠れた物理特性の追従を測る枠組みではなかった。

PhysicsLENSは、公開ロボット動画データセット11件から80枚の開始フレームを選び、110個のプロンプトを作成した。80シナリオは見た目と整合する観測可能条件、30シナリオは同じフレームとタスクのままテキストの物性記述だけを変化させた非観測可能条件である。物性は粘性で注ぐ10件、表面状態で拭く8件、弾性で変形7件、質量で押す5件を扱い、衝突、重力、運動量、摩擦、変形、流体、因果性の7領域で人による違反ラベルを付与した。Wan 2.2、Cosmos 3 Nano、HunyuanVideo 1.5、MAGI 4.5B Distillの4モデルで各プロンプト1本の動画を生成し、439本について人の物理的妥当性P、タスク完了A、隠れ特性追従Hを評価した。自動評価器は、最初の5秒のフレーム差分、オプティカルフロー、カメラ移動、DINOv2特徴変化などでスクリーニングし、カメラ移動除去後の点追跡で運動学量を計測し、10種のVLMに特定の物理誤りを問う4段階パイプラインを備える。計測信号とVLM回答を訓練分割で重み付けして統合する。

人による評価では、非観測可能119本のうち47本が物理的に妥当とされたが、その34本、72%が指定特性を満たさなかった。このうちMAGI 4.5B Distillは平均妥当性3.10と高い一方、平均追従1.10で、妥当なのに特性を無視した21本全てがMAGIによるものだった。MAGIを除いても残る26本中13本、50%が特性を無視した。逆に特性に従った28本のうち15本は物理的に非妥当と評価された。マッチド比較では、4モデル全てで非観測可能条件の平均妥当性が0.13から0.38低く、29シナリオのプール平均で0.28低下したが、p=0.085で統計的有意ではなかった。ペア単位では40件で低下、26件で上昇した。自動評価では、10種のVLMと計測信号を組み合わせたPhysicsLENSフルが、妥当性AUC 0.72、タスク完了AUC 0.81、違反検出AUC 0.73、隠れ特性追従AUC 0.71を達成した。信号を加えると個別VLMの平均妥当性AUCは0.53から0.61へ、違反検出は0.58から0.72へ、タスク完了は0.71から0.76へ、特性追従は0.57から0.70へ改善した。ただし隠れ特性の判定は難しく、最も高い妥当性AUCを持つQwen3-VL-32Bでも特性追従AUCは0.57だった。違反の原因となる物理ファミリーの特定も、流体を除く多くのファミリーでAUC 0.53から0.58にとどまった。

著者らは、この研究を80枚の初期フレームと4つの動画生成モデルに限定し、各プロンプトとモデルの組み合わせで1本のみ生成したため、生成シードによるばらつきを推定していないと述べている。自動評価器についても、隠れ特性追従のAUCが0.71に達しても特定の特性が実現されたかを確立するには不十分であり、違反の物理ファミリー帰属は困難だとしている。コードやデータセットの公開状況は論文中に明記されていない。評価は生成動画の人手評価と自動評価であり、実機ロボットでの検証は行われていない。