MEKAWIRE
进阶arXiv

PhysicsLENS 揭示视频生成模型“物理属性盲区”:看似合理实则忽略隐藏物理条件

Isaiah Milkey, Som Sagar, Aditya Taparia, Xinyuan Liu, Jiqing Wen, Ransalu Senanayake
30 秒速读

PhysicsLENS 是一个新基准,通过匹配场景对评测机器人视频生成模型是否遵循文本指定的隐藏物理属性。在 4 个模型生成的 439 个视频中,47 个被人工评定为物理合理,其中 34 个(72%)未遵循指定属性;同一模型在隐藏属性条件下物理合理性平均下降 0.28 分,但不显著。该工作说明视觉合理性与属性遵循必须分开评估,对机器人世界模型可靠性有重要意义。本文为 arXiv 预印本,未经同行评审。

研究问题

视频生成模型能否遵循文本指定的、无法从初始帧推断的物理属性,并且视觉合理性是否等同于属性遵循?

问题

机器人视频模型可能生成看似合理但违反物理或忽略指定物理属性的视频,现有基准主要评估视觉质量、运动合理性或任务成功,无法检测模型是否真正理解文本中隐藏的物理属性(如质量、摩擦、黏度),导致模型在机器人学习与规划中的可靠性存疑。

既有方法

此前方法包括通用的视觉质量基准、可观察物理基准、与真实实验对比的物理基准,以及使用视觉语言模型(VLM)直接判断物理合理性。但均未将初始帧中不可见的属性与可见属性分开评分;VLM 判断在物理问题上接近随机,且容易受视觉外观影响。

新方法

PhysicsLENS 构建匹配场景对:同一初始帧和任务,仅改变文本场景描述中的隐藏物理属性,覆盖黏度、表面状况、弹性、质量四类不可见属性,共 110 个提示(80 个可观察、30 个不可观察),来自 11 个公开机器人数据集,场景覆盖碰撞、重力、动量、摩擦、变形、流体、因果七个物理域。用 Wan 2.2、Cosmos 3 Nano、HunyuanVideo 1.5、MAGI 4.5B Distill 生成 439 个视频。人工标注包含物理合理性、任务完成、隐藏属性遵循三个 1-4 分维度。自动化评估结合运动测量、对象跟踪与定向 VLM 问题,输出带证据的违规报告。

结果

在 119 个不可观察属性视频中,47 个被人工评为物理合理(P≥3),其中 34 个(72%)未遵循指定属性(H≤2);剔除 MAGI 后,剩余 26 个合理视频中 13 个(50%)忽略属性。28 个遵循属性(H≥3)的视频中,15 个被评为物理不合理(P≤2)。匹配对比显示,所有四个模型在不可观察条件下平均合理性下降 0.13 至 0.38 分,汇总下降 0.28 分,p=0.085,不显著。自动化评估上,PhysicsLENS 完整管线 AUC:整体合理性 0.72、任务完成 0.81、违规检测 0.73、隐藏属性遵循 0.71;Qwen3-VL-32B 使用针对性物理错误问题后,可观察视频合理性 AUC 从 0.55 提升至 0.75,不可观察从 0.57 提升至 0.76,但隐藏属性遵循 AUC 仅 0.57。

局限

研究固定 80 个初始帧和四个模型,每个提示-模型仅生成一次视频,未评估种子变异。自动化评估对隐藏属性遵循和违规家族归因仍困难,违规归因 AUC 多数接近随机(0.53-0.58),仅流体达 0.82。MAGI 生成视频常近乎静止,导致高合理性评分但未体现属性影响。本文为预印本,未经同行评审;正文未明确说明代码与完整数据是否全部公开。

产业影响

机器人视频世界模型、仿真数据生成与评估工具开发商可直接用此基准测试模型对隐藏物理属性的遵循能力。未来 1 至 3 年,若视频生成模型被用作机器人策略训练或规划仿真器,需将属性遵循作为单独指标,并改进模型对文本物理条件的约束能力。前提是基准扩展到更多场景、更多模型并验证生成种子的一致性。

受许可协议限制,本站不转载该论文全文,仅提供摘要和原文链接。