PhysicsLENS, 로봇 비디오 생성 모델이 숨은 물리 성질을 무시하는 '물리 성질 맹점' 확인

생성된 로봇 비디오가 겉보기에 그럴듯하더라도 프롬프트에 명시된 숨은 물리 성질을 실제로 따르는지 어떻게 진단할 수 있는가?

로봇 학습과 계획에 쓰이는 비디오 생성 모델은 그럴듯한 영상을 만들면서도 무게, 마찰, 점성처럼 한 장면에서 보이지 않는 물리 성질을 무시할 수 있다. 기존 벤치마크는 시각적 사실성이나 과제 성공만 평가해 이런 '물리 성질 맹점'을 잡아내지 못한다.

기존 물리 벤치마크인 VideoPhy-2, PhyGenBench, RoboGaze 등은 대부분 시각적 품질, 시간적 일관성, 운동 타당성 또는 과제 성공에 초점을 맞췄다. 일부는 물리 위반을 평가하지만 초기 프레임에서 관찰 가능한 성질과 프롬프트로만 주어지는 숨은 성질을 구분하지 않아, 모델이 장면의 겉모습만 보고 움직였는지 텍스트 조건을 따랐는지 알 수 없었다.

PhysicsLENS는 같은 초기 프레임과 과제를 유지한 채 장면 설명만 바꾸는 쌍 시나리오를 구성했다. 관찰 가능 조건과 관찰 불가능 조건을 비교해, 보이지 않는 점성, 표면 상태, 탄성, 질량 같은 성질을 텍스트로 지정했을 때 생성 영상이 이를 따르는지 평가한다. 80개 관찰 가능 시나리오와 30개 관찰 불가능 변형을 만들어 Wan 2.2, Cosmos 3 Nano, HunyuanVideo 1.5, MAGI 4.5B Distill 4개 모델로 439개 클립을 생성했다. 사람 평가와 함께 모션 측정과 표적 VLM 질문을 결합한 4단계 자동 진단 파이프라인을 제공하며, 충돌, 중력, 운동량, 마찰, 변형, 유체, 인과의 7개 물리 영역을 다룬다.

관찰 불가능 시나리오 119개 중 사람 평가에서 47개가 물리적으로 타당(P≥3)했지만 그중 34개(72%)가 지정된 성질을 따르지 않았다(H≤2). MAGI 4.5B Distill은 평균 타당성 3.10으로 가장 높았지만 평균 성질 준수는 1.10으로 가장 낮았고, 타당하면서도 성질을 무시한 34개 중 21개를 차지했다. MAGI를 제외해도 타당한 26개 중 13개(50%)가 성질을 무시했다. 성질을 명시하면 모든 모델에서 평균 타당성이 0.13~0.38점 낮아졌지만 전체 평균 0.28점 감소는 p=0.085로 통계적으로 유의하지 않았다. 자동 평가 파이프라인은 전체 타당성 AUC 0.72, 과제 완료 AUC 0.81, 위반 검출 AUC 0.73, 숨은 성질 준수 AUC 0.71을 기록했다. 개별 VLM은 표준 질문에서 우연 수준에 가까웠으나 물리 오류 질문으로 Qwen3-VL-32B가 관찰 가능 영상에서 타당성 AUC 0.75, 관찰 불가능 영상에서 0.76을 보였다. 다만 이 모델의 숨은 성질 준수 판단 AUC는 0.57에 그쳤다.

저자들은 80개 초기 프레임과 4개 생성 모델에 집중했으며 프롬프트와 모델 조합당 한 번만 생성해 시드 변동성을 추정하지 못했다. 숨은 성질 유형은 점성, 표면 상태, 탄성, 질량의 4가지에 그쳤고, 자동 평가의 숨은 성질 판단 AUC는 0.71로 여전히 제한적이며 위반 패밀리 귀속도 어렵다. 이 논문은 프리프린트로 동료 심사 여부가 확인되지 않았다.