PhysicsLENS: Diagnose von Blindheit gegenüber physikalischen Eigenschaften in Videogenerierungsmodellen
PhysicsLENS ist ein Preprint, der einen Benchmark und Datensatz vorstellt, um zu prüfen, ob generierte Robotervideos textuell vorgegebene, aus dem Startbild nicht erkennbare physikalische Eigenschaften umsetzen. Die Evaluation über 439 Clips von vier Videogenerierungsmodellen zeigt, dass 34 von 47 als plausibel bewerteten Clips die genannte Eigenschaft ignorieren. Damit wird klar, dass visuelle Plausibilität und physikalische Eigenschaftsbindung getrennt bewertet werden müssen, was für den Einsatz solcher Modelle als prädiktive Umgebungen im Roboterlernen zentral ist.
Können Videogenerierungsmodelle textuell spezifizierte physikalische Eigenschaften, die nicht aus dem Startbild ableitbar sind, in generierten Robotervideos korrekt umsetzen, und wie lässt sich diese Eigenschaftsbindung getrennt von visueller Plausibilität messen?
Bestehende Videogenerierungsmodelle erzeugen oft visuell plausible Robotervideos, die jedoch physikalische Regeln verletzen oder textuell vorgegebene latente Eigenschaften wie Masse, Reibung, Viskosität oder Verformbarkeit ignorieren. Aktuelle Benchmarks bewerten vor allem visuelle Qualität, Bewegungskonsistenz oder Aufgabenerfolg und können nicht feststellen, ob ein Modell die im Prompt genannten physikalischen Eigenschaften tatsächlich in die Interaktion übersetzt, da diese Eigenschaften aus einem Einzelbild häufig nicht ersichtlich sind.
Bisherige Ansätze wie VBench-2.0, VideoPhy-2, PhyGenBench oder WorldSimBench prüfen physikalische Plausibilität, visuelle Qualität oder Aufgabenadhärenz, trennen jedoch nicht zwischen sichtbaren und nur textuell spezifizierten Eigenschaften. Physion++ und ComPhy lassen Modelle versteckte Eigenschaften aus beobachteten Interaktionen erschließen, testen aber nicht die Umsetzung einer im Prompt vorgegebenen Eigenschaft in der Videogenerierung. T2V-CompBench prüft Attributbindung nur für sichtbare Merkmale. Zudem sind reine VLM-Richter bei physikalischer Plausibilität oft nur auf Zufallsniveau.
PhysicsLENS konstruiert 80 Startbilder aus öffentlichen Robotervideos und daraus 110 Prompts, davon 30 unobservable Varianten, die bei gleichem Bild und gleicher Aufgabe eine abweichende latente Eigenschaft in Textform vorgeben. Die sieben physikalischen Domänen sind Kollision, Schwerkraft, Impuls, Reibung, Deformation, Fluide und Kausalität. Mit vier Modellen (Wan 2.2, Cosmos 3 Nano, HunyuanVideo 1.5, MAGI 4.5B Distill) werden 439 Videos erzeugt und von Menschen hinsichtlich Plausibilität (P), Aufgabenerfüllung (A) und versteckter Eigenschaftsbindung (H) annotiert. Ergänzend kombiniert eine vierstufige automatisierte Pipeline Bewegungsmessungen mit gezielten VLM-Fragen.
Bei den 119 unobservable Videos wurden 47 als plausibel (P≥3) bewertet; 34 davon (72 %) folgten der genannten Eigenschaft nicht (H≤2). Ohne MAGI blieben 13 von 26 plausiblen Videos (50 %) ungebunden. MAGI erreichte die höchste mittlere Plausibilität (3,10) bei niedrigster Eigenschaftsbindung (1,10). Das Spezifizieren einer latenten Eigenschaft senkte die Plausibilität bei allen vier Modellen um 0,13 bis 0,38 Punkte; gepoolt betrug der Rückgang 0,28 (p=0,085). Der vollständige automatische Evaluator erreichte AUC 0,72 für Plausibilität, 0,81 für Aufgabenerfüllung, 0,73 für Verletzungserkennung und 0,71 für Eigenschaftsbindung. Das Hinzufügen von Bewegungssignalen zu einzelnen VLMs verbesserte die mittlere Plausibilitäts-AUC von 0,53 auf 0,61 und die Verletzungserkennung von 0,58 auf 0,72. Die versteckte Eigenschaftsbindung blieb schwer: Qwen3-VL-32B erreichte hier nur AUC 0,57; über alle zehn VLMs stieg die mittlere AUC mit Signalen von 0,57 auf 0,70.
Die Studie ist ein Preprint ohne Angabe einer Begutachtung. Sie verwendet nur 80 Startbilder und vier Modelle, erzeugt pro Prompt und Modell nur ein Video und kann daher keine Variabilität über Samplings abschätzen. Ein HunyuanVideo-1.5-Prompt lieferte kein verwendbares Video. Die menschlichen Annotationen sind nicht zeitlich lokalisiert, daher kann der automatische Evaluator nicht auf zeitliche Übereinstimmung geprüft werden. Die automatische Beurteilung der versteckten Eigenschaftsbindung bleibt mit AUC 0,71 begrenzt, und die Zuschreibung zu einer Physikfamilie ist bei mehreren gleichzeitigen Verletzungen schwierig. Eine Validierung auf realen Robotern oder mit mehreren Generierungsdurchläufen steht aus.
Für Anbieter von Videoweltmodellen und Robotik-Simulationsplattformen kann PhysicsLENS kurzfristig als Evaluationsbenchmark dienen, um zu prüfen, ob Generatoren textuell spezifizierte physikalische Eigenschaften umsetzen, statt nur visuell plausible Szenen zu erzeugen. Mittelfristig (1 bis 3 Jahre) könnte der Benchmark in Entwicklungszyklen integriert werden, um Modelle für robotisches Lernen, Planung und Evaluation auszuwählen. Voraussetzung sind eine Ausweitung auf mehr Modelle, mehrere Samplings pro Prompt, reale Robotervalidierung und die Verbesserung der automatischen Bewertung versteckter Eigenschaften.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.