VLA evaluationFortgeschritten
ManiPhysicsBench: Physikbasierte Bewertung der Objektschonung bei VLA-Manipulation
Das Preprint stellt ManiPhysicsBench vor, ein Benchmark, das mit der Objektbibliothek ManiPhysicsZoo und einer löserbasierten Schadensbewertung prüft, ob VLA-Modelle Objekte beim Manipulieren erhalten. Öffentliche VLA-Checkpoints erreichen im Mittel nur 13,5 % Safe Success bei 48,3 % Task Success auf SimplerEnv; auf LIBERO liegen die Werte bei 1,9 % und 12,3 %. Damit zeigen gängige Modelle Aufgaben erfolgreich, greifen aber empfindliche Objekte oft mit Kräften, die Schäden verursachen würden.