Erfolgsrate allein genügt nicht: Verhaltensrobustheit von VLA-Modellen in Tabletop-Manipulation
Das Preprint schlägt ein benchmark-agnostisches Evaluierungsframework vor, das die Behavioural Robustness von Vision-Language-Action-Modellen über die Task Success Rate hinaus anhand von Trajektorienmetriken misst. Die Analyse auf LIBERO und LIBERO-Plus mit drei State-of-the-Art-Modellen zeigt, dass Eingabeperturbationen das Verhalten erfolgreicher Trajektorien erheblich verändern können, obwohl die TSR ähnlich bleibt. Das verdeutlicht, dass TSR allein die Auswirkungen von Störungen auf die Ausführungsqualität maskieren kann.