VLA evaluation进阶
ManiPhysicsBench 基准揭示 VLA 操作中任务成功与物体保全存在巨大鸿沟
这是一篇预印本。研究者提出 ManiPhysicsZoo 物体库和基于物理求解器的评估方法,据此构建 ManiPhysicsBench,在 LIBERO 和 SimplerEnv 上评估 VLA 模型的物体保全。结果显示公共 VLA 检查点任务成功率高但安全成功率低,安全成功率平均仅为 13.5%(SimplerEnv)和 1.9%(LIBERO)。重训练使用物体特定连续夹爪标签后安全成功率提高,但任务成功率下降。