VLA evaluation中級
ManiPhysicsBenchが物体保全を物理ベースで評価、既存VLAはタスク成功と安全成功に大きな差
ManiPhysicsBenchは、物体の材料特性と3DメッシュをまとめたManiPhysicsZooと、把持時の接触力から損傷閾値を計算するソルバー評価を組み合わせ、LIBEROとSimplerEnv上でVLAの物体保全を評価するベンチマークである。公開VLAチェックポイントを評価したところ、タスク成功率に対して安全成功率は大幅に低く、把持コマンドは全開か全閉に集中していた。物体固有の連続グリッパーラベルで再学習すると安全成功率は向上したが、タスク成功率は低下した。これはプレプリントである。