VLA evaluation중급
KAIST, 물체 손상까지 평가하는 VLA 조작 벤치마크 ManiPhysicsBench 공개
KAIST 연구팀이 VLA 모델이 물체를 손상시키지 않고 조작 과제를 끝내는지 평가하는 ManiPhysicsBench를 프리프린트로 공개했다. ManiPhysicsZoo의 91개 객체 자산과 물리 솔버 기반 평가로 LIBERO와 SimplerEnv에서 공개 VLA 체크포인트를 시험한 결과, 평균 과제 성공률 48.3% 대비 안전 성공률은 13.5%에 그쳤다. 그리퍼 지시를 객체별 연속 값으로 다시 학습시키자 안전 성공률은 올랐지만 과제 성공률은 낮아져 보존과 성공의 균형이 과제로 남았다.