성공률로는 안 보인다, LIBERO 입력 섭동이 VLA 성공 궤적의 행동까지 바꾼다

입력 섭동이 VLA 모델의 성공 궤적의 전형적 행동과 행동 일관성을 바꾸는가, 그리고 그런 행동 변화가 과제 성공률 변화에 반영되는가?

로봇 조작 벤치마크에서 VLA 모델의 강건성은 주로 이진 과제 성공률로 측정된다. 그러나 동일한 성공률을 기록해도 섭동 조건에서 성공 궤적의 동작 품질이 크게 저하될 수 있으며, 이는 기존 평가로는 드러나지 않는다.

LIBERO-Plus, LIBERO-PRO, Colosseum V2, RobustVLA 등은 조명, 카메라, 언어 지시, 배경 등 입력 섭동을 도입해 TSR 감소로 강건성을 평가했다. RoboEval, BEHAVIOR 등은 저크, 경로 길이 등 행동 지표를 제안했지만 섭동과 결합하지 않았다. 그래서 섭동이 성공 궤적의 행동에 미치는 영향은 평가되지 않았다.

벤치마크에 구애받지 않는 행동 강건성 평가 프레임워크를 제안하고, 이를 LIBERO와 LIBERO-Plus에 구현했다. 성공한 에피소드만 추출해 지속 시간, 총 그리퍼 이동량, 평균, P95 카르테시안 저크, 평균 관절 저크, 카르테시안, 관절 경로 길이를 계산한다. 기준 조건 대비 섭동 조건의 중앙값 백분율 변화와 MAD 변화를 Mann-Whitney U 검정과 Benjamini-Hochberg 보정으로 검증했다. π0.5, VLANeXt 전체 4개 스위트와 OpenVLA-OFT의 Spatial 스위트를 평가했다.

LIBERO-Spatial에서 카메라 섭동 시 π0.5와 VLANeXt의 TSR은 각 69.7%, 68.0%로 비슷했지만, π0.5는 지속 시간 중앙값 +22.5%(10/10 과제 유의), 평균 카르테시안 저크 +24.1%(7/10), 그리퍼 이동 +37.8%(9/10) 증가했다. 같은 조건에서 VLANeXt는 +4.2%, +3.2%, +2.5%에 그쳤다. OpenVLA-OFT는 Spatial 카메라 섭동에서 평균 카르테시안 저크가 +35.3%(10/10), P95 +68.7%(10/10) 증가했다. TSR 저하와 행동 변화 간 Spearman 상관은 총 그리퍼 이동 ρ=0.56, P95 카르테시안 저크 ρ=0.54, 지속 시간 ρ=0.52, 평균 카르테시안 저크 ρ=0.43, 평균 관절 저크 ρ=0.40으로 중간 수준이었다. 카메라 섭동은 모든 모델, 스위트에서 지속 시간, 평균 카르테시안 저크, 그리퍼 이동의 MAD를 증가시켜 성공 실행 일관성도 낮췄다. 기준은 과제당 50회, 섭동 조건은 대부분 변형당 2회(객체 섭동은 1회) 시뮬레이션 롤아웃에서 수집했다.

저자들은 높은 TSR을 가진 모델만 전체 평가하여 실패 궤적 분석은 제외했다고 밝혔다. 행동 지표는 과제 비특정적이라 반복 파지나 낙하 같은 의미적 사건을 정확히 진단하지 못한다. 평가는 LIBERO 시뮬레이션에 한정됐고 실물 로봇 검증은 없었다. OpenVLA-OFT는 Spatial 스위트만 평가됐다. 코드는 공개됐지만 물리적 배포로 일반화하려면 추가 검증이 필요하다.