MIT, VLA 로봇이 어떤 시각 오류부터 고쳐야 할지 알려주는 모델 개발… 오차 VLM의 3분의 1

여러 시각 오류가 동시에 VLA 정책을 방해할 때 무엇부터 제거해야 하며, 그 제거로 이번 작업의 실패 위험은 얼마나 줄어드는가?

VLA 정책은 카메라 문제에 취약하다. 논문은 시점 변화로 OpenVLA의 성공률이 76.5%에서 1.1%로 떨어진 사례를 인용했다. 안개나 흐림이 평균적으로 해롭다는 사실만으로는 지금 이 순간 문제가 되는지 알 수 없고, 이를 직접 재려면 오류 유무를 바꿔 가며 반복 실행해야 해 시간이 들고 장비 손상 위험도 있다.

기존에는 오류 존재 여부를 탐지하거나, 과거 데이터의 오류 조합별 평균 실패율을 쓰거나, 범용 시각언어모델에 판단을 맡겼다. 어느 방법도 특정 정책에서 특정 오류를 없앨 때의 효과를 상황별로 추정하지 못한다.

분해형 위험 모델은 장면과 오류를 서로 다른 잠재 표현으로 학습한다. 장면 표현은 고정하고 오류 표현만 바꿔 특정 오류를 없앴을 때 실패 위험이 어떻게 변할지 예측하므로, 깨끗한 짝 이미지나 추가 실행이 필요 없다. 고정된 SigLIP 이미지 인코더가 가장 좋았고 정책 내부 접근이 필요 없어 블랙박스 정책도 감시할 수 있다.

정책당 2500회 실행한 LIBERO 실험에서 단일과 복합 오류 귀속 평균절대오차는 OpenVLA 0.095와 0.101, pi0.5 0.019와 0.064였다. 조건별 추정 오차는 0.09와 0.05로, 최신 VLM 기준선(GPT-5.6 Terra, GPT-5.6 Sol, Claude Opus 5를 시험)의 0.30과 0.32보다 크게 낮았다. 실제 로봇에서는 안개와 어둠을 우선 수정 대상으로, 방해 물체는 낮은 순위로 평가했다.

프리프린트 단계다. 오류는 연구진이 정한 시각 효과 목록에 한정되고, 하드웨어 실험은 프랭카 한 대의 집기 작업뿐이며, 모델은 수정을 권고할 뿐 직접 실행하지 않는다. 새로운 유형의 오류는 탐지만 하고 원인 기여도는 계산하지 못한다.