사후 불확실성 헤드로 SmolVLA 정책 하나가 두 정책 앙상블만큼 '모르는 상황'을 가려내, 계산 시간은 최대 약 50분의 1 (라이프치히대 ICCAS)
독일 라이프치히대 ICCAS 연구진은 학습을 마친 SmolVLA 로봇 정책 하나에 가벼운 가우스 과정 헤드를 붙여 상황이 얼마나 낯선지 점수화했고, 어떤 시연을 더 모을지 고르는 데서 두 정책 앙상블과 맞먹으면서 점수 계산 시간은 최대 약 50분의 1로 줄였다고 프리프린트에서 밝혔다. 이 헤드로 이끈 능동 학습은 LIBERO-10에서 15라운드 뒤 성공률 65.7%로 무작위 수집 54.7%를 앞섰다.
VLA 정책이 두 번째 정책을 학습하고 돌리지 않고도 내부 임베딩만으로 자기 지식의 빈틈을 추정해, 시연 요청이나 도움 요청 시점을 정할 수 있는가.
현장에 배치된 VLA는 학습 데이터가 다루지 않은 장면과 지시를 계속 만난다. 모르는 상황임을 알아야 새 시연을 요청하거나 사람에게 넘길 수 있는데, 표준 신호인 독립 학습 정책 간 불일치는 학습과 추론 비용을 두 배로 늘린다.
VFD, GU, 행동 L2 거리, DECU 같은 앙상블 불일치 점수는 학습된 정책 두 개가 필요하다. 정책 하나의 엔트로피나 VLM 퍼플렉시티는 주로 우연적 잡음을 반영해 성공률과의 상관이 약했다. 뢰머 등의 SAVE 절차는 이런 점수로 다중 과제 시연을 수집한다.
커널 분산 헤드는 고정된 정책에서 뽑은 학습 시연 임베딩에 가우스 과정을 맞추고, 새 관측의 사후 분산을 인식적 불확실성으로 보고한다. 임베딩은 비전 언어 백본(KV-Ctx)이나 행동 디코더(KV-Dec)에서 가져온다. 라벨이나 기울기 업데이트가 필요 없고 정책은 그대로 둔다. 입력별 헤드는 카메라와 지시, 로봇 상태 중 무엇이 낯선지도 알려 준다.
SmolVLA와 LIBERO-10(3개 시드)에서 과제 단위 성공률과의 상관은 KV-Ctx가 스피어만 -0.77, 피어슨 -0.82로 최고 앙상블 점수 VFD(-0.75, -0.64)와 같거나 나았다. SAVE 시연 수집 15라운드 뒤 성공률은 KV-Ctx 65.7%, GU 앙상블 64.4%, VFD 61.9%, 무작위 54.7%였다. KV-Ctx는 75번의 요청 모두 새 시연을 받았고 VFD는 69.3개, 무작위는 46.3개였다. 라운드당 부가 계산은 KV-Ctx 약 1.0 GPU분, GU 앙상블 44.6 GPU분이었고, 점수 계산은 최대 약 50배, 준비 시간은 최대 약 44배 빨랐다. 단순한 시연 개수도 전역 위임 성능에서 모든 점수와 맞먹었다.
프리프린트다. 저자들은 한 아키텍처(SmolVLA)를 시뮬레이션 벤치마크 하나에서 3개 시드로만 시험했고, 실제 로봇과 다른 VLA는 검증하지 않았으며, 조건당 3회 실행이라 성공률에 잡음이 크다고 밝혔다. 분산은 선택한 임베딩 공간의 데이터 포괄 범위를 재는 것이라 행동 선택에 중요한 차이를 반영한다는 보장이 없다. 흔히 쓰는 LIBERO-10 평가가 과제 안의 위험 순위보다 과제 간 데이터 차이를 주로 보상한다는 점도 지적했다.
VLA로 움직이는 로봇을 여러 대 운영하는 기업에게, 두 번째 정책 대신 라운드당 1 GPU분이면 되는 불확실성 신호는 애매한 순간을 원격 운영자에게 넘기고 모델이 약한 곳에 시연 수집을 집중하는 일을 현실적으로 만든다. 단순 시연 개수가 학습된 점수와 맞먹는다는 결과는 신뢰도 추정 기능을 내세우는 업체에 대한 경고이기도 하다. 원격조작 데이터 수집에 나선 국내 스타트업도 수집 우선순위를 정하는 데 쓸 수 있다.
논문 전문
CC BY 4.0 라이선스로 공개된 논문으로, 전문은 출처를 밝혀 영어로 전재했습니다: 전문 보기(영어). 원문은 arXiv:2610.29730(PDF)에서 볼 수 있습니다.