Fast-VLA: 대형 모델은 작업 시작 때 한 번만, 제어는 경량 네트워크로…화웨이의 VLA 추론 가속법
화웨이 연구진은 40억 파라미터 비전언어모델을 작업 시작 때 한 번만 돌리고, 이후 모든 동작은 고정된 기억을 참조하는 작은 제어 네트워크에 맡겼다. 시뮬레이션 벤치마크에서 최고 수준에 가까운 성공률을 유지하면서 제어 단계당 평균 추론 시간을 10.9~17.1배 줄였고 실행 중 메모리는 약 1.2GB였다.
VLA 정책은 행동 묶음을 낼 때마다 대형 백본을 다시 돌려야 하는가, 아니면 작업을 한 번 이해한 뒤 경량 제어기로 반응성을 유지할 수 있는가.
대부분의 VLA는 과제가 거의 바뀌지 않는데도 새 행동을 예측할 때마다 수십억 파라미터 모델로 영상과 지시문을 다시 인코딩한다. 제어가 느리고 메모리를 많이 써 로봇 탑재 칩에서 돌리기 어렵다.
기존 가속 기법은 pi0-FAST 토큰화나 빠른 월드-액션 모델처럼 행동 표현이나 생성 절차를 바꿨지만 매 단계 과제 맥락을 다시 계산하는 구조는 그대로였다.
고정된 4B VLM이 지시문과 초기 다중 카메라 영상을 여러 층의 키-값 과제 기억으로 한 번 인코딩한다. 실행 중에는 작은 온라인 액터가 시간과 팔 인덱스, 실시간 영상과 관절 상태로 질의를 만들어 이 기억에서 맥락을 꺼내고, VLM을 다시 호출하지 않고 묶음당 50개의 절대 관절 명령을 낸다.
RoboTwin 2.0에서 92.46%(정돈)와 92.40%(무작위), LIBERO 95.95%, LIBERO-Plus 79.11%의 성공률을 기록했다. RoboTwin 기준 단계당 평균 추론 1.437ms(108.87ms 1회 사전처리 후 묶음당 44.87ms), 상주 메모리 1.22GiB였다. 평균 성공률 90% 이상 비교 모델 대비 최소 10.9배 빠르며, DM0.5보다 성공률은 1.02%p 낮지만 11.2배 빠르다. LIBERO-Plus에서는 pi0.5보다 6.59%p, DM0.5보다 6.79%p 낮았다.
프리프린트이며 모든 결과가 시뮬레이션이다. 실제 로봇 실험은 없다. 과제 기억이 에피소드 동안 고정돼 도중에 목표나 지시가 바뀌는 상황은 다루지 못한다고 저자들도 인정했다. 사전처리 단계의 최대 메모리는 약 12GiB여서 탑재 하드웨어 이점은 실행 단계에 한정된다.
VLA 제어를 임베디드 칩에서 돌리려는 로봇 제조사에 '느린 이해, 빠른 제어' 분리 설계를 제시한다. 온디바이스 AI 칩을 개발하는 국내 팹리스와 로봇 업체에도 참고가 된다. 실기 검증이 남아 있어 제품 적용은 12~24개월 뒤로 본다.