VLA는 정말 지시를 따르나: 시각-언어-행동 모델의 '방법 지시' 수행 진단
KAIST 연구진의 이 프리프린트는 현재 로봇 AI 모델이 물체의 어느 부분을 잡으라는 식의 '어떻게' 지시를 무시하며, 오히려 이런 힌트가 성공률을 떨어뜨린다는 결과를 내놨다. 학습 데이터를 동작 단계별 설명으로 다시 라벨링하자 교정 지시에 반응하는 비율은 84%로 올랐지만 성공률은 일관되게 오르지 않았다.
시각-언어-행동(VLA) 모델은 과제 이름뿐 아니라 '여기를 잡아라', '저쪽으로 돌아가라' 같은 수행 방법 지시를 실제 동작에 반영하는가. 그렇지 않다면 학습 과정의 무엇이 이를 막는가.
로봇 기업들은 VLA를 챗봇처럼 말로 코칭할 수 있는 로봇으로 소개한다. 하지만 기존 벤치마크는 대부분 바꿔 쓴 문장에서 과제를 알아듣는지만 본다. '당근의 초록 끝을 잡아라' 같은 말이 로봇 동작을 실제로 바꾸는지는 체계적으로 검증된 적이 없었다.
선행 연구는 과제 문장을 바꿔 써도 견디게 하거나, 방법 지시를 정해진 명령어로 제한하거나, 언어 교정을 시각 표식이나 외부에서 만든 복구 동작으로 대체했다. 시각언어모델이 로봇을 지켜보며 하위 지시를 내리는 이중 시스템 설계는 하위 VLA가 그 지시를 따른다고 가정한다.
연구진은 피지컬 인텔리전스의 pi0, InternVLA-M1, QwenGR00T, InstructVLA, LangForce 등 공개 VLA 5종을 SIMPLER 시뮬레이터의 WidowX 과제로 시험했다. 오프라인 교정에서는 실패한 에피소드를 단순 재시도, 구글 딥마인드 시각언어모델이 쓴 교정, 내용을 뒤집은 교정의 세 가지로 다시 돌렸다. 온라인 개입에서는 감독 모델이 실행 중 교정을 보냈다. 이어 같은 시연 데이터에 구간별 동작 설명을 붙여 재학습하고, 방법 지시를 따라야만 성공하는 벤치마크 SIMPLER-IN을 만들었다.
실패 에피소드 1,046개를 합산하면 단순 재시도가 13.1%를 복구했고 교정은 5.9%, 뒤집은 교정은 3.8%였다. pi0은 재시도 25.1%, 교정 12.3%였다. 온라인 개입에서 상시 지시는 합산 성공률을 50.9%에서 37.8%로 끌어내렸다. 구간별 재라벨링 뒤에는 교정이 지정한 방향으로 동작이 움직인 비율이 약 84%로, 원래 모델과 대조군의 약 53%(우연 수준 50%에 근접)를 크게 웃돌았고 상시 지시의 손실도 2%포인트로 줄었다. 그러나 과제 성공률은 일관되게 오르지 않았고, 까다롭거나 학습 분포 밖의 SIMPLER-IN 과제는 어느 모델도 안정적으로 통과하지 못했다.
저자들은 시뮬레이션 로봇 1종(WidowX), 데이터셋 1종(BridgeData V2), 짧은 집고 놓기 과제에 한정됐고, 시각언어모델이 쓴 교정 일부가 틀렸을 수 있으며, 재라벨링이 지시의 시점과 내용을 함께 바꿔 둘을 분리하지 못했고, 제한된 예산의 LoRA로 재학습했다고 밝혔다. 피규어 Helix, 제미나이 로보틱스, pi0.6 같은 최신 상용 모델은 시험 대상이 아니어서 결과는 공개 모델에 대한 것이다.
말로 고쳐 주면 로봇이 바로잡는다는 휴머노이드와 VLA 제품의 흔한 홍보 문구에 제동을 거는 결과다. 두산로보틱스, 리얼월드(RLWRLD), 투모로우로보틱스처럼 VLA를 도입하는 국내 기업에는 데이터 설계, 즉 동작 단계별 언어 라벨이 핵심 변수라는 점을 보여준다. 1년 안에 동작을 촘촘히 설명한 데이터셋과 방법 지시 벤치마크가 늘 것으로 보이며, 도입 기업은 과제 성공률뿐 아니라 교정 수행률을 요구할 필요가 있다.