VLA 지시문 바꾸자 성공률 38%p 급락: 테스트타임 투표 대신 1시간 LoRA가 해법

비전 언어 행동(VLA) 정책은 사람이 자기 말로 로봇에게 일을 시킬 수 있다는 약속으로 주목받지만, 표준 벤치마크는 학습 때 쓴 문장 그대로만 시험한다. 말을 바꾸면 얼마나 손해를 보는지, 언어모델을 견고하게 만든 테스트타임 기법으로 이를 되찾을 수 있는지, 그리고 정책이 과제 수행에 지시문을 실제로 필요로 하는지에 따라 답이 달라지는지를 물었다.

VLA 논문 대부분이 보고하는 시뮬레이션 벤치마크 LIBERO에서 공개 체크포인트는 과제당 한 문장씩 열 개 지시문으로 미세조정되고, 같은 문장 그대로 평가받는다. 실제 사용자는 그렇게 말하지 않는다. 기존 진단도 엇갈린다. 미세조정된 VLA가 언어를 무시한다는 결론과 조금만 바꿔 말해도 무너진다는 결론이 공존하고, 테스트타임 집계로 손실을 복구할 수 있는지는 누구도 묻지 않았다.

언어모델은 여러 프롬프트나 샘플의 답을 모으는 프롬프트 앙상블과 자기일관성(self-consistency)으로 성능을 높인다. VLA에서는 RoboMonkey와 MG-Select가 한 프롬프트에서 뽑은 여러 행동 중 하나를 고른다. 다양한 표현으로 학습하는 방법(DIAL, RT-1)이 정석이지만, 같은 학습량의 대조군, 학습에 쓰지 않은 표현으로의 전이, 학습 뒤에도 로봇이 지시문을 읽는지 확인한 연구는 없었다.

연구진은 지시문을 네 가지로 바꿔 말하고, 재계획 단계마다 고정된 정책에 표현별로 한 번씩 질의한 뒤 다른 모든 결과와 가장 가까운 행동 묶음(메도이드)을 실행하는 바꿔 말하기 합의를 구현했다. 기본 OpenVLA(7B, Llama 2)와 OpenVLA-OFT로 LIBERO 과제군에서 단계별 기록을 남겼고, 바꿔 말한 문장 대신 원문장을 네 번 확률적으로 샘플링하는 대조 실험을 더했다. 같은 장면에서 다른 과제의 지시문을 주는 오지시 탐침으로 성공의 몇 퍼센트가 언어에 기대는지도 쟀다. 탐침에는 피지컬 인텔리전스의 pi0.5를 포함한 정책 3종이 쓰였다. 마지막으로 바꿔 말한 지시문으로 LoRA 후학습을 하고, 같은 단계만큼 원문장으로 학습한 대조군과 비교했다.

한 에피소드 동안 바꿔 말한 문장 하나를 쓰면 기본 OpenVLA의 성공률은 38.0%p 떨어졌다. 원래 학습 문장을 포함해 합의를 내도 16.8%p 손해였고, OpenVLA-OFT는 LIBERO-Goal에서 4.0%p 손해를 봤다. 학습 문장을 빼면 메도이드는 학습 문장 대비 32.4%p, 확신도 기반 선택은 28.0%p 낮았다. 바꿔 말한 문장 하나를 네 번 샘플링해 합치면 탐욕 디코딩보다 10.4%p 나았지만 학습 문장보다는 27.6%p 낮아, 투표가 분산은 줄여도 바꿔 말한 문장들에 공통된 편향은 없애지 못한다는 점이 드러났다. 기본 OpenVLA는 모든 과제군에서 성공의 97~100%가 지시문에 달려 있었고, OpenVLA-OFT는 Goal에서 100%, Object에서 2%였다. Spatial은 틀린 지시문으로도 74%를 풀 수 있었다. 바꿔 말한 지시문 LoRA 후학습으로 Spatial의 손실은 +2.0%p로 바뀌었고 대조군은 -32.0%p였다. Goal에서는 -36.8%p가 -4.0%p로(대조군 -43.6%p), OpenVLA-OFT Goal은 -10.4%p가 0.0%p로 줄었다. 네 프롬프트 합의는 배치 처리해도 단일 질의의 2.98배 연산이 들지만, 후학습은 한 번 약 1시간이면 된다.

실물 로봇 결과가 없는 시뮬레이션 프리프린트다. 합의와 후학습은 7B 백본 하나의 체크포인트로만 했고, pi0.5는 의존도와 손실 측정에만 들어갔으며, OFT와 기본 모델의 차이에는 OFT의 손목 카메라와 고유감각 입력이 섞여 있다. 바꿔 말한 문장은 모두 영어이고 한 회사의 LLM이 생성하고 판정했다. 저자 한 명은 평가한 문장 240개 중 78개(32%)가 과제를 바꾼다고 봤지만, 이를 빼도 보고된 손실은 모두 신뢰구간 안에 있었다. 후학습은 Spatial의 원문장 성공률을 2.4~5.6%p 낮췄다. 더 다양한 언어로 학습한 정책은 이 열 문장 체크포인트보다 덜 취약할 수 있다.