비전언어모델이 로봇 시도를 비교 채점: SPEAR, 조작 성공률 88.9%로 기존 방식보다 23.8%포인트 높아
보상 함수를 사람이 짜지 않고 비전언어모델의 비교 판단으로 로봇을 가르치는 방법을, 질문을 고르는 기술로 싸고 안정적으로 만든 프리프린트다. 현장에서 새 작업을 스스로 익히는 로봇에 필요한 기반 기술이다.
학습 중인 로봇의 두 시도 가운데 어느 쪽이 나은지 사람 대신 비전언어모델이 판단하면 보상 함수를 손으로 짤 필요가 없다. 이 방식을 실제 로봇의 온라인 학습에 쓸 만큼 싸고 믿을 수 있게 만들 수 있는가.
비전언어모델 질의는 매번 추론 비용이 들고, 두 장면이 거의 같아 보이면 모델이 답을 거부하는 일이 잦아 질의 예산의 상당 부분이 낭비된다. 학습 초반에는 로봇이 거의 무작위로 움직여 모델에 보여주는 영상에 정보가 적고, 그래서 학습이 시작조차 더디다.
RL-VLM-F는 무작위로 고른 쌍에 대해 선호를 묻고, VLM-RM은 장면과 과제 문장의 임베딩 유사도로 점수를 매긴다. Text2Reward는 모델이 보상 코드를 직접 작성하게 하며, PEBBLE은 엔트로피 기반 선택과 스크립트 심판으로 선호 학습을 한다.
SPEAR는 질문하기 전에 모델이 두 영상을 구별할 수 있을지 예측하는 작은 모델을 두고, 이를 기존 불확실성 점수와 결합해 정보가 많으면서 답할 수 있는 질문만 던진다. 탐색 단계에서는 과제 설명으로 모델이 만든 보상으로 출발한 뒤 선호에서 학습한 보상 모델로 넘어가고, 전환 뒤에는 릴레이 탐색으로 궤적의 다양성을 유지한다. 시뮬레이션 심판은 InternVL3-78B, 실로봇 심판은 Qwen3-VL-8B였다.
과제 6개, 시드 5개 평균 최종 성공률은 88.9%로 RL-VLM-F 65.1%, Text2Reward 63.4%, PEBBLE 51.4%, VLM-RM 14.9%를 앞섰다. 표 값으로 MEKAWIRE가 계산한 RL-VLM-F와의 차이는 23.8%포인트다(논문 요약은 23.3%포인트로 적었다). 접촉이 많은 과제에서 차이가 컸다. 서랍 열기는 86.4%로 가장 강한 비교 방식(34.8%)의 두 배를 넘었다. 창문 열기는 Text2Reward가 87.7%로 SPEAR(84.9%)보다 나았다. 서랍 열기 성공률 30%에 도달하기까지 SPEAR는 질문 960개(거부율 29.6%)를 썼고 RL-VLM-F는 1,640개(55.5%)를 썼다. 소요 시간은 13.6시간에서 9.1시간으로 33.1% 줄었다. 공개 비전언어모델 5종의 선호 정확도는 보수적 프롬프트에서 평균 92.3%였다. 실제 Mobile ALOHA 왼팔에서 정책은 서랍 열기 1만8,200걸음, 창문 열기 1만6,600걸음, 공 밀기 1만2,600걸음 만에 수렴했고 비교 질문은 각각 720, 660, 500개였다. 절제 실험에서 질문 선택은 80.7%(무작위 14.0%), 전체 탐색 기법은 88.3%(기본 24.8%)였다.
프리프린트다. 시뮬레이션 과제 6개는 비교적 단순한 탁상 벤치마크 Meta-World에서 왔고, 절제 실험은 실제 모델 대신 모델 행동을 흉내 낸 가상 심판으로 했다. 실로봇 실험에서는 매 회차 사람이 물체를 원위치했고 안전 때문에 작업 공간을 제한했으며, 시험 성공률이 아니라 수렴 걸음 수만 보고했다. 걸음당 약 1초이므로 서랍 과제 하나에만 팔 동작 시간이 약 5시간이다(MEKAWIRE 계산, 원위치 시간 제외). 논문 요약의 격차 수치가 자체 표와 정확히 맞지 않는다.
보상 설계 없이 현장에서 새 작업을 익히는 로봇, 즉 물류 피킹부터 서비스 로봇까지에는 값싼 자동 피드백이 필요하다. SPEAR는 질문만 잘 고르면 작은 공개 모델로도 로컬 워크스테이션에서 그 역할을 할 수 있음을 보였다. 대규모로 모델 추론 비용을 치르는 기업일수록 질의 예산 절감의 의미가 크다. 다품종 소량 생산 현장에 로봇을 빠르게 재배치하려는 국내 제조, 물류 기업에도 참고할 방향이다. 지금은 연구 도구이며, 공장 적용에는 자동 원위치와 안전 제한이 필요해 2년 이상 걸릴 전망이다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.