사람 영상 한 편으로 비전 언어 행동 모델을 새 작업에 적응시키는 방법

사전학습된 비전 언어 행동(VLA) 정책이 한 번도 학습하지 않은 조작 작업을 사람이 하는 영상 한 편만 보고, 로봇 시연이나 추가 학습 없이 수행할 수 있는가.

pi0.5 같은 VLA 모델은 학습한 작업은 잘 처리하지만 범위를 벗어나면 무너진다. 새 작업을 가르치려면 대개 로봇 시연을 모으고 미세조정해야 해서 고객이 작업을 추가할 때마다 작업자 시간과 연산이 든다. 사람 영상은 훨씬 싸게 찍을 수 있지만 길고 중복이 많으며 시점이 다르고 팔과 손 구조도 달라 동작을 그대로 옮길 수 없다.

기존 연구는 사람 영상을 표현 사전학습에 쓰거나, 궤적이나 손 자세를 뽑아 리타기팅하거나, 새 작업마다 짝이 되는 로봇 데이터를 요구했다. 영상 토큰을 정책 문맥에 그대로 넣는 손쉬운 방법은 이번 논문에서 'Direct Video Prefix'라는 기준선으로 시험했다.

CapPro는 두 부분으로 이뤄진다. 단계 인지 영상 모듈은 사람 영상에서 8프레임을 뽑아 프레임당 학습된 시각 토큰 32개를 남기고(저자들은 이 선택기를 GridS라고 부른다), 쿼리 토큰 4개가 작업 단계별 설명문을 예측하도록 학습해 각 단계에서 무슨 일이 일어나는지에 집중하게 한다. 영상 조건 적응 모듈은 압축된 영상 토큰과 게이트를 거친 쿼리 토큰을 pi0.5의 행동 조건 문맥에 넣는다. 영상은 무엇을 어떤 순서로 할지 알려주고, 팔을 어떻게 움직일지는 정책의 행동 전문가가 정한다. 학습은 pi0.5의 20억 파라미터 시각언어 백본과 3억 파라미터 행동 전문가에 LoRA를 적용했고, 원천 작업 13개마다 깨끗한 로봇 궤적 50개와 무작위화 궤적 500개를 썼다.

RoboTwin에서 깨끗한 환경과 무작위 환경 각각 100회 시행 평균으로 CapPro는 전체 39개 작업에서 42.6%를 기록해 같은 데이터와 예산으로 학습한 pi0.5의 28.4%를 앞섰다. 원천 작업은 64.4%에서 68.9%로 올랐다. 처음 보는 작업 중 근접 변형은 34.5%에서 44.8%, 새 물체나 사용 방식이 들어간 작업은 2.5%에서 29.0%, 복합 작업은 4.0%에서 20.7%로 상승했다. 논문은 미학습 작업 26개 평균을 29.5%로 보고했고, 작업 수로 가중한 MEKAWIRE 계산으로 pi0.5는 10.5%다. Direct Video Prefix는 전체 19.1%, 원천 작업 43.5%로 기본 모델보다 낮았다. 단계별 설명문을 빼면 원천 작업 성공률은 76.5%로 오르지만 미학습 작업 평균은 12.7%로 떨어져, 설명문이 전이의 핵심임을 보여준다.

프리프린트이며 1판은 미완성이다. 실제 로봇 표는 작업 7개, 각 5회 시행 결과를 한 열에만 적어(바지 개기와 부품 분류는 5회 중 0회) CapPro와 pi0.5의 실기 비교를 읽을 수 없고, 우리가 읽은 부분에는 사용한 로봇 기종도 없다. 절제 실험 7행 중 5행이 비어 있다. 핵심 수치는 모두 시뮬레이션이다. 영상을 줘도 가장 어려운 작업군 성공률은 20.7~29.0%로 실전 투입과 거리가 멀며 저자들도 이를 인정했다. 시연 영상은 목표 작업용으로 찍은 1인칭 사람 영상이지 아무 웹 영상이 아니다.