사람 영상으로 배우는 VLA: HKUST TS-WAM, 실제 로봇 성공률 72.5%로 pi0.5 앞서
로봇이 움직이기 전에 그 결과로 장면이 어떻게 바뀔지 먼저 예측하도록 가르치면, 처음 보는 환경에서도 덜 흔들린다는 프리프린트다. 값싼 사람 영상을 학습에 섞을 수 있어 데이터 비용을 낮출 여지도 보여줬다.
비전언어행동(VLA) 정책이 자기 동작의 시각적 결과를 예측하도록 학습하고, 로봇 시연 데이터와 함께 동작 라벨이 없는 사람 영상을 한 번의 학습으로 활용하면 더 견고해지는가.
대부분의 VLA 정책은 카메라 영상과 지시문을 로봇 시연으로 익힌 모터 명령으로 곧바로 바꾼다. 자기 동작이 장면을 어떻게 바꿀지에 대한 명시적 예측이 없고, 로봇 동작 정보가 없는 방대한 사람 영상을 거의 쓰지 못하며, 시연 당시 조건에 과적합되기 쉽다.
LAPA와 UniVLA 같은 잠재 행동 기법은 영상 프레임 사이의 변화를 압축 코드로 배우고, WorldVLA와 VLA-JEPA 같은 월드모델형 VLA는 미래 상태를 예측한다. 다만 대부분 잠재 행동 모델이나 월드모델을 별도 단계에서 사전학습한 뒤 로봇 정책으로 미세조정해 연산이 늘고, 학습된 코드가 최종 행동 출력에 도움이 된다는 보장도 없다.
TS-WAM은 전 과정을 한 번에 학습한다. 학생 역할의 비전언어모델은 현재 영상과 지시문만 보고 잠재 행동을 예측하고, 이동평균으로 갱신되는 교사 복제본은 다음 프레임까지 보고 정답 신호를 준다. 저자들은 이를 vlm-jepa라 부른다. 이어 작은 디코더가 고정된 DINOv3 영상 특징이 그 잠재 행동으로 어떻게 바뀔지 예측하고, 플로매칭 행동 헤드가 예측된 미래 특징을 받아 동작을 만든다. 사람 영상은 잠재 행동과 예측 부분을, 로봇 영상은 행동 헤드까지 학습시킨다. 배포 때 교사는 떼어낸다.
실제 로봇 시험(작업과 조건마다 20회)에서 TS-WAM은 프랑카 리서치3 작업 2종과 정밀 손을 단 양팔 휴머노이드 RevoTron 작업 2종 평균 72.5%로 pi0.5의 55.0%를 앞섰고, 조건을 바꾼 12개 조합 모두에서 우위였다(평균 62.9% 대 35.0%). 정상 조건 대비 하락 폭은 9.6%포인트로 pi0.5의 20.0%포인트의 절반 수준이었다. 시뮬레이션에서는 LIBERO 97.0%(pi0.5 96.9%), SimplerEnv 63.8%(RoboVLMs 51.4%), LIBERO-Plus 제로샷 75.7%로 VLA-JEPA의 62.9%를 12.8%포인트 웃돌았다. 사람 영상을 빼면 LIBERO-Plus 성적이 64.8%로, 교사와 학생 구조를 빼면 61.0%로 떨어졌다. A100 4장으로 학습했고 RTX 4090 한 장에서 30Hz로 돈다.
프리프린트다. 저자들은 교사 분기가 학습 메모리를 늘리고, 예측 특징을 행동 헤드에 넣으면 수렴이 느려진다고 밝혔다. 표준 LIBERO에서 pi0.5 대비 개선은 0.1%포인트에 그쳐 강점은 견고성 시험에 몰려 있다. 실로봇 비교 대상은 pi0.5 하나이고 칸마다 20회 시행이며, 사람 영상을 몇 시간 썼는지와 코드 공개 여부는 논문에 없다. 디코더는 한 단계 앞만 예측해 장기 시뮬레이터는 아니다.
조명과 물건 배치가 시연 때와 같을 수 없는 공장과 가정에 VLA를 넣으려는 업체에 직접 걸린 문제이며, 휴머노이드와 협동로봇을 개발하는 국내 기업들도 같은 과제를 안고 있다. 70억 파라미터급 모델의 6분의 1 크기로 환경 변화를 견디고 값싼 사람 영상으로 배운다면 현장 투입 작업당 데이터와 연산 비용이 줄어든다. 더 많은 로봇과 긴 작업에서 확인되면 1~2년 안에 상용 소프트웨어에 다음 장면 예측 구조가 들어올 수 있다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.