사람 영상 한 편으로 로봇 학습: TDV, RLBench 91.8%, 실제 UR5 78회 중 71회 성공
칭화대 선전국제대학원과 선전의 제리스로보틱스(Zerith Robotics)의 TDV는 사람이 작업하는 영상 한 편으로 로봇을 학습시켜 RLBench 시뮬레이션 12개 과제 평균 성공률 91.8%를 기록했고, 기존 최고 기록을 13.4%포인트 앞섰다고 10월 15일 공개한 프리프린트에서 밝혔다. 실제 UR5 로봇팔에서는 시연 1건을 합성 궤적 50개로 늘리자 배치 시험 78회 중 71회(91%)를 성공했고, 시연 1건만 썼을 때는 78회 중 26회(33%)에 그쳤다.
원격조작 데이터 없이 사람이 작업하는 평범한 영상 한 편만으로 로봇이 조작 작업을 배우고, 물체 위치와 카메라 각도, 배경이 바뀌어도 해낼 수 있는가.
모방학습은 보통 원격조작 장비로 녹화한 시연이 대량으로 필요해 느리고 비싸다. 사람 영상은 싸고 많지만 로봇 작업 공간과 모습이 다르고, 다른 시점에서 찍히며, 로봇이 따라 할 수 있는 동작 라벨이 없다.
기존 연구는 픽셀 변환이나 광학 흐름, 생성 영상을 거쳐 사람 영상에서 배우거나, 3D Diffuser Actor, RVT2, 비전언어행동 모델 OpenVLA 같은 영상 기반 정책을 로봇 시연으로 학습시켰다. 영상 기반 정책은 배경과 시점에 민감하고, 대부분 과제마다 수십에서 수백 건의 로봇 시연이 필요하다.
TDV는 장면 전체를 보지 않고 필요한 것만 추적한다. 기성 6D 자세 추정으로 옮겨지는 물체가 기준 물체에 대해 움직인 궤적을 뽑거나, 손의 3D 경로를 두 손가락 그리퍼로 옮긴다. 궤적에는 픽셀 정보가 없어서 시작 자세를 새로 뽑고 그에 맞는 궤적을 생성하는 방식으로 시연 1건을 여러 건으로 불릴 수 있다. 이 궤적으로 학습한 디퓨전 트랜스포머가 다음 동작을 내놓고, 실행 중에는 실시간 자세 추정으로 폐루프를 돌리며 단계 전환은 별도 전환 정책이 맡는다.
RLBench 12개 과제(과제당 학습 시연 100건, 시드 3개에 각 25회)에서 TDV는 평균 91.8%로 8개 과제 1위를 차지했고 기존 최고 방법보다 13.4%포인트 높았다. 페그 삽입과 도형 분류에서는 20%포인트 넘게 앞섰다. 비교 대상은 3D Diffuser Actor, RVT2, SPOT, LoRA로 미세조정한 OpenVLA다. 로보티크 2F-85 그리퍼를 단 실제 UR5에서 과제당 사람 영상 1편으로 3개 물체 과제를 13개 위치(자세 변화 포함, 미포함)에서 시험한 결과, 시연 1건만 쓰면 78회 중 26회, 생성 궤적 15개면 57회(73%), 50개면 71회(91%) 성공했다(논문 표를 MEKAWIRE가 합산). 처음 보는 카메라 시점 3개와 배경 변화 4종에서 6개 실제 과제는 위치 시험 210회 중 204회(97.1%), 자세 시험 210회 중 200회(95.2%)를 성공했다.
동료 심사를 거치지 않은 프리프린트다. 시뮬레이션 수치는 영상에서 뽑은 자세가 아니라 시뮬레이터의 정답 자세를 썼기 때문에 영상 처리 단계가 아닌 궤적 정책만 검증한 셈이다. 실제 실험은 로봇팔 한 대의 탁상 작업에서 조건당 5회나 13회에 그친다. 정확한 6D 자세 추적에 기대기 때문에 형상이 복잡하거나 변형되는 물체에는 쓰기 어렵다고 저자들은 밝혔고, 카메라가 급경사로 내려다볼 때와 물체 색이 배경과 비슷할 때 실패가 나왔다.
학습 데이터 비용은 휴머노이드와 로봇팔 업체의 최대 병목이고, 휴대전화 수준의 영상 한 편을 강체 물체의 집기와 놓기, 붓기 정책으로 바꾸는 방법은 이 비용을 크게 낮춘다. 공저자이자 연구비를 댄 제리스로보틱스와 UR급 로봇팔을 쓰는 통합 업체가 가장 먼저 쓸 수 있고, 물류 키팅과 실험실 자동화에는 1~2년 안의 기술이다. 국내에서는 사람 동작 데이터를 모으는 생기원 등 데이터 플랫폼 사업과 맞물릴 수 있다. 다만 자세 추적에 의존하는 탓에 천과 케이블, 식품처럼 변형되는 물체는 당분간 VLA 기업들의 영역으로 남는다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.