저가 로봇팔 실험, 시연 12~25개에선 pi0.5, 100개부터는 ACT가 40회 중 37회 성공
프리프린트. 저가 로봇팔 실측 1,340회에서 시연 12~25개 구간은 pi0.5가, 100개 이상은 ACT가 앞섰다. pi0.5의 성공률은 미세조정 방식에 따라 4%와 65%로 갈렸다.
저가 로봇팔에 새 집기 작업을 가르칠 때 널리 쓰이는 모방학습 정책 네 가지 가운데 무엇을 고르고, 원격조작 시연을 몇 개나 모아야 하는가.
ACT, 디퓨전 폴리시, SmolVLA, pi0.5는 각기 다른 로봇과 작업, 데이터 규모에서 발표돼 성능을 직접 비교할 수 없다. 저가 로봇팔 벤치마크도 한 가지 데이터 규모만 쓰거나 모델당 20회 안팎만 시험해 실제 차이와 우연을 가르기 어렵다.
기존 비교는 시연 수 하나 또는 몇 개 구간에서 적은 시행으로 정책을 돌렸고, 같은 체크포인트가 같은 배치에서 다른 결과를 내는 빈도나 사람 채점이 영상과 어긋나는 빈도는 거의 보고하지 않았다.
저자는 방해 물체 두 개가 놓인 집기 작업 시연 225개를 원격조작으로 녹화하고 12, 25, 50, 100, 200개의 중첩 부분집합(25개는 검증용 보류)을 만들었다. 네 정책을 LeRobot에서 정책별 기본값에 가까운 고정 레시피와 여러 시드로 학습한 뒤, 고정된 물체 배치 10곳에서 30초 제한으로 실행했다. 17일 동안 126블록 1,340회를 채점했고 관절 상태와 명령, 카메라 영상을 모두 기록해 실패 단계를 분류하고 재시험과 채점 감사를 했다.
ACT는 시연 12개에서 40회 중 1회 성공하던 것이 100개에서 37회로 올랐다. 액션 전문가를 미세조정한 pi0.5는 12개에서 16회, 25개에서 28회 성공했고 이후 70% 안팎에 머물렀다. 100개부터는 ACT가 앞섰지만 연구는 그 격차를 확정하지 못했다. SmolVLA와 디퓨전 폴리시는 50% 안팎이 최고치였다. SmolVLA는 47% 시행에서 팔이 아예 움직이지 않았고, 디퓨전 폴리시는 시연 앞부분의 정지 구간을 잘라낸 뒤에야 움직이기 시작했다. pi0.5는 LoRA 방식이 110회 중 4회, 액션 전문가 미세조정이 200회 중 130회 성공해 4%와 65%로 갈렸다.
작업 하나, 로봇팔 하나, 작업 공간 하나에서 나온 프리프린트이며 저자도 출발점으로 보라고 했다. 정책별 학습 길이를 데이터 양과 무관하게 고정해, pi0.5의 25개 이후 정체와 ACT의 100개 이후 정체가 한계인지 학습 부족인지 가리지 못했다. 본 실험은 시연 녹화(약 500럭스)보다 어두운 117~394럭스에서 진행됐다. 소속 기관은 밝히지 않았고 배치 10곳 기준이라 데이터가 많은 구간의 작은 차이는 오차 범위 안이다.
파일럿을 앞둔 국내 제조와 물류 현장, 로봇 스타트업이 늘 묻는 질문, 즉 시연을 더 모을지 파운데이션 모델로 시작할지에 대한 실측 답이다. 시연이 적고 비쌀 때는 사전학습 VLA가 유리하고, 100개 수준이면 값싼 소형 모델이 따라잡는다. 미세조정 방식에 따른 4%와 65% 차이는 공개 VLA 가중치를 도입하려는 팀에 경고이고, 팔이 출발하지 않는 실패는 모델 크기보다 데이터 정리 문제임을 보여준다. 지금 하드웨어로 바로 적용할 수 있는 결과다.
논문 전문
CC BY 4.0 라이선스로 공개된 논문으로, 전문은 출처를 밝혀 영어로 전재했습니다: 전문 보기(영어). 원문은 arXiv:2610.37170(PDF)에서 볼 수 있습니다.