제너럴리스트AI GEN-1.5, 3~12초 시연 한 번으로 로봇 작업 학습… 미세조정 없이 성공률 59%

미국 로봇 AI 기업 제너럴리스트AI(Generalist AI)가 2026년 8월 19일 새 로봇 파운데이션 모델 GEN-1.5를 공개하고, 3~12초 길이의 시연 한 번만 보고도 추가 학습이나 미세조정 없이 새로운 작업을 수행할 수 있다고 밝혔다. 회사는 10개 조작 작업에서 시연 한 건을 입력했을 때 평균 성공률이 59%(표준편차 10%포인트)였다고 연구 게시물을 통해 발표했다.

약간의 학습을 허용하면 수치는 빠르게 올라갔다. 작업당 약 5분 분량, 시연 약 50건의 데이터로 경사하강 10스텝을 돌리자 평균 성공률이 83%(표준편차 9%포인트)로 높아졌다. 1분 분량에서 샘플링한 데이터로 단 1스텝만 학습한 경우에도 학습에 쓰지 않은 작업에서 66.5%의 성공률을 냈다. 회사는 10스텝 학습이 모델 가중치를 0.15% 미만만 바꿨다며, 새 표현을 만드는 것이 아니라 이미 가진 지식을 재구성하는 것으로 해석했다. 이 적응 절차는 하이퍼파라미터 조정 없이 그대로 쓴 결과라고 덧붙였다.

GEN-1.5는 30초 분량의 영상 기억과 다른 센서, 언어, 자체 입력을 함께 받아 100Hz 주기의 동작 궤적을 출력하는 대형 멀티모달 모델이다. 회사는 이 방식을 물리적 프롬프팅이라고 부른다. 언어 모델 프롬프트에 예시 문장을 넣듯 감각과 동작 예시를 모델의 컨텍스트 창에 넣는다는 뜻이다. 시연은 사람이 손에 쥐는 그리퍼 한 쌍으로 녹화하거나 로봇이 이전에 수행한 기록을 쓸 수 있고, 어떤 시연을 넣을지 끌어다 놓는 방식의 화면도 공개했다. 공개된 작업에는 컵에 마커 꽂기, 볼트 붓기, 지퍼 다루기, 유리병 뚜껑 돌려 열기, 필통 지퍼 열기, 큐브를 쓸어 그릇에 넣기, 진공 패드 떼기, 지갑에서 돈 꺼내기 등이 포함됐다.

회사는 이 능력을 의도적으로 설계하지 않았다고 강조했다. 게시물에 따르면 컨텍스트 내 학습을 위한 구조 변경이나 메타러닝 루프, 보조 목표 함수는 없었다. GEN-1.5의 사전학습은 8개월 넘게 계속되고 있으며, 별도 검증 데이터에서 다음 동작 예측 오차가 세 차례 학습 단계에 걸쳐 계속 줄었다. 회사는 이 곡선이 어디서 멈출지 아직 보이지 않는다고 적었다. 사전학습에 시뮬레이션 데이터가 전혀 없었는데도 시뮬레이터에서 녹화한 시연을 실제 로봇의 프롬프트로 쓸 수 있었고, 한 손 시연만 보고 양손을 모두 쓰거나 처음 보는 컵과 병을 잡는 사례도 제시했다. 다만 이 사례들의 성공률은 공개하지 않았다.

제너럴리스트는 이번 결과를 언어 모델의 역사에 빗댔다. 회사는 GPT-3가 예시 한 개로 평균 약 45%, 약 100개로 최대 약 65%의 정확도를 냈다고 인용하며 GEN-1.5의 59%를 비슷한 초기 신호로 규정했다. 또 한두 번의 시연으로 다양한 정밀 조작 작업을 배우는 일반 능력을 보인 모델은 자사가 아는 한 GEN-1.5가 처음이라고 주장했다.

이번 모델은 세 번째 공개작이다. 2025년 11월 4일 공개한 GEN-0으로 로봇 학습의 스케일링 법칙을 제시했고, 2026년 4월 2일 공개한 GEN-1은 로봇 데이터 없이 착용형 장비로 모은 50만 시간 이상의 사람 데이터로 사전학습한 뒤 작업당 약 1시간의 로봇 데이터로 평균 99% 성공률을 냈다고 회사는 밝혔다. 2026년 6월 4일에는 라디칼 벤처스(Radical Ventures) 주도로 4억 달러를 새로 유치했다. 8VC, 유니언스퀘어벤처스, 하나비캐피털, 노웨스트가 새로 참여했고 엔비디아, 볼드스타트, 스파크캐피털, 베이조스 익스페디션스, NFDG 등 기존 투자자도 참여해 누적 조달액은 5억 달러를 넘었다. 기업가치는 공개하지 않았다.

경쟁사도 하루 앞서 비슷한 주장을 내놨다. 스킬드AI(Skild AI)는 2026년 8월 18일 S1을 공개하며 처음부터 컨텍스트 내 학습용으로 만든 모델로, 영상 시연 한 번만 보고 미세조정 없이 작업을 수행한다고 밝혔다. 스킬드는 10만 시간 학습 기준으로 학습 분포 안의 작업에서 96%, 처음 보는 작업에서 66%의 성공률을 냈고 최장 10분짜리 장기 작업도 수행한다고 했다. 두 회사의 작업과 지표, 시연 형식이 달라 수치를 그대로 비교할 수는 없다. 피지컬인텔리전스, 구글 딥마인드, 엔비디아는 대규모 사전학습과 미세조정 중심의 경로를 밟고 있다.

한국 제조업에 주는 함의는 크다. 국내 자동차, 전자, 2차전지 공장은 다품종 소량 공정이 늘면서 로봇에 새 작업을 가르치는 프로그래밍 비용이 자동화 확대의 걸림돌이 돼 왔다. 몇 초 시연으로 단순 작업을 가르칠 수 있다면 작업 전환 비용은 작업자가 한 번 보여주는 시간 수준으로 줄어든다. 정부가 휴머노이드와 피지컬 AI 육성에 예산을 늘리고 있는 상황에서, 국내 로봇 기업들이 하드웨어 경쟁력만으로는 파운데이션 모델 기업과의 격차를 메우기 어렵다는 점도 다시 드러났다.

한계는 회사 스스로 밝혔다. 제너럴리스트는 작업이 단순하고 짧으며 성공률도 아직 높지 않다고 인정했고, 컨텍스트로 배운 기술은 미세조정한 모델보다 불안정하지만 일부 교란에는 일반화된다고 설명했다. 작업별 시험 횟수, 사전학습 데이터 구성, 외부 검증은 공개되지 않았다. 고객사, 가격, 출시 일정도 밝히지 않았다. 59%는 공장이 받아들이는 신뢰도와 거리가 멀다.