엔비디아, 컴퓨텍스서 휴머노이드 모델 GR00T N1.5 공개… 월드모델 영상으로 3개월 걸릴 데이터 작업을 36시간에 끝냈다

엔비디아가 휴머노이드 로봇 개발의 가장 큰 병목인 시연 데이터를 GPU로 찍어낼 수 있다는 구상을 컴퓨텍스 2025에서 내놨다. 엔비디아는 2025년 5월 18일자 보도자료에서 지난 3월 GTC에서 공개한 GR00T N1의 후속 버전인 Isaac GR00T N1.5와, 자사 Cosmos 월드 파운데이션 모델이 생성한 영상을 로봇 학습 데이터로 바꾸는 Isaac GR00T-Dreams 청사진을 발표했다.

핵심 수치는 엔비디아 리서치에서 나왔다. 엔비디아는 연구진이 GR00T-Dreams로 GR00T N1.5 학습용 합성 데이터를 36시간 만에 만들었으며, 사람이 수작업으로 데이터를 모았다면 3개월 가까이 걸렸을 것이라고 밝혔다. 엔비디아 연구 페이지에 따르면 모델은 2025년 6월 11일 깃허브와 허깅페이스에 공개됐다. 허깅페이스 모델 카드는 파라미터 수를 30억개로 표기했다. GR00T N1은 20억개였다. 모델 카드는 N1.5가 비상업적 용도로 사용할 수 있다고 명시했다.

엔비디아 설명에 따르면 GR00T-Dreams는 세 단계로 작동한다. 개발자가 먼저 자사 로봇에 맞춰 Cosmos Predict 월드모델을 후속 학습시킨다. 이후 이미지 한 장을 입력하면 해당 로봇이 새로운 환경에서 새로운 작업을 수행하는 영상이 생성된다. 마지막으로 영상에서 동작 정보를 압축한 액션 토큰을 추출해 로봇에 새 작업을 가르친다. 이 방법론은 Joel Jang, Seonghyeon Ye, Zongyu Lin 등 엔비디아 연구진이 2025년 5월 19일 arXiv에 올린 사전 공개 논문 DreamGen에 담겼다. 연구진은 한 환경에서 단일 집어 옮기기 작업의 원격조종 데이터만으로 출발해 휴머노이드가 22가지 새로운 행동을 익혔다고 보고했으며, 영상 생성 벤치마크 DreamGen Bench와 코드를 함께 공개했다.

모델을 둘러싼 도구도 함께 나왔다. 사고 사슬 추론으로 합성 데이터를 선별하는 월드모델 Cosmos Reason은 허깅페이스에 공개됐고, GR00T-Dreams에 쓰이는 Cosmos Predict 2는 환각을 줄인 버전으로 곧 공개될 예정이라고 엔비디아는 밝혔다. Isaac Sim 5.0은 깃허브에 공개될 예정이며 Isaac Lab 2.2는 GR00T N 모델을 시험할 평가 환경을 추가한다. 엔비디아의 오픈 피지컬 AI 데이터셋에는 GR00T N 모델 개발에 쓰인 휴머노이드 동작 궤적 2만4000건이 담겼다. 기존 조작 데이터를 Omniverse와 Cosmos로 증강하는 GR00T-Mimic 청사진도 제시됐다.

연구 페이지는 모델 내부 변화도 설명했다. 시각언어모델(VLM)은 사전학습과 미세조정 내내 고정(frozen)됐고, 위치 지정(grounding) 성능을 높인 Eagle 2.5 모델로 바뀌었다. 이 VLM은 GR-1 그라운딩 IoU 시험에서 40.4를 기록해 큐원2.5-VL 3B(35.5)를 앞섰다. 미래 잠재 표현을 맞추는 새 학습 목표 FLARE를 도입해 미래 프레임을 생성하지 않고도 사람 영상에서 학습할 수 있게 했다. 학습에는 H100 GPU 1000개로 25만 스텝이 쓰였고 전역 배치 크기는 1만6384였다. 데이터에는 자체 GR-1 데이터, Open X-Embodiment, 시뮬레이션 GR-1 데이터, DreamGen 궤적, AgiBot-Beta 데이터셋가 포함됐다.

엔비디아가 자체 측정한 개선 폭은 컸다. 푸리에(Fourier)의 실제 GR-1 휴머노이드에 과일 두 개 중 하나를 골라 접시에 올리도록 지시한 시험에서 언어 지시 이행률은 N1의 46.6%에서 N1.5의 93.3%로, 전체 성공률은 43.3%에서 83.0%로 올랐다. DreamGen 데이터로 가르친 새 동사 12개에서는 성공률이 13.1%에서 38.3%로 높아졌다. 유니트리 G1에서 원격조종 에피소드 1000건으로 후속 학습한 결과 이미 본 과일 4종은 98.8%, 처음 보는 물체 5종은 84.2%의 성공률을 기록했다. 같은 과제에서 N1은 44.0%였다.

엔비디아는 GR00T N 모델의 초기 사용 기업으로 네 곳을 꼽았다. 국내 에이로봇은 휴머노이드 ALICE4가 자연어 지시를 이해하고 산업 현장의 복잡한 집어 옮기기 작업을 수행하도록 모델을 쓰고 있다. 대만 폭스링크(Foxlink)는 산업용 매니퓰레이터의 유연성 향상에, 라이트휠(Lightwheel)은 공장 휴머노이드 배치를 위한 합성 데이터 검증에 활용하며, 독일 뉴라로보틱스는 가정용 자동화 개발을 위해 모델을 평가하고 있다. 어질리티로보틱스, 보스턴다이나믹스, 푸리에, 멘티로보틱스, 뉴라로보틱스, 샤오펑로보틱스는 Isaac Sim과 Isaac Lab으로 휴머노이드를 시뮬레이션하고 학습시키고 있다고 엔비디아는 밝혔다. 스킬드AI는 범용 로봇 지능 개발에, 제너럴로보틱스는 자사 플랫폼 통합에 이 프레임워크를 쓴다. 폭스콘과 폭스링크는 GR00T-Mimic을 로봇 학습 파이프라인에 도입했다.

대만 제조업과의 연결도 강조됐다. 엔비디아 기조연설 요약에 따르면 TSMC, 폭스콘, 위스트론, 페가트론, 델타일렉트로닉스, 콴타, 기가바이트가 엔비디아 Omniverse로 디지털 트윈을 구축하고 있으며, 엔비디아와 폭스콘은 대만 정부와 블랙웰 기반 AI 팩토리 슈퍼컴퓨터 구축에 협력할 계획이다. 하드웨어 측면에서는 시스코, 델, HPE, 레노버, 슈퍼마이크로가 RTX PRO 6000 블랙웰 서버를 내놨고, 엔비디아는 DGX 클라우드의 GB200 NVL72로 데이터 처리 성능을 최대 18배 높일 수 있다고 밝혔다. 로봇 탑재 컴퓨터 젯슨 토르는 당시 출시 예정으로 소개됐으며 2025년 8월 개발자에게 공급되기 시작했다.

국내 관점에서 눈에 띄는 대목은 명단 구성이다. 보도자료에 이름을 올린 한국 기업은 에이로봇 한 곳이었다. 휴머노이드 두뇌를 자체 개발하는 기업과 엔비디아 모델을 기반으로 삼는 기업이 갈리는 가운데, 중견 이하 국내 로봇 기업에는 사전학습된 공개 모델이 진입 비용을 낮추는 수단이 될 수 있다. 다만 N1.5는 비상업적 용도로 제한돼 있어 제품 탑재에는 별도 조건이 필요하다. 경쟁 구도에서는 피규어AI가 2025년 2월 자체 VLA 모델 헬릭스(Helix)를 공개했고, 엔비디아 Isaac 사용 기업으로 이름을 올린 스킬드AI도 자체 범용 로봇 모델을 개발하고 있다.

기술을 쉽게 풀면 이렇다. GR00T N1.5는 시각, 언어, 행동을 한 모델에서 다루는 VLA 모델로, 고정된 VLM이 카메라 영상과 지시문을 읽고 확산 방식의 행동 모듈이 이를 관절 명령으로 바꾼다. GR00T-Dreams는 데이터 쪽 문제를 겨냥한다. 사람이 로봇을 조종해 새 작업을 하나하나 녹화하는 대신 월드모델이 로봇의 작업 장면을 영상으로 상상하고, 별도 모델이 그 영상을 만들어냈을 모터 동작을 역으로 추정한다.

과제도 남았다. 모든 벤치마크는 엔비디아 자체 시험이며 대상 로봇도 푸리에 GR-1과 유니트리 G1 등 소수에 그친다. 36시간은 한 번의 모델 업데이트용 데이터 생성 시간이지 공장 투입까지의 시간이 아니다. 생성 영상에는 물리적으로 불가능한 동작이 섞일 수 있어 엔비디아는 별도 추론 모델로 데이터를 걸러내는 구조를 택했다. 비상업 라이선스 역시 파트너의 상용화 속도를 제약한다.