Isaac-Net, Isaac Lab에 GPU 배치 5G NR 상향링크 시뮬레이션을 통합해 로봇 100만 대 규모 학습 지원
노스캐롤라이나주립대와 오하이오주립대 연구진이 GPU 병렬 로봇 학습 시뮬레이터 Isaac Lab에 5G NR 상향링크를 배치 단위로 통합하는 Isaac-Net을 arXiv 프리프린트로 공개했다. Isaac-Net은 ns-3 5G-LENA의 중앙값 지연을 경부하부터 포화 부하까지 중앙값 절대 오차 2.5~4.8%로 재현했고, 무작위 정책에서 로봇 1,048,576대를 GPU 1개로 네트워크 없이 돌릴 때의 83% 속도로 시뮬레이션했다. 이는 다중 로봇 정책이 5G 경합과 지연을 실제처럼 경험하며 대규모로 학습할 수 있음을 보인다.
GPU 병렬 로봇 학습 루프 안에서 수천 환경의 로봇들이 경합하는 5G 상향링크 슬롯 스케줄링을 물리 엔진과 같은 속도로 시뮬레이션할 수 있는가?
GPU 로봇 시뮬레이터는 네트워크를 메시지별 독립 지연으로 축약해 로봇 간 무선 자원 경합, HARQ 재전송, 스케줄링 지연을 표현하지 못하고, ns-3 같은 패킷 수준 시뮬레이터는 CPU 프로세스 하나가 시나리오 하나를 처리해 수천 병렬 환경을 따라잡지 못한다. 이 때문에 정책이 네트워크 혼잡을 유발하고 지연이 다시 트래픽을 늘리는 폐루프 효과를 학습할 수 없었다.
기존 Isaac Gym, Isaac Lab, ManiSkill3 같은 GPU 시뮬레이터는 고정 지연이나 메시지별 독립 지연만 제공했다. ns-3 5G-LENA, Simu5G, Vienna 5G 같은 패킷 수준 시뮬레이터는 정확하지만 프로세스당 한 시나리오라서 병렬 처리가 어렵고, Sionna SYS는 큐와 HARQ, 버퍼 보고 기반 상향링크 접근이 없으며, QNet은 슬롯 스케줄링과 HARQ 없이 로봇 물리와 결합되지 않았다.
Isaac-Net은 모든 네트워크 상태를 [E,R] 텐서로 저장하고 하나의 제어 스텝을 K개 상향링크 슬롯으로 나누어 모든 환경을 동시에 전진시킨다. NR 엔진은 3GPP TS 38.214와 TS 38.321 기반의 스케줄링, EESM 기반 블록 오류율, HARQ, SR/BSR 접근 절차, PF 스케줄러, 다중 셀을 지원하며, PyTorch 참조 백엔드와 비트 단위로 동일한 CUDA 그래프 백엔드, 부동소수점 반올림 수준에서 일치하는 Triton 커널 백엔드를 제공한다. 환경별 시계와 해시 기반 난수 스트림으로 부분 리셋을 지원해 다른 환경에 영향을 주지 않는다. Isaac Lab에는 네 가지 훅을 갖는 믹스인으로 통합되고, 로봇별 Age of Information, 큐 길이, SNR, 전달 여부를 관측으로 돌려준다.
NR 엔진 v2는 5G-LENA 153개 실행과 비교해 실행별 중앙값 지연의 중앙값 절대 오차가 경부하 2.5%, 중간 부하 4.8%, 포화 부하 4.4%였다. 부하별 중앙값 지연의 부호 있는 오차는 -0.2%, -1.2%, -0.1%였다. 보지 않은 10MHz 캐리어 39개 실행에서는 중앙값 지연이 모든 부하에서 5~10% 낮았고, 포화 부하에서 드롭률이 4.1%포인트 적었다. 독립 지연 모델은 Age of Information 분포 꼬리를 약 3배 가볍게 만들었다. 그래프 백엔드는 참조 백엔드와 비트 단위로 동일했고, Triton 백엔드는 64×16에서 로봇 스텝 21만8442개 중 3개, 256×32에서 191만974개 중 35개 불일치했다. Isaac Lab 무작위 정책에서 로봇 1,048,576대(8192×128)는 NR 엔진 포함 시 초당 1.24 제어 스텝, 네트워크 제외 시 1.50 제어 스텝으로 네트워크 제외 속도의 83%였고, 초당 로봇 스텝은 130만이었다. 네트워크 단독 시간은 1,048,576대에서 제어 스텝당 199ms였다. ns-3 동시 시뮬레이션 대비 Isaac Lab 4096×128에서 Isaac-Net은 제어 스텝당 0.41초로 ns-3 32스레드 33.5초보다 약 83배 빨랐다. 이 수치는 모두 시뮬레이션 결과이며 실물 로봇 실험은 보고되지 않았다.
저자들은 Triton 커널이 버퍼 보고 기반 그랜트 절차를 지원하지 않아 scale 구성에서는 고정 접근 지연을 사용했다고 밝혔다. NR 엔진 Triton 커널은 환경당 로봇 128대를 넘으면 스케줄러 탐색을 블록으로 나눠야 하고, 64~100대에서 레지스터 스필이 나타난다. 검증은 100m 아레나만 다루며 150m 아레나의 24% 위치는 5G-LENA SNR 범위 밖이다. 다중 셀은 NR 엔진의 참조 및 그래프 백엔드에서만 동작하고, 다운링크는 다른 시뮬레이터와 비교되지 않았다. OAI 실측에서는 포화 상황과 다중 UE 꼬리를 재현하지 못했다. 보지 않은 캐리어의 일부 포화 실행에서는 중앙값 지연이 45~61% 낮았다. 코드는 공개되어 있으나 실물 로봇 실험은 보고되지 않았다.
창고 로봇, 드론 군집, 다중 팔 작업장처럼 사설 5G를 쓰는 로봇 플리트의 정책 학습에 바로 활용할 수 있다. Isaac-Net은 pip 설치 가능하고 Isaac Lab과 통합되어 있어 강화학습 파이프라인에 지금 도입할 수 있으며, 네트워크 지연과 Age of Information을 관측에 포함한 보상 설계가 가능하다. 다만 실물 5G 기지국이나 단말과의 검증, 다중 셀 Triton 지원, 대규모 실물 로봇 실증이 갖춰져야 생산 환경 배포에 쓸 수 있다. 이후 1~3년 안에 물류와 제조 현장의 사설 5G 로봇 트레이닝 디지털 트윈으로 확장될 가능성이 있다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.