Isaac-Net：GPU批处理5G仿真让百万机器人在环训练成为可能

如何将反映队友间资源竞争的5G网络模拟以GPU并行方式嵌入大规模机器人强化学习训练循环，同时保持对真实5G行为的保真度？

许多机器人车队使用专有5G网络，但GPU机器人模拟器通常将网络简化为独立的消息延迟，无法表达同一小区内机器人之间的调度竞争和队列耦合；而包级模拟器（如ns-3）一次只能运行一个场景，CPU速度远跟不上数千个并行环境，无法进入GPU训练循环。

此前做法包括：GPU机器人模拟器中使用固定延迟或独立随机延迟；使用ns-3 5G-LENA等包级模拟器通过ROS或实时代理与机器人仿真耦合，但只能以等于或低于实时速度运行；Sionna SYS等GPU网络模拟器缺少队列、HARQ时序和基于缓冲报告的接入过程；QNet等学习类方法没有逐时隙调度或与物理耦合。这些方法均未同时满足批量维度、与物理引擎锁定步调以及闭环流量和移动性三个要求。

Isaac-Net将所有网络状态（信道、调度器状态、HARQ进程、接入定时器、消息队列）存储为固定形状的张量，索引为环境和机器人，通过统一的张量操作在每个时隙推进所有环境。它采用时间步进时隙循环，无需事件队列。提供参考、CUDA图和Triton三种后端，其中Triton后端将一个控制步融合为单个GPU内核。通过四个钩子与Isaac Lab直接工作流环境集成，返回每个机器人的信息年龄（AoI）、队列长度、SNR和投递标志。NR引擎可配置帧结构、调度器、HARQ、缓冲报告授权过程等，并支持多小区。

在验证配置（v2 w/o BSR）下，Isaac-Net在Isaac Lab中运行104.8576万个机器人（8192环境×128机器人），随机策略下达到1.24控制步/秒，而无网络时为1.50，网络开销约199ms。其NR引擎在153个5G-LENA对比运行中（轻、中、饱和负载），v2配置的中位绝对中位延迟误差分别为2.5%、4.8%、4.4%，且无需拟合参数。在闭合回路中（32机器人/环境），Isaac-Net复现了手写控制器观察到的AoI，而独立延迟消息的AoI尾部约轻三倍。在4096×100（409,600机器人）规模下，Triton后端的NR上行链路每控制步耗时67.8ms。与ns-3 5G-LENA相比，在4096×128规模下，Isaac-Net的NR引擎每步仅需0.41s，而ns-3在32线程完美并行下预计需33.5s，快约83倍。

作者承认的局限包括：Triton内核每环境最多支持约128个机器人（NR引擎）和256个（原型引擎），超出需分割调度器搜索；Triton内核在64-100机器人时出现寄存器溢出，缓冲报告授权过程尚未移植到该后端。验证主要基于仿真，未报告真机实验。在未见10MHz载波上，中位延迟系统性低5-10%；在150米场地中24%位置的SNR低于验证覆盖范围。此外，论文未报告多机多卡扩展或学习策略在真实5G专网中的实际表现，且大规模训练的内存占用和启动时间（百万机器人场景启动需1158-1585秒）可能成为实际部署瓶颈。