GPUバッチ処理で5G NRをロボット学習ループに統合するIsaac-Net、単一GPUで100万ロボット規模を達成
Isaac-Netは、GPU上の大規模並列ロボット学習に5G NR上りリンクのスロット単位シミュレーションを組み込むモジュールである。ns-3 5G-LENAとの比較で遅延中央値を負荷全域にわたり再現し、1台のGPU上で1,048,576台のロボットをネットワーク込みで毎秒1.24制御ステップ動作させた。本論文はarXivで公開されたプレプリントであり、査読済み会議録や論文誌への採録は記載されていない。
GPU並列ロボット学習において、無線リソース競合、HARQ再送、スケジューリングを含む5G NRネットワークを数千環境と同期してシミュレーションし、忠実度と大規模性を両立できるか。
多くのロボット隊列はプライベート5Gでエッジサーバと通信するが、GPUロボットシミュレータは通信遅延をメッセージごとの独立遅延で近似し、ロボット間のリソース競合やHARQ再送による遅延の相関を表現できない。一方、ns-3などのパケットレベルシミュレータはCPU上で1シナリオずつ進むため、数千環境のGPU物理ステップに追従できず、環境ごとのリセットにも対応できない。
Isaac Labの遅延アクチュエータモデルは固定遅延または独立遅延を与えるにすぎない。ns-3 5G-LENA、Simu5G、Vienna 5G、MATLAB 5G Toolboxは高忠実だがCPUで低速であり、ROS連携の既存結合も実時間以下に留まる。Sionna SYSはGPUバッチ処理のリンクモデルを持つが、ロボットごとのキュー、HARQタイミング、バッファ報告による上りアクセスを欠く。QNetは共有ネットワークの送信学習を行うが、スロットスケジューリングやHARQがなくロボット物理と結合していない。
Isaac-Netは、ロボットごとのチャネル、スケジューラ状態、HARQプロセス、アクセスタイマ、メッセージキューを[E,R]先頭次元の固定形状テンソルで保持し、全環境の全ロボットをスロット単位で一括更新する。制御ステップ内のK個の上りスロットを時間ステップループで処理し、部分リセットと環境別乱数ハッシュにより任意の環境再起動を可能にする。設定可能なNRエンジンは3GPPに基づくスケジューリング、EESM、BLERテーブル、HARQ、BSR/SRを実装し、参照バックエンド、ビット同一のCUDAグラフバックエンド、浮動小数点丸め誤差に一致するTritonバックエンドを備える。Isaac Lab環境にはmixinクラスで4つのフックを通じて統合し、AoI、キュー長、SNR、配送フラグを観測として返す。
5G-LENAに対する検証では、v2設定(バッファ報告グラント手順を含み、フィッティングなし)は軽負荷、中負荷、飽和負荷で1実行あたり遅延中央値の絶対誤差中央値がそれぞれ2.5%、4.8%、4.4%となり、KS距離は全153実行で中央値0.17、絶対p95誤差は8.6%から3.5%に低下した。スケール設定(v2からBSRグラント手順を除いた固定遅延)は中央値絶対誤差4.5〜6.6%で、1,048,576台のロボットを単一GPU上でランダムポリシー下にて毎秒1.24制御ステップで実行し、ネットワークなしの1.50に対し83%の速度を維持した。この規模ではネットワーク単体の時間が199 ms/ステップであり、ns-3プロセスプールによる同時シミュレーションと比較してIsaac Labステップで約83倍高速であった。閉ループでは独立遅延モデルがAoIテールを約3倍軽くするのに対し、Isaac-Netはns-3で観測されるAoIを再現した。
Tritonバックエンドはバッファ報告グラント手順を実装しておらず、スケール実験は固定アクセス遅延の設定に依存する。TritonカーネルはNRエンジンで1環境あたり約128台までであり、64〜100台でレジスタ流出が発生し、BSRグラント手順の移植は将来課題である。ダウンリンクは高速バックエンドで再現されるが他シミュレータとの比較は未実施である。実5Gスタックとの較正はOAI/srsRANの一部遅延に限定され、飽和時やマルチUEテールは再現できていない。1,048,576台の測定はランダムポリシー下の環境ステップのみで、ポリシー学習更新や実機検証は含まれない。論文はarXivプレプリントであり査読は確認されていない。
倉庫や工場でプライベート5Gを利用するロボット隊列、ドローン群、マルチアーム作業台向けの強化学習に、通信遅延と輻輳を訓練ループへ組み込める。特にエッジサーバへセンサデータを送る運用では、いつ送信するか、どれだけ送るか、どこに移動するかを通信品質込みで学習できる。ただし現在はシミュレーション段階であり、実機展開には実5Gネットワークでの遅延特性の追加較正、ポリシー学習全体の性能検証、エッジ基盤との統合が必要である。短期的には研究開発やデジタルツインでの利用、1〜3年で大規模フリートの訓練パイプラインへの採用が考えられる。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。