HexVIO、市販スマホのDSPでステレオ慣性追跡を終日動作へ

市販デバイスに既搭載のHexagon DSPを用いて、精度を保ちながらステレオ慣性VIOのフロントエンドをどの程度低消費電力化し、終日動作に近づけられるかという問いに答える。

VIOは空間コンピューティングの基本機能だが、既存のCPU実装は消費電力と発熱が大きく、終日動作や小型軽量デバイスへの搭載が難しい。GPUや専用ASIC/FPGAによる加速は電力面で有利だが、GPUは消費電力が高く、専用ハードウェアは市販デバイスに広く搭載されていない。Hexagon DSPは多くのSnapdragon搭載機器にあるが、VIO向けに十分活用されてこなかった。直接移植してもスパースな特徴追跡、gather命令の制約、FastRPC呼び出しオーバーヘッドによりCPUを上回らない。

従来はBasaltなどのCPU実装、vilib、Jetson-SLAM、FastTrack、GLidE-SLAMなどのGPU加速、Navion（ASIC）、eSLAM、ac2SLAM（FPGA）、PX4Flow（MCU）などの専用ハードウェア加速があった。Hexagon DSPをVIOに使った例としてはMuffangによるOpenVINSフロントエンド移植やLynx R1向けORB-SLAM3特徴抽出器があるが、ステレオ慣性には対応せず、CPUより遅い、クローズドソース、root化が必要などの課題があった。

HexVIOはBasaltのフロントエンド（画像ピラミッド構築、FAST-9検出、逆合成KLT追跡）を、1フレームあたり1回のFastRPC呼び出しに融合してHexagon DSP上で実行する。ピラミッド構築と検出は画素並列、追跡は特徴量並列でベクトル化し、gather命令がVTCMのみを参照する制約に合わせて画像をDMAでVTCMに配置する。バックエンドはCPUに残し、フロントエンドの各ステージを融合して呼び出しオーバーヘッドを削減した。実装はオープンソースで公開予定である。

最大スループット評価では、HexVIOはCPUベースラインに対して1.65倍から2.38倍のフレームレートを達成した。MOO05では、CPUベースラインの最大98fps時にHexVIOが67%少ない電力を消費し、HexVIOの最大性能点4.5Wでは同一電力で86%高いスループット（180fps）を示した。センサレート固定の電力測定では、精度を維持するDSP Bが8シーケンス平均で35%の消費電力削減（範囲28%から43%）、軽量化したDSP Lが平均40%削減を達成した。6つの地上真値シーケンスのATEは4シーケンスで差が0.4%以内、TR6で2.9%改善、EMH03で6%悪化し、RTEは5シーケンスで小数第2位まで一致した。40分のMOO12ではDSP Lが0.83Wで30fpsを維持し、15Wh電池で約18時間に相当した。リアルタイム期限超過は8シーケンス合計でCPU 342回、DSP B 21回、DSP L 1回だった。評価はSamsung Galaxy S23の実機で、EuRoC、Monado SLAM Dataset、TUM-VI、XREAL AIR 2 Ultraの8シーケンスを用いた。

著者らは、ライブカメラ入力にはOEM統合が必要で、ISPからDSP L2への直接ストリーミングは署名済みベンダーコードに限られると述べた。バックエンド最適化は今後の課題である。電力計測は端末内蔵燃料ゲージに依存し、分解能が100msから1sのためステージ別エネルギーは報告できず、絶対値には系統的な偏りがある可能性がある。評価はSamsung Galaxy S23の1機種のみで、コードは論文執筆時点では未公開（公開予定）である。受動冷却のみで、XREALシーケンスではサーマルスロットリングが発生した。データセットはディスクから読み出しており、実カメラISP経由のDMAより非効率である。