HexVIO: 利用Hexagon DSP实现高效立体惯性里程计,功耗降低67%
HexVIO将Basalt立体惯性里程计的视觉前端卸载到高通Hexagon DSP上,在三星Galaxy S23上实现了功耗降低67%或吞吐量提升86%。在40分钟测试中,以0.83W功耗维持30fps实时跟踪,相当于15Wh电池可运行约18小时。该研究为预印本,尚未经过同行评审。
能否利用消费级设备中已有的Hexagon DSP加速立体惯性里程计,在不牺牲精度的前提下显著降低功耗?
视觉惯性里程计(VIO)在移动设备、XR和机器人上运行时功耗高、发热大,限制了全天候使用。现有低功耗方案依赖定制ASIC或FPGA,难以普及;GPU加速则功耗更高且可能与其他任务争抢资源。
此前的前端加速主要依赖GPU(如vilib、Jetson-SLAM、FastTrack、GLidE-SLAM),但GPU功耗高、热约束严格。定制硬件(如Navion ASIC、FPGA方案)能效极高但不可编程、不普及。少数尝试利用Hexagon DSP的工作(如Muffang的OpenVINS移植)要么速度不如CPU,要么不支持立体惯性融合、需要root权限或未开源。
HexVIO将Basalt的视觉前端(金字塔构建、FAST-9角点检测、稀疏逆合成KLT跟踪)整体移植到Hexagon V73 DSP上。关键创新包括:将每帧的多个前端阶段融合为一次FastRPC调用,减少通信开销;利用共享内存和DMA传输图像;将图像金字塔常驻在VTCM中,使向量gather指令能高效采样稀疏特征;跟踪阶段采用特征并行向量化(每车道一个特征,32特征一批),检测阶段采用像素并行。后端估计器仍运行在CPU上。
在三星Galaxy S23(Snapdragon 8 Gen 2, Hexagon V73)上,使用8个来自EuRoC、Monado SLAM Dataset、TUM-VI和自定义XREAL眼镜数据集的序列评估。未限速最大吞吐量时,HexVIO比CPU基线快1.65至2.38倍,例如MOO05序列从103.2 fps提升至206.3 fps。精度基本保持:6个有真值序列中4个ATE差异在0.4%以内,TR6改善2.9%(2.06 vs 2.00 cm),EMH03变差6%(6.05 vs 6.43 cm)。在限速至传感器帧率的功耗测试中,DSP B配置平均降低整机功耗35%(范围28%-43%),DSP L降低40%。40分钟MOO12序列上,CPU、DSP、DSP B、DSP L功耗分别为1.46、0.96、0.90、0.83 W,精度相同(ATE 0.67-0.68 m,RTE 7.7 mm)。0.83 W对应15 Wh电池约18小时跟踪。延迟方面,8个序列中CPU基线共错过342个截止帧,DSP B为21个,DSP L仅1个。
作者指出,实时摄像头数据直通DSP需要OEM签名代码,目前是未来工作;后端优化器是下一步目标。明显局限包括:仅在三星Galaxy S23单一设备上验证,未必适用于其他Hexagon版本;数据集从磁盘回放而非实时摄像头;功率测量依赖内部电量计,分辨率有限且可能存在系统偏差;未与同设备上的GPU加速对比;部分序列精度有轻微下降(EMH03 ATE差6%);预印本未经同行评审。
可应用于搭载Snapdragon平台的XR头显、AR眼镜、智能手机、无人机和机器人开发板(如RB5)。由于Hexagon DSP在这些设备中已广泛存在,若厂商开放相应接口或开发者获得SDK权限,OEM可在1-3年内集成此方案以延长电池寿命和降低发热。机器人开发板可能更快采用。前提是提供Hexagon SDK支持,且相机数据流能够高效传输至DSP。
受许可协议限制,本站不转载该论文全文,仅提供摘要和原文链接。