HexVIO: Stereo-VIO auf Smartphone-DSPs für ganztägiges Tracking
Der Preprint stellt HexVIO vor, ein Stereo-inertiales Odometriesystem, dessen visuelles Frontend auf den Hexagon-DSP eines unveränderten Samsung Galaxy S23 ausgelagert wird. Gegenüber der CPU-Baseline erreicht es bei gleicher Genauigkeit eine Reduktion der Gesamtleistungsaufnahme um 67 % oder eine Steigerung des Durchsatzes um 86 % und hält 30 fps Tracking mit 0,83 W durch, was etwa 18 Stunden auf dem Testgerät entspricht. Die Arbeit zeigt, dass bereits vorhandene Commodity-DSPs in Smartphones und XR-Geräten energieeffizientes visuell-inertiales Tracking für Robotik und mobile Geräte ermöglichen.
Kann der Hexagon-DSP eines handelsüblichen Smartphones das visuelle Frontend eines Stereo-VIO-Systems so beschleunigen, dass Echtzeit-Tracking bei deutlich niedrigerem Energieverbrauch und erhaltener Genauigkeit möglich wird?
Visuell-inertiale Odometrie ist für Roboter, Wearables, XR-Geräte und Drohnen grundlegend, aber CPU-basierte Implementierungen verbrauchen zu viel Energie, erzeugen Wärme und begrenzen die Batterielaufzeit. Spezialisierte Hardwarebeschleuniger sind effizient, aber nicht breit verfügbar; GPU-Beschleunigung bringt höhere Leistungsaufnahme und thermische Last. Der in vielen Geräten vorhandene Hexagon-DSP wird für VIO kaum genutzt, insbesondere fehlt eine stereo-inertiale Umsetzung.
Bisherige Ansätze umfassen CPU-basierte Systeme wie Basalt mit NEON-Optimierungen, GPU-Beschleunigungen wie vilib, Jetson-SLAM, FastTrack und GLidE-SLAM sowie kundenspezifische Hardware wie Navion (ASIC), eSLAM und ac2SLAM (FPGA) oder PX4Flow (Mikrocontroller). LEVIO entwirft den Schätzer für minimale Energie neu, opfert dafür Genauigkeit. Frühere Hexagon-Portierungen, etwa von OpenVINS in einer Abschlussarbeit, waren langsamer als die CPU, nicht quelloffen oder benötigten gerootete Geräte; keine unterstützte Stereo-inertiales Tracking.
HexVIO lagert das Frontend von Basalt (Pyramidenbau, FAST-9-Detektion, invers-kompositionelles KLT-Tracking) auf den Hexagon-V73-DSP eines Samsung Galaxy S23 aus und behält das Backend auf der CPU. Alle Frontend-Stufen werden in einem einzigen FastRPC-Aufruf pro Stereoframe fusioniert, um Overhead zu amortisieren. Die Bildpyramiden liegen im VTCM-Scratchpad, das Stereo-Vollbild wird per DMA geholt. Zwei Vektorisierungsstrategien kommen zum Einsatz: pixelparallel für Pyramide und Detektion, featureparallel mit Gathers für das Tracking, wobei 32 Features pro Batch verarbeitet werden. Der Quellcode soll veröffentlicht werden.
Im ungetakteten Maximaldurchsatz erreicht HexVIO auf acht Sequenzen aus EuRoC, Monado SLAM Dataset, TUM-VI und einem eigenen XREAL-Datensatz Frameraten von 120,0 bis 206,3 fps gegenüber 56,2 bis 105,6 fps der CPU-Baseline, also eine Beschleunigung um den Faktor 1,65 bis 2,38. Die Genauigkeit bleibt erhalten: ATE unterscheidet sich auf vier von sechs Sequenzen um höchstens 0,4 %, auf TR6 um 2,9 % zugunsten des DSP und auf EMH03 um 6 % zugunsten der CPU; RTE ist nahezu identisch. Die Standardabweichung der Frontend-Latenz sinkt um den Faktor 5 bis 15. Bei an die Sensorrate angepassten Läufen zieht DSP B im Mittel 35 % weniger Gesamtleistung als die CPU (maximal 43 % auf MOO08), DSP L im Mittel 40 % (maximal 45 %). Über alle acht Sequenzen verpasst die CPU 342 Deadlines, DSP B 21 und DSP L 1. Im 40-minütigen MOO12-Lauf verbrauchen CPU, DSP, DSP B und DSP L 1,46 W, 0,96 W, 0,90 W und 0,83 W bei gleicher Genauigkeit (0,67 bis 0,68 m ATE, 7,7 mm RTE); 0,83 W entsprechen bei 15 Wh Akku etwa 18 Stunden Tracking. Die SoC-Dieseltemperatur bleibt unter DSP-Konfigurationen bei 34 bis 35 °C statt 42 °C bei der CPU. Auf MOO05 erreicht HexVIO am Arbeitspunkt der maximalen CPU-Durchsatzrate von 98 fps nur 1,6 W statt 4,8 W und liefert bei 4,5 W einen um 86 % höheren Durchsatz als die CPU.
Die Leistungsmessung erfolgt über den internen Fuel Gauge des Smartphones mit einer Auflösung von 100 ms bis 1 s, wodurch keine Energie pro Pipeline-Stufe angegeben werden kann und systematische Verzerrungen in absolute Werte einfließen; die Verbesserungen werden nur relativ auf demselben Gerät ausgewiesen. Es wurde ausschließlich auf einem Samsung Galaxy S23 mit Snapdragon 8 Gen 2 getestet. Die Datensätze werden von der Festplatte gelesen, nicht von einer Live-Kamera; eine direkte Kamera-ISP-Anbindung an den DSP erfordert signierten Vendor-Code und damit eine OEM-Integration. Zwei XREAL-Sequenzen erreichen thermische Grenzen, wobei XBIKE auch auf dem DSP drosselt. Das Backend bleibt auf der CPU und dominiert nun die verbleibende Frame-Zeit. Der Preprint ist nicht begutachtet und der Quellcode zum Zeitpunkt der Veröffentlichung noch nicht verfügbar.
Unternehmen, die Geräte mit Snapdragon-SoCs und Hexagon-DSP herstellen (Smartphones, XR-Headsets mit XR2 oder AR1, Robotik-Boards wie RB5, Automotive-Plattformen wie Snapdragon Ride), können die Effizienzgewinne von HexVIO nutzen, um Batterielaufzeit zu verlängern, Wärmeentwicklung zu senken und leichtere, komfortablere Geräte zu bauen. Kurzfristig ist die Integration auf vorhandener Hardware als Open-Source-Frontend möglich. Für den vollen Nutzen mit direktem Kamera-ISP-Zugriff und optimiertem Backend ist eine OEM-Integration innerhalb von 1 bis 3 Jahren realistisch, sofern Qualcomm die nötigen Schnittstellen für signierten Code öffnet.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.