SonarVoxNet und Diver3D: volle 3D-Posenerkennung von Tauchern aus 3D-Sonar
Der Preprint stellt SonarVoxNet vor, einen voxelbasierten Detektor, der aus 3D-Sonarpunktwolken Position, Größe und volle 3D-Orientierung von Tauchern als 9-DoF-Bounding-Boxen schätzt. Zusammen mit dem neuen Datensatz Diver3D, dem ersten öffentlichen 3D-Sonardatensatz mit vollständigen 3D-Orientierungslabels für Taucher, erreicht das Verfahren auf dem Testsplit einen AP3D@0,35 von 0,774 und mit kausaler Geometrie-Nachbearbeitung einen SDS von 0,719. Die Ablation zeigt, dass der Wechsel von einer reinen Gierwinkel- zu einer vollen SO(3)-Rotationsrepräsentation den größten Genauigkeitssprung bringt und damit die Grundlage für taucherzentrierte Unterwasser-Mensch-Roboter-Interaktion legt.
Wie kann ein voxelbasierter Detektor aus spärlichen, verrauschten 3D-Sonarpunktwolken die volle 3D-Körperorientierung frei bewegter Taucher als 9-DoF-Bounding-Box schätzen, wenn bisherige LiDAR-Detektoren nur aufrechte, gierwinkel-beschränkte Objekte modellieren?
Unterwasser sind optische Kameras durch Lichtdämpfung, Streuung und Trübung unzuverlässig; herkömmliches Forward-Looking Sonar projiziert 3D-Struktur auf eine 2D-Ebene und verliert die Elevation, sodass die für die Mensch-Roboter-Interaktion wichtige Körperorientierung nicht rekonstruierbar ist. Neuere 3D-Sonarsensoren liefern zwar Elevationsinformationen, erzeugen aber spärliche, ungleichmäßige und multipath-verrauschte Punktwolken. Bestehende 3D-Detektoren aus dem LiDAR-Bereich setzen zudem aufrechte Ziele mit Rotation nur um die Hochachse voraus und können frei nickende und rollende Taucher nicht korrekt repräsentieren.
Bisherige Unterwasser-Objektdetektion stützt sich auf optische Kameras oder Forward-Looking Sonar. Kameras versagen bei schlechter Sicht, FLS verwirft die Elevation. Im LiDAR-Bereich existieren voxelbasierte Detektoren wie VoxelNet, SECOND, PointPillars, CenterPoint und VoxelNeXt, deren Detektionsköpfe durchweg nur einen Gierwinkel vorhersagen und daher für aufrechte Straßenobjekte ausgelegt sind. Für 3D-Sonar gibt es mit SonarPoint lediglich einen generischen Objektdetektor ohne Taucherfokus und ohne volle 3D-Orientierung. Ein öffentlicher 3D-Sonardatensatz mit vollständigen Orientierungslabels für Taucher in diversen, nicht aufrechten Posen fehlte bislang.
SonarVoxNet kombiniert einen VoxelNet-artigen volumetrischen Encoder mit einem anchor-freien, zentrumsbasierten CenterPoint-Kopf. Der Kopf ersetzt die übliche Gierwinkel-Ausgabe durch eine kontinuierliche 6D-Rotationsparametrisierung, die per Gram-Schmidt-Orthonormalisierung in eine volle SO(3)-Rotationsmatrix überführt wird, und regressiert damit 9-DoF-Bounding-Boxen. Zusätzlich wird ein kausales Geometrie-Refinement eingesetzt, das erkannte Boxen über Zeitspuren mit IMM-Filtern im euklidischen Raum und im Tangentialraum von SO(3) nachbearbeitet, ohne neue Detektionen zu erzeugen. Der neue Datensatz Diver3D umfasst 36 Szenen, 37.010 Frames und 34.568 annotierte Taucherinstanzen aus einem Höhlentauchgewässer in Florida; Training und Evaluation erfolgen auf einem NVIDIA A100 mit einer Voxelgröße von 0,1 m × 0,1 m × 0,5 m.
Im Testsplit erreicht SonarVoxNet mit Augmentation und kausalem Refinement einen AP3D@0,35 von 0,774, einen AP3D@0,50 von 0,467 und einen SDS von 0,719. Ohne Refinement liegen die Werte bei 0,703, 0,359 und 0,673. Gegenüber den fünf LiDAR-Baselines VoxelNet, SECOND, PointPillars, CenterPoint und VoxelNeXt, die auf AP3D@0,35 Werte zwischen 0,126 und 0,374 erreichen, verbessert sich SonarVoxNet ohne Augmentation im Mittel um 0,249 Punkte beim AP3D@0,35. Die Ablation zeigt: Der Wechsel von Gierwinkel zu voller SO(3)-Rotation hebt den AP3D@0,35 von 0,328 auf 0,538 (dichter Backbone) bzw. von 0,319 auf 0,515 (spärlicher Backbone) und reduziert den vollen 3D-Orientierungsfehler AOE3D von 65 bis 71 Grad auf 48 bis 51 Grad. Die sonarspezifische Augmentation steigert AP3D@0,35 von 0,515 auf 0,703 (+37 Prozent relativ). Alle Zahlen stammen aus zwei Seeds auf dem gehaltenen Testsplit des realen Diver3D-Datensatzes.
Die Autoren nennen vier Grenzen: Die z-Achse wird vor der BEV-Projektion grob komprimiert, was die räumliche Auflösung begrenzt; die positive Vordergrunddichte ist mit 1,3 Tauchern pro nicht-leerem Frame gering, sodass überwachtes Training auf synthetische Augmentierung angewiesen bleibt; die vollständige Rotationsannotation eines nicht-starren, frei bewegten Tauchers ist inhärent ungenau, teils unklar ob Netzwerk oder menschliches Label präziser ist; der Ansatz übernimmt LiDAR-Designentscheidungen ohne akustikspezifische Physik oder taucherspezifisches Profil. Zudem stammen die Daten von einem einzigen natürlichen Höhlenstandort und einem nicht näher spezifizierten 3D-Sonarsensor; eine Validierung auf einem realen Roboter oder in anderen Gewässern wird im Paper nicht berichtet. Der Code wird nur als Bestandteil des Supplementary Materials erwähnt, eine öffentliche Reproduzierbarkeit ist damit nicht bestätigt.
Für Hersteller von AUVs und Anbieter von Unterwasserrobotik eröffnet die Kombination aus 3D-Sonar und voller 3D-Posenschätzung einen Weg zu kontextbewusster Mensch-Roboter-Interaktion, etwa bei Inspektions-, Bergungs- oder wissenschaftlichen Tauchmissionen. Kurzfristig (jetzt bis 1 Jahr) kann der Datensatz Diver3D als Benchmark für die Entwicklung eigener Detektoren dienen; mittelfristig (1 bis 3 Jahre) sind Integrationen in AUV-Perzeptionsstacks denkbar, sofern Rechenleistung, Sensorfusion und Echtzeitanforderungen an Bord erfüllt werden. Voraussetzung sind belastbare, öffentlich verfügbare Implementierungen, weitere Tests mit unterschiedlichen 3D-Sonarmodellen und Gewässerbedingungen sowie die Klärung von Sicherheits- und Zertifizierungsfragen für autonome tauchernah operierende Fahrzeuge.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.