SonarVoxNetが3Dソナーから潜水士の9自由度姿勢を検出、Diver3Dデータセットも公開

3Dソナーの疎でノイズの多い点群から、自由にピッチ・ロールする潜水士の3次元位置と全姿勢を含む9自由度の有向バウンディングボックスを検出できるか。

AUVが潜水士を支援するには3次元位置と全身姿勢の追跡が必要だが、水中では光学カメラが不安定であり、従来の前方ソナーは仰角情報を捨てるため姿勢推定ができない。商用化された3Dソナーは仰角を保持するが点群が疎でノイズが多く、既存のLiDAR検出器は対象が直立してヨー軸のみ回転すると仮定するため、自由に動く潜水士には適合しない。

従来は自動運転向けのVoxelNet、SECOND、PointPillars、CenterPoint、VoxelNeXtなどボクセルベースやピラーベースの検出器が使われるが、回転表現がヨー角のみである。前方ソナーによる2次元投影では仰角が失われる。3Dソナー検出としてはSonarPointが存在するが汎用物体対象であり、潜水士の全姿勢ラベル付き公開データセットはなかった。

SonarVoxNetはVoxelNetのVFEと疎3D畳み込みバックボーン、CenterPoint型のアンカーフリー中心点ヘッドを採用し、回転出力を連続6D表現に置き換えてSO(3)全域の回転行列を回帰する。推論時にはBEV平面外の幾何を補正する因果的リファインメントとして、R3とSO(3)の接空間におけるIMMフィルタとサイズの縮小のみの時間推定を適用する。加えてBlue Grottoで収集したDiver3Dデータセットを構築し、多様な非直立姿勢の潜水士に3D姿勢ラベルを付与した。学習時には物体数アニーリング付きのグラウンドトゥルースサンプリングによる音響データ向け拡張を導入した。

Diver3Dテストセットで、SonarVoxNet（拡張なし）は[email protected]で0.515、[email protected]で0.233、SDSで0.574を達成し、VoxelNet、SECOND、PointPillars、CenterPoint、VoxelNeXtの各ベースライン平均より[email protected]で0.249、@0.50で0.215、SDSで0.131上回った。拡張を加えると[email protected]が0.703、@0.50が0.359、SDSが0.673に向上し、さらに因果リファインメントで[email protected]が0.774、@0.50が0.467、SDSが0.719となった。アブレーションではヨー角のみからSO(3)回転への変更が最も支配的で、密バックボーンで[email protected]が0.328から0.538、疎バックボーンで0.319から0.515に上昇し、AOE3Dは65～71度から48～51度に低下した。この改善は厳しいIoU閾値でより顕著で、[email protected]では9倍から15倍の向上が見られた。

著者は、z軸を粗いグリッドに圧縮してBEV投影する地上向け設計を流用している点、Diver3Dの正例密度が低く前景教師が乏しい点、非剛体な潜水士の全回転アノテーションが正確でない場合がある点、音響物理や潜水士固有の事前知識を組み込んでいない点を限界として挙げた。さらに本稿ではコード公開の有無が明記されておらず、評価はフロリダの単一サイトのデータに依存している。計算コストはA100で57 FPSと報告されているが、組み込みプラットフォームでの動作は確認されていない。