FUSEye、魚眼画像向け物体検出を凍結バックボーンで改善、YOLO26-xのmAP50を14.80から26.61に向上
FUSEyeはCOCOで事前学習したYOLO26-xのバックボーンを凍結したまま魚眼カメラ画像向けに適応させる学習軽量フレームワークである。WoodScapeのMVR評価分割でmAP50を0.148から0.266に改善し、完全ファインチューニング精度の84.3%を維持した。本論文はプレプリントであり、査読済み採録は確認されていない。
COCO事前学習済み検出器を、魚眼画像特有の強い歪みと境界圧縮に適応させる際、モデル全体を再学習せず、入力・特徴・決定の各段階で生じるずれを同時に解決できるか。
魚眼カメラは単一センサで広視野を低コストに得られるが、強い放射状歪みが局所的な外観を変化させ、画像境界付近の物体が極端に圧縮される。COCO事前学習済み検出器をそのまま使うとmAP50が0.148に留まり、完全ファインチューニングは精度を回復するものの大量の魚眼ラベルと計算資源を要する。
歪み対応の畳み込みや補正ネットワークはカメラキャリブレーションや追加の前処理モデルを必要とし、多くの場合モデル全体の再学習を伴う。LoRAなど一般的なパラメータ効率的適応は魚眼特有の空間的に不均一な歪みを扱わない。SAHIやWBFなどのマルチビュー推論・融合は重複検出を扱うが、複数投影間の整合性を明示的に考慮しない。
FUSEyeは凍結したバックボーンを使い、3つのモジュールを追加する。入力段階ではGridViewsが全体画像と四隅の重複パッチからなる5つのビューを生成し、圧縮された境界物体を拡大する。特徴段階ではP4、P5、C2PSAの後にゼロ初期化残差アダプタZ-Adaptersを挿入し、歪みによる特徴ずれを学習する。決定段階ではAgreeFusionがクラスごとにIoUでクラスタリングし、複数ビューで一貫した低信頼度検出を学習済みスコアラーで再評価して融合する。YOLO26-xへの追加パラメータは約227kである。
WoodScape MVR評価分割で、YOLO26-xの直接転送はmAP50が14.80、mAP50:95が10.96だった。FUSEyeはmAP50を26.61、mAP50:95を17.26に改善し、完全ファインチューニングの31.56、22.82と比較してmAP50で70.5%、mAP50:95で53.1%の改善を回復した。学習画像を25%に減らした3回の試行では平均mAP50が25.97±0.34、mAP50:95が16.84±0.25となり、全ラベル使用時の97.6%を維持した。YOLOv8-x、YOLOv9-e、YOLOv10-x、YOLO11-xでもmAP50が5.80から8.29ポイント向上した。
busクラスではFUSEyeのmAP50:95が0.87となり、直接転送の1.49を下回った。完全ファインチューニングに対する回復率はmAP50の70.5%に対してmAP50:95は53.1%にとどまり、厳しいIoU閾値で差が大きい。著者はbusの低スコアを再発する限界として扱っている。評価はWoodScapeベンチマーク上のみで、実機ロボットでの検証は報告されていない。コードは論文公開時点では未公開で、GitHubで公開予定とされている。
移動ロボットや自動運転車両に搭載する魚眼カメラ向けの物体検出を、少ないラベルと計算資源で適応させる手段として利用できる可能性がある。現在の段階では、追加パラメータが少なく推論は同じ凍結検出器を5ビューで実行するのみであるため、エッジ環境での展開も検討できる。ただし実用化にはbusクラスの性能改善、実機での検証、対象クラス拡張などの条件を満たす必要があり、1〜3年程度の時間軸でロボットベンダーや自動車部品メーカーによる採用が考えられる。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。