FUSEye: 오버랩 뷰와 제로 초기화 어댑터로 어안 카메라 검출을 가볍게 적응시키다

COCO 사전학습 검출기를 전체 모델 미세조정 없이 어안 영상에 적응시키면서 입력 단계의 가장자리 압축, 특징 단계의 왜곡 정렬 오류, 결정 단계의 중복 검출 충돌을 동시에 해결할 수 있는가?

어안 카메라는 시야각이 넓지만 강한 방사 왜곡으로 물체 모양이 지역에 따라 달라지고, 영상 가장자리에서 물체가 거의 보이지 않을 정도로 압축된다. COCO로 사전학습한 검출기를 그대로 쓰면 주변부 보행자나 장애물을 놓쳐 제동과 재계획 시간이 줄어든다. 전체 미세조정은 성능을 끌어올리지만 어안 라벨과 연산 자원이 많이 필요하다.

기존에는 투영 인식 커널 적응, 정류 네트워크, 변형 합성곱 등으로 왜곡을 다뤘지만 카메라 캘리브레이션이 필요하거나 별도 전처리 모델을 추가하고 전체 모델 재학습을 요구했다. 일반적인 파라미터 효율 어댑터는 학습 파라미터를 줄이지만 어안 영상의 공간 비균일 왜곡을 고려하지 않았다. SAHI, WBF 같은 슬라이싱과 다중 뷰 추론은 작은 가장자리 물체를 확대하지만 중복 검출을 기계적으로 억제하거나 단순 융합할 뿐 교차 투영 일관성을 명시적으로 평가하지 않았다.

FUSEye는 입력, 특징, 결정 세 단계를 연결된 문제로 보고 세 모듈을 결합했다. GridViews는 원본과 네 모서리 오버랩 크롭을 만들어 640×640으로 리사이즈하고 검출 박스를 원래 좌표로 되돌리며, 캘리브레이션과 디워핑이 없다. Z-Adapters는 P4, P5, C2PSA 뒤에 채널 축소 1×1 컨볼루션, 3×3 깊이별 컨볼루션, 제로 초기화 출력 투영으로 구성된 잔차 어댑터를 넣어 첫 단계에서 사전학습 모델과 동일한 출력을 유지하면서 어안 왜곡 보정을 학습한다. AgreeFusion은 클래스별 IoU 0.5 이상 박스를 클러스터링하고 12차원 특징을 MLP 점수기(약 4,400개 파라미터)에 넣어 교차 뷰 지지가 있는 저신뢰 검출만 승격한 뒤 WBF로 박스를 합친다. 백본은 얼리고 검출 헤드와 어댑터만 학습하며, 추가 파라미터는 약 227k이다.

WoodScape MVR 검증 스플릿에서 YOLO26-x 직접 전이는 AP50 14.80, AP50:95 10.96이었고, FUSEye는 AP50 26.61, AP50:95 17.26을 기록했다. 전체 미세조정은 AP50 31.56, AP50:95 22.82로, FUSEye는 AP50 기준 전체 미세조정 성능의 84.3%를 회복했다. 클래스별 AP50:95는 car 26.83, person 24.06, bus 0.87로, person은 전체 미세조정(22.44)보다 높았지만 bus는 직접 전이(1.49)보다 낮았다. 학습 이미지의 25%(1,520장)만 무작위로 쓰면 AP50 25.97±0.34, AP50:95 16.84±0.25로 전체 라벨 성능의 97.6%를 유지했다. YOLOv8-x, YOLOv9-e, YOLOv10-x, YOLO11-x에서 AP50을 5.80에서 8.29포인트 올렸다. 평가는 실제 어안 데이터셋 WoodScape의 서로 다른 뷰를 훈련과 검증으로 나눈 오프라인 이미지 평가이며, 실물 로봇 시험은 보고되지 않았다.

저자들은 bus 클래스가 FUSEye에서 직접 전이보다 낮고, AP50:95 회복률이 53.1%에 그쳐 엄격한 위치 정확도에서 격차가 크다고 밝혔다. 또한 전체 데이터 결과의 변동성이 보고되지 않아 25% 라벨 결과와의 통계적 비교가 어렵다. 평가는 WoodScape의 car, person, bus 3개 클래스와 MVR 단일 뷰에 국한됐고, 실물 로봇이나 다운스트림 주행 과제 성능은 논문에 보고되지 않았다. 추론 시 동일 백본을 5개 뷰에 실행해야 해 연산 비용이 약 5배 늘며, 백본은 얼었지만 검출 헤드와 점수기를 포함해 약 667만 개 파라미터를 학습해야 한다. 소스 코드는 논문에 깃허브 링크로 공개 예정이라고 표기됐다.