FUSEye: Trainingsleichtes Fisheye-Detektionsframework mit überlappenden Ansichten und Zero-Initialized Adapters
Das Preprint stellt FUSEye vor, ein trainingsarmes Framework, das einen COCO-vortrainierten YOLO26-x-Detektor mit eingefrorenem Backbone durch überlappende Grid-Ansichten, Zero-Initialized Residual Adapters und Cross-Projection Agreement Fusion an Fisheye-Bilder anpasst. Auf dem WoodScape-MVR-Validierungssplit steigt der AP50 von 14,80 auf 26,61; damit werden 84,3 Prozent der vollständig feinabgestimmten Genauigkeit erreicht, während nur etwa 227.000 neue Parameter trainiert werden. Das ist relevant, weil Roboter so mit begrenzten Labels und Rechenressourcen Detektoren für stark verzerrte Weitwinkelkameras nachrüsten können.
Kann ein COCO-vortrainierter Detektor ohne vollständiges Fine-Tuning an Fisheye-Bilder angepasst werden, wenn gleichzeitig Eingabe-Kompression, Feature-Fehlausrichtung und entscheidungsseitige Mehransichts-Konflikte unter begrenztem Label- und Trainingsbudget adressiert werden?
Fisheye-Kameras liefern eine kostengünstige Rundumsicht, aber starke radiale Verzerrung und Randkompression lassen Objekte am Bildrand sehr klein und verzerrt erscheinen. COCO-vortrainierte Detektoren, die in der Praxis oft wiederverwendet werden, versagen auf solchen Bildern; vollständiges Fine-Tuning schließt einen Teil der Lücke, benötigt jedoch viele Fisheye-Labels und Rechenleistung. Besonders kritisch ist das für mobile Roboter, da Fußgänger oder Hindernisse beim Eintritt ins Sichtfeld zunächst als stark komprimierte Randobjekte auftreten und ein Übersehen die Reaktionszeit verkürzt.
Bisherige Ansätze umfassen projektionsbewusste Kernel-Anpassungen, die oft eine Kamerakalibrierung erfordern, Rektifizierungsnetzwerke wie FishFormer oder FishRecGAN mit zusätzlichem Vorverarbeitungsmodell, deformierbare Convolutions mit vollständigem Neutraining sowie generische parameter-effiziente Adapter ohne Verzerrungsspezifik. Slicing- und Multi-View-Inferenz wie SAHI oder Weighted Boxes Fusion vergrößern Randobjekte, behandeln aber redundante Detektionen nicht explizit hinsichtlich projektionsübergreifender Übereinstimmung. Diese Bausteine wurden bisher nicht in einem Framework mit eingefrorenem Backbone für Fisheye-Detektion integriert.
FUSEye behandelt die Transferlücke auf drei Ebenen. GridViews erzeugt aus dem Vollbild vier überlappende, an den Ecken verankerte Zuschnitte und bildet alle Boxen zurück in das Originalkoordinatensystem; das vergrößert komprimierte Randobjekte ohne Kalibrierung oder Entzerrung. Zero-Initialized Residual Adapters (Z-Adapters) werden nach den Backbone-Stufen P4, P5 und C2PSA eingefügt, sind bei Initialisierung exakte Identitätsabbildungen und lernen dann eine residuale Korrektur der verzerrungsbedingten Feature-Fehlausrichtung; sie umfassen auf YOLO26-x 222.480 Parameter. AgreeFusion bündelt remappte Detektionen pro Klasse per IoU-Clustering, bewertet Cluster mit einem kleinen MLP (etwa 4.400 Parameter) neu, fusioniert konsistente Boxen mit WBF und wendet anschließend klassenweise NMS an. Backbone-Gewichte bleiben eingefroren; trainiert werden nur Adapter, Detektionskopf und der separate Fusions-Scorer.
Auf dem WoodScape-MVR-Validierungssplit verbessert FUSEye YOLO26-x von 14,80 auf 26,61 AP50 und von 10,96 auf 17,26 AP50:95. Vollständiges Fine-Tuning erreicht 31,56 AP50; FUSEye holt damit 70,5 Prozent des AP50-Zugewinns und 53,1 Prozent des AP50:95-Zugewinns auf. Mit zufällig gewählten 25 Prozent der Trainingslabels (1.520 Bilder pro Subset, drei Subsets) erreicht FUSEye im Mittel 25,97 ± 0,34 AP50 und behält 97,6 Prozent der Voll-Label-Leistung. In der Cross-Model-Evaluation steigert FUSEye den AP50 für YOLOv8-x, YOLOv9-e, YOLOv10-x und YOLO11-x um 5,80 bis 8,29 Punkte. Die Ablation zeigt komplementäre Effekte: GridViews stärkt die Personenerkennung, Z-Adapters verbessern vor allem Auto, und AgreeFusion profitiert am stärksten von angepassten Multi-View-Kandidaten. Die Bus-Erkennung bleibt in allen FUSEye-Konfigurationen sehr niedrig und teils unter dem direkten Transfer.
Die Autoren berichten, dass die Bus-Erkennung bei FUSEye unterhalb des direkten Transfers bleibt und die relative Lücke bei AP50:95 größer ist als bei AP50. Es fehlen Unsicherheitsangaben für das volle Training und Signifikanztests für die Unterschiede. Die Evaluation umfasst nur den WoodScape-MVR-Validierungssplit mit drei Klassen (Auto, Person, Bus); reale Roboterexperimente werden nicht berichtet. Der Inferenzaufwand beträgt etwa fünf Vorwärtsdurchläufe bei 640×640. Der Code ist angekündigt, aber im Paper noch nicht verfügbar. Es handelt sich um ein Preprint ohne dokumentierte Begutachtung.
Mobile Robotik, Überwachung und Automobil könnten FUSEye nutzen, um COCO-vortrainierte Detektoren ohne vollständiges Fine-Tuning und ohne Kalibrierung oder Entzerrung an Fisheye-Kameras anzupassen. Kurzfristig ist ein Einsatz für Prototypen und Forschung denkbar, sobald der Code verfügbar ist. Für produktive Anwendungen in 1 bis 3 Jahren müssen die Bus-Schwäche behoben, weitere Klassen einbezogen und die Leistung auf realen Robotern validiert werden; der fünffache Inferenzaufwand ist dabei gegen den geringeren Trainingsaufwand abzuwägen.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.