EmbPASS: Benchmark und EPONet für offene Panoramasegmentierung über vier Plattformen
Die Autoren stellen den Preprint EmbPASS vor, einen Benchmark mit 1.000 annotierten Panoramabildern von Fahrzeug-, Drohnen-, Wearable- und Quadruped-Plattformen. Das vorgeschlagene EPONet mit den Modulen RAMA und CAST erreicht darauf eine plattformbalancierte mIoU von 35,82 Prozent und übertrifft die stärkste Baseline OOOPS mit RERP um 1,10 Prozentpunkte. Der Ansatz wird ausschließlich auf Pinhole-Bildern aus COCOStuff-164k trainiert und segmentiert ungesehene Panoramaplattformen ohne Zielannotationen.
Wie kann offene semantische Segmentierung auf 360-Grad-Panoramabildern über heterogene, ungesehene Roboterplattformen hinweg ohne Zielannotationen zuverlässig funktionieren?
Heterogene Embodied-Plattformen unterscheiden sich stark in Beobachtungshöhe, Blickwinkel und räumlicher Anordnung. Diese Cross-Embodiment-Observation-Shifts führen zu unterschiedlichen Panorama-Verzerrungen und semantischen Layouts. Gleichzeitig sind dichte Panorama-Annotationen für jede Plattform teuer, sodass bestehende Systeme ohne spezifische Anpassung an neue Plattformen an Zuverlässigkeit verlieren.
Bisherige Open-Vocabulary-Segmentierungsmethoden wie SAN, CAT-Seg und S2-Corr sind vor allem auf perspektivische Bilder ausgelegt und behandeln Panoramen nicht systematisch. OOOPS erweitert OVSS zwar auf Panoramen, berücksichtigt aber keine plattformübergreifende Vielfalt. Distortion-aware Module wie DCNv3 oder MetricConv modellieren Verzerrungen nur lokal, ohne plattformspezifische semantische Transfermechanismen zu integrieren.
EPONet nutzt einen eingefrorenen CLIP ViT-B/16 Encoder und ein trainierbares Side-Adapter-Netzwerk. Das Modul RAMA sagt aus Inhaltsrepräsentationen und gerichteten Nachbarschaftsrelationen lokale Randers-Metriken vorher, mit denen eine strukturierte räumliche Aggregation unter verschiedenen Panorama-Verzerrungen erfolgt. Das Modul CAST überträgt adaptiv Zwischenrepräsentationen des CLIP-Encoders in den Side-Ast, indem es Reassembly-Kernel und räumliche Modulationsgewichte aus den aktuellen CLIP- und Side-Merkmalen erzeugt. Trainiert wird nur auf 118.000 Pinhole-Bildern des COCOStuff-164k-Datensatzes.
Auf EmbPASS erreicht EPONet 35,82 % mIoU und 42,30 % open mIoU, ein Plus von 2,00 Prozentpunkten gegenüber SAN (33,82 % mIoU) und 1,10 Punkten gegenüber OOOPS mit RERP (34,72 % mIoU) bei 0,37 M weniger lernbaren Parametern. Plattform-Einzelergebnisse: Vehicle 40,78 %, Drone 25,90 %, Wearable 38,87 %, Quadruped 37,74 % mIoU. Auf Stanford2D3D erzielt EPONet 43,87 % mIoU und 48,96 % open mIoU, auf DensePASS 49,15 % mIoU und 55,22 % open mIoU. Ablationen: RAMA bringt +1,17, CAST +0,96, beide gemeinsam +2,00 gegenüber der Basis mit 33,82 % mIoU. Im Vergleich räumlicher Operatoren erreicht RAMA 34,99 % mIoU, vor MetricConv mit 34,48 % und DCNv3 mit 34,46 %.
Das Paper ist ein nicht begutachteter Preprint. Die Evaluation beschränkt sich auf den Benchmark EmbPASS mit 1.000 Bildern aus vier Plattformtypen und auf zwei öffentliche Panorama-Datensätze. Es gibt keine Tests auf realen Robotern oder in dynamischen Einsätzen. Die Drohnen-Plattform bleibt mit 25,90 % mIoU deutlich hinter den anderen zurück, was auf die besondere Schwierigkeit dieser Beobachtungsperspektive hinweist. Weitere Aspekte wie Latenz, Speicherbedarf auf Edge-Hardware oder Verhalten bei Wetter- und Lichtänderungen sind im Paper nicht berichtet.
Für Hersteller von autonomen Fahrzeugen, Drohnen, Wearable-AR-Systemen und vierbeinigen Robotern könnte die Methode in 1 bis 3 Jahren relevant werden, wenn sie auf realen Plattformen validiert und auf Edge-Hardware optimiert wird. Voraussetzung sind eine öffentliche Codebasis, die Integration in bestehende Perzeptions-Stacks sowie belastbare Feldtests. Bis dahin eignet sich EPONet vor allem als Forschungsgrundlage für eine einheitliche, plattformübergreifende Panorama-Wahrnehmung.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.