EmbPASS 벤치마크와 EPONet, 이종 임바디먼트 개방형 파노라마 분할 제안

이종 로봇 플랫폼의 파노라마 영상에서 관측 시점과 공간 배치 차이로 생기는 교차 임바디먼트 관측 변화를 극복하고, 목표 플랫폼의 주석 없이도 개방 어휘 파노라마 의미 분할을 수행할 수 있는가?

파노라마 영상은 360도 시야를 제공하지만, 차량, 드론, 웨어러블, 사족 로봇 등 플랫폼마다 카메라 높이와 시점이 달라 동일한 장면도 파노라마 외관과 공간 배치가 크게 달라진다. 기존 파노라마 의미 분할 벤치마크는 고정형 스캐너나 거리 촬영 시스템 위주라 플랫폼 다양성을 반영하지 못하고, 플랫폼마다 밀집 주석을 만드는 비용도 커서 실제 이종 로봇 전반에 적용하기 어렵다.

기존 연구는 CLIP 기반 개방 어휘 분할을 핀홀 영상에 적용하거나, 파노라마 왜곡을 구면 기하 모델이나 변형 컨볼루션으로 완화하고, 일부는 OPS와 OOOPS처럼 핀홀 소스로 학습한 뒤 파노라마 목표 도메인에 전이했다. 하지만 이런 방법은 주로 단일 파노라마 도메인이나 특정 플랫폼을 가정하고, 플랫폼이 달라질 때의 관측 변화와 의미 배치 변화를 체계적으로 다루지 못했다.

저자들은 차량, 드론, 웨어러블, 사족 로봇 네 플랫폼에서 각 250장씩 총 1,000장을 모아 Cityscapes 19개 클래스로 픽셀 단위 주석을 만든 EmbPASS를 제안했다. 모델 EPONet은 고정된 CLIP 비주얼 인코더와 경량 Side Adapter Network를 쓰며, RAMA가 콘텐츠 표현과 방향별 이웃 유사도에서 로컬 Randers 메트릭을 예측해 샘플링 지지 영역을 구조적으로 제약하고, CAST가 현재 CLIP과 Side 특징에 따라 중간 CLIP 표현을 재구성해 전이한다. 학습은 COCOStuff-164k의 핀홀 영상만 사용하고 EmbPASS 목표 플랫폼 주석은 쓰지 않았다.

EmbPASS에서 EPONet은 플랫폼 균형 평균 mIoU 35.82%, open mIoU 42.30%를 기록했다. 가장 강한 비교 모델인 OOOPS w/ RERP 대비 mIoU 1.10%포인트, open mIoU 1.16%포인트 높았고, SAN 대비 mIoU 2.00%포인트, open mIoU 1.93%포인트 높았다. 플랫폼별 mIoU는 Vehicle 40.78%, Drone 25.90%, Wearable 38.87%, Quadruped 37.74%였고, 모든 비교 모델이 Drone에서 가장 낮은 성능을 보였다. 기존 벤치마크에서는 Stanford2D3D mIoU 43.87%로 S2-Corr에 이어 2위, DensePASS mIoU 49.15%와 open mIoU 55.22%로 1위를 기록했다. 절제 실험에서 기본 구성 33.82% 대비 RAMA와 CAST를 모두 더하면 35.82%로 2.00%포인트 올랐다.

저자가 별도 한계 절로 정리한 내용은 없다. 다만 EmbPASS는 야외 장면 4개 플랫폼 총 1,000장, 19개 클래스로 제한되고, Drone 하위 집합 mIoU가 25.90%로 다른 플랫폼보다 크게 낮아 항공 시점의 ERP 왜곡이 여전히 어려운 조건으로 드러났다. 실물 로봇에 적용한 실험은 보고되지 않았고, 추론 지연 시간과 임베디드 연산 비용도 확인되지 않았다. 코드와 벤치마크는 공개 예정이라고 밝혔지만, 동료 심사를 거치지 않은 프리프린트이다.