Keytime Gaussian Process Regression 기반 실시간 이벤트 카메라 스테레오 VO

이벤트 카메라 고유의 비동기 측정 시각을 유지하면서도 실시간으로 동작하는 스테레오 VO를 만들 수 있는가?

이벤트 카메라는 마이크로초 수준 시간 해상도와 높은 동적 범위를 제공하지만, 기존 이산 시간 VO는 이벤트를 프레임으로 묶어 시간 해상도를 잃는다. 반면 연속 시간 Gaussian Process 방식은 비동기 측정을 유지하지만 측정마다 상태를 두면 상태 크기가 커져 실시간 실행이 어렵다.

ES-PTAM 같은 이산 방식은 이벤트를 프레임으로 누적해 백엔드에서 개별 타임스탬프를 버린다. GPCT는 WNOA 사전 분포와 MC-RANSAC을 쓰지만 각 측정 시각에 상태를 배치해 상태 크기가 커져 실시간성을 확보하지 못했다. B-스플라인 기반 연속 시간 방식도 있으나 물리적으로 덜 정당화된 운동 모델이거나 수치 야코비안 등으로 실시간이 어려운 경우가 있었다.

이 파이프라인은 측정 시각과 독립적으로 선택한 희소 키타임에 포즈, 속도 상태만 두고, WNOA 사전 분포의 보간 행렬을 이용해 각 이벤트 특징의 정확한 측정 시각에서 재투영 잔차를 평가한다. MC-RANSAC이 상수 속도 모델로 이상치를 먼저 제거하고, 프로듀서-컨슈머 구조로 백엔드가 클러스터를 건너뛰며 실시간을 유지한다. C++/GTSAM iSAM2로 구현됐고, MVSEC은 10,500개, DSEC은 150,000개 이벤트를 클러스터로 만들어 LIBVISO2 특징을 사용했다.

GPCT와 비교한 MVSEC indoor1, indoor3에서 키타임 방식은 GPCT와 유사한 정확도를 보였다. indoor1 최종 오차는 GPCT 6.6% 대비 4.8%, indoor3은 5.5% 대비 6.9%였다. ES-PTAM과 비교에서는 비교 가능한 시퀀스 중 하나를 제외한 모든 시퀀스에서 전역 오차가 더 낮았고, 상대 오차는 모든 시퀀스에서 더 낮았다. MVSEC에서 22Hz, DSEC에서 6Hz로 추정했으며, 유효 시퀀스 전체 기준 상대 이동 RMS 46×10^{-2} cm, 상대 회전 RMS 3.8×10^{-2}도로 ES-PTAM보다 각각 11배, 15배 우수했다.

저자들은 향후 다양한 이벤트 표현과 특징을 비교하겠다고 밝혔다. 현재 공개 데이터셋 기반 평가이고, 프리프린트라 동료 심사를 거치지 않았다. 데스크톱 CPU(i7-9750H)에서 실시간이 확인됐지만 임베디드 환경에서의 성능은 보고되지 않았다. 코드 공개 여부도 논문에 보고되지 않았다. 이산 방식 ES-PTAM이 제공하는 준밀집 지도(semidense map)는 제공하지 않으며, VO에 국한돼 루프 폐쇄나 지도 재사용은 다루지 않았다.