Keytime GP回帰によるイベントカメラステレオVOのリアルタイム化
本論文はプレプリントであり、査読済みではない。イベントカメラの非同期イベント時刻を保持したままリアルタイム動作するステレオ視覚オドメトリ（VO）パイプラインを提案した。WNOA事前分布に基づくGaussian Process回帰の状態をキータイムに限定し、補間により各計測時刻の残差を評価することで状態数を削減した。MVSECとDSECで評価し、DSECの1シーケンスを除きES-PTAMより高精度で、MVSECでは22Hz、DSECでは6Hzで推定した。
イベントカメラの非同期計測時刻を維持しつつ、連続時間Gaussian Process回帰の状態数を削減してリアルタイム性能を達成できるか。
イベントカメラVOは非同期イベントを処理する必要があるが、離散時間手法はイベントを蓄積して時間分解能を失い、連続時間GP回帰を適用すると各イベント特徴に状態が必要となり状態数が膨大になりリアルタイム動作しない。
離散時間手法（ES-PTAMなど）はイベントをフレームにまとめてネイティブな時間分解能を失う。連続時間GP手法のGPCTはWNOA事前分布で非同期計測を扱うが、計測時刻ごとに状態を置くため状態サイズが大きくリアルタイム性能に制約があった。B-spline連続時間手法も存在するが数値ヤコビアンや平面運動制約などがある。
キータイム補間とWNOA事前分布を用いたGaussian Processで軌跡を表現し、状態を少数のキータイムに限定した。任意の計測時刻の姿勢は前後キータイム状態からGP補間行列で計算し、解析ヤコビアンを用いてGTSAM/iSAM2で最適化する。外れ値除去にはMC-RANSACを導入し、プロデューサー・コンシューマー構造でバックエンドがクラスタをスキップ可能にしてリアルタイム性を確保した。
MVSECとDSECで評価した。キータイム手法はGPCTと比較してMVSEC indoor_1、indoor_3で最終誤差・RMS相対誤差が同等だった。全有効シーケンスのRMS相対誤差は並進46×10^-2 cm、回転3.8×10^-2 degで、ES-PTAMよりそれぞれ11倍、15倍優れていた。ES-PTAMとの比較では、結果が報告されているシーケンスのうちDSEC city_4bを除く全シーケンスでglobal errorが優れ、RMS相対誤差は全テストシーケンスで優れていた。推定周波数はMVSECで22Hz、DSECで6Hz。評価はIntel Core i7-9750H 2.60GHz、16GB RAM上で実施した。
著者は今後の課題として異なるイベント表現・特徴の比較を挙げている。本評価はMVSECとDSECの記録データセット上であり、実機ロボットでの閉ループ評価は行われていない。DSECでの推定周波数は6Hzにとどまる。使用した特徴抽出手法（LIBVISO2、イベントクラスタ）に依存しており、任意の特徴抽出器での性能は示されていない。コード公開の有無は論文では報告されていない。
イベントカメラを搭載した高速運動ロボット、ドローン、自動運転車両の視覚オドメトリとして応用可能性がある。現在は研究プロトタイプであり、実用にはより多様な環境での評価、特徴抽出フロントエンドのロバスト化、DSECでの処理速度向上が必要である。1〜3年で研究用プラットフォームへの統合、3年以上で商用製品への搭載が考えられるが、その前に実機試験とコード公開・再現性の確保が条件となる。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。