EmbPASSとEPONet、異種ロボット平台の全天球オープンセグメンテーションを実現
本論文はプレプリントであり、査読済みではない。異種ロボットプラットフォーム間の全天球セマンティックセグメンテーションを対象とする新タスクを定義し、Vehicle、Drone、Wearable、Quadrupedの4プラットフォームを含むEmbPASSベンチマークを構築した。提案するEPONetはRAMAとCASTを統合し、EmbPASSで平均35.82% mIoUを達成し、最強ベースラインを1.10ポイント上回った。
ピンホール画像のみで学習したモデルが、未見の異なるロボットプラットフォームが撮影した全天球画像に対して、オープンボキャブラリで正確なセマンティックセグメンテーションを実行できるか。
異種ロボットプラットフォームでは設置高さや視点が異なるため、全天球画像の見え方と空間レイアウトが大きく変化し、既存の全天球セグメンテーション手法はこのクロスエンボディメント観測シフトに対応できない。また各プラットフォームごとに密なピクセルアノテーションを取得するのはコストが高く、プラットフォーム多様性の拡大に伴い実用的でなくなる。
従来のオープンボキャブラリセグメンテーション手法（CAT-Seg、SANなど）は主に透視画像向けに設計され、全天球画像の歪みや異種プラットフォームの観測差を明示的に扱っていない。OOOPSは全天球オープンセグメンテーションを扱うが、単一のプラットフォームを想定しており、プラットフォーム多様性を考慮しない。空間適応サンプリングでは、DCN系がポイントごとのオフセットを独立に予測し、MetricConvはコンテンツ表現のみからメトリックを予測するため、方向別の近傍関係を活用できない。
EPONetは凍結CLIPビジョンエンコーダと学習可能なサイドアダプタネットワークからなる。RAMAは内容表現と方向別の中心近傍コサイン類似度からRanders計量のパラメータを予測し、構造化されたサンプリングサポートを構築する。CASTはCLIPの中間特徴を現在のCLIP特徴とサイド特徴に基づいて動的に再構成し、空間変調重み付きの残差接続で転送する。学習はCOCOStuff-164kのピンホール画像118k枚のみで行い、未見の全天球画像に直接適用する。
EmbPASSの4プラットフォーム平均でEPONetは35.82% mIoU、42.30% open mIoUを達成し、最強ベースラインであるOOOPS with RERPの34.72% mIoU、41.14% open mIoUをそれぞれ1.10ポイント、1.16ポイント上回った。パラメータ数は8.80MでOOOPSの9.17Mより少ない。プラットフォーム別ではVehicle 40.78%、Wearable 38.87%、Quadruped 37.74%で最高、Droneは25.90%で最高値より0.11ポイント低い。Stanford2D3Dで43.87% mIoU（S2-Corrに次ぐ2位）、DensePASSで49.15% mIoUと55.22% open mIoUを達成した。アブレーションではRAMA単独で+1.17ポイント、CAST単独で+0.96ポイント、両方で+2.00ポイントの改善が得られた。評価は実画像ベンチマーク上で実施された。
論文には明示的な限界の節がない。著者らはDroneサブセットでの性能が他より大幅に低いことを指摘しているが、その原因を完全には解決していない。評価は4プラットフォーム各250枚の計1000枚に限られ、ロボット実機での運用評価は報告されていない。単一のCLIP ViT-B/16バックボーンのみで検証されており、他の視覚言語モデルでの有効性は不明である。ソースコードとEmbPASSベンチマークは公開予定とされているが、論文内でリンクが示されているのみで、査読時点での公開状況は記載されていない。
この技術は、車載、ドローン、ウェアラブル、四足歩行ロボットなど多様な移動体に共通の全天球認識モデルを展開する際に有用である。特にラベル付きデータが少ないプラットフォームでも、ピンホール画像の既存データセットから学習したモデルを転用できるため、自律走行、ドローン、サービスロボット、点検ロボットの認識モジュール開発コストを低減できる。ただし現状はDroneなど高歪み条件での精度が低く、実用化にはさらなる改善と実機での検証が必要であり、1〜3年以内の産業応用には追加の頑健性評価が求められる。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。