EPONet 在 EmbPASS 跨具身开放全景分割基准取得 35.82% mIoU
这是 arXiv 预印本，未经同行评审。作者提出跨具身开放全景分割任务和 EmbPASS 基准，包含车辆、无人机、可穿戴和四足机器人四类平台的 1000 张户外全景标注图像。EPONet 通过 RAMA 和 CAST 在 EmbPASS 上达到 35.82% mIoU，比最强基线 OOOPS 高 1.10%，并在 DensePASS 上取得最佳，为异构机器人平台的统一全景感知提供了新方法。
能否仅使用针孔图像训练一个开放词汇分割模型，在未见过的异构具身平台全景图像上实现一致的语义分割？
不同具身平台（车辆、无人机、可穿戴、四足机器人）的观察高度和视角差异导致全景图像中出现跨具身观察偏移，现有全景分割基准缺乏平台多样性，开放词汇分割方法主要针对透视图像或单一平台全景，难以直接泛化到未见平台。目标平台的全景标注成本高，限制了对平台多样性的适应。
此前方法包括：基于球面几何和畸变感知卷积的全景分割；使用无监督域适应减少对全景标注依赖的 OPS 等方法；以及跨视角和跨平台感知中的特征对齐和平台感知建模。但这些方法未同时处理开放词汇和异构具身全景场景，基准也只覆盖静止扫描仪或街景系统，无法评估跨平台全景分割。
作者建立 EmbPASS 基准，覆盖车辆、无人机、可穿戴、四足四类平台，每类 250 张，共 1000 张，统一使用 Cityscapes 19 类标注。提出 EPONet，冻结 CLIP ViT-B/16，训练轻量侧分支。RAMA 用 Randers 度量参数化局部采样几何，并从内容特征和方向邻居关系预测度量，约束采样支持，适应不同畸变。CAST 根据当前 CLIP 和侧分支特征动态重组 CLIP 中间表示，并施加空间调制，实现内容自适应语义迁移。模型仅在 COCOStuff-164k 针孔图像上训练，单张 RTX 3090 训练 6 万次迭代。
在 EmbPASS 上，EPONet 平台平均 mIoU 35.82%，open mIoU 42.30%，比最强基线 OOOPS with RERP 高 1.10% 和 1.16%，参数量 8.80M 比其少 0.37M。分平台 mIoU：车辆 40.78%，无人机 25.90%（仅比最佳低 0.11%），可穿戴 38.87%，四足 37.74%。消融显示，基础 SAN 33.82%，加 RAMA 34.99%，加 CAST 34.78%，两者同时 35.82%；空间算子对比中 RAMA 34.99% 高于 MetricConv 34.48%。在 Stanford2D3D 上 mIoU 43.87%（第二，仅次于 S2-Corr 44.21%），DensePASS 上 mIoU 49.15% 为最佳。所有评估均为全景图像，训练仅用 COCOStuff-164k 训练集 118k 张针孔图像。
作者未在论文中明确列出局限。可观察到的局限包括：无人机子集性能明显偏低，仅 25.90% mIoU，表明高空视角和强畸变仍是挑战；EmbPASS 只有 1000 张户外图像和 4 类平台，类别仅 19 类；仅在单一 CLIP ViT-B/16 骨干上验证，训练依赖单张 RTX 3090，论文未报告真实机器人闭环测试或实时性；代码和基准声明将公开但尚未发布。
该研究对需要跨平台全景感知的机器人公司有参考价值，如自动驾驶车辆、巡检无人机、服务机器人和 AR/VR 设备商。方法可降低为不同平台单独标注全景数据的成本，用于构建统一的感知模块。短期（1-3 年）可被研究团队采纳，用于多平台感知算法开发和基准测试；更长周期（3 年以上）有望进入量产机器人，但前提是提升无人机等困难平台性能、验证实时推理、扩展更多平台和场景、并开放代码和模型。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。