同济团队发布CrowdOcc：四足机器人拥挤室内单目语义场景补全新基准与方法
本预印本提出CrowdOcc数据集和框架，用于四足机器人在拥挤室内环境中的单目语义场景补全。方法结合法线引导几何融合和人体中心稀疏交互，在场景不相交测试集上达到SOTA，IoU 15.80，mIoU 11.40，Human IoU 46.23。该工作填补了真实低视角动态人体占用数据集空白，对室内机器人感知有重要意义。
如何在拥挤室内环境中，从单目RGB图像准确预测四足机器人周围的3D语义占用，特别是静态几何和动态人体？
现有单目SSC数据集主要针对静态室内或自动驾驶场景，缺少四足机器人低视角下的密集人群和动态人体占用；现有方法在人体遮挡下几何不连续，人体占用预测不完整或错位。
此前单目SSC方法主要依赖深度提示进行2D到3D特征提升，但深度在严重遮挡下缺乏表面方向信息；实例感知方法未针对人体进行专门交互建模，导致人体占用不完整或空间错位。
新方法提出NGSGF模块，利用MoGe-2估计的表面法线通过窗口交叉注意力增强2D特征，再与深度提升融合；提出HCSI模块，从3D特征预测人体响应，经NMS和Top-K选择稀疏候选，进行自注意力与局部场景交叉注意力，细化人体特征。数据集CrowdOcc包含25,140帧RGB-D，来自11个真实室内场景，采用静态-动态解耦构建语义占用注释。
在CrowdOcc测试集（3个未见场景，3,914帧）上，方法达到IoU 15.80、mIoU 11.40、Human IoU 46.23，超过NDC-Scene（14.48、10.47、44.12）和ISO（14.49、10.72、43.79）。人体IoU比ISO提升+2.44，召回率37.02。消融实验显示，从ISO基线添加MoGe-2深度、HCSI、NGSGF后，IoU从14.49提升至15.80，Human IoU从43.79提升至46.23。
论文未报告局限。明显局限包括：仅在CrowdOcc数据集上评估，场景数量有限（11个场景，测试3个），泛化性有待验证；人体类别占比较小（8.27%），其他罕见类别IoU很低；训练需要4块RTX 4090-D，算力成本较高；未提及代码开源；依赖预训练模型MoGe-2。
四足机器人厂商、室内服务机器人公司可能受益，用于导航避障和人体感知。短期内（1-3年）可用于改进现有室内机器人的单目感知；长期（3年以上）若扩展到更多场景和平台，可提升机器人对动态人群的交互能力。前提是数据集和代码开源，且模型轻量化以满足 onboard 算力。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。