CrowdOcc、混雑屋内で四足ロボットの単眼意味的シーン補完を改善するデータセットと手法を発表

混雑した屋内環境で四足ロボットが単眼RGB画像のみから、人による遮蔽があっても静的なシーン形状と人物占有を正確に補完できるか。

混雑した屋内シーンでは、人が壁や床、扉などを頻繁に遮蔽するため、深度ベースの特徴持ち上げだけでは静的なシーン形状の復元が不確実になる。また、人物占有は部分観測と前景背景の曖昧さから不完全になったり空間的に誤配置されたりしやすい。既存のSSCデータセットは静的屋内や自動運転、屋外の四足ロボット視点が中心で、低視点かつ実在の混雑屋内における動的人物占有を十分に扱っていない。

従来の単眼SSCはMonoScene、VoxFormer、NDC-Scene、ISOなどが深度を主要な幾何手がかりとして画像特徴を3Dに持ち上げる方式をとる。しかし遮蔽下では深度だけでは局所的な面の向きや構造の連続性を捉えにくい。既存データセットはNYUv2やOcc-ScanNetが静的屋内、SemanticKITTIやOcc3Dが自動運転、QuadOccが屋外四足ロボットであり、混雑屋内の低視点かつ動的人物を同時に収録したものはなかった。人物対応の手法も汎用的なインスタンス文脈の利用が中心で、混雑シーンに特化した人物と場面の関係性を明示的に扱っていなかった。

CrowdOccは、四足ロボットで収集した25,140フレーム、11屋内シーンから成り、静的シーンは人物が写らない系列から再構築し、人物占有は同一時刻の観測から切り出して深度で精錬する静的動的分離方式で注釈を作成した。モデルは、MoGe-2が推定する深度と法線を利用し、遮蔽に強い静的形状を得るNGSGFと、人物候補をTop-Kで選択して自己注意と局所シーンとの交差注意を行うHCSIを導入する。NGSGFは法線特徴をウィンドウ単位の交差注意で画像特徴に融合し、HCSIは人物応答予測から非最大抑制とTop-K選択を行い、選択位置にのみ人物特徴の残差を書き戻す。

CrowdOccのテストセットは学習・検証と重複しない3シーン、3,914フレームで構成される。提案手法はIoU 15.80、mIoU 11.40、Human IoU 46.23、Recall 37.02、Precision 21.60を記録し、最強の比較手法に対してIoUで+1.31、mIoUで+0.68上回った。Human IoUはNDC-Sceneの44.12、ISOの43.79をそれぞれ+2.11、+2.44上回り、壁IoUはISOの9.88から11.80へ、床IoUはNDC-Sceneの20.66から21.12へ改善した。アブレーションではISOベースラインのIoU 14.49、mIoU 10.72、Human IoU 43.79に対し、MoGe-2 Depth、HCSI、NGSGFを順に加えると最終的に15.80、11.40、46.23へ向上した。評価は実機で収集された実データに基づくオフライン評価である。

著者は明示的な限界を論文で述べていない。評価はオフラインのデータセット上で行われ、実機でのオンライン推論速度や計算コストは報告されていない。データ収録は単一のUnitree Go1と屋内11シーンに限られ、環境多様性や異なるロボットへの一般化は未検証である。コードやデータの公開についても記載がない。人物注釈は同一時刻の深度と点群に依存するため、センサの品質や遮蔽が激しい場合の不確実性が残る。