CrowdOcc: Monokulare semantische Szenenvervollständigung für Quadruped-Roboter in belebten Innenräumen
Die Autoren stellen CrowdOcc vor, einen RGB-D-Datensatz und ein Framework für monokulare semantische Szenenvervollständigung auf Quadruped-Robotern in belebten Innenräumen. Das System erreicht auf einem szenen-disjunkten Testsatz einen IoU von 15,80 und einen Human IoU von 46,23 und übertrifft damit die stärkste Baseline um 1,31 IoU-Punkte. Der Preprint zeigt, dass die Kombination aus normalengeführter Geometriefusion und human-zentrierter Interaktion die Generalisierung auf ungesehene Innenraumszenen verbessert.
Wie lässt sich monokulare semantische Szenenvervollständigung für Quadruped-Roboter in realen, belebten Innenräumen robust gegenüber Verdeckungen durch Menschen und unvollständiger menschlicher Belegung gestalten?
In belebten Innenräumen verdecken Menschen häufig große Teile der statischen Strukturen wie Wände, Böden und Türen. Herkömmliche monokulare SSC-Verfahren stützen sich stark auf Tiefeninformationen und können die Geometrie unter solchen Verdeckungen nicht zuverlässig rekonstruieren. Zudem ist die menschliche Belegung oft unvollständig oder räumlich falsch platziert, insbesondere bei Szenenwechseln, wenn szenenspezifisches Vorwissen nicht übertragbar ist.
Bisherige Ansätze wie MonoScene, VoxFormer, NDC-Scene und ISO heben 2D-Merkmale mit Tiefenschätzungen in ein 3D-Volumen. Sie berücksichtigen jedoch keine Oberflächennormalen und modellieren menschliche Interaktionen nicht gezielt. Bestehende Datensätze wie NYUv2, Occ-ScanNet, SemanticKITTI oder QuadOcc decken keine realen belebten Innenräume mit niedrigem Quadruped-Blickwinkel und dynamischer menschlicher Belegung ab.
Der CrowdOcc-Datensatz umfasst 25.140 RGB-D-Frames aus 11 Innenraumszenen, aufgenommen mit einem Unitree Go1 Quadruped mit Intel RealSense D455 und Helios-16P LiDAR. Die Annotation trennt statische Szenen aus menschenfreien Sequenzen und menschliche Belegung aus synchronisierten aktuellen Beobachtungen. Das Framework verwendet Normal-Guided Scene Geometry Fusion (NGSGF), um Tiefeninformationen mit Oberflächennormalen zu kombinieren, und Human-Centric Sparse Interaction (HCSI), um Top-K menschliche Voxel-Kandidaten auszuwählen und über Selbst- und Kreuzaufmerksamkeit zu verfeinern. Das Training erfolgt auf vier NVIDIA GeForce RTX 4090-D GPUs mit AdamW über 10 Epochen.
Auf dem Testsatz mit 3.914 Frames aus drei ungesehenen Szenen erreicht CrowdOcc 15,80 IoU, 11,40 mIoU und 46,23 Human IoU. Es übertrifft die stärkste Konkurrenz um 1,31 IoU-Punkte und 0,68 mIoU-Punkte. Gegenüber NDC-Scene beträgt der Vorsprung 2,11 Punkte im Human IoU, gegenüber ISO 2,44 Punkte. Die Recall liegt bei 37,02, die Precision bei 21,60. Klassenweise werden 21,12 IoU für Boden, 11,80 für Wand, 46,23 für Mensch und 4,64 für Tür erzielt. In der Ablation steigert HCSI den Human IoU von 43,79 auf 45,77 und NGSGF hebt die Gesamt-IoU auf 15,80.
Die Autoren nennen keine expliziten Limitationen. Offensichtliche Grenzen sind die Beschränkung auf einen einzelnen Quadruped-Roboter, eine begrenzte Anzahl von Szenen (11) und die Verwendung von Tiefendaten nur während der Annotation und des Trainings; die Inferenz ist rein monokular. Zudem bleibt im Paper nicht berichtet, ob der Code oder der Datensatz öffentlich verfügbar gemacht werden.
Der Ansatz könnte die Wahrnehmung von Servicerobotern und Quadruped-Plattformen in Lagerhallen, Pflegeheimen oder öffentlichen Gebäuden verbessern. Kurzfristig (1 bis 3 Jahre) könnten Hersteller von Vierbeinrobotern wie Unitree die Methode für Navigations- und Interaktionsaufgaben übernehmen, sofern Datensatz und Code veröffentlicht werden. Voraussetzung ist die Validierung auf weiteren Robotern und in dynamischeren Umgebungen sowie die Integration in Echtzeit-Systeme. Langfristig (mehr als 3 Jahre) könnte die Technologie in autonome mobile Roboter für den Einsatz in Menschenmengen einfließen.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.