CrowdOcc, 혼잡 실내에서 사족 로봇의 단안 의미 장면 완성을 위한 데이터셋과 모델 공개
중국 퉁지대 연구팀이 사족 보행 로봇의 실내 혼잡 환경에서 촬영한 RGB-D 데이터셋 CrowdOcc와 단안 의미 장면 완성 모델을 공개했다. 이 모델은 Normal-Guided Scene Geometry Fusion(NGSGF)과 Human-Centric Sparse Interaction(HCSI)을 더해 사람에 가려진 벽과 바닥 구조를 복원하고 사람 점유를 보정한다. 보지 못한 장면 3곳으로 구성된 시험 세트에서 IoU 15.80, mIoU 11.40, Human IoU 46.23을 기록하며 비교 모델 중 최고 성능을 보였다. 이 연구는 동료 심사를 거치지 않은 arXiv 프리프린트다.
단일 RGB 영상만으로 사족 로봇이 사람이 많은 실내에서 정적 구조와 사람 점유를 동시에 정확히 완성할 수 있는가.
사람이 많은 실내에서는 사람이 벽, 바닥, 문 같은 정적 구조를 자주 가리고, 기존 단안 의미 장면 완성 방식은 깊이 기반 투영이 불안정해져 정적 기하가 끊긴다. 또한 사람 점유는 부분 관측과 전경 배경 모호성 때문에 형태가 불완전하거나 엉뚱한 위치에 놓이는 문제가 있었다. 기존 데이터셋은 정적 실내나 자율주행 장면 중심이라 사족 로봇의 낮은 시점, 밀집 보행자, 동적 사람 점유를 충분히 반영하지 못했다.
기존 데이터셋은 NYUv2, Occ-ScanNet처럼 정적 실내 또는 SemanticKITTI, Occ3D처럼 자율주행 장면에 집중됐고, Human360Occ와 QuadOcc는 사람 중심 또는 사족 로봇 데이터를 일부 제공했지만 실내 혼잡과 동적 사람 점유를 함께 다루지 않았다. 기존 단안 SSC 방법인 MonoScene, ISO, NDC-Scene은 주로 깊이 정보를 활용한 2D-3D 리프팅에 의존해, 심한 가림에서 국부 표면 방향과 구조 연속성을 복원하는 데 한계가 있었다.
CrowdOcc 데이터셋은 사람이 없는 시퀀스로 정적 장면을 재구성하고, 사람이 있는 현재 프레임의 RGB와 동기화된 포인트클라우드 및 깊이로 사람 점유를 따로 만드는 정적 동적 분리 주석 파이프라인을 적용했다. 모델은 MoGe-2가 추정한 표면 법선을 깊이 기반 D-FLoSP 리프팅 전 단계에서 로컬 윈도 교차 주의로 결합하는 NGSGF와, 인간 후보 Top-K를 골라 자기 주의와 국부 장면 교차 주의로 사람 간 및 사람 장면 관계를 정제하는 HCSI로 구성된다. 추론은 단일 RGB만 받고, 훈련에서 제공된 깊이는 보조 지도로만 쓴다.
CrowdOcc는 11개 실내 장면에서 25,140개 RGB-D 프레임을 제공하며, 훈련 8개 장면 16,961개, 검증 4,265개, 시험 3개 장면 3,914개 프레임으로 나뉜다. 장면이 겹치지 않는 시험 세트에서 CrowdOcc 모델은 IoU 15.80, mIoU 11.40, Human IoU 46.23을 기록했다. 가장 강한 경쟁 결과 대비 IoU는 1.31포인트, mIoU는 0.68포인트 높았고, Human IoU는 NDC-Scene 44.12와 ISO 43.79보다 각각 2.11, 2.44포인트 높았다. 재현율은 37.02로 NDC-Scene 34.00, ISO 31.32보다 높았다. 바닥 21.12, 벽 11.80, 문 4.64 IoU에서도 비교 모델 중 가장 높았다.
논문에 별도 한계 절은 없다. 다만 평가가 동일 데이터셋의 시험 장면 3곳에 국한됐고, 수집 로봇은 Unitree Go1과 RealSense D455 구성 하나로 한정됐다. 훈련에는 NVIDIA RTX 4090-D 4대와 총 배치 크기 4가 사용돼 연산 비용이 크며, 실시간 온보드 추론 성능은 보고되지 않았다. 데이터셋 공개 절차와 코드 배포 여부도 논문에 명시되지 않았다.
실내 안내, 순찰, 물류 등에서 사족 로봇을 운영하는 기업이 CrowdOcc 데이터셋으로 혼잡 환경 인지 모델을 훈련하거나, 단일 RGB 입력만으로 장면 구조와 사람 위치를 추정하는 모델을 검토할 수 있다. 다만 실제 로봇에 적용하려면 온보드 컴퓨팅에서의 추론 지연과 저전력 최적화, 여러 건물과 조명 조건에서의 추가 검증이 먼저 필요하다. 산업 적용 시점은 1~3년 정도로 보인다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.