RYOPO, 외부 분할기 없는 실시간 카테고리 수준 객체 자세 추정
RYOPO는 별도의 인스턴스 분할기와 객체별 크롭 인코딩 없이 RGB-D 입력에서 객체 검출, 분할, 9자유도 자세 예측을 동시에 수행하는 쿼리 기반 세트 예측기다. NOCS REAL275 전체 객체 평가에서 5도 5cm AP 51.1을 기록해 2단계 방식과 경쟁했고, RTX A6000에서 전체 프레임 자세 추론 31.8 FPS를 달성했다. 이 연구는 arXiv 프리프린트다.
외부 인스턴스 분할기와 객체별 크롭 인코딩 없이도 RGB-D 입력에서 카테고리 수준 9자유도 객체 자세 추정을 실시간으로 수행할 수 있는가?
기존 RGB-D 자세 추정 파이프라인은 별도로 학습한 인스턴스 분할기가 객체 마스크를 만들고, 검출된 객체마다 RGB 크롭과 뎁스 포인트클라우드를 다시 인코딩한다. 이 구조는 외부 분할 단계를 추가하고 객체 수가 늘수록 크롭 인코딩과 자세 추론 비용이 커져 폐루프 비주얼 서보잉이나 로봇 조작 처리량을 제한한다. CAD 기반 조인트 방식은 형상 사전 정보에 의존하고, RGB 전용 쿼리 방식은 측정된 3D 기하 정보를 자세 보정에 명시적으로 쓰지 못한다.
2단계 방식은 Mask R-CNN 같은 분할기와 객체별 자세 네트워크를 결합해 정확도는 높지만 지연 시간이 객체 수에 비례한다. CenterSnap, ShAPO, FSD 같은 조인트 방식은 CAD 유래 형상 표현이나 사전 학습된 DeepSDF 디코더를 사용한다. YOPO는 DETR 계열 쿼리 예측으로 RGB 전용 병렬 자세 헤드를 달았지만 객체별 측정 기하를 반복 보정에 활용하지 못한다. 초기 RGB-D 융합만으로는 실측 3D 점이 객체 쿼리의 자세 보정을 안내하도록 만들기 어렵다.
RYOPO는 EdgeCrafter 기반 DETR 스타일 세트 예측기에 객체 연관 기하 경로와 명시적 자세 상태를 결합했다. 쿼리 박스 안에서 뎁스를 역투영해 8x8 격자로 샘플링하고, 마스크 확률과 뎁스 일치도 가중합으로 객체별 3D 점 기술자를 만든다. 이 기술자는 정규화된 국소 오프셋, 미터 단위 오프셋, 카메라 좌표, RGB 특징을 담는다. 이후 희소 3D CNN으로 만든 공유 장면 컨텍스트와 객체 기술자에 대한 유효도 편향 교차 어텐션으로 쿼리 내용과 위치 표현을 갱신한다. 마지막으로 현재 회전, 이동, 로그 크기를 자세 임베딩으로 만들어 객체 관측에 교차 어텐션하고, 회전은 SO(3) 합성, 이동은 크기 스케일 보정, 크기는 로그 공간 갱신으로 잔차를 반복 예측한다. 보조 카메라 좌표 키포인트와 표준 좌표 지도, 대조 디노이징을 포함한 포즈 인지 Hungarian 매칭으로 전체를 학습하며 CAD 형상 사전이나 외부 분할기는 쓰지 않는다.
RYOPO는 NOCS 조인트 평가에서 CAMERA25 5도 5cm AP 85.7, REAL275 52.5, 10도 5cm AP 92.5와 76.8, IoU 50 98.6과 93.0을 기록했다. REAL275 5도 5cm AP는 CAD 사전과 테스트 시 최적화를 쓰는 ShAPO보다 3.7포인트 높다. 전체 객체 평가에서는 CAMERA25 5도 5cm AP 85.8로 CleanPose보다 5.9포인트 높았고, REAL275 51.1은 AG-Pose와 1.6포인트, CleanPose와 4.0포인트 차이며 10도 5cm AP는 73.6으로 비교 대상 중 가장 높았다. HouseCat6D에서는 자체 마스크로 5도 5cm AP 21.5를 얻어 CleanPose 21.1과 비슷했고, IoU 50은 57.8로 CleanPose 66.2보다 낮았다. 성능은 실물 REAL275 2,754프레임, HouseCat6D 2,929프레임, 합성 CAMERA25 1만9,220프레임에서 평가했고, RTX A6000에서 전체 프레임 자세 출력이 31.4ms로 31.8 FPS다.
저자들은 더 엄격한 2cm 이동 오차 기준에서 한계를 인정한다. REAL275에서 RYOPO의 5도 2cm와 10도 2cm AP는 AG-Pose와 CleanPose보다 낮다. HouseCat6D에서도 큐보이드 정렬과 10도 5cm AP는 객체별 2단계 방식이 더 강했다. 이 논문은 arXiv 프리프린트로 동료 심사를 거쳤다는 표시가 없고, 실시간 수치는 RTX A6000 단일 GPU 기준이다.
실시간 카테고리 수준 자세 추정은 로봇 팔 피킹, 물류 상자 처리, 비주얼 서보잉처럼 객체별 CAD 모델이 없는 작업에 바로 쓸 수 있는 인식 스택이다. 다만 31.8 FPS는 RTX A6000 고성능 GPU 기준이어서 산업용 임베디드 로봇에 얹으려면 경량화와 엣지 GPU 검증이 필요하다. 프리프린트 단계인 만큼 실제 조작 루프에서의 폐루프 안정성과 다양한 센서 노이즈에 대한 재현 실험이 선행돼야 한다. 준비되면 1~3년 안에 로봇 피킹과 창고 자동화의 인식 지연을 줄이는 대안이 될 수 있다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.