I2CD, 이미지 한 장으로 시뮬레이션용 볼록 충돌 지오메트리 직접 예측
arXiv 프리프린트로 공개된 I2CD는 사전학습된 Hunyuan3D-2 백본을 얼리고 3,800만 파라미터의 경량 크로스어텐션 헤드만 학습해 단일 RGB 이미지에서 K개 볼록 다면체의 하프플레인 파라미터를 직접 출력한다. OmniObject3D와 Google Scanned Objects 227개 평가에서 8개 재구성 후 분해 파이프라인 중 가장 높은 체적 IoU를 기록했고, 종단 간 처리 시간은 약 0.5초로 6배에서 37배 빨랐다. MuJoCo, PyBullet, Genesis, Isaac Sim에서 후처리 없이 그대로 사용됐고, 실제 xArm7의 20개 물체 장면에서 플래너 입력 지오메트리 생성 시간을 328초에서 11초로 줄였으며 실행 성공률은 85/100으로 기준 모델의 90/100과 비슷했다.
사전학습된 이미지-3D 생성 모델의 특징을 활용해 단일 RGB 이미지에서 물리 시뮬레이터와 모션 플래너가 바로 쓸 수 있는 볼록 분해 충돌 지오메트리를 직접 예측할 수 있는가?
물리 시뮬레이터와 모션 플래너는 GJK/EPA 기반 볼록 충돌 지오메트리를 요구하지만, 이미지-3D 생성 모델은 시각적 품질에 최적화돼 수백만 면의 밀집 메시를 출력한다. 실험에서 Hunyuan3D-2 생성 메시의 98%에 비다양체 모서리가 있었고, 방수 테스트를 통과한 비율은 2%에 그쳤다. 이 메시를 바로 넣으면 엔진이 조용히 단일 볼록 껍질로 대체하거나 초 단위에서 분 단위의 전처리가 필요하다.
기존에는 재구성 후 분해 방식을 써서 Hunyuan3D-2나 SAM3D로 메시를 만든 뒤 CoACD, V-HACD, CvxNet, BSP-Net으로 볼록 분해했다. CoACD와 V-HACD는 깨끗한 방수 메시에서는 잘 동작하지만 생성 메시의 결함에서 성능이 급격히 떨어지고 객체당 수초에서 수십초가 걸린다. CvxNet과 BSP-Net의 단일 시점 RGB 모드는 ShapeNet 범주별로 학습돼 개방 세계 가중치가 없다. SPARCS는 장면 수준 최적화로 소수 객체의 볼록 껍질을 다듬지만 객체 수준 피드포워드 소스는 아니다.
I2CD는 Hunyuan3D-2-mini의 이미지 조건 DiT와 ShapeVAE 디코더를 얼리고, 학습 가능한 K개의 convex-slot 토큰이 사전학습된 형태 특징에 크로스어텐션하는 3,800만 파라미터 헤드를 붙였다. 각 슬롯은 CvxNet 방식으로 H개 하프플레인의 법선, 오프셋, 평행이동, 혼합 샤프니스를 출력하며 K개 볼록 다면체의 합집합이 예측 형상이 된다. 헤드는 MolmoSpaces 메시의 캐시된 잠재 표현에서 클래스 균형 BCE와 볼록 쌍 대조 손실로 학습된다. 기본 설정은 K=H=12이고, 추론 시 배경 제거, DiT 샘플링, 디코더, 헤드, 32³ marching cubes 추출을 합쳐 약 0.5초가 걸린다.
227개 평가 객체에서 I2CD는 체적 IoU 65.7±13.2%로 8개 파이프라인 중 가장 높았다. 가장 강한 기준인 HY3D+CoACD는 62.8±19.0%였다. GSO 100개 방수 메시에서는 68.9%로 모든 기준보다 5%p에서 9%p 높았고, OmniObject3D 127개에서는 63.1%로 HY3D+CoACD의 62.9%와 통계적으로 비슷했다. 종단 시간은 0.51±0.04초로 기준 3.05~19.04초 대비 6배에서 37배 빨랐다. 표면 지표에서는 SAM3D+CoACD가 F-score 19.2±14.7%로 I2CD의 15.6±10.6%보다 높았다. 시뮬레이터 준비성 실험에서 I2CD 지오메트리는 MuJoCo, PyBullet, Genesis, Isaac Sim에서 자산 보존률이 98.4% 이상이었다. 반면 raw HY3D 메시를 기본 처리하면 MuJoCo, PyBullet, Genesis에서 40.2%, Isaac Sim PhysX에서 40.5%만 보존됐다. PyBullet의 오목 메시는 형상은 보존되지만 동적 객체 간 접촉을 0건으로 만들었고, PhysX의 SDF 콜라이더는 객체당 3.75초의 쿠킹이 걸리고 6개 객체에서 크래시가 났다. 실제 xArm7 20개 물체 장면에서 100회 픽앤플레이스를 수행한 결과 I2CD는 플래너 준비 지오메트리 생성 시간 11초, 성공 85/100이었다. SAM3D+CoACD는 328초, 90/100이었고, 단일 볼록 껍질 자동 대체 기준은 198초, 5/100이었다. I2CD와 SAM3D+CoACD의 성공률 차이는 통계적으로 유의하지 않았다(Fisher exact p=0.39).
저자들은 I2CD가 얼어붙은 백본의 오류를 그대로 물려받는다고 밝혔다. 얇은 구조를 놓치거나 환각적이고 과도하게 평활화된 부분이 생길 수 있다. 메시 인코딩 잠재와 이미지 샘플링 잠재 사이의 IoU 격차 3.2%p는 백본 속성이며, 표면 충실도는 최고 파이프라인보다 F-score가 3.6%p 낮다. 저자들은 marching cubes 해상도를 높여도 표면 지표가 거의 개선되지 않아 이 격차는 예측 기하의 속성이라고 밝혔다. 볼록 슬롯은 의미적 분할이 아니라 근접성으로 그룹을 나눈다. 실제 로봇 실험은 하나의 테이블 장면과 준정적 픽앤플레이스에 국한됐고, 접촉이 많은 작업은 검증되지 않았다. 코드와 모델, 벤치마크는 공개 예정이지만 현재 프리프린트 기준으로는 미공개다.
물리 시뮬레이터와 모션 플래너를 쓰는 로봇 기업, 특히 카메라 입력으로 조작 장면을 디지털 트윈으로 만들거나 오프라인 계획을 세우는 제품에 바로 적용 가능하다. MuJoCo, PyBullet, Genesis, Isaac Sim 기반 파이프라인에서 후처리 없이 충돌 지오메트리를 얻을 수 있어 시간이 6배에서 37배 단축된다. 다만 표면 정밀도가 낮아 비예지 조작이나 접촉이 많은 작업에는 지금 바로 쓰기 어렵고, 1~3년 내 백본 개선과 의미적 슬롯 분리, 접촉 풍부 작업 검증이 갖춰지면 보급이 확대될 것이다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.