AssemblyWorld: 사전학습 범용 에이전트의 3D 조립 능력을 시험하는 인터랙티브 벤치마크

사전학습된 범용 에이전트가 조립 전용 파인튜닝 없이 시각적 상호작용만으로 물체를 조립할 수 있는가?

3D 조립은 부품을 올바른 위치와 방향으로 정밀하게 배치해야 하며 작은 오차도 완성 실패로 이어진다. 기존 학습, 지시 기반 조립 모델은 도메인별 데이터와 전용 포즈 예측기 또는 범주별 모델이 필요하고, 일반 에이전트가 렌더링된 관찰과 수치 포즈 편집만으로 정밀 조립을 해낼 수 있을지 불분명했다.

PartNet, IKEA-Manual, AssemblyBench, Fantastic Breaks 등을 활용한 학습 기반 방법들은 그래프, 계층 추론, 생성적 포즈 모델, 매뉴얼 이해, 파편 기하 대응 등을 사용했다. Manual-PA, GARF, SPAFormer 등이 대표적이다. 이들은 특정 도메인이나 범주에 맞춰 훈련되거나 전용 포즈 예측기를 두는 경우가 많고, 범용 에이전트가 상호작용하며 조립하는 능력을 평가하는 공통 환경은 없었다.

AssemblyWorld는 MCP 도구로 에이전트가 렌더링된 2D 뷰를 요청하고, 부품 식별자, 자세, 바운딩 박스 같은 구조화 정보를 조회하며, 개별 부품이나 그룹을 이동, 회전시키는 인터랙티브 3D 환경을 제공한다. 메시 정점과 면은 숨겨서 에이전트가 기하를 직접 읽지 못하게 한다. AssemblyWorldBench는 PartNet, IKEA-Manual, AssemblyBench, Fantastic Breaks에서 80개 객체를 뽑아 100개 과제를 구성했고, 모든 시스템에 동일한 초기 배치, 도구, 60분 실행 한도를 적용했다. GPT, Qwen, DeepSeek, Claude 계열 8개 에이전트를 비교했고, 조립 전용 파인튜닝은 하지 않았다.

100개 과제 기준으로 GPT-6 Astra가 전체 완전 조립 성공률(SR) 59.4%, 부품 정확도(PA) 80.9%로 가장 높았고, Fable 50.0%, Opus 44.4%, Qwen 11.9%, Terra 7.5%, DeepSeek 0%였다. Astra는 평가당 평균 5.8분과 94회 도구 호출로 Sol의 8.7분, 208회보다 적은 자원을 썼다. Astra와 Fable은 2부품 파편 재조립에서 SR 90%를 기록했지만, 이미지 조건 PartNet에서는 각각 40%, 25%에 그쳤다. 대규모 소스 평가에서 Astra는 PartNet 테이블 PA 85.35%, SR 63.60%, IKEA-Manual Chair/Table 평균 PA 93.27%, SR 75.44%, AssemblyBench 279개 객체 PA 78.32%, SR 55.91%, Fantastic Breaks 150개 객체 PA 91.67%를 기록했다. GARF 예측을 Astra가 렌더링 뷰로 수정하는 순서에서는 PA가 93.00%로 올랐다. 기준 이미지가 있으면 Astra, Fable, Opus의 SR이 각각 25, 20, 15%p 올랐다. 실패 부품 중 Astra와 Fable의 오류는 병진 오차가 각각 67.4%, 75.1%를 차지했다.

저자들은 평가가 자유 공간 기하만 다루며 충돌 없음이나 물리적으로 안정된 조립을 보장하지 않는다고 밝혔다. 과제가 샘플링된 80개 객체 100개 과제, 강건성 실험은 단일 실행, 정제 실험은 2조각, 단일 시드에 그쳤고, 사전학습 노출을 알 수 없어 오염 없는 일반화를 주장할 수 없다. 평가된 오픈소스 시스템은 실행 실패와 시간 초과가 많았고, Astra조차 부품 정확도 대비 완전 조립 성공률이 낮아 잔여 위치 오차가 남는다. 실물 로봇 실험은 보고되지 않았다.