AutoRSR: 실제 작업공간을 스캔해 시뮬레이션 학습 데이터를 자동 생성하는 리얼투심투리얼 프레임워크

스캔한 실제 작업공간을 사람 손을 거의 거치지 않고 실측 스케일이 맞는 시뮬레이션과 대규모 조작 데이터로 바꿀 수 있는가, 그리고 그 데이터로 학습한 정책이 실제 로봇에서 작동하는가.

원격조작 시연은 품질이 높지만 작업자와 로봇 시간이 든다. 시뮬레이션은 에피소드당 비용이 낮지만 실제 셀을 시뮬레이션으로 옮기려면 사람이 물체 모델을 잘라내고 메시를 정리하고 장면을 로봇 기준 좌표에 맞추고 궤적을 짜야 한다.

Real2Render2Real, GASE 같은 리얼투심 시스템은 가우시안 스플래팅 등으로 장면을 재구성하지만 저자들의 비교에 따르면 분할, 시뮬레이션 자산 등록, 로봇 정렬에 여전히 사람이 개입한다.

AutoRSR은 스마트폰 스캔과 로봇 상태로 자세를 아는 손목 카메라 두 대를 결합하고, 개방형 텍스트 질의로 물체를 하나씩 분리한다. 재구성 결과를 실측 스케일로 로봇 기준 좌표에 자동 정렬한 뒤 과제당 짧은 참조 동작 하나를 시뮬레이션에서 재생하고, 궤적 보간과 시각적 도메인 랜덤화로 과제당 1,000건으로 늘린다.

PiperX 로봇팔의 세 과제(그릇에 붓기, 오리 인형 상자에 올리기, 노트북 덮개 닫기, 각 15회)에서 생성 데이터 1,000건으로 미세조정한 pi0.5의 성공률은 73.3%, 80%, 86.7%였다. 원격조작 시연 150건 학습은 73.3%, 86.7%, 86.7%였다. 둘을 함께 학습하면 붓기 과제가 86.7%로 올랐다. 장면과 로봇 간 정렬 오차는 원래 재구성의 3.81~8.62cm에서 0.61~0.91cm로 줄었다. 1,000건 생성에 GPU 한 장으로 25~28분이 걸렸고, 시연 150건 수집에는 작업자 시간 52~73분이 들었다. 초기 스캔과 처리에는 약 35분이 소요됐다.

프리프린트다. 조건마다 실험이 15회뿐이라 6.7%포인트 차이는 1회 차이다. 초록은 사람 시간을 10분의 1로 줄였다고 하지만 표상 생성 시간은 약 2.2~2.6배 빠른 수준이고, 큰 절감은 작업자 개입이 거의 없다는 데서 나온다. 단순한 강체 이동 과제만 다뤘고 변형 물체, 정밀 삽입, 다단계 작업은 검증되지 않았다. 궤적 증강을 끄면 성공률이 13.3%로 떨어져 이 단계 의존도가 높다.