능동형 생성 시뮬레이션: 시뮬레이션과 실제 데이터 공동 학습에서 위해 무엇을 시뮬레이션할지 메타러닝으로 고르기

소수의 실제 시연에 시뮬레이션 데이터를 섞어 학습할 때 실제 로봇 성능을 가장 높이려면 어떤 장면을 생성해야 하며, 그 선택을 자동화할 수 있는지를 묻는다.

시뮬레이션과 실제 데이터의 공동 학습은 비싼 실제 시연을 값싼 합성 데이터로 보완하지만, 카메라 각도나 테이블 외관, 물체 배치, 작업이 어긋난 데이터는 도움이 적고 오히려 성능을 깎기도 한다. 지금은 엔지니어가 생성 변수를 손으로 맞추는데, 전문성이 필요하고 시뮬레이터가 목표 작업을 그대로 재현하지 못하면 통하지 않는다.

생성 변수를 균일하게 무작위화하거나, 실제 셀에 맞게 수작업으로 조정하거나, STRAP과 IWR처럼 기존 시뮬레이션 데이터에서 비슷한 샘플을 골라 쓰는 방식이 쓰였다. 검색 방식은 고정된 데이터에 없는 장면을 새로 만들 수 없다.

메타젠심(MetaGenSim)은 먼저 변수 공간 전체에 고르게 퍼진 소규모 탐색용 데이터를 만든다. 변수는 작업 종류와 카메라 방향, 테이블 색 3개 값, 물체 배치 4개 값이다. 이어 평가 네트워크를 메타러닝으로 학습해, 그 점수로 샘플에 가중치를 줄 때 가벼운 BC-RNN 정책의 실제 검증 시연 오차가 줄어들도록 한다. 점수를 생성 변수로 되돌려 작업별 온도와 가중 커널 밀도 추정으로 샘플링 분포를 만들고, 미믹젠(MimicGen)으로 목표 맞춤형 데이터를 생성해 최종 공동 학습에 쓴다.

작업당 실제 시연 10회로 실제 작업 4종(큐브 쌓기, 머그 통에 넣기, 그릇 쟁반에 놓기, 머그 걸기, 프랑카 판다에서 작업당 20회, 디퓨전 정책)을 시험한 결과 메타젠심은 전체 성공 58/80(72.5%)을 기록했다. 균일 생성은 23/80(28.75%), 실제 데이터만 쓴 경우 26/80, 검색 기반 STRAP과 IWR은 27/80과 33/80, 전문가 수작업 정렬은 57/80이었다. 같은 데이터로 pi0.5를 미세조정하자 52/80으로 균일 생성 30/80, 실제 데이터만 19/80을 앞섰고 전문가 정렬은 56/80이었다. 시뮬레이션 목표 작업 8종에서는 균일 생성 대비 평균 성공률을 BC-RNN 18.6%포인트, 디퓨전 정책 13.3%포인트 높였다. 균일 데이터를 1600회에서 8000회로 늘려도 성능이 정체하거나 떨어진 반면 맞춤형 800회가 더 나았다.

사용자가 지정한 변수 공간 안에서만 탐색하므로 실제 실험에서 배경과 조명은 맞추지 못했다. 탐색 데이터는 한 차례 균일 샘플링이라 좁은 유용 영역을 놓칠 수 있고, 차원이 커질수록 커널 밀도 추정이 불안정해지며 대역폭이나 온도 설정이 잘못되면 성능이 떨어진다. 실기 시험은 팔 한 대에서 탁상 작업 4종, 작업당 20회에 그친다. 프리프린트다.