SARI, 접촉 중심 조작을 위한 단계 분할 시뮬-실 공동 학습

접촉 중심 조작 과제에서 공간 일반화와 실제 데이터 효율을 동시에 얻기 위해, 자유 공간 접근은 시뮬레이션으로, 접촉 상호작용은 실제 시연으로 분리해 학습할 수 있는가?

VLA 모델을 새로운 접촉 중심 과제에 적응시키려면 많은 실제 시연이 필요하고, 정책이 시연에서 본 특정 물체 위치에 과적합해 작업 공간 전반으로 일반화하지 못한다. 기존 합성 데이터 파이프라인은 과제 전체에서 시뮬레이션이 신뢰할 수 있다고 가정하거나 접촉 동역학을 정확히 모델링해야 하지만, 마찰과 컴플라이언스와 물체 저항과 시각적 시뮬레이션-실제 차이로 인해 합성 접촉 데이터는 불안정하다. 전체 과제 시뮬-실 공동 학습도 실제 데이터가 자유 공간 접근에 낭비되고, 좁은 실제 데이터 분포가 시뮬레이션의 넓은 공간 커버리지를 희석해 미학습 위치에서 실패한다.

MimicGen, DemoGen, Real2Render2Real, GSWorld 같은 기존 합성 데이터 생성 방법은 소수 시연을 변형하거나 재구성된 장면에서 궤적을 생성하지만, 접촉 구간까지 포함한 전체 과제 시연을 요구하거나 합성 롤아웃이 접촉 영역에서도 신뢰할 수 있다고 가정한다. 전체 과제 시뮬-실 공동 학습은 시뮬레이션과 실제 데이터를 섞어 학습하지만, 논문의 램프 과제에서 미학습 위치 완료율이 0%로, 실제 협소한 위치 분포에 정책이 과적합해 시뮬레이션의 공간 일반화 이점을 잃는다.

SARI는 과제를 자유 공간 접근 단계와 접촉 상호작용 단계로 나눈다. 가우시안 스플래팅으로 실제 작업 공간의 디지털 트윈을 재구성하고, 3차 구면 조화 계수 유지와 카메라별 광도 색상 보정으로 관측을 정렬한 뒤, 모든 후보 위치에서 홈에서 사전 접촉 자세까지의 접근 궤적을 시뮬레이션으로 생성한다. 실제 접촉 시연은 두 위치에서만 사전 접촉 자세에서 시작해 원격 조작으로 수집한다. 두 데이터는 손목 카메라 기준 상대 동작으로 표현해 하나의 동작 공간으로 통일하고, DROID를 카메라 기준 동작 표현으로 변환해 10만 스텝 중간 학습한 π0.5 체크포인트를 분할 데이터의 합집합으로 1만 업데이트 후학습한다. 명시적 단계 라벨, 단계별 손실 가중치, 수동 전환 없이 하나의 정책이 시뮬 접근과 실제 접촉을 이어 붙인다.

실제 Franka Research 3와 RealSense D435i 카메라로 5개 접촉 과제를 평가했다. 램프 과제는 배치당 10회, 나머지 4개 과제는 배치당 4회 시험했다. 램프 과제에서 SARI는 접근 성공률이 모든 위치에서 100%, 완료 성공률은 학습 위치 50.0%, 미학습 위치 27.5%였다. 전체 시뮬레이션은 접근 100%지만 완료 0%, 전체 실제는 미학습 접근 25.0%와 완료 0%, 전체 과제 공동 학습은 미학습 완료 0%였다. 실데이터 수집 시간은 SARI 18.42분, 전체 실제와 공동 학습 28.03분으로 34.3% 감소했다. 5개 과제 성공률은 책 87.5%/81.25%, 버튼 87.5%/75.0%, 티슈 62.5%/43.75%, 램프 50.0%/27.5%, 서랍 50.0%/25.0%였다. 동작 표현 비교에서 카메라 기준 π0.5는 학습 50.0%, 미학습 27.5%, EEF 상대 GR00T N1.7은 35.0%/20.0%, 관절 속도와 위치 π0.5는 모두 0%였다.

SARI는 고정된 탁상 장면, 단일 팔 Franka 로봇, 접근-접촉 2단계 과제만 다룬다. 장면 재구성, 카메라 캘리브레이션, 사전 접촉 자세 선택, 색상 보정용 참조 영역 선택이 수동으로 필요하다. 동적 장면, 움직이는 물체, 다단계 상호작용, 다른 로봇 실시예, 준비 과정 자동화는 향후 과제로 남아 있다. 코드 공개 여부는 논문에 보고되지 않았다.