Reins, 조건 검사와 연속 관찰로 실물 양팔 로봇 제어
프리프린트 Reins는 범용 멀티모달 모델에 조건 검사형 행동 연쇄와 카메라 관찰 기능을 연결해 양팔 로봇을 제어했다. GPT-6.1 Sol은 조건별 5회씩 평가한 실물 로봇 과제 5종에서 전체 성공률 88%를 기록했다. 모델이 추론하는 동안의 장면 변화와 실행 중 접촉 정보를 제어에 반영하는 접근이다.
별도 로봇 학습 없이 범용 멀티모달 모델이 기본 동작 도구, 실행 조건 검사, 연속 영상 관찰을 활용해 긴 접촉 기반 조작 과제를 수행할 수 있는지가 연구 질문이다.
긴 조작 과제에서는 물체 접촉과 파지를 확인하고 움직이는 장면을 계속 추적해야 한다. 판단 사이에만 영상을 받으면 추론 중 발생한 변화를 놓칠 수 있으며, 중간 결과를 검사하지 않는 동작 묶음은 파지 실패나 예상 밖 접촉 이후에도 실행을 이어갈 수 있다.
기존에는 스킬을 조합하거나 프로그램과 공간 목표를 생성했고, 로봇 시연 데이터로 제어 정책을 학습하기도 했다. Show-Harness는 작은 이동과 개방루프 동작 묶음을 사용해 중간 실패를 점검하는 데 한계가 있다. VoLo는 자신의 실행을 간헐적으로 관찰한다. 접촉 피드백과 모델 추론 중 관찰 공백이 남는 구조이다.
Reins는 행동 모델에 SAM 3 기반 RGB-D 인식, 3차원 측정, 팔 이동, 그리퍼 제어 등 도구 18개를 연결했다. 손목 카메라를 이용한 위치 측정 정확도는 약 1.6 mm이다. 관절 전류로 접촉을 감지해 정지하며, 그리퍼 피드백으로 물체 파지 여부를 보고한다. 행동 연쇄는 최대 8개 호출과 16회 실행을 지원하고 실행마다 조건을 검사한다. 별도 모델 인스턴스는 머리 카메라를 1 frame/s로 관찰하며 이동 중 손목 영상도 받아 변화를 보고한다. 하드웨어는 기본 평행 그리퍼를 장착한 6-DoF AirBot Play 팔 2대와 머리 및 손목 RGB-D 카메라이다. 머리 카메라 영상 한 장으로 시뮬레이션용 장면 트윈도 구성한다.
GPT-6.1 Sol, GPT-6 Astra, Claude Opus 5.5를 높은 추론 강도로 설정하고 실물 과제 5종을 조건별 5회 평가했다. 과제는 컵 아래 숨긴 물체 추적, 서랍에 블록을 넣고 닫기, 수건 접기, 셔츠 접기, 쓸어 담기이다. Sol의 전체 성공률은 88%였다. 세 모델 모두 모든 회차에서 서랍을 열었다. 관찰 모델을 제거한 Sol은 컵 과제에서 5회 중 2회 성공했다. Astra의 관찰 모델은 5회 중 4회 숨긴 물체를 추적했고 Opus는 한 번도 추적하지 못했다. Opus의 과제 성공 2회는 추측으로 설명했다. 하네스를 제거한 Sol은 컵 과제에서 전부 실패했으며, 논문은 소요 시간이 8배였다고 보고했다. Sol의 Ultrafast 관찰 모델은 응답에 1-6 s가 걸려 섞기 동작을 8-11개 관찰 구간으로 나눠 봤다. standard tier의 Astra와 Opus는 3-40 s가 걸렸고 관찰 구간은 2-4개였다. 모델 응답 지연은 전체 회차 시간의 41-78%를 차지했다. 세부 과제별 성공률, 절대 소요 시간과 API 비용은 제공된 본문에 보고되지 않았다.
하드웨어 플랫폼은 하나이며 조건별 시험은 5회이다. 성공 여부는 운영자가 판정했다. 서랍과 쓸어 담기 프롬프트에는 파지 및 자세 힌트가 포함됐다. 접촉 감지는 관절 전류와 그리퍼 폭에 의존한다. 느린 관찰 모델은 빠른 장면 변화를 늦게 전달하며, 모델 응답 지연이 실행 시간에서 큰 비중을 차지한다. 코드는 출판 시 공개할 예정이라고 밝혔다. 시뮬레이션 트윈을 통한 정책 개선은 향후 과제이다.
접기, 서랍 조작, 쓸어 담기용 양팔 탁상 조작 시스템 개발사와 로봇 통합업체가 활용을 검토할 수 있다. 적용 범위를 넓히려면 다른 하드웨어와 더 많은 시험에서 검증하고, 장면 변화에 대응할 관찰 속도를 확보해야 한다. 상용화 시점은 논문에 보고되지 않았다.
논문 전문
CC BY-NC-SA 4.0 라이선스로 공개된 논문으로, 전문은 출처를 밝혀 영어로 전재했습니다: 전문 보기(영어). 원문은 arXiv:2611.16632(PDF)에서 볼 수 있습니다.