MEKAWIRE
중급arXiv

Reins, 조건 검사와 연속 관찰로 실물 양팔 로봇 제어

Pengfei Ye, Zhiyang Dou, Yuxiang Ma, Haonan Chen, Heng Yang, Edward H. Adelson
30초 요약

프리프린트 Reins는 범용 멀티모달 모델에 조건 검사형 행동 연쇄와 카메라 관찰 기능을 연결해 양팔 로봇을 제어했다. GPT-6.1 Sol은 조건별 5회씩 평가한 실물 로봇 과제 5종에서 전체 성공률 88%를 기록했다. 모델이 추론하는 동안의 장면 변화와 실행 중 접촉 정보를 제어에 반영하는 접근이다.

연구 질문

별도 로봇 학습 없이 범용 멀티모달 모델이 기본 동작 도구, 실행 조건 검사, 연속 영상 관찰을 활용해 긴 접촉 기반 조작 과제를 수행할 수 있는지가 연구 질문이다.

문제

긴 조작 과제에서는 물체 접촉과 파지를 확인하고 움직이는 장면을 계속 추적해야 한다. 판단 사이에만 영상을 받으면 추론 중 발생한 변화를 놓칠 수 있으며, 중간 결과를 검사하지 않는 동작 묶음은 파지 실패나 예상 밖 접촉 이후에도 실행을 이어갈 수 있다.

기존 접근

기존에는 스킬을 조합하거나 프로그램과 공간 목표를 생성했고, 로봇 시연 데이터로 제어 정책을 학습하기도 했다. Show-Harness는 작은 이동과 개방루프 동작 묶음을 사용해 중간 실패를 점검하는 데 한계가 있다. VoLo는 자신의 실행을 간헐적으로 관찰한다. 접촉 피드백과 모델 추론 중 관찰 공백이 남는 구조이다.

새 접근

Reins는 행동 모델에 SAM 3 기반 RGB-D 인식, 3차원 측정, 팔 이동, 그리퍼 제어 등 도구 18개를 연결했다. 손목 카메라를 이용한 위치 측정 정확도는 약 1.6 mm이다. 관절 전류로 접촉을 감지해 정지하며, 그리퍼 피드백으로 물체 파지 여부를 보고한다. 행동 연쇄는 최대 8개 호출과 16회 실행을 지원하고 실행마다 조건을 검사한다. 별도 모델 인스턴스는 머리 카메라를 1 frame/s로 관찰하며 이동 중 손목 영상도 받아 변화를 보고한다. 하드웨어는 기본 평행 그리퍼를 장착한 6-DoF AirBot Play 팔 2대와 머리 및 손목 RGB-D 카메라이다. 머리 카메라 영상 한 장으로 시뮬레이션용 장면 트윈도 구성한다.

결과

GPT-6.1 Sol, GPT-6 Astra, Claude Opus 5.5를 높은 추론 강도로 설정하고 실물 과제 5종을 조건별 5회 평가했다. 과제는 컵 아래 숨긴 물체 추적, 서랍에 블록을 넣고 닫기, 수건 접기, 셔츠 접기, 쓸어 담기이다. Sol의 전체 성공률은 88%였다. 세 모델 모두 모든 회차에서 서랍을 열었다. 관찰 모델을 제거한 Sol은 컵 과제에서 5회 중 2회 성공했다. Astra의 관찰 모델은 5회 중 4회 숨긴 물체를 추적했고 Opus는 한 번도 추적하지 못했다. Opus의 과제 성공 2회는 추측으로 설명했다. 하네스를 제거한 Sol은 컵 과제에서 전부 실패했으며, 논문은 소요 시간이 8배였다고 보고했다. Sol의 Ultrafast 관찰 모델은 응답에 1-6 s가 걸려 섞기 동작을 8-11개 관찰 구간으로 나눠 봤다. standard tier의 Astra와 Opus는 3-40 s가 걸렸고 관찰 구간은 2-4개였다. 모델 응답 지연은 전체 회차 시간의 41-78%를 차지했다. 세부 과제별 성공률, 절대 소요 시간과 API 비용은 제공된 본문에 보고되지 않았다.

한계

하드웨어 플랫폼은 하나이며 조건별 시험은 5회이다. 성공 여부는 운영자가 판정했다. 서랍과 쓸어 담기 프롬프트에는 파지 및 자세 힌트가 포함됐다. 접촉 감지는 관절 전류와 그리퍼 폭에 의존한다. 느린 관찰 모델은 빠른 장면 변화를 늦게 전달하며, 모델 응답 지연이 실행 시간에서 큰 비중을 차지한다. 코드는 출판 시 공개할 예정이라고 밝혔다. 시뮬레이션 트윈을 통한 정책 개선은 향후 과제이다.

업계 영향

접기, 서랍 조작, 쓸어 담기용 양팔 탁상 조작 시스템 개발사와 로봇 통합업체가 활용을 검토할 수 있다. 적용 범위를 넓히려면 다른 하드웨어와 더 많은 시험에서 검증하고, 장면 변화에 대응할 관찰 속도를 확보해야 한다. 상용화 시점은 논문에 보고되지 않았다.

논문 전문

CC BY-NC-SA 4.0 라이선스로 공개된 논문으로, 전문은 출처를 밝혀 영어로 전재했습니다: 전문 보기(영어). 원문은 arXiv:2611.16632(PDF)에서 볼 수 있습니다.