기억 모듈 단 유니트리 G1, 시야 밖 단서 과제 성공률 36.7%→88.3%(MBZUAI)
휴머노이드 제어 모델에 앞서 본 장면 가운데 꼭 필요한 몇 장면만 기억하게 하자 유니트리 G1의 실제 과제 6종 성공률이 36.7%에서 88.3%(60회 중 53회)로 올랐다고 MBZUAI 연구진이 프리프린트에서 밝혔다. 로봇은 사람이 어떤 캔을 만졌는지처럼 이미 카메라 시야에서 사라진 단서를 근거로 행동해야 했다.
걷는 휴머노이드의 전신 VLA 정책이 목표 쪽으로 몸을 돌리기 전에 본 사건을 근거로 올바르게 행동할 수 있는지, 그러려면 과거 프레임 가운데 무엇을 남겨야 하는지를 묻는다.
휴머노이드의 이동 조작은 현재 장면만으로 판단할 수 없는 경우가 많다. 로봇이 돌아서거나 걷는 사이 물체가 가려지거나 옮겨져, 행동을 결정할 단서가 머리 카메라에서 사라진다. 지금의 전신 VLA 정책은 현재 이미지와 짧은 고유감각 이력만 본다.
GR00T, 전신 행동에 맞춘 pi0.5, WholeBodyVLA, Psi-0 같은 정책은 현재 관측만으로 행동한다. 기억 기법은 주로 걷지 않는 테이블 위 로봇팔용으로 만들어져 균등 샘플링이나 검색, 단순 이벤트로 프레임을 남겼고, 기존 휴머노이드 벤치마크는 목표가 늘 시야 안에 있었다.
WholeBodyMem은 SAM3 분할 모델을 과제 물체 추적기로만 쓴다. 로봇 자신의 카메라 움직임을 걷어낸 뒤 측정한 물체 이벤트로 가변 예산 안에서 핵심 프레임을 고르고, 행동 전문가 모듈(확산 트랜스포머 블록 6개)이 외형과 형상, 시간을 담은 물체 토큰과 함께 교차 어텐션으로 이 프레임을 읽는다. 연구진은 무엇, 어디, 언제의 기억을 시험하는 시뮬레이션 6종과 실제 G1 6종 과제의 벤치마크 HuMeGo도 공개했다.
시뮬레이션에서 기반 정책 Psi-0의 기억 과제 성공률은 29.1%에서 72.6%로, 표준 SIMPLE 이동 조작 과제에서는 70.2%에서 86.9%로 올라 기억이 없는 기준 모델(InternVLA-M1, Diffusion Policy, ACT, EgoVLA, pi0.5, GR00T)과 균등 기억 변형을 앞섰다. Dex3 손과 머리 장착 RealSense D435, SONIC 전신 제어기를 쓴 실제 G1에서는 과제당 원격조작 시연 15회로 학습한 뒤 60회 중 53회(88.3%) 성공해 Psi-0의 22회(36.7%)를 크게 웃돌았다. 추론은 RTX 5090 한 장에서 돌렸다.
저자들은 한 번도 검출되지 않은 물체의 단서는 SAM3가 놓치고, 온라인 추적이 추론 비용을 늘리며, 렌더링 탓에 시뮬레이션과 실제 사이 격차가 남고, 시뮬레이션 시연이 스크립트로 만들어졌다는 점을 한계로 들었다. 실제 로봇 실험 규모가 과제당 10회, 시연 총 90회로 작고, 정책이 로봇 밖 데스크톱 GPU에서 돌며, 과제가 공장이나 가정의 긴 작업이 아닌 짧게 연출된 장면이라는 점도 짚어둘 만하다.
물류와 리테일에 휴머노이드를 공급하려는 기업에는 몇 초 전 일, 예컨대 어느 상자를 이미 비웠는지나 사람이 어디를 가리켰는지를 기억하는 로봇이 필요하다. 이번 결과는 문맥 창을 키우기보다 프레임을 잘 고르는 쪽이 값싼 해법임을 보여준다. G1을 쓰는 국내 연구실과 휴머노이드 개발사도 1년 안에 연구용 스택에서 비슷한 기억 모듈을 볼 가능성이 크며, 로봇 탑재는 추적 비용을 얼마나 줄이느냐에 달렸다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.