기억하는 로봇팔: UCLA Mem4Act, 장기 작업 성공률 81.5%로 pi0.5의 약 3배
로봇이 몇 분 전에 본 것을 기억해야 하는 작업에서, 영상 기록을 통째로 넣지 않고 압축된 기억을 쓰게 해 성공률을 크게 올린 프리프린트다. 기존 로봇 AI 모델에 덧붙이는 방식이라 실무 적용 여지가 크다.
비전언어행동(VLA) 정책이 덮이기 전 블록의 색처럼 몇 분 전에 본 정보를, 점점 길어지는 영상 기록을 모델에 넣지 않고 어떻게 기억하게 할 수 있는가.
대부분의 VLA 정책은 현재 카메라 화면만 보고 움직인다. 긴 작업에서 다음 동작을 결정하는 정보는 오래전에 시야에서 사라진 경우가 많다. 전체 기록을 넣으면 모델이 늘어나는 이미지 토큰을 모두 살펴야 해 연산이 늘고 혼동이 생길 수 있으며, 핵심 프레임 선택이나 토큰 삭제, 언어 요약으로 줄이면 나중에 중요해질 세부 정보를 잃을 수 있다.
기존 기억 기법은 과거 프레임 원본, 압축 시각 토큰, 텍스트 요약을 보관했다(MemER, FrameSamp와 TokenDrop 등 MME-VLA 변형, Mem-0, NativeMEM, HAMLET). 작업이 길어질수록 커지거나 시점과 의미, 시각 정보를 잃을 위험이 있고, 정책이 주어진 기억을 실제로 쓰도록 강제하는 장치도 없었다.
Mem4Act는 작업 내내 갱신되는 512토큰 고정 크기 잠재 기억을 둔다. 3층 인코더가 과거 프레임을 32, 16, 8 단위 시간 창으로 거칠게부터 세밀하게 묶는다. 무엇을 기억할지는 두 학습 신호가 정한다. 언어모델을 통해 답하는 과거 사건 문답과, 시각 세부를 위한 핵심 프레임 영상 특징 복원이다. 학습은 기억을 먼저 한다. 정책을 고정한 채 기억을 사전학습한 뒤 행동 정책과 함께 10분의 1 학습률로 공동 학습하며, 저자들은 이 방식이 정책의 기억 의존도를 높인다고 보였다.
과제당 원격조종 시연 70개로 학습한 YAM 양팔 로봇에서 Mem4Act는 블록 덮기, 바꾸기, 재배치, 되돌려 놓기에서 각각 78%, 70%, 100%, 78%로 평균 81.5%를 기록했다. MME-VLA는 42.0%, pi0.5는 28.0%, Mem-0는 22.5%였다. GPT-6 Astra는 42.5%였지만 판단 한 번에 약 19초, 성공 1회에 17분이 걸려 Mem4Act의 335밀리초, 40초와 차이가 컸다. 시뮬레이션에서는 RoboMME 49.88%(최고 기준 44.51%), RMBench 61.0%(NativeMEM 48.7%)로 앞섰고, 과거 장면 여러 개를 기억해야 하는 과제에서는 41.3% 대 14.8%였다. 기억 용량보다 구조가 중요해 1,024토큰은 512토큰보다 낮은 42.75%였다.
프리프린트다. 실제 과제는 RMBench를 옮긴 블록 퍼즐로 로봇 한 기종에서만 시험했고, 기억에는 머리 카메라 기록만 들어간다. 같은 GPU에서 판단 한 번에 335밀리초가 걸려 pi0.5의 131밀리초보다 약 2.6배 느리다. RoboMME 전체 성공률은 50%에 못 미치고 공간 지속성 과제는 31.5%로 MemER(53.2%)보다 낮다. 일부 비교 모델은 저자들이 다시 구현했고, GPT-6 Astra는 시간 제한을 둔 제로샷 실행이어서 학습된 정책과 같은 조건의 비교는 아니다.
시연용 과제와 실제 작업을 가르는 것이 기억이다. 부품 키트 조립, 매대 진열, 방 정리는 무엇을 했고 무엇이 가려졌는지를 기억해야 한다. pi0.5에 덧붙여 실로봇 성공률을 3배 가까이 끌어올린 고정 크기 기억은 양팔 로봇과 휴머노이드로 다단계 공정을 노리는 국내 제조와 물류 현장에도 의미가 크다. 지연 시간이 줄고 블록 과제 밖에서도 결과가 유지된다면 1~2년 안에 상용 VLA 소프트웨어에 이런 기억 모듈이 들어갈 것으로 보인다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.