로봇 기억력 검증법, 올바른 기록 주면 과제 성공률 39.1%에서 74.3%로
현재 카메라 화면만으로는 풀 수 없는 새 벤치마크에서, 로봇이 올바른 과거 기록을 찾아볼 수 있을 때 과제 성공률이 39.1%에서 74.3%로 올라 항상 정답을 고르는 오라클과 같아졌다. 하이난빌레펠트응용과학대와 뮌헨공대, 베를린공대의 이 사전 공개 논문은 성공률이 높아졌다는 것만으로는 로봇의 기억이 올바른 사실을 쓰고 있다는 증거가 되지 않는다는 점도 보여준다.
비전 언어 행동(VLA) 로봇 시스템이 기억을 쓴다고 할 때, 저장된 내용이 실제로 판단을 이끄는지를 어떻게 검증할 수 있는가.
긴 작업을 처리하기 위해 VLA 정책에 기억 모듈을 붙이는 연구가 늘고 있지만, 근거는 대개 기억을 껐을 때와 켰을 때의 성공률 비교다. 이 방식은 정보와 계산을 동시에 바꾸고, 전체 성공률은 일부 에피소드의 이득과 다른 에피소드의 손실이 상쇄된 결과를 감출 수 있다.
기존 기억 기반 로봇 정책은 주로 기억 뱅크 유무에 따른 과제 성공률로 평가됐고, 필요한 정보가 현재 화면에서도 보이거나 복원 가능한 벤치마크가 많았다.
연구진은 개입형 평가 프로토콜 IMEP를 제안했다. 같은 시드로 짝지은 에피소드에서 검색 단계의 기억을 직접 바꾼다. 핵심 사실을 바꾸거나, 사실은 유지한 다른 기록으로 대체하거나, 숫자를 최소 단위만큼 바꾸거나, 똑같은 사본을 넣는다. 판단의 정확도와 동작 실행 성공은 따로 채점한다. 또 로봇이 물체가 든 서랍을 본 뒤 방해 에피소드를 거쳐, 겉보기에 똑같은 닫힌 서랍 가운데 하나를 골라야 하는 ChainBench를 만들었다. 선택한 서랍은 고정된 pi0.5 정책이 실행한다.
ChainBench(202개 체인, 2지선다, 우연 확률 50%)에서 기억이 없으면 판단 정확도 53.0%, 과제 성공률 39.1%였고 기록을 섞으면 51.5%와 38.6%였다. 전체 기억 구성은 모든 체인에서 정답을 골라 100.0%를 기록했고 과제 성공률은 74.3%로 같은 실행 기록을 쓰는 오라클과 같았다(35.2%포인트, 1.90배, MEKAWIRE 계산). 학습형 기억 뱅크 실험에서는 숫자 최소 단위 변경이 설치 절차를 포함해 시드 짝 결과의 11.9%를 바꿨지만, 핵심 사실을 바꿔도 사실을 유지한 대체보다 뚜렷한 추가 효과는 없었다. 카메라를 가린 Shell Game에서 기억 읽기의 효과는 4.0%포인트(73.5% 대 69.5%)로 연구진이 사전에 정한 10%포인트 기준에 못 미쳤고, 학습된 기억 플러그인은 뱅크를 유지하면 성공률이 18.4%에서 10.2%로 떨어졌다.
사전 공개 논문이며 SimplerEnv 과제를 포함해 모든 실험이 시뮬레이션이다. 연구진은 학습형 뱅크 실험에 판단 측정과 내용 양성 대조군이 없어 작은 사실 특이적 효과는 판별하지 못했고, 체크포인트와 구현 간 일반화도 확인하지 않았다고 밝혔다. ChainBench의 전체 기억 구성은 선별된 최신 기록과 언어모델 없는 판독기를 써, 74.3%는 올바른 기록이 도움이 될 수 있다는 뜻이지 실제 배포된 기억 시스템이 이를 달성한다는 뜻은 아니다.
긴 작업용 VLA 제품을 만드는 기업, 예컨대 피지컬 인텔리전스의 pi0.5를 쓰는 팀이나 기억 기능을 붙이는 물류와 가정용 로봇 업체에 공급사 주장을 검증하는 방법을 준다. 기억을 켜고 끈 성공률만이 아니라 사실 교체와 사본 대조 결과를 요구하라는 것이다. 한국 휴머노이드와 물류 로봇 업체의 장기 작업 실증에도 그대로 적용할 수 있는 평가 기준이며, 1~2년 시계에서는 새 기능보다 구매와 연구를 위한 평가 표준에 가깝다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.