RoboCasa-Shift, 엔비디아 GR00T N1.5 성공률 73.8%가 강한 흐림에 0%로
푸단대 주도 연구진은 프리프린트에서 엔비디아 로봇 모델 GR00T N1.5가 시뮬레이션 속 긴 가사 작업 4개에서 73.8%를 성공했지만 가장 강한 영상 흐림에서는 0%로 떨어졌고, 다른 시험에서는 결과가 서로 상쇄돼 실제 민감도가 가려졌다고 밝혔다. 약한 카메라 각도 변화에서 성공률은 그대로였지만 짝지은 80회 중 8회의 결과가 바뀌었다.
성공률 하나만으로 VLA 정책이 조건 변화에 어떻게 무너지는지, 긴 작업의 어느 단계에서 실패가 시작되는지 알 수 있는지를 묻는다.
VLA 견고성은 보통 교란 전후 성공률 한 숫자로 보고된다. 같은 에피소드가 실패했는지, 실패가 성공으로 바뀌며 상쇄됐는지, 첫 단계에서 실패했는지 마지막 단계에서 실패했는지가 가려진다.
LIBERO 변형과 RoboCasa 같은 기존 벤치마크는 장면을 바꾸고 전체 성공률을 보고한다. 교란 실행마다 똑같은 정상 실행을 짝지어 비교하거나 긴 작업의 하위 목표를 어디까지 달성했는지 추적하는 경우는 드물다.
RoboCasa365 위에 만든 RoboCasa-Shift는 조명, 외부 카메라 방향, 로봇 시작 위치, 가우시안 흐림 가운데 한 요인만 세 단계 강도로 바꾼다. 모든 교란 실행은 나머지 조건이 같은 정상 실행과 짝을 이뤄 성공→성공, 성공→실패, 실패→성공, 실패→실패로 분류된다. 단계 추적기가 시뮬레이터 상태를 읽어 작업을 어디까지 진행했는지 기록한다.
연구진의 기본 성능 기준을 통과한 모델은 GR00T N1.5뿐이었고, 주방 장기 작업 4개에서 조건마다 짝지은 80회를 돌렸다. 정상 성공률은 0.738이었다. 가우시안 흐림에서는 단계별로 0.550, 0.225, 0으로 떨어졌고(하락폭 0.188, 0.513, 0.738), 가장 강한 단계에서 성공→실패 59건, 실패→성공 0건이었다. 시작 위치 변화의 하락폭은 0.075, 0.150, 0.263이었고 싱크대 헹구기 작업에서는 0.55까지 컸다. 카메라 방향은 1단계 변화 없음, 2단계 0.188, 3단계 0.138로 오히려 줄었다. 조명은 0.012, -0.025, 0.025로 오차 범위 안이었지만 2단계에서 12회의 결과가 뒤바뀌었다. 카메라 1단계에서는 성공→실패 4건과 실패→성공 4건이 정확히 상쇄됐다.
정책 하나, 작업 네 개, 시뮬레이션뿐이다. 연구진은 다른 모델로 일반화하지 않으며 실제 로봇 검증은 하지 않았다고 밝혔다. 단계 판정은 공식 주석이 아니라 검증한 시뮬레이터 조건식에 기반한다. 조건당 80회라 작은 효과는 신뢰구간이 넓다. GR00T N1.5 외에 기준을 통과한 정책이 없었다는 사실 자체가 현재 VLA의 장기 작업 신뢰도를 보여준다.
엔비디아와 GR00T 기반 개발사에는 카메라 오염이나 초점 이탈 같은 영상 흐림이 유능한 모델도 0%로 만든다는 구체적 약점과, 대표 성공률이 불안정한 행동을 가릴 수 있다는 점을 보여준다. 국내 휴머노이드와 서비스로봇 업체가 VLA 모델을 도입할 때 숫자 하나가 아니라 짝지은 에피소드 단위 시험을 요구할 근거가 된다. 방법론은 지금 쓸 수 있지만 결과는 실제 로봇 검증이 필요하다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.