GeoScaffold, 훈련 때만 기하 정보를 넣어 RGB 단독 VLN 성능을 높인 프레임워크

기하 정보를 추론 시에는 사용하지 않고 훈련 시에만 지도 신호로 주입해, RGB와 언어만으로 공간 이해가 가능한 내비게이션 정책을 만들 수 있는가?

최근 스트리밍 Video-LLM 기반 VLN은 RGB와 명령을 직접 행동으로 매핑하지만 백본이 2D 데이터로 사전 학습돼 거리, 통로 연결성, 주행 가능 영역 같은 3D 기하 판단에 약하다. 기존 기하 강화 방식은 깊이 센서나 3D 인코더, 지각 도구를 추론 때 계속 사용해야 해 하드웨어 요구와 지연, GPU 메모리 부담이 커진다.

기하 강화 VLN은 RGB-D나 BEV 맵, VGGT 같은 고정 3D 인코더, 지각 도구 호출로 공간 정보를 정책에 공급한다. GA-VLN은 RGB-D를 기하 인식 BEV 맵으로 만들고, JanusVLN은 매 스텝 VGGT 3D 인코더를 실행한다. 이런 모듈은 배포 시에도 남아 지연을 키우고, 이중 시스템이나 제로샷 파이프라인은 여러 모듈을 조율해야 한다.

GeoScaffold는 2단계 훈련으로 기하 정보를 정책 내부에 흡수시킨다. 1단계에서 훈련 궤적의 깊이 맵으로 0.74M 파라미터 VQ-VAE를 학습해 128개 코드북 항목과 100개 깊이 토큰을 만든다. 2단계에서 정책 행동 블록 앞에 8개 학습 가능 기하 쿼리 토큰을 넣고, 깊이 4개, 연결성 2개, 주행 가능성 2개가 각각 자기 타깃을 재구성하게 한다. 쿼리 토큰은 같은 그룹끼리 양방향으로 보는 하이브리드 어텐션 마스크를 쓰며, 손실은 깊이 코드 분류와 고정 디코더를 통한 재구성, 마스크 BCE와 Dice로 구성된다. 훈련 후 깊이 토크나이저와 재구성 헤드는 제거하고 학습된 쿼리 토큰과 백본만 남는다.

R2R-CE Val-Unseen에서 R2R-CE와 RxR-CE 데이터만으로 훈련한 GeoScaffold-4B*는 SR 55.3%, SPL 51.0%, NE 5.07m를 기록해 같은 데이터 조건의 JanusVLN-7B*보다 SR 2.5%p, SPL 1.8%p 높았다. RxR-CE Val-Unseen에서는 SR 53.2%, SPL 46.2%, nDTW 59.8을 기록했다. 추가 내비게이션 데이터를 쓰면 R2R-CE SR 64.8%, SPL 60.5%, NE 4.17m, RxR-CE SR 59.6%, SPL 52.2%, nDTW 66.3으로 올라, R2R-CE에서 JanusVLN-7B보다 SR 4.3%p, SPL 3.7%p 높고 RGB-D 방식인 GA-VLN-7B보다 SR 3.8%p, SPL 5.3%p 높았다. 백본 일반화 실험에서는 LLaVA-Video-7B, Qwen2.5-VL-3B, Qwen3-VL-4B 모두 GeoScaffold 적용 후 SR이 각각 7.9%p, 5.5%p, 6.5%p 올랐다. RTX 4090 평균 프레임 처리 시간은 GeoScaffold-4B가 81ms, GA-VLN이 750ms, JanusVLN이 1160ms였고, VGGT 인코더만 400ms였다. 제거 실험에서는 깊이 감독을 빼면 SR이 55.3%에서 51.1%로 가장 크게 떨어졌고, 주행 가능성 제거는 53.1%, 연결성 제거는 52.7%였다. 실물 로봇 실험에서는 Unitree Go2 Edu가 RGB만으로 두 에피소드를 완주했고, 기하 요구 명령에서 성공률이 올랐다고 보고했지만 구체 수치는 없었다.

저자는 별도의 한계 문단을 두지 않았다. 주요 정량 평가는 Matterport3D 기반 VLN-CE 시뮬레이션이고, 실물 로봇 실험은 Unitree Go2 Edu에서 두 에피소드와 일부 명령 집합에 그쳐 정량적 일반화를 확인하기 어렵다. 연결성과 주행 가능성 타깃은 Grounding-DINO와 SAM으로 만든 근사 라벨이라 라벨 오류가 훈련에 영향을 줄 수 있다. 훈련에는 약 1500 A100 GPU 시간이 필요하며, 프리프린트라 동료 심사를 거치지 않았다.