Vision-Language Navigation중급
GeoScaffold, 훈련 때만 기하 정보를 넣어 RGB 단독 VLN 성능을 높인 프레임워크
GeoScaffold는 스트리밍 비전-언어-행동 내비게이션 정책에 훈련 시점에만 깊이, 연결성, 주행 가능 마스크를 재구성하게 해 기하 잠재를 학습시키는 프레임워크다. 훈련이 끝나면 보조 모듈을 모두 버리고 RGB와 텍스트만으로 동작하며, R2R-CE와 RxR-CE에서 4B 모델이 여러 7B 비전 단독 내비게이터를 성공률과 SPL로 앞섰다. RTX 4090에서 프레임당 81ms로 처리해 기존 기하 강화 방식보다 9배 이상 빨랐다. 현재 arXiv에 공개된 프리프린트다.