NavHarness, 적응형 목표와 검증, 압축 메모리로 VLN 성능 끌어올린 에이전트 프레임워크

지시문 기반 연속 환경 내비게이션에서 국소 행동이 의도한 경로와 어긋나는 문제와 누적 이력으로 인한 추론 비용 증가를 어떻게 동시에 해결할 수 있는가?

기존 에이전트는 단계별로 그럴듯한 행동을 선택하더라도 실제 관측이 의도한 국소 목표를 달성했는지 확인하지 않아 경로 이탈이 장거리에서 누적된다. 또 이전 관측과 도구 호출을 계속 포함하면 결정 입력이 커지고, 무분별하게 잘라내면 랜드마크나 교정 정보가 유실된다.

학습 기반 내비게이션 정책과 내비게이션 파운데이션 모델은 대규모 전문가 궤적으로 행동을 학습하지만 새로운 상황에 대한 적응이 제한적이다. Codex CLI 같은 범용 멀티모달 에이전트는 추론과 도구 호출로 대응하지만, 진행 상태를 관측으로 검증하거나 완료된 이력만 압축하는 구조가 없다.

NavHarness는 Goal Agent가 지시문, 현재 관측, 실행 이력에서 적응형 국소 목표와 검증 질문을 만들고, Visuomotor Agent가 행동을 실행하며, Verify Agent가 매 단계 관측 결과를 검증 질문에 비추어 완료 여부를 판정한다. Memory Agent는 검증된 목표 완료 지점을 경계로 완료 구간의 다중모드 이력을 요약과 키프레임으로 압축하고, 미완료 상태와 최근 증거는 유지한다. 이 구조가 목표 추구와 완료 평가를 분리하고 진행 판단을 발행된 행동이 아닌 관측 결과에 근거하게 한다.

시뮬레이션 벤치마크 R2R-CE와 RxR-CE에서 각 100개 에피소드를 평가했다. GPT-6-Astra 백본 NavHarness는 SR 79.0%, 82.5%로 동일 백본 Codex CLI(74.0%, 76.3%) 대비 5.0%p, 6.2%p 높았고, NE는 1.22m, 0.72m 감소, SPL은 4.1%p, 4.7%p 개선됐다. GPT-5.6-Sol 백본에서도 SR이 R2R-CE 62.6%에서 67.0%로, RxR-CE 28.0%에서 34.0%로 올랐다. 목표 완료 기반 압축을 켜면 GPT-5.6-Sol 기준 총 토큰을 R2R-CE 35.94%, RxR-CE 56.59% 줄였고 SR 하락은 1%p, 2%p였다. GPT-6-Astra에서는 절감률이 5.52%, 4.05%로 작았지만 압축 후 SR(77.0%, 81.0%)이 Codex CLI Native(74.0%, 76.3%)보다 높았다. Qwen-3.6-plus, GPT-5.6-Sol, GPT-6-Astra 백본 절제에서 압축 없이 SR이 각각 28%에서 32%, 63%에서 67%, 74%에서 79%로 향상됐고, 압축을 켜도 31%, 66%, 77%를 유지했다. 실물 Unitree Go2에 RGB 카메라만 사용한 8개 경로, 각 3회 시행(총 24회)에서 SR 83.3%, NE 1.51m를 기록해 가장 강한 기준 JanusVLN(50.0%, 2.34m)보다 33.3%p, 0.83m 개선됐다.

저자들은 폐쇄형 원격 모델에 의존해 추론 비용과 통신 지연이 크고, 단일 RGB 카메라만 사용해 시야 밖 장애물을 놓쳐 사족 로봇의 안전하지 않은 움직임이 발생할 수 있다고 밝혔다. arXiv 프리프린트로 동료 심사가 확인되지 않았고, 실물 평가는 8개 경로 24회 시행으로 규모가 작으며 코드 공개 여부는 논문에 명시되지 않았다.