NavHarness 用自适应目标和验证压缩提高视觉语言导航成功率

如何让通用多模态智能体在长时间视觉语言导航中保持局部动作与路线指令一致，同时控制交互历史带来的推理开销？

现有导航智能体在每一步选择合理动作，但缺乏对局部目标是否完成的显式检查，导致偏差在长任务中累积；同时，不断累积的交互历史使后续决策的输入规模不断增加，而简单截断又会丢失地标、修正和未完成目标等关键信息。

此前方法主要分为两类：一类是训练专用导航策略，如 NaVid、NaVILA、Qwen-RobotNav，依赖大规模专家轨迹；另一类是通用智能体框架，如 Codex CLI、AgenticNav，通过工具调用与环境交互。这些方法要么缺乏对执行进度的动态验证，要么在上下文管理上缺少与任务进度绑定的压缩机制。

NavHarness 引入四个智能体：Goal Agent 根据指令、当前观测和执行历史生成自适应局部目标及验证问题；Verify Agent 用目标特定的验证问题动态判断观测结果是否满足完成条件；Memory Agent 在验证完成时压缩该阶段多模态历史，保留路线摘要、验证结果和关键帧；Visuomotor Agent 依据活动目标执行动作。框架将进度验证与上下文压缩绑定，在保留未完成任务状态的同时减少重复处理。

在 R2R-CE 和 RxR-CE 各 100 个 episode 上，基于 GPT-6-Astra 的 NavHarness 零样本单目输入达到 SR 79.0% 和 82.5%，相比同骨干 Codex CLI 的 74.0% 和 76.3% 分别提高 5.0 和 6.2 个百分点；NE 从 4.49 m 和 3.14 m 降至 3.27 m 和 2.42 m，SPL 提高 4.1 和 4.7 个百分点。基于 GPT-5.6-Sol 时，SR 从 62.6% 和 28.0% 提升到 67.0% 和 34.0%。NavHarness 在 R2R-CE 和 RxR-CE 上分别高出 Qwen-RobotNav 6.9 和 6.0 个百分点 SR。真机测试使用 Unitree Go2 四足机器人和前置 RGB 相机，8 条路线各测 3 次，SR 83.3%，NE 1.51 m，优于 JanusVLN 的 50.0% 和 2.34 m。压缩方面，Goal 模式相比 Off 模式总 token 消耗减少：GPT-5.6-Sol 在 R2R-CE 节省 35.94%、RxR-CE 节省 56.59%，GPT-6-Astra 分别节省 5.52% 和 4.05%；对应 SR 下降 1 到 2 个百分点，但仍高于 Codex CLI 原生上下文；每决策平均文本输入长度下降 55.5% 至 71.6%。消融显示，在 Qwen-3.6-plus、GPT-5.6-Sol、GPT-6-Astra 三个骨干上，无压缩 NavHarness 的 SR 从 Codex CLI 的 28%、63%、74% 提升到 32%、67%、79%；有压缩时分别为 31%、66%、77%。

作者承认：当前依赖远程闭源模型，推理成本和通信延迟较高，减慢导航循环；单一 RGB 相机视野有限，视野外障碍物可能未被观测，导致四足机器人不安全移动。此外，真机评估仅覆盖 8 条路线、每条 3 次试验，样本量较小；在 GPT-6-Astra 骨干上压缩带来的 token 节省相对有限，且 RxR-CE 的 SPL 从 64.7 下降到 58.3；论文未报告是否开源代码。