GeoScaffold 用训练时几何重建让 VLN 策略摆脱深度传感器

能否仅通过训练时的几何监督让端到端视觉语言动作导航策略获得空间推理能力，而部署时只需 RGB 观测和语言指令？

现有流式 Video-LLM 策略基于互联网 2D 数据预训练，缺乏度量尺度、拓扑推理和可通行性判断能力，导致在判断远近、通道是否可通过、是否提前停止等深度敏感决策上失败。现有几何增强方法在推理时需要深度传感器、驻留 3D 编码器或感知工具调用，增加了硬件要求和延迟。

此前方法包括：显式空间输入（RGB-D、BEV 地图、3D 特征场）、驻留 3D 编码器（如 VGGT）、双系统设计（慢思考模块加快速控制器）、LLM 规划器加感知工具等。不足在于推理路径上持续保留几何模块，造成 9 到 14 倍延迟，且多模块协调复杂，不易部署到边缘设备。

GeoScaffold 采用两阶段训练。第一阶段离线训练一个 0.74M 参数的深度 VQ-VAE tokenizer，将深度图离散化为 100 个 code，码本大小 128。第二阶段在策略中插入 8 个可学习几何查询 token（深度 4 个、连通性 2 个、可通行性 2 个），这些 token 置于每轮用户输入末尾、动作生成之前，并使用混合注意力掩码允许同组 token 双向交互。通过重建损失监督这些 token 的隐状态：深度 token 预测离散 code 并经过冻结解码器重建深度图，连通性和可通行性 token 预测由 Grounding-DINO 和 SAM 生成的二值掩码。训练后丢弃 tokenizer、重建头和掩码生成器，只保留查询 token 嵌入和混合注意力模式，推理路径与原始 RGB+文本策略完全一致。

在 R2R-CE Val-Unseen 上，使用额外导航数据的 GeoScaffold-4B 达到 SR 64.8%、SPL 60.5%、NE 4.17、OS 72.1，比 JanusVLN-7B 分别高 4.3 和 3.7 点，比 RGB-D 策略 GA-VLN-7B 分别高 3.8 和 5.3 点。在 RxR-CE Val-Unseen 上达到 SR 59.6%、SPL 52.2%、nDTW 66.3、NE 4.51，比 NavFoM-7B 分别高 2.2 和 2.8 点。仅用 R2R-CE 和 RxR-CE 数据训练时，GeoScaffold-4B∗ 达到 SR 55.3%、SPL 51.0%，超过同数据 JanusVLN-7B∗ 的 52.8% 和 49.2%。在 RTX 4090 上单帧延迟 81 ms，GA-VLN 为 750 ms，JanusVLN 为 1160 ms，GeoScaffold 快 9 到 14 倍。在 LLaVA-Video-7B、Qwen2.5-VL-3B、Qwen3-VL-4B 三个后端上，SR 提升 5.5 到 7.9 点，SPL 提升 6.4 到 8.7 点。真机在 Unitree Go2 Edu 四足机器人上用 RGB 流完成两项零样本任务，但论文未报告量化成功率。训练策略约需 1500 A100 GPU 小时，VQ-VAE 约 50。

论文未报告作者明确承认的局限。明显局限包括：真机实验规模很小，未给出量化成功率；几何目标由 Grounding-DINO 和 SAM 离线生成，可能受伪标签质量影响；训练数据来自 Matterport3D 场景，跨环境和跨机器人泛化能力未验证；训练成本较高；未提及是否开源代码。