NavHarness、適応的ゴールと検証でVLN成功率を向上、実機で83.3%を達成

著者は、長距離の視覚言語ナビゲーションにおいて、局所的な行動選択が指示された経路と乖離する問題と、蓄積する対話履歴による推論コスト増大を、適応的ゴールと検証、記憶圧縮によって解決できるかを問うた。

既存のエージェントは、個々のステップで妥当に見える行動を選択しても、意図した経路との一貫性を保証できなかった。部分的な観測、回り道、誤った方向転換が実際の軌跡を想定進捗から逸脱させ、長いタスクでは逸脱が蓄積する。また、過去の観測やツールとの対話履歴を毎回入力に含めると推論オーバーヘッドが増大し、無差別な履歴の切り捨てはランドマークや修正情報など後のナビゲーションに必要な情報を失う恐れがあった。

従来は、大規模な専門家軌跡で学習したタスク特化型ポリシー（NaVid、NaVILA、Qwen-RobotNavなど）と、汎用マルチモーダルエージェント（AgenticNav、HarnessVLN、Codex CLIなど）が用いられた。前者は高い性能を示すが、指示がすべての状況を規定できないため未知の環境での適応に限界があった。後者はツール呼び出しで環境と対話するが、進捗の検証や履歴の圧縮が不十分で、局所的な妥当な行動が意図した経路と乖離し、履歴が肥大化する問題が残った。

NavHarnessは4つのエージェントで構成される。Goal Agentが指示、現在の観測、実行履歴から適応的な局所ゴールと検証質問を生成する。Visuomotor Agentがそのゴールに向けて前進や旋回などの行動を実行し、Verify Agentがゴール特有の検証質問に基づいて観測結果を評価し、継続、ゴール修正、次ゴールへの前進を判断する。Memory Agentは検証済みのゴール完了を圧縮境界とし、完了した対話履歴を経路、ランドマーク、検証結果、視覚キーフレームを含む要約に圧縮する。これにより、行動選択と完了評価が分離され、進捗更新が発行した行動ではなく観測された結果に基づく。未完了のゴールや修正履歴は保持され、無差別な切り捨てによる情報損失を避ける。

R2R-CEとRxR-CEの各100エピソードで評価した。GPT-6-AstraをバックボーンとするNavHarnessの成功率はR2R-CEで79.0%、RxR-CEで82.5%となり、同一バックボーンのCodex CLI（74.0%、76.3%）を5.0ポイントと6.2ポイント上回った。SPLはそれぞれ4.1ポイント、4.7ポイント向上し、NEは1.22m、0.72m減少した。GPT-5.6-Solでも成功率が4.4ポイント、6.0ポイント向上し、RxR-CEのNEは9.03mから7.28m、nDTWは41.2から47.0に改善した。単眼入力のゼロショット設定で、GPT-6-AstraベースのNavHarnessはQwen-RobotNav-8Bを成功率で6.9ポイント、6.0ポイント上回った。R2R-CEのアブレーションでは、Qwen-3.6-plus、GPT-5.6-Sol、GPT-6-Astraの各バックボーンで圧縮なしの場合、成功率が28%、63%、74%から32%、67%、79%に向上した。記憶圧縮はGPT-5.6-Solで総トークン消費をR2R-CEで35.94%、RxR-CEで56.59%削減し、成功率低下は1〜2ポイントだった。GPT-6-Astraでは削減率が5.52%と4.05%と小さく、成功率は2ポイントと1.5ポイント低下し、RxR-CEのSPLは64.7から58.3に低下したが、圧縮後もCodex CLIのNativeを上回った。実機評価ではUnitree Go2四足ロボットにIntel RealSense D435iのRGBカメラのみを搭載し、8ルートを各3回試行した。成功率83.3%、ナビゲーション誤差1.51mを達成し、最強の掲載ベースラインであるJanusVLN（50.0%、2.34m）を33.3ポイント、0.83m上回った。

著者は、遠隔のクローズドソースモデルへの依存が推論コストと通信遅延を生み、ナビゲーションループを遅くすると述べた。また、単一のRGBカメラでは視野が限られ、視野外の障害物が見えず四足ロボットの不安全な動きにつながる可能性を挙げた。記憶圧縮の効果はバックボーンに依存し、GPT-6-Astraでは削減率が小さくRxR-CEで経路効率が低下した。実機評価は単一のUnitree Go2のみで、8ルート24試行と規模が小さく、一般化には追加検証が必要である。コードの公開は論文では報告されていない。