GeoScaffoldが訓練時のみの幾何学スーパービジョンでRGBのみのVLNを高速化
GeoScaffoldは、視覚言語ナビゲーション（VLN）向けに、深度、接続性、通行可能性を訓練時のみ再構成させることで、推論時にはRGBと言語だけで空間認識を獲得する手法である。本論文はプレプリントであり、R2R-CEおよびRxR-CEで既存の視覚のみナビゲータを上回り、4BモデルがRTX 4090上で1フレーム81 msと高速である。推論時に深度センサや3Dエンコーダを必要としないため、エッジデバイスへの展開に有用である。
視覚言語ナビゲーションのエンドツーエンド方針に、推論時の追加センサやモジュールなしで幾何学的能力を内部化できるか。
既存のVideo-LLMナビゲータは2D事前学習由来で、深度や3D構造の推論が弱く、深度センサや3Dエンコーダを推論時に常駐させるとレイテンシやハードウェア要件が増える。特に、ランドマークの近さ判断、通路の通行可能性、早期停止の回避といった深度依存の意思決定に失敗しやすい。
従来はRGB-D入力、3Dエンコーダ（VGGT等）、BEVマップ、デュアルシステム、知覚ツール呼び出しなどで幾何学を注入してきた。これらは推論時もモジュールが残り、レイテンシ、GPUメモリ、ハードウェアが増加する。
GeoScaffoldは訓練時のみの幾何学的スーパービジョン枠組みである。Stage Iで深度VQ-VAEを学習し凍結する。Stage IIで方針に8個の学習可能な幾何学クエリトークン（深度4、接続性2、通行可能性2）を挿入し、その隠れ状態から深度コード、接続性マスク、通行可能性マスクを再構成する損失を追加する。深度ターゲットは凍結トークナイザが出力し、接続性と通行可能性マスクはGrounding-DINOとSAMでオフライン生成する。推論時は補助モジュールを廃棄し、学習済みクエリトークンのみ残す。ハイブリッド注意マスクでクエリグループ内を双方向化し、基盤はQwen3-VL-4Bなどである。
追加学習データありの場合、GeoScaffold-4BはR2R-CE Val-UnseenでSR 64.8%、SPL 60.5%、NE 4.17、OS 72.1を達成し、JanusVLN-7B（SR 60.5、SPL 56.8）とGA-VLN-7B（SR 61.0、SPL 55.2）を上回った。RxR-CE Val-UnseenではSR 59.6%、SPL 52.2%、nDTW 66.3で、NavFoM-7B（SR 57.4、SPL 49.4）を上回った。R2R-CEとRxR-CEのみで訓練したGeoScaffold-4B∗はR2R-CEでSR 55.3%、SPL 51.0%を記録し、同データのJanusVLN-7B∗（SR 52.8、SPL 49.2）を上回った。推論効率では、RTX 4090上でGeoScaffold-4Bが1フレーム81 ms、GA-VLNが750 ms、JanusVLNが1160 msであり、GeoScaffoldは9倍から14倍高速である。バックボーン一般性では、LLaVA-Video-7B、Qwen2.5-VL-3B、Qwen3-VL-4BのいずれでもSRが5.5から7.9ポイント向上した。実機ではUnitree Go2 Edu四足ロボットにRGBのみでゼロショット展開し、幾何学的要求の高い2エピソードを完遂した。
著者は明示的な限界を述べていない。論文では報告されていないが、実機評価は定性的で小規模であり、数値的な成功率は報告されていない。また訓練に約1500 A100 GPU時間が必要であり、シミュレーションベンチマークでの比較が中心である。
エッジデバイスで動く空間認識可能なナビゲーションモデルを求めるロボット企業、配送・巡回・案内ロボットに有用である。既存のVLAナビゲータに対して訓練手順として導入でき、推論時はRGBのみでよいため、現在から1〜3年で実用化の可能性がある。ただし、学習には大規模なナビゲーションデータと幾何学アノテーション、および相応の計算資源が必要である。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。