GeoScaffold lernt kompakte geometrische Latents für effiziente Vision-Language-Navigation
Das Paper stellt GeoScaffold vor, ein Preprint, der geometrische Überwachung nur während des Trainings in Streaming-VLN-Policies einprägt. Das zentrale Ergebnis: Die 4B-Policy erreicht auf R2R-CE Val-Unseen 64,8 % SR und 60,5 % SPL und übertrifft damit 7B-Systeme, obwohl zur Inferenz nur RGB und Text verarbeitet werden. Die Methode benötigt keine Tiefensensoren oder 3D-Encoder zur Laufzeit und erreicht 81 ms pro Frame auf einer RTX 4090.
Können geometrische Rekonstruktionsziele während des Trainings einem end-to-end VLA-Navigator räumliches Verständnis vermitteln, sodass er bei der Inferenz mit reinen RGB-Beobachtungen und Sprachinstruktionen auskommt?
Navigation erfordert metrisches und topologisches Denken, etwa zu freiem Raum, Entfernungen und Durchgängen. Streaming-Video-LLM-Policies erben aus 2D-Vortraining kaum 3D-Vorwissen; bestehende geometrieerweiterte Systeme binden Tiefensensoren, 3D-Encoder oder Perception-Tools dauerhaft in die Inferenz ein und verursachen damit Hardwareaufwand, Latenz und Integrationskosten.
Bisherige Ansätze setzen auf eingebaute Tiefen- oder 3D-Komponenten, etwa RGB-D-BEV-Karten wie GA-VLN, residente 3D-Foundation-Modelle wie JanusVLN mit VGGT, oder Dual-System- und Zero-Shot-Pipelines mit LLM-Planern und Perception-Modulen. Diese Komponenten bleiben zur Laufzeit aktiv, erhöhen GPU-Speicher und Latenz und erschweren die Systemintegration.
GeoScaffold kehrt die Schnittstelle um: Statt Geometrie als Eingabe zu konsumieren, lernt die Policy sie vorherzusagen. Zuerst wird ein kompakter Tiefen-VQ-VAE offline trainiert und eingefroren. In Stufe zwei werden acht lernbare Geometrie-Query-Tokens in jeden Benutzer-Turn vor dem Aktionsblock eingefügt, aufgeteilt in vier Tiefen-, zwei Konnektivitäts- und zwei Traversabilitäts-Tokens. Über eine hybride Aufmerksamkeitsmaske dürfen die Tokens einer Gruppe bidirektional aufeinander zugreifen. Ihre Hidden States rekonstruieren diskrete Tiefencodes sowie binäre Konnektivitäts- und Traversabilitätsmasken. Nach dem Training werden Tokenizer, Zielgeneratoren und Rekonstruktionsköpfe entfernt; übrig bleiben Backbone und Aktionsinterface mit den gelernten Token-Embeddings.
Auf R2R-CE Val-Unseen erreicht GeoScaffold-4B mit zusätzlichen Navigationsdaten 64,8 % SR, 60,5 % SPL, 4,17 NE und 72,1 OS; auf RxR-CE Val-Unseen 59,6 % SR, 52,2 % SPL und 66,3 nDTW. Mit ausschließlich R2R-CE und RxR-CE liegt GeoScaffold-4B bei 55,3 % SR und 51,0 % SPL auf R2R-CE und übertrifft JanusVLN-7B unter gleichen Daten. In Backbone-Ablationen steigert GeoScaffold SR bei LLaVA-Video-7B um 7,9 Punkte, Qwen2.5-VL-3B um 5,5 und Qwen3-VL-4B um 6,5. Auf einer RTX 4090 beträgt die durchschnittliche Latenz 81 ms pro Frame gegenüber 750 ms bei GA-VLN und 1160 ms bei JanusVLN. In realen Zero-Shot-Versuchen auf einem Unitree Go2 Edu mit Intel RealSense D435i nur mit RGB absolviert das System zwei geometrieintensive Episoden und verbessert die Erfolgsrate bei solchen Instruktionen.
Die Autoren berichten keine quantitative reale Erfolgsrate über die qualitative Auswertung hinaus; Code oder Modellgewichte werden im Paper nicht erwähnt. Die Evaluation stützt sich überwiegend auf die Simulationen R2R-CE und RxR-CE; reale Tests umfassen nur wenige Episoden auf einer einzelnen Roboterplattform. Das Training ist rechenintensiv, rund 1500 A100-GPU-Stunden für die Policy und 50 für den VQ-VAE. Offline generierte Konnektivitäts- und Traversabilitätsmasken mit Grounding-DINO und SAM sind möglicherweise fehlerbehaftet.
Unternehmen im Bereich mobiler Roboter, Quadrupeds und Servicerobotik könnten GeoScaffold nutzen, um räumlich kompetente Navigationsmodelle ohne Tiefensensor und ohne residenten 3D-Encoder auf Edge-Hardware wie Jetson zu betreiben. Kurzfristig, innerhalb von ein bis drei Jahren, sind Anwendungen denkbar, sofern reale Robustheit mit größeren realen Datensätzen validiert wird und die Trainingsrezeptur oder vortrainierte Gewichte verfügbar gemacht werden. Der Verzicht auf zusätzliche Inferenz-Hardware senkt Stückkosten und Latenz.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.