Echtzeit-VLA-Inferenz: Nicht-uniformes Zwei-Stufen-Denoising spart 64 Prozent Rechenzeit
Das Paper stellt ein zweistufiges, nicht-uniformes Denoising für Flow-Matching-basierte Vision-Language-Action-Modelle vor; es reduziert die Modellinferenzzeit von 61,557 ms auf 21,956 ms, eine 2,804-fache Beschleunigung, bei vergleichbarer Aktionsfehlergröße. Zusätzlich wird ein verteiltes Echtzeit-Framework mit entkoppelten Raten für Inferenz, Aktionspublikation und Robotersteuerung entwickelt. In physischen Langzeit-Faltversuchen mit π0.5 erzielt Legato 96,7 Prozent Erfolg; die kombinierte Zwei-Stufen-Methode senkt die Erfolgsrate von Legato auf 86,7 Prozent, liefert aber deutliche Effizienzgewinne. Der Preprint motiviert die gemeinsame Optimierung von Modellinferenz und System-Timing.
Wie lässt sich die Inferenz von Flow-Matching-basierten VLA-Modellen durch eine nicht-uniforme Integration der Denoising-Schritte beschleunigen und gleichzeitig in einem einheitlichen Echtzeit-Framework mit verschiedenen Ausführungsstrategien auf physischen Robotern bewerten?
VLA-Modelle erzeugen Aktionssequenzen mit niedriger Rate, während Roboter hochfrequente Befehle benötigen; Verzögerungen durch Kamera, Propriozeption, Kommunikation, Scheduling und physische Reaktion sowie iterative Flow-Matching-Schritte führen zu zeitlicher Fehlausrichtung zwischen Beobachtung, Inferenz und Ausführung. Bestehende Ansätze optimieren oft nur einzelne Komponenten, nutzen unterschiedliche Basismodelle, Plattformen und Aufgaben und liefern keine einheitliche Ende-zu-Ende-Latenzmessung.
Bisherige Arbeiten setzen auf asynchrone Inferenz und Ausführung (Naive Asynchronous, RTC, Temporal Smoothing), gelernte Inter-Chunk-Kontinuität (Legato) oder Zustandsfortschreibung (VLASH) sowie auf Effizienzsteigerung durch wenige Sampling-Schritte oder Distillation (SnapFlow, Consistency Policy). Schwächen sind uneinheitliche Hardware- und Evaluationsbedingungen, eine unzureichende Charakterisierung der Denoising-Stufen und die getrennte Optimierung von Modell- und System-Latenz.
Die Autoren analysieren die Geschwindigkeitsfelder über die Integrationsstufen und finden stabile frühe Phasen sowie starke Richtungskorrekturen nahe dem Endpunkt. Darauf aufbauend wird ein zweistufiges nicht-uniformes Denoising mit dem Zeitplan 1→0,3→0 eingeführt: ein großer Flow-Matching-Schritt für die Grobgenerierung, gefolgt von einer SnapFlow-Kurzintervall-Verfeinerung für das Terminalintervall. Das Training wählt mit gleicher Wahrscheinlichkeit den Standard-Flow-Matching-Zweig oder den zweistufigen Zweig, der eine Stop-Gradient-SnapFlow-Lehrerbahn nutzt. Parallel wird ein verteiltes Framework mit unabhängigen Raten für Inferenz, Aktionspublikation und Robotersteuerung, modularer Beobachtungserfassung und Aktionsherkunfts-Logging entwickelt.
Inferenzzeit: Standard-Flow mit 10 NFE auf RTX 4090 D (JAX) im Mittel 61,557 ms über 620 Inferenzaufrufe; zweistufig mit 2 NFE 21,956 ms, 2,804-fache Beschleunigung, 64,33 Prozent Zeitreduktion. Offline-Aktionsfehler bleiben in derselben Größenordnung wie 10 NFE (z. B. Joint MAE 0,008525 rad vs. 0,008396 rad in Sequenz I). Im physischen Langzeit-T-Shirt-Falten mit π0.5 und bimanuellen Agilex-Piper-Armen erreicht Legato 29/30 Erfolge (96,7 Prozent), 73,56 s mittlere Zeit, 47,31 erfolgreiche Aufgaben pro Stunde; VLASH 28/30 (93,3 Prozent); Temporal Smoothing 23/30 (76,7 Prozent). Legato hat den niedrigsten Tail Gap (0,0193 rad) und Switch Gap (0,0062 rad); Temporal Smoothing die niedrigste maximale Beschleunigung (25,6 rad/s²). Kombination mit Zwei-Stufen-Denoising: Legato sinkt auf 26/30 (86,7 Prozent), Temporal Smoothing auf 21/30 (70,0 Prozent), bei 21,956 ms Inferenzzeit; Kontinuitätsmetriken steigen um ca. 20 Prozent, mittlere Erfolgszeit um ca. 5 Prozent.
Die Autoren nennen keine zusätzlichen Einschränkungen; offensichtlich ist die Evaluation auf eine einzige Basis-Policy (π0.5), eine Aufgabe (T-Shirt-Falten), eine Roboterplattform und drei Kleidungsstücke begrenzt. Die aggressive Reduktion von 10 auf 2 NFE verursacht einen Rückgang der Erfolgsrate um 10 bzw. 6,7 Prozentpunkte und eine Verschlechterung der Kontinuitätsmetriken um ca. 20 Prozent. Der gewählte Zeitplanparameter τ=0,3 ist nicht als optimiert ausgewiesen. Der Preprint ist nicht als begutachtet dokumentiert; eine Übertragbarkeit auf andere VLA-Modelle oder Flow-Matching-Weltmodelle wird nur als zukünftige Arbeit genannt.
Kurzfristig können Robotik-Unternehmen das quelloffene Framework für die Evaluation eigener Echtzeit-VLA-Strategien nutzen; die Zwei-Stufen-Methode lässt sich bei Flow-Matching-basierten Manipulationsrichtlinien in Simulationen oder internen Testständen einsetzen. Innerhalb von ein bis drei Jahren könnten Hersteller von Service- oder Industrierobotern die reduzierte Inferenzzeit für höhere Regelraten oder niedrigere GPU-Kosten in Produkten verwenden, sofern die Aufgabenleistung durch adaptive Wahl von NFE oder τ sowie durch breitere Validierung auf weiteren Aufgaben und Hardware stabilisiert wird.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.