Fast-VLA: Huawei lässt das große Modell nur einmal pro Aufgabe nachdenken
Huawei-Forscher führen ihr Vision-Language-Modell mit 4 Mrd. Parametern nur zu Beginn einer Aufgabe aus; jede weitere Bewegung übernimmt ein kleines Netz, das auf diesen eingefrorenen Speicher zugreift. In Simulationsbenchmarks bleibt die Erfolgsquote nahe an der Spitze, die Rechenzeit pro Steuerschritt sinkt um das 10,9- bis 17,1-Fache.
Muss eine VLA-Policy ihr großes Basismodell für jeden Aktionsblock neu berechnen, oder genügt einmaliges Aufgabenverständnis plus leichter Regler?
Die meisten VLA-Modelle kodieren Bilder und Anweisung bei jeder neuen Vorhersage durch ein Milliardenmodell, obwohl sich die Aufgabe kaum ändert. Das macht die Regelung langsam und speicherhungrig, ein Hindernis für Bordrechner.
Bisherige Beschleuniger änderten Aktionsformat oder Generierung, etwa pi0-FAST oder schnellere World-Action-Modelle, berechneten den Aufgabenkontext aber weiter bei jedem Schritt.
Ein eingefrorenes 4B-VLM kodiert Anweisung und erste Kamerabilder einmalig in mehrschichtigen Key-Value-Aufgabenspeicher. Ein kleiner Online-Akteur bildet aus Zeit- und Armindizes, Livebildern und Gelenkzuständen Abfragen, liest den Kontext aus und gibt je Block 50 absolute Gelenkbefehle aus.
RoboTwin 2.0: 92,46 Prozent (clean) und 92,40 Prozent (randomisiert); LIBERO 95,95 Prozent, LIBERO-Plus 79,11 Prozent. Amortisiert 1,437 ms pro Schritt bei 1,22 GiB Speicher; mindestens 10,9-mal schneller als Vergleichsmodelle mit über 90 Prozent Erfolg, 11,2-mal schneller als DM0.5 bei 1,02 Punkten weniger Erfolg. Auf LIBERO-Plus 6,59 Punkte hinter pi0.5.
Preprint, ausschließlich Simulation, kein Test am realen Roboter. Der Aufgabenspeicher bleibt fix, wechselnde Ziele innerhalb einer Episode sind nicht abgedeckt. Beim einmaligen Prefill fallen weiter rund 12 GiB Spitzenspeicher an.
Für Roboterhersteller, die VLA-Steuerung auf Embedded-Chips bringen wollen, und für europäische Automatisierer mit strengen Zykluszeiten zeigt die Arbeit, wie sich langsames Verstehen und schnelle Regelung trennen lassen. Ohne Hardwarenachweis dürfte der Produktnutzen 12 bis 24 Monate entfernt sein.