Multi-Teacher-On-Policy-Distillation für Flow-basierte Vision-Language-Action-Modelle
Huawei-Forscher zeigen, wie sich mehrere spezialisierte Robotersteuerungsmodelle zu einem Generalisten verschmelzen lassen: Der Generalist übt selbst, und die Spezialisten korrigieren jeden Schritt seiner Aktionserzeugung. In drei Simulations-Benchmarks gewann das zusammengeführte Modell 22 bis 33 Punkte Erfolgsquote gegenüber einem Standard-Fine-Tuning, liegt aber weiter hinter den Spezialisten.
Wie lassen sich die Fähigkeiten domänenspezifischer Flow-VLA-Policies in einer gemeinsamen Schüler-Policy bündeln, ohne dass der Schüler in Situationen scheitert, die die Lehrer nie gezeigt haben?
Gemeinsames überwachtes Fine-Tuning über mehrere Domänen verliert viel vom Wissen der Spezialisten. Lehrerdemonstrationen zu kopieren hilft nicht, sobald der Schüler eigene Fehler macht, denn ein verfehlter Griff erzeugt Beobachtungen, die in den Lehrerdaten fehlen. Bei Flow-VLAs entsteht diese Verschiebung doppelt: in den besuchten Umgebungszuständen und in den Zwischenzuständen des Generators vom Rauschen zur Aktion.
Training auf Lehrer-Rollouts (Teacher-rollout SFT) und On-Policy-Distillation, die nur den finalen Aktionsblock abgleicht (Action Loss OPD), adressieren höchstens eine der beiden Ebenen.
Die zweistufige On-Policy-Distillation lässt einen gemeinsamen pi-0.5-Schüler in jeder Domäne handeln und fragt den eingefrorenen Domänenspezialisten nach der Geschwindigkeit, die er in jedem Zwischenzustand entlang der Flow-Trajektorie des Schülers vorhersagen würde. Gewichtete Verluste aller Domänen aktualisieren den Schüler einmal pro Runde; danach sammelt der aktualisierte Schüler neue Erfahrungen. Lehrer werden nur im Training genutzt.
Nach 80 Runden erreichte Velocity Loss OPD 75,7 Prozent auf LIBERO-40 (gemeinsames SFT 53,15, Teacher-rollout SFT 69,3, Action Loss OPD 66,2), 60,6 Prozent auf Meta-World MT50 (SFT 38,0) und 72,9 Prozent beim Abschluss aller fünf CALVIN-Anweisungen (SFT 39,5); die mittlere CALVIN-Sequenzlänge stieg von 3,235 auf 4,362. Der Vorsprung wächst mit der Aufgabenlänge: 13,8 Punkte auf LIBERO-10 gegenüber 1,6 bis 5,8 auf den kürzeren Suiten.
Alle Ergebnisse stammen aus der Simulation, ein echter Roboter wurde nicht getestet. Der Schüler bleibt hinter den Spezialisten (LIBERO-40 75,7 gegenüber 98,0 Prozent; MT50 60,6 gegenüber 76,2), und die Autoren verweisen auf uneinheitliche Aktionskonventionen der Domänen, etwa beim Greifer-Ausgang. Je Domäne braucht es einen eingefrorenen Lehrer und viele Rollout-Runden, der Aufwand steigt mit jeder Domäne.
Wer ein Robotermodell für viele Kunden betreibt und standortspezifische Anpassungen zurückführen will, von Physical Intelligence bis zu Plattformanbietern wie Huawei, steht genau vor diesem Problem; in Europa gilt das für Anbieter wie NEURA Robotics oder Sereact mit einem Modell für viele Maschinen. Relevanz für Trainingspipelines in 6 bis 18 Monaten, Belege auf echter Hardware stehen noch aus.