CrossBFM: Ein gemeinsamer latenter Verhaltensraum für unterschiedliche Humanoide per Destillation
Ein Ganzkörper-Steuerungsmodell, mit dem ein Humanoide auf einen einzigen Prompt hin einen Tanz nachahmt, eine Pose einnimmt oder einer Belohnung folgt, kostet je Roboter normalerweise mehr als 100 GPU-Stunden Training. Dieser Preprint von VinRobotics, der National University of Singapore und der TU Darmstadt überträgt das für Unitrees G1 trainierte Modell auf Booster T1, Fourier N1 und einen hauseigenen Roboter namens M3, mit weniger als einer Stunde für einen gemeinsamen Encoder und weniger als zehn GPU-Stunden je Roboter, bei fast gleicher Tracking-Genauigkeit wie ein spezialisierter Regler.
Gefragt wird, ob sich der promptbare Verhaltensraum eines Humanoiden per überwachter Destillation auf Humanoide mit anderer Gelenkzahl, anderem Körperbau und anderer Gelenkreihenfolge übertragen lässt, statt das teure Training für jeden neuen Roboter zu wiederholen.
Behavior Foundation Models geben einem Humanoiden eine einzige Policy, die über einen latenten Vektor gesteuert wird. Dieser Vektor kann eine nachzuahmende Bewegung, eine Zielpose oder eine zu maximierende Belohnung codieren. Forward-Backward-Repräsentationen, wie sie BFM-Zero nutzt, lernen einen solchen Raum zuverlässig, doch die Autoren beziffern einen Trainingslauf auf mehr als 100 GPU-Stunden je Roboter. Jeder Lauf erzeugt zudem einen eigenen latenten Raum ohne Bezug zu anderen Robotern, sodass Prompts, Generatoren und Planer für einen Humanoiden nicht auf den nächsten übergehen. Weil laufend neue Plattformen erscheinen, wachsen Kosten und Zersplitterung mit.
Üblich ist, die komplette unüberwachte Forward-Backward-Pipeline mit Reinforcement Learning für jede Kinematik neu zu durchlaufen. Günstiger ist eine Tracking-Policy, die retargetierte Gelenk-Sollwerte erhält, etwa nach dem TWIST2-Verfahren. Sie folgt Bewegungen gut, bietet aber nur eine Nutzungsart und keinen gemeinsamen Raum für Ziel- oder Belohnungs-Prompts. Verfahren, die eine Policy auf eine Körperbeschreibung konditionieren, generalisieren zwar auf neue Roboter, decken nach Darstellung der Autoren aber meist nur eine Aufgabe wie Geschwindigkeitsfolge ab.
CrossBFM friert das auf dem Unitree G1 vortrainierte BFM-Zero-Modell ein und behält nur dessen Backward-Abbildung, also den Teil, der eine Bewegung, Pose oder Belohnung in einen latenten Vektor übersetzt. Da jeder Bewegungsclip auf derselben Zeitachse für alle Roboter retargetiert wird, dient der G1-Latentvektor jedes Frames als Regressionsziel für den passenden Frame eines anderen Roboters. Auf der Zielseite sind für den Aufbau des Raums weder Simulator noch Reinforcement Learning noch adversariales Training nötig. In Stufe 1 entsteht ein einziger Encoder für alle Zielroboter, ohne roboterspezifische Gewichte. Der Zustand jedes Roboters wird in eine feste Eingabe mit 163 Dimensionen eingetragen, mit 33 kanonischen Gelenkplätzen, 8 Schlüsselkörperplätzen und einem Wurzelblock, fehlende Plätze werden markiert. Ein kleiner Pre-LayerNorm-Transformer mit 4 Schichten, Breite 256 und 3,27 Millionen Parametern lernt mit einem frameweisen Kosinusverlust gegen den eingefrorenen 256-dimensionalen G1-Vektor. Für alle Roboter zusammen dauert das weniger als eine Stunde auf einer Consumer-GPU. In Stufe 2 entsteht je Roboter per PPO in weniger als zehn Stunden auf einer RTX 4090 eine latent konditionierte Tracking-Policy, die nur den gemeinsamen Latentvektor und die eigene Propriozeption erhält. Für Belohnungs-Prompts schätzt das Verfahren die Zustandsverteilung aus den retargetierten Daten jedes Roboters und rechnet Schwellen wie eine Handhöhe über Perzentile auf kleinere oder größere Körper um. Ein auf dem gemeinsamen Raum trainiertes Rectified-Flow-Modell ergänzt einen vierten Prompt-Modus.
Die drei Zielroboter, der hauseigene M3 (27 Gelenke), Booster T1 (23) und Fourier N1 (23), unterscheiden sich vom G1 mit 29 Gelenken und untereinander in Gelenken, Körpergliedern und Topologie. Beim LAFAN-Bewegungs-Tracking erreichten die latent konditionierten Policies mittlere Gelenkfehler von 0,2024 rad (M3), 0,1901 rad (T1) und 0,1391 rad (N1), gegenüber 0,1777, 0,1844 und 0,1362 rad bei Policies mit Gelenk-Sollwerten nach TWIST2, also höchstens 0,025 rad Abstand. Beim Anfahren von Zielposen wechselten die Roboter ohne Sturz zwischen Posen, mit Fehlern von 0,2345, 0,1967 und 0,1512 rad. Alle 41 für den G1 entworfenen Belohnungs-Prompts liefen auf den neuen Robotern, und die zielseitige Berechnung hob den mittleren normierten Ertrag gegenüber dem Zustandspuffer des G1 von 0,183 auf 0,431, das 2,35-Fache. Mit nur einem Viertel der Bewegungsdaten stieg der Tracking-Fehler beim M3 lediglich von 0,2132 auf 0,2241 rad, rund 5 Prozent, bei 10 Prozent der Daten auf 0,2706 rad, gegenüber 0,4411 rad mit Zufallsvektoren. Im Leave-one-out-Test schloss ein auf zwei Robotern trainierter Encoder beim dritten 89,3 Prozent der Lücke zwischen Zufalls- und voll trainierten Vektoren (M3), 55,5 Prozent (N1) und 12,8 Prozent (T1), dem kleinsten und am stärksten abweichenden Körper. Auf echter Hardware folgte der M3 fünf Clips mit 0,2206 rad (Simulation 0,2024), erreichte neun Posen mit 0,2675 rad und kam bei drei Belohnungsaufgaben auf 0,562. M3 und T1 führten auch vom Flow-Modell erzeugte Vektoren aus.
Es handelt sich um einen Preprint, den die Autoren als in Begutachtung ausweisen. Die Übertragung hängt von der Körperähnlichkeit ab. Die 12,8 Prozent für den T1 zeigen, dass ein Roboter ohne nahen Verwandten im Trainingssatz weiter eigene Daten braucht. Jeder neue Roboter benötigt gute retargetierte Bewegungen, und die Experimente nutzen nur den LAFAN-Datensatz mit 40 Bewegungen aus acht Verhaltenstypen. Aus Sicht von MEKAWIRE bleiben die latenten Policies in der Simulation auf jedem Roboter und auf der M3-Hardware etwas hinter Gelenk-Trackern zurück, Hardwarewerte gibt es nur für den M3, und die Arbeit beschränkt sich auf Ganzkörperbewegung ohne Objektmanipulation. Reicher als das geerbte G1-Modell kann der latente Raum nicht sein.
Bestätigt sich das Ergebnis, könnten Humanoid-Hersteller einen promptbaren Regler, trainiert auf einer verbreiteten Forschungsplattform wie dem Unitree G1, für rund zehn statt mehr als hundert GPU-Stunden je neuem Roboter übernehmen. Das senkt die Softwarekosten jeder neuen Bauform und Hardware-Revision. Dass Booster- und Fourier-Maschinen als Ziele dienen, zeigt, dass das Verfahren schon kommerzielle Plattformen jenseits von Unitree erreicht. Ein gemeinsamer latenter Raum bedeutet zudem, dass Bewegungsbibliotheken, Vektorgeneratoren und später Textschnittstellen mehrere Bauformen zugleich steuern können, interessant für Betreiber gemischter Flotten in der Automobilproduktion und für europäische Softwareanbieter, die herstellerunabhängig arbeiten wollen. Mit der TU Darmstadt, dem DFKI und Hessian AI ist die deutsche Robotik-Lernforschung prominent beteiligt. Die praktische Nutzung hängt von der Code-Freigabe und vom Nachweis für Manipulationsaufgaben ab, für den Serieneinsatz sind 12 bis 24 Monate realistisch.