TRACE: Humanoide Bewegungen per Text erzeugen und im Dialog gezielt nachbearbeiten
TRACE übersetzt Text in Bewegungen des Unitree-G1-Humanoiden und erreichte eine Top-1-Texttrefferquote von 73,84 Prozent gegenüber 68,46 Prozent für das nächstbeste Modell MotionGPT3, die Verteilungsdistanz zu echter Bewegung (FID) sank um 30,9 Prozent, berichtet ein Team unter Führung der Westlake University in einem Preprint. In einer Blindstudie mit 16 Teilnehmern erhielt es 2,391 von 3 Punkten, die sieben Konkurrenten höchstens 1,469.
Lässt sich ein Bewegungsgenerator für Humanoide textgetreuer und im Dialog editierbar machen, indem er zuerst messbare Ereignisse wie Fußstütze, Rumpfhöhe und Handhöhe vorhersagt und diese später nutzt, um Änderungen einzugrenzen?
Eine Bildunterschrift sagt selten, wann welcher Fuß trägt oder wie hoch eine Hand steigt, also ergänzen Text-zu-Bewegung-Modelle Strukturen, die nicht zur Trainingsbewegung passen. Noch schwieriger ist das Editieren: Eine relative Bitte wie 'Hand höher' muss an der aktuellen Bewegung gemessen werden, während der Rest unverändert bleibt, und wiederholte Änderungen driften.
Modelle wie MDM, MoMask und MotionGPT3 bilden Texte auf Trajektorien oder Bewegungstoken ab; humanoidspezifische Generatoren wie TextOp, TeXedo, ECHO und OMG zielen direkt auf den G1. Sprachmodell-Planer zerlegen Anweisungen in Detailbeschreibungen, Editoren wie TMED und SimMotionEdit lernen Änderungen aus Text und vorhandener Sequenz, ohne typisierte Beschreibung dessen, was sich ändern soll.
Ein Sprachmodell sagt einen dünnen Ereignisplan voraus, bestehend aus Stütze des linken und rechten Fußes, vertikaler Rumpfgeschwindigkeit und Rumpfhöhe sowie gestuften Handhöhen; die Labels stammen aus der gepaarten Trainingsbewegung, nicht aus dem Text. Zeitlich ausgerichtete Kodierungen des Plans gehen zusammen mit dem Text in einen Diffusionsgenerator mit schwerkraftbezogenen Zuständen sowie Trajektorien- und Fußkontaktzielen. Beim Editieren legt eine typisierte Anfrage fest, welcher Körperteil in welchem Zeitfenster sich relativ zur Quelle ändern darf; ein eigener referenzkonditionierter Diffusionseditor setzt das um, eine Projektion beim Sampling hält geschützte Koordinaten fest.
Auf dem auf den G1 übertragenen BONES-SEED-Testset erreichte TRACE R@1, R@2 und R@3 von 73,84, 86,24 und 90,31 Prozent, MotionGPT3 68,46, 81,29 und 85,81 Prozent; der FID fiel von 0,0628 auf 0,0434, die MM-Dist von 0,8886 auf 0,8165. In einer Nutzerstudie mit 100 Prompts und 16 Teilnehmern auf einer Skala von 1 bis 3 kam TRACE auf 2,338 für Qualität, 2,444 für Textübereinstimmung und 2,391 insgesamt; bester Konkurrent war ECHO mit 1,469. Das Editieren wurde an 199 zurückgehaltenen G1-Bewegungen mit Handhöhenänderungen von 5 Zentimetern in 597 Ketten zu je vier Runden geprüft; die Autoren berichten zuverlässigeren Erfolg über alle Runden als angepasste Versionen von TMED und SimMotionEdit, die Werte stehen nur in Abbildungen.
Es handelt sich um ein Preprint. Das System verarbeitet Text und Kinematik auf ebenem Boden ohne Umgebungswahrnehmung, Kontaktziele verringern Fußrutschen, beseitigen es nach Angaben der Autoren aber nicht. Die Metriken bewerten die erzeugte Bewegung, nicht, ob jedes vorhergesagte Ereignis exakt eingehalten wird. Belege am realen Roboter beschränken sich auf qualitative Demonstrationen im Anhang ohne Erfolgsquote, getestet wurden nur Handhöhenänderungen.
Bewegungsdesign ist für Humanoid-Hersteller mit Anwendungen in Unterhaltung, Handel und Forschung ein echter Engpass, die Plattform hier ist Unitrees G1. Ein Werkzeug, mit dem ein Bediener eine Abfolge erzeugt und sie in Alltagssprache verfeinert, ohne Keyframes anzufassen, verkürzt die Produktion von Demo- und Messeinhalten, ein Punkt für europäische Integratoren, die G1-Systeme für Forschung und Lehre ausliefern. Erste Anwendung dürfte binnen eines Jahres in Entwickler-Toolkits liegen; für den Fabrikeinsatz fehlt die Umgebungswahrnehmung.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.