Diffeomorphic Hidden-State Steering: Wie die Geometrie der Expertendemonstrationen Imitationslern-Policies robuster macht
Ein Steuerverfahren zur Laufzeit, das nur die vorhandenen Trainingsdemonstrationen wiederverwendet, hat die Erfolgsquote eingefrorener Imitationslern-Policies unter Sensorrauschen in allen vier simulierten Manipulationsaufgaben um 3,7 bis 12,0 Prozentpunkte erhöht (Square von 39,7 auf 51,7 Prozent), ohne neue Demonstrationen oder Nachtraining, berichtet ein Forscher des KAIST in einem Preprint. Im Mittel der vier Aufgaben stieg der Wert nach Berechnung von MEKAWIRE von 49,8 auf 56,9 Prozent.
Lässt sich eine trainierte Imitationslern-Policy im geschlossenen Regelkreis allein mit den ursprünglichen Expertendemonstrationen robuster machen, ohne zusätzliche Demonstrationen, ohne Belohnungssignal und ohne Änderung der Gewichte?
Kleine Fehler in Beobachtung oder Aktion treiben eine Imitationslern-Policy in Zustände, die in den Demonstrationen nicht vorkamen, und die Fehler schaukeln sich auf, bis die Aufgabe scheitert. Übliche Gegenmittel wie Expertenkorrekturen nach DAgger, Wiederherstellungsdemonstrationen oder Feinabstimmung mit Reinforcement Learning brauchen Informationen jenseits des Originaldatensatzes und sind in der Fertigung teuer.
Frühere Korrekturen im verborgenen Zustand trainierten ein Korrekturmodul zusammen mit der Policy oder passten Steuerfilter an erfolgreiche und gescheiterte Durchläufe an. Ein einfacher linearer Filter (PCA) auf den Expertenzuständen dämpft Richtungen mit geringer Varianz, kann aber mit einem festen Satz von Richtungen keiner Struktur folgen, deren Ausrichtung sich von Region zu Region ändert. Glättung der Aktionen, etwa per exponentiell gewichtetem Mittel, mindert Zittern, korrigiert aber nicht den inneren Zustand.
DHS spielt die Demonstrationen erneut durch die eingefrorene Policy und speichert die verborgenen Zustände einer Schicht. Der Autor stellte fest, dass sich die Expertenvariation auf wenige Dimensionen konzentriert (bei Square erklären 29 Hauptkomponenten 90 Prozent der Varianz), ihre Ausrichtung aber zwischen Clustern wechselt. DHS lernt deshalb aus diesen Zuständen eine umkehrbare nichtlineare Koordinatenabbildung. Zur Laufzeit wird der aktuelle Zustand in diese Koordinaten übertragen, Koordinaten mit geringer Expertenvarianz werden stärker gestaucht als solche mit hoher, keine wird verworfen, und das Ergebnis wird zurückgerechnet, bevor die übrigen Schichten die Aktion erzeugen. Ein einziger Parameter regelt die Stärke.
Auf Robomimic Square, Transport und Can sowie MimicGen Coffee-D1, mit demselben eingefrorenen BC-Transformer je Aufgabe und 300 Episoden je Bedingung (drei Seeds zu je 100), hob DHS die Erfolgsquote unter Rauschen bei Square von 39,7 auf 51,7 Prozent, bei Transport von 37,3 auf 41,0, bei Can von 55,3 auf 61,7 und bei Coffee-D1 von 67,0 auf 73,0 Prozent. Zusammen mit Aktionsglättung erreichte Square 61,7 statt 57,7 und Transport 62,0 statt 56,3 Prozent. Bei gleich vielen behaltenen Koordinaten (29) kam die gelernte Abbildung unter Rauschen auf 48,7 Prozent, PCA auf 21,7; mit allen 512 Koordinaten lag DHS bei 50,3 gegenüber 44,0 Prozent für einen PCA-Filter. Der Anteil geringer Varianz schrumpfte in verrauschten Square-Läufen von einer Median-Norm von 8,49 auf 0,95, der Anteil hoher Varianz blieb nahezu unverändert (Kosinus-Ähnlichkeit 0,9989). Über Steuerstärken von 0,1 bis 1,0 lag der Erfolg zwischen 48,0 und 53,3 Prozent.
Alle Versuche laufen in der Simulation, mit niedrigdimensionalen Zustandseingaben, einer Policy-Architektur und einer Eingriffsschicht. Ohne Rauschen sank Transport von 45,0 auf 36,0 Prozent, und die Kombination mit Glättung verschlechterte Can und Coffee-D1 unter Rauschen; die Stärke muss je Aufgabe abgestimmt werden und wurde per Hyperparametersuche gewählt. Das Verfahren modelliert, wo Expertenzustände liegen, nicht wie sie sich zeitlich entwickeln. Es handelt sich um ein Preprint eines einzelnen Autors ohne Hardwaretest.
Für Integratoren und Mittelständler, die Roboterzellen per Imitationslernen einrichten, zählt der Aufwand: DHS braucht nur den ohnehin archivierten Demonstrationsdatensatz und ein kleines Zusatzmodul im Betrieb, weder neue Teleoperation noch Nachtraining. Das passt zu Manipulationssystemen auf Basis von Behaviour-Cloning-Transformern und zu Teams, die je Station eine eigene Policy trainieren. Die Zugewinne sind moderat und aufgabenabhängig; vorerst ist DHS eine zusätzliche Stellschraube neben der Aktionsglättung. Ein Test auf realer Hardware mit Kameraeingaben wäre das Signal für Pilotprojekte in ein bis zwei Jahren.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.