Aktive generative Simulation: Per Meta-Learning bestimmen, was für das gemeinsame Training mit Sim- und Realdaten simuliert wird
Wenn ein gelerntes Bewertungsnetz entscheidet, welche Simulationsszenen erzeugt werden, steigt der Erfolg eines realen Franka-Roboters beim vollständigen Greifen und Ablegen von 23 auf 58 von 80 Versuchen gegenüber gleichmäßig erzeugten Simulationsdaten, berichten Forscher des Georgia Institute of Technology in einem Preprint. Das entspricht einem relativen Plus von 150 Prozent und dem Niveau händisch abgestimmter Expertendaten (57 von 80). Mit denselben Daten verbesserte sich pi0.5 von Physical Intelligence von 30 auf 52 von 80.
Welche Simulationsszenen sollten erzeugt werden, wenn wenige reale Demonstrationen mit synthetischen Daten gemischt werden, damit die Steuerung am realen Roboter am besten abschneidet, und lässt sich diese Auswahl automatisieren?
Gemeinsames Training mit Simulations- und Realdaten streckt knappe reale Demonstrationen mit billigen synthetischen, doch falsche Kamerawinkel, Tischoptik, Objektlagen oder Aufgaben bringen wenig und schaden mitunter. Heute stimmen Ingenieure die Generierungsparameter von Hand ab, was Erfahrung verlangt und scheitert, wenn der Simulator die Zielaufgabe nicht exakt nachbilden kann.
Üblich sind gleichmäßige Zufallsparameter, manuelle Abstimmung auf die reale Zelle oder das Heraussuchen ähnlicher Beispiele aus vorhandenen Simulationsdaten mit Verfahren wie STRAP und IWR. Retrieval kann keine Daten erzeugen, die im festen Datensatz fehlen.
MetaGenSim erzeugt zunächst einen kleinen Erkundungsdatensatz, der den Parameterraum gleichmäßig abdeckt, hier Aufgabentyp, Kameragierwinkel, drei Werte für die Tischfarbe und vier für die Objektlage. Ein Bewertungsnetz wird per Meta-Learning so trainiert, dass eine danach gewichtete leichte BC-RNN-Steuerung auf zurückgehaltenen realen Demonstrationen weniger Fehler macht. Die Bewertungen werden auf die Parameter zurückgeführt, über aufgabenbezogene Temperaturen und gewichtete Kerndichteschätzung in eine Stichprobenverteilung übersetzt, und MimicGen erzeugt damit einen gezielten Datensatz für das finale Training.
Mit zehn realen Demonstrationen je Aufgabe kam MetaGenSim bei vier realen Aufgaben (Würfel stapeln, Becher in Behälter, Schale auf Tablett, Becher aufhängen; je 20 Versuche auf einem Franka Panda, Diffusion Policy) auf 58 von 80 vollständigen Erfolgen (72,5 Prozent). Gleichmäßige Generierung erreichte 23 von 80 (28,75 Prozent), reine Realdaten 26, die Retrieval-Verfahren STRAP und IWR 27 und 33, die manuelle Expertenabstimmung 57. Das Feintuning von pi0.5 mit derselben Mischung ergab 52 von 80, gegenüber 30 bei gleichmäßiger Generierung, 19 mit reinen Realdaten und 56 mit Expertenabstimmung. In acht simulierten Zielaufgaben stieg der mittlere Erfolg gegenüber gleichmäßiger Generierung um 18,6 Punkte (BC-RNN) und 13,3 Punkte (Diffusion Policy). Mehr gleichmäßige Daten, von 1.600 auf 8.000 Demonstrationen, brachten Stillstand oder Rückgang, 800 gezielte Demonstrationen schnitten besser ab.
Das Verfahren sucht nur im vom Nutzer vorgegebenen Parameterraum, Hintergrund und Beleuchtung blieben im Realversuch unabgestimmt. Die Erkundung ist eine einzige gleichmäßige Runde und kann kleine nützliche Bereiche übersehen, die Kerndichteschätzung wird mit wachsender Dimension unzuverlässiger, und zu kleine Bandbreiten oder zu hohe Temperaturen verschlechtern die Ergebnisse. Die Realtests umfassen vier Tischaufgaben mit je 20 Versuchen an einem Arm. Es handelt sich um ein Preprint.
Synthetische Daten sind der wichtigste Hebel, um die Kosten realer Demonstrationen zu senken, und der Engpass liegt im Wissen, welche synthetischen Daten helfen. Ein Verfahren, das mit zehn realen Demonstrationen je Aufgabe das Niveau der Expertenabstimmung erreicht und dessen Daten auch ein großes VLA wie pi0.5 verbessern, ist für Simulationsanbieter ebenso relevant wie für europäische Integratoren, die laufend neue Zellen in Betrieb nehmen. Es braucht einen parametrierten Generator und Rechenbudget für das Meta-Learning, daher ist in ein bis zwei Jahren zuerst mit Einsatz in Forschungslaboren und Datenplattform-Teams zu rechnen.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.