RoboChemGym: Protokollgetriebene generative Simulation für chemische Manipulation mit langem Horizont
Das als Preprint veröffentlichte Framework RoboChemGym erzeugt aus textuellen Chemieprotokollen automatisiert hochwertige Manipulationsdemonstrationen für lange, mehrstufige Laboraufgaben. In sauberen Szenarien erreicht die Generierung Erfolgsraten von 89,2 %, 73,4 % und 52,3 % für Aufgaben mit 3, 7 bzw. 11 Einzelaktionen; mit Domänenrandomisierung sinken sie nur leicht auf 85,6 %, 70,3 % und 47,5 %. Die erzeugten Daten verbessern die Politikleistung deutlich, etwa steigt die Gesamtsequenzerfolgsrate von π0 auf Level-1 von 55,4 % auf 68,5 % durch Randomisierung, und in realen Versuchen erhöht die Kombination aus 10 realen und 1000 synthetischen Trajektorien die mittlere Erfolgsrate um durchschnittlich 23,3 Prozentpunkte.
Wie kann ein Framework aus textuellen Laborprotokollen automatisch protokolltreue, langhorizontige Manipulationsdemonstrationen für chemische Experimente generieren und die Fähigkeiten von Roboterpolitiken systematisch bewerten?
Chemische Experimente erfordern strenge Protokollvorgaben, feinmotorische Manipulation und lange Aktionssequenzen mit vielen gekoppelten Objekten. Reale Trainingsdaten sind teuer und risikoreich; bestehende Simulations- und generative Ansätze zielen meist auf kurze Alltagsaufgaben mit lockerer Struktur und bilden keine vollständigen, protokollgebundenen Laborabläufe ab, während spezialisierte Laborsimulatoren nur isolierte Teiloperationen manuell konfigurieren.
Bisherige generative Simulationsplattformen wie GenSim, ReGen und RoboGen nutzen LLMs für Szenen- und Aufgabenautomatisierung, bleiben jedoch auf kurzhorizontige, wenig restriktive Manipulationsaufgaben beschränkt. Dedizierte Laborumgebungen (z. B. Li et al. 2025, Lan et al. 2025) konzentrieren sich auf einzelne Operationssegmente und erfordern manuelle Konfiguration; sie optimieren Aktionen und Szenen nicht gemeinsam und können keine vollständigen Protokollabläufe mit über zehn Schritten zuverlässig erzeugen.
RoboChemGym nimmt ein natürlichsprachliches Protokoll, extrahiert mit Claude 3 Opus Szenenbeschreibung und Aktionssequenz, instanziiert Assets in einer physikalischen Simulation und komponiert aus acht atomaren Aktionen (Pick, Place, Pour, Press, Open, Close, Shake, Stir) ein ausführbares Programm. Ein selbstverbessernder Dual-Loop-Optimierer überwacht die Ausführung kontinuierlich, verfeinert im inneren Loop Aktionsparameter und im äußeren Loop das Szenenlayout; ein Gedächtnis speichert Aktions- und Szenenkorrekturen zur Wiederverwendung. Lab-Centric Data Scaling variiert Objektpositionen, Hintergrundobjekte, Arbeitsflächentexturen und Beleuchtung. Ein hierarchischer Benchmark mit 20 Aufgaben aus realen Protokollen unterteilt in Level 1 (3 Aktionen), Level 2 (7 Aktionen) und Level 3 (11 Aktionen) bewertet atomare und vollständige Abläufe.
Die Generierungspipeline erreicht in der sauberen Konfiguration Erfolgsraten von 89,2 % (Level 1), 73,4 % (Level 2) und 52,3 % (Level 3); mit Lab-Centric Data Scaling liegen sie bei 85,6 %, 70,3 % und 47,5 %. Das Entfernen des Aktionsgedächtnisses senkt die Raten im sauberen Setting auf 75,8 %, 52,7 % und 27,4 %, das Entfernen des Szenengedächtnisses auf 73,6 %, 56,4 % und 32,3 %. Beim realen Replay ohne Reset-Aktionen betragen die Gesamtsequenzerfolge 85,7 %, 69,2 % und 54,6 %, mit Reset-Aktionen 87,3 %, 79,7 % und 70,5 %. Für Politiktraining mit 200 Experten-Trajektorien pro Aufgabe erreicht π0 mit randomisierten Daten Gesamtsequenzerfolgen von 68,5 % (Level 1), 28,4 % (Level 2) und 1,7 % (Level 3), während ACT bzw. Diffusion Policy bei Level 1 auf 35,2 % bzw. 25,6 % kommen und auf Level 2 auf 12,4 % bzw. 8,5 % absinken. In realen Sim-to-Real-Experimenten mit π0 verbessert die Kombination aus 10 realen und 1000 synthetischen Trajektorien die mittlere Erfolgsrate um 22,4, 23,5, 23,3 bzw. 23,9 Prozentpunkte in den vier Evaluierungsszenarien; reine synthetische Daten erzielen Verbesserungen von 5,3, 4,5, 5,2 und 6,0 Prozentpunkten gegenüber ausschließlich 10 realen Demonstrationen.
Die Autoren nennen als Grenzen: Die Validierung erfolgt überwiegend in der Simulation; die reale Übertragung ist bisher auf Trajektorien-Replay beschränkt, vollständig autonome reale Ausführung steht aus. Unterstützt wird nur der Roboterarm Franka Panda; weitere Embodiments fehlen. Im Paper nicht berichtet sind die Verfügbarkeit von Code und Modellen sowie der Rechenaufwand der LLM-basierten Optimierung.
Unternehmen der Laborautomatisierung, pharmazeutische Forschung und Anbieter autonomer Labore können die Pipeline kurzfristig zur skalierbaren Erzeugung von Trainingsdaten für Manipulationspolitiken in der Chemie nutzen. Innerhalb von ein bis drei Jahren sind real eingesetzte Roboterpolitiken denkbar, sofern die reale autonome Validierung ausgeweitet, weitere Roboterarme integriert und die Zuverlässigkeit bei sehr langen Sequenzen erhöht werden. Für den produktiven Einsatz in regulierten Laborumgebungen müssen zudem Sicherheits- und Reproduzierbarkeitsanforderungen erfüllt sein.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.