InterEvolve: Testzeit-Evolution von Reward-Programmen für humanoide Loko-Manipulation
InterEvolve ist ein Preprint, der einen festen humanoiden Controller ohne Nachtraining an neue Loko-Manipulationsaufgaben anpasst. Das System kombiniert einen LLM-Agenten, der gestufte Reward-Programme schreibt und revidiert, mit einem objektbewussten Forward-Backward-Modell, das diese Programme direkt ausführt. In Simulation erreicht InterEvolve über acht Aufgabenfamilien eine Erfolgsrate von 86,5 Prozent gegenüber 34,6 Prozent für das beste kalibrierte feste Programm und überträgt ausgewählte Fertigkeiten auf einen echten Unitree G1.
Kann ein vortrainierter, eingefrorener humanoider Ganzkörper-Controller durch testzeitliche Evolution von Reward-Programmen neue, zuvor unbekannte Loko-Manipulationsaufgaben lösen und dabei Erfahrungen für spätere Aufgaben wiederverwenden?
Humanoide Controller, die aus Demonstrationen trainiert wurden, können Aufgaben außerhalb ihrer Trainingsverteilung nicht direkt ausführen. Bestehende Schnittstellen wie Bewegungsreferenzen, Zielzustände oder Skill-Labels sind für kontaktintensive mehrstufige Interaktionen schwer zu entwerfen, und Reward-Funktionen erfordern üblicherweise für jede Änderung ein neues Policy-Training, was Iterationen zu langsam macht.
Bisherige Ansätze nutzen Bewegungsreferenzen (ULTRA), Zielzustände oder vordefinierte Skill-Labels sowie sprachbasierte Reward-Entwürfe, bei denen jeder Kandidat mit einem RL-Lauf trainiert wird. Forward-Backward-Verhaltensmodelle wie BFM-Zero können Belohnungen ohne Nachtraining ausführen, beobachten aber nur den Körper, sodass objektbezogene Ziele kollabieren. Testzeit-Suchverfahren steuern meist Aktionen über Dynamikmodelle statt Aufgabenspezifikationen zu verändern.
InterEvolve führt Reward-Programme als editierbare Aufgabenstrategie ein: geordnete Stufen mit Belohnungscode, Abschlussbedingungen und abstimmbaren Konstanten. Ein objektbewusstes Forward-Backward-Modell erweitert die eingefrorenen Körpernetze von BFM-Zero um trainierbare Objekt-Residuen, die Objektmerkmale lesen und auf HOI-Daten (OMOMO, GRAB) trainiert sind. Ein LLM-Agent (DeepSeek-V4-Flash) revidiert die Programmstruktur anhand von parallelen Simulationsrollouts, während CMA-ES die Konstanten kalibriert; verifizierte Programme werden in einer Skill-Bibliothek gespeichert.
In der Referenzverfolgung erreicht InterEvolve mit evolviertem Reward 72 Prozent Erfolgsrate und senkt den Körperfehler auf 19,80 cm sowie den Objektfehler auf 24,92 cm, verglichen mit 60 Prozent Erfolgsrate ohne evolvierten Reward; ULTRA liegt bei 66 Prozent, BFM-Zero bei 8 Prozent. Über acht Aufgabenfamilien steigert InterEvolve die Erfolgsrate von 34,6 Prozent (bestes kalibriertes festes Programm) auf 86,5 Prozent und die durchschnittlich erfüllten Kriterien von 82,5 Prozent auf 95,6 Prozent. Ablationen zeigen: Ohne CMA-ES sinkt die Erfolgsrate auf 51,6 Prozent, ohne mehrstufige Programme auf 44,7 Prozent. Bei drei zusammengesetzten Aufgaben löst die volle Skill-Bibliothek 8 von 10 Relocate-, 4 von 10 Stack- und 5 von 10 Carry-Place-Kick-Episoden, ohne Bibliothek 0, 0 und 1 von 10. Auf einem physischen Unitree G1 laufen zwei simulierte Programme mit Onboard-Wahrnehmung autonom.
Die Evaluation erfolgt überwiegend in Simulation; auf dem echten Roboter werden nur zwei Aufgaben qualitativ gezeigt, quantitative Erfolgsraten im Realen sind im Paper nicht berichtet. Die sechs Boxen umfassende Langhorizont-Komposition wird nur in einem Durchlauf gezeigt. Der Rechenaufwand beträgt 2,1 GPU-Stunden pro Aufgabenfamilie in Isaac Lab, und der Erfolg über Runden ist nicht monoton (Runde 3 fällt auf 73,6 Prozent). Die Abhängigkeit von einem LLM und von simulationsgestützter Verifikation bleibt bestehen; Code-Veröffentlichung ist im Paper nicht berichtet.
Unternehmen für humanoide Roboter wie Unitree oder Anbieter von Lager- und Logistikrobotern könnten die Methode kurzfristig für Simulation und Prototyping nutzen. Innerhalb von 1 bis 3 Jahren wäre ein Einsatz in realen Lagern denkbar, wenn robuste Objektposenschätzung, schnellere Simulatoren und Sicherheitsverifikation vorliegen. Voraussetzung sind belastbare Sim-to-Real-Übertragung und verifizierbare Erfolgskriterien außerhalb des Trainings.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.