Sprachbildmodell bewertet Roboterversuche: SPEAR erreicht 88,9 % Erfolg, 23,8 Punkte über dem Vergleichsverfahren
Der Preprint ersetzt handgeschriebene Belohnungsfunktionen durch Vergleichsurteile eines Vision-Language-Modells und macht das Verfahren durch gezielte Auswahl der Fragen günstiger und verlässlicher. Das ist eine Grundlage für Roboter, die neue Aufgaben vor Ort selbst lernen.
Wenn ein Vision-Language-Modell statt eines Menschen entscheidet, welcher von zwei Versuchen eines lernenden Roboters besser war, entfällt das Schreiben von Belohnungsfunktionen. Lässt sich das so günstig und zuverlässig machen, dass echte Roboter online damit trainieren?
Jede Anfrage an das Modell kostet Rechenzeit, und bei fast gleich aussehenden Bildern verweigert es oft die Antwort, sodass ein großer Teil des Budgets verpufft. Zu Beginn bewegt sich der Roboter nahezu zufällig, die gezeigten Clips tragen wenig Information, und das Lernen kommt kaum in Gang.
RL-VLM-F fragt Präferenzen zu zufällig gewählten Paaren ab; VLM-RM bewertet Bilder über Embedding-Ähnlichkeit mit dem Aufgabentext; Text2Reward lässt das Modell Belohnungscode schreiben; PEBBLE nutzt Präferenzlernen mit entropiebasierter Auswahl und einem skriptgesteuerten Orakel.
SPEAR ergänzt einen kleinen Prädiktor, der vor jeder Anfrage schätzt, ob das Modell zwei Clips unterscheiden kann, und kombiniert ihn mit dem üblichen Unsicherheitsmaß. So werden nur Fragen gestellt, die informativ und beantwortbar sind. Die Exploration startet mit einer vom Modell aus der Aufgabenbeschreibung erzeugten Belohnung und wechselt dann zum aus Präferenzen gelernten Belohnungsmodell; Relay-Exploration hält die Trajektorien danach vielfältig. In der Simulation diente InternVL3-78B als Orakel, am realen Roboter Qwen3-VL-8B.
Der mittlere Enderfolg über sechs Aufgaben und fünf Seeds lag bei 88,9 %, gegenüber 65,1 % für RL-VLM-F, 63,4 % für Text2Reward, 51,4 % für PEBBLE und 14,9 % für VLM-RM. MEKAWIRE errechnet aus der Tabelle 23,8 Punkte Abstand zu RL-VLM-F (die Zusammenfassung des Papers nennt 23,3). Am größten war der Vorsprung bei kontaktreichen Aufgaben: Schublade öffnen 86,4 % gegenüber 34,8 % für die beste Referenz. Beim Fensteröffnen lag Text2Reward vorn (87,7 % zu 84,9 %). Bis 30 % Erfolg beim Schubladenöffnen brauchte SPEAR 960 Anfragen bei 29,6 % Verweigerung, RL-VLM-F 1.640 bei 55,5 %, und 9,1 statt 13,6 Stunden (33,1 % weniger). Fünf offene Modelle erreichten mit vorsichtigem Prompt im Mittel 92,3 % Präferenzgenauigkeit. Am linken Arm eines realen Mobile ALOHA konvergierte die Policy nach 18.200 Schritten (Schublade), 16.600 (Fenster) und 12.600 (Ball schieben) mit 720, 660 und 500 Vergleichen. Ablationen: Fragenauswahl 80,7 % gegenüber 14,0 % zufällig; vollständige Exploration 88,3 % gegenüber 24,8 %.
Es handelt sich um einen Preprint. Die sechs Simulationsaufgaben stammen aus Meta-World, einem einfachen Tisch-Benchmark, und die Ablationen nutzen ein simuliertes, an das Modellverhalten angepasstes Orakel statt der Modelle selbst. Am realen Roboter wurden Objekte zwischen den Episoden von Hand zurückgesetzt, der Arbeitsraum aus Sicherheitsgründen begrenzt, und berichtet werden nur Schritte bis zur Konvergenz, keine Erfolgsquote in Testläufen. Bei rund einer Sekunde je Schritt entspricht allein die Schubladenaufgabe nach MEKAWIRE-Rechnung etwa fünf Stunden Armbewegung, ohne Rücksetzzeiten. Die Kennzahl der Zusammenfassung deckt sich nicht genau mit der eigenen Tabelle.
Wer Roboter vor Ort ohne Belohnungsdesign neue Aufgaben lernen lassen will, vom Kommissionieren bis zum Serviceroboter, braucht günstiges automatisches Feedback. SPEAR zeigt, dass kleine offene Modelle das auf einer lokalen Workstation leisten können, wenn die Fragen gut gewählt sind; für europäische Anwender, die Daten nicht in eine Cloud geben wollen, ist der lokale Betrieb ein Vorteil. Zeitrahmen: derzeit ein Forschungswerkzeug; in der Fabrik braucht es automatisches Zurücksetzen und Sicherheitsgrenzen, realistisch zwei Jahre oder mehr.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.