MEKAWIRE
FortgeschrittenarXiv

ACT gegen pi0.5 am Billigarm: pi0.5 vorn bei 12 bis 25 Demos, ACT mit 37 von 40 bei 100

Simon Cowling
In 30 Sekunden

Preprint. In 1.340 realen Durchläufen führte pi0.5 bei 12 bis 25 Demonstrationen, ACT ab 100. Je nach Feintuning lag pi0.5 bei 4 oder 65 Prozent.

Forschungsfrage

Welche von vier verbreiteten Imitationslern-Policies sollte man für eine neue Pick-and-Place-Aufgabe an einem günstigen Arm trainieren, und wie viele teleoperierte Demonstrationen braucht jede?

Problem

ACT, Diffusion Policy, SmolVLA und pi0.5 wurden auf unterschiedlichen Robotern, Aufgaben und Datenmengen vorgestellt; ihre Ergebnisse sind nicht vergleichbar. Neuere Benchmarks testen meist nur eine Datenmenge oder rund 20 Versuche pro Modell, zu wenig, um echte Unterschiede von Rauschen zu trennen.

Bisheriger Ansatz

Bisherige Vergleiche liefen bei einer oder wenigen Demonstrationszahlen mit kleinen Versuchszahlen und berichteten kaum, wie oft derselbe Checkpoint bei gleicher Objektlage anders ausgeht oder wie oft die menschliche Bewertung vom Video abweicht.

Neuer Ansatz

Der Autor zeichnete 225 teleoperierte Demonstrationen einer Pick-and-Place-Aufgabe mit zwei Störobjekten auf, bildete verschachtelte Teilmengen von 12, 25, 50, 100 und 200 (25 zurückgehalten) und trainierte alle vier Policies in LeRobot mit mehreren Seeds und je einem festen, nahezu voreingestellten Rezept. Jedes Modell lief auf zehn festen Objektlagen mit 30 Sekunden Limit: 1.340 Durchläufe in 126 Blöcken über 17 Tage, mit Gelenkdaten, Befehlen, Kamerabildern, Fehlerstufen, Wiederholungstests und einer Prüfung der Bewertungsbögen.

Ergebnisse

ACT stieg von 1 Erfolg in 40 Durchläufen bei 12 Demonstrationen auf 37 von 40 bei 100. pi0.5 mit trainiertem Action-Experten schaffte 16 von 40 bei 12 und 28 von 40 bei 25 Demonstrationen und blieb dann bei rund 70 Prozent; ab 100 lag ACT vorn, mit einem Abstand, den die Studie nicht sicher belegt. SmolVLA und Diffusion Policy kamen auf höchstens rund 50 Prozent. Bei SmolVLA bewegte sich der Arm in 47 Prozent der Durchläufe gar nicht, Diffusion Policy startete erst, nachdem eine Leerlaufphase am Anfang der Demonstrationen entfernt war. pi0.5 mit LoRA gelang 4 von 110, mit Action-Experten-Training 130 von 200, also 4 gegen 65 Prozent.

Grenzen

Preprint mit einer Aufgabe, einem Arm und einem Arbeitsplatz; der Autor nennt die Ergebnisse Ausgangspunkte. Die Trainingslänge war je Policy fest und wuchs nicht mit den Daten, daher könnten die Plateaus von pi0.5 nach 25 und von ACT nach 100 Demonstrationen Untertraining sein. Die Hauptversuche liefen bei 117 bis 394 Lux, dunkler als bei der Aufnahme mit rund 500 Lux. Eine Institution ist nicht angegeben, und bei zehn Objektlagen liegen kleine Unterschiede im oberen Datenbereich im Rauschen.

Bedeutung für die Branche

Für Integratoren und Mittelständler, die vor einem Piloten abwägen, ob sie mehr Demonstrationen aufnehmen oder mit einem Foundation-Modell starten, liefert die Studie Messwerte: Bei knappen, teuren Demonstrationen lohnt das vortrainierte VLA, ab etwa 100 holt ein kleines Modell auf. Der Abstand von 4 zu 65 Prozent je nach Feintuning ist eine Warnung für Teams mit offenen VLA-Gewichten, und der Fehlstart weist auf Datenpflege statt Modellgröße hin. Mit heutiger Hardware direkt nutzbar.

Vollständige Studie

Veröffentlicht unter CC BY 4.0. Die vollständige Studie ist mit Namensnennung auf Englisch wiedergegeben: Volltext (Englisch). Original unter arXiv:2610.37170 (PDF).