PhysCanvas: Weltmodell mit Bild und Tastsinn hebt pi0.5 im Realtest von 59,1 auf 70,8 %
Wird die Roboterstrategie pi0.5 in PhysCanvas trainiert, einem Weltmodell, das Kamerabilder und Fingerspitzen-Taktilsignale gemeinsam vorhersagt, steigt ihr mittlerer Erfolg bei vier kontaktreichen Realaufgaben von 59,1 auf 70,8 %, berichtet ein Team des Instituts für Automatisierung der Chinesischen Akademie der Wissenschaften und von Anyverse Robotics in einem Preprint. Die mittlere Korrelation zwischen simulierten und realen Erfolgsquoten stieg zugleich von 0,602 auf 0,885.
Kann ein gelerntes Weltmodell, das Sehen und Tasten gemeinsam vorhersagt, beim Testen und Verbessern von Manipulationsstrategien den echten Roboter ersetzen, und stimmen seine Urteile mit der Hardware überein?
Strategien auf echter Hardware zu prüfen und nachzutrainieren ist langsam und teuer, deshalb nutzen Labore aktionsbedingte Weltmodelle als Simulatoren. Videomodelle erzeugen jedoch plausible Bilder mit falschem Kontaktverhalten, was ihre Erfolgsurteile etwa beim Aufschrauben eines Deckels unzuverlässig macht.
Bisherige Roboter-Weltmodelle, darunter die im Paper verglichene Referenz WoVR, sagen aus Aktionen Kameravideo voraus und behandeln Tastsinn oder Aufgabenzustand oft in separaten Netzen. Gute Bildqualität garantiert nicht, dass das vorhergesagte Ergebnis dem realen entspricht.
PhysCanvas legt Mehrkamera-RGB, Taktilbilder, Markerverschiebungen der Taktilsensoren, Aufgabenzustand und Aktionen auf eine gemeinsame Bildfläche, so dass alle Modalitäten denselben Video-Autoencoder und ein vortrainiertes Videomodell (Wan 2.2) durchlaufen. Aktionen werden als Bewegungsbilder aus Vorwärtskinematik und Kameraprojektion dargestellt. Nach dem Training auf 3.805 realen Strategiedurchläufen eines Zweiarmroboters ARX AC One mit drei Kameras und vier Xense-Fingerspitzensensoren folgt ein Nachtraining mit drei eingefrorenen Belohnungsmodellen für Szenentreue, Übereinstimmung von Bild und Tastsinn sowie Übereinstimmung mit dem realen Aufgabenergebnis. Der Simulator bewertet geschlossene Regelkreis-Durchläufe und liefert vorgestellte Interaktionen und Belohnungen für GRPO-Updates.
Bei vier Aufgaben (Reagenzglas einsetzen, Flaschendeckel aufdrehen, Blöcke umsetzen, Zauberwürfel, je 80 zurückgehaltene Testdurchläufe) hob das Zustands-Nachtraining die mittlere Pearson-Korrelation zwischen Weltmodell- und Realerfolg von 0,602 auf 0,885, bei jeder Aufgabe. Mit GRPO im Basis-Weltmodell stieg pi0.5 im Realtest von 59,1 auf 67,5 %, im nachtrainierten Modell auf 70,8 %, ein Plus von 11,7 Punkten (MEKAWIRE-Rechnung); eine Flow-Matching-Strategie stieg von 11,2 über 16,6 auf 19,1 %. Die zusätzlichen Gewinne des nachtrainierten Simulators für pi0.5 waren bei den Blöcken (6,6 Punkte) und beim Zauberwürfel (10,0 Punkte) am größten.
Ein Preprint mit einem Zweiarmroboter, einem Taktilsensortyp und vier Aufgaben. Der Nutzen schwankt je Aufgabe: Beim Flaschendeckel fiel pi0.5 von 90,0 auf 86,6 %, die Flow-Matching-Strategie blieb bei Reagenzglas und Zauberwürfel bei null. ACT fehlte in den RL-Tests, weil das Verfahren Diffusions- oder Flow-Matching-Strategien voraussetzt. Die Korrelationen beruhen auf wenigen Auswertungsreihen, und die Belohnungsmodelle wurden auf derselben Aufgabenfamilie trainiert; die Übertragung auf neue Aufgaben ist ungeprüft.
Wenn Weltmodelle Strategien verlässlich einstufen, sparen Roboterhersteller teure Hardwarestunden für Bewertung und Nachtraining, ein Kostenblock jedes Humanoid- und Zweiarmprogramms, das VLA-Modelle wie pi0.5 von Physical Intelligence trainiert. Der Tastsinn zählt besonders bei Montage, Laborautomatisierung und Haushaltsaufgaben, in denen Kameras Kontakt übersehen, also auch in der europäischen Montageautomatisierung. In den nächsten ein bis zwei Jahren wird sich zeigen, ob solche Simulatoren fester Bestandteil des VLA-Nachtrainings werden.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.