AssemblyWorld: Interaktive 3D-Montage als Testfeld für allgemeine Agenten
In einem Preprint stellen Forschende AssemblyWorld vor, eine interaktive 3D-Umgebung, in der vortrainierte Agenten starre Bauteile über gerenderte Ansichten und Werkzeugaufrufe montieren. Auf dem zugehörigen AssemblyWorldBench mit 100 Aufgaben aus vier Datensätzen erreicht das stärkste System Astra 80,9 Prozent Teilegenauigkeit, aber nur 59,4 Prozent komplette Montageerfolge. Die Ergebnisse zeigen eine deutliche Lücke zwischen grober Strukturerfassung und präziser Rekonstruktion.
Können vortrainierte Allzweck-Agenten Objekte allein durch visuelle Interaktion montieren, ohne zusätzliches montagespezifisches Feintuning?
3D-Montage erfordert präzise räumliche Anordnung starrer Teile; bestehende spezialisierte Verfahren sind oft auf einzelne Kategorien oder Referenztypen trainiert und bieten keine interaktive Korrektur. Allgemeine Agenten haben Schwierigkeiten, aus gerenderten 2D-Ansichten exakte Posen abzuleiten und eigene Fehler zuverlässig zu erkennen.
Bisherige lernbasierte Montageverfahren wie Manual-PA, GARF oder SPAFormer schätzen Teilposen aus Geometrie- oder Anleitungsinformationen, sind aber meist kategoriespezifisch und nicht interaktiv. Tool-basierte Agenten wie Code as Policies oder VoxPoser nutzen Sprachmodelle für 3D-Aktionen, wurden jedoch nicht systematisch für die Montage starrer Teile mit geometrischer Erfolgskontrolle evaluiert.
AssemblyWorld ist eine interaktive 3D-Umgebung mit Model Context Protocol: Agenten erhalten gerenderte 2D-Kamerabilder, Listen- und Objektabfragen, aber keinen direkten Netzzugriff, und führen Translationen oder Rotationen einzelner Teile oder Gruppen aus. AssemblyWorldBench vereinheitlicht 80 Objekte aus PartNet, IKEA-Manual, AssemblyBench und Fantastic Breaks mit standardisierten Initialkonfigurationen und geometrischer Bewertung; PartNet-Aufgaben werden paarweise mit und ohne Referenzbild getestet. Acht Agenten werden unter gleichen Bedingungen verglichen.
Auf AssemblyWorldBench erreicht Astra 59,4 Prozent vollständigen Montageerfolg, gefolgt von Fable mit 50,0 Prozent und Opus mit 44,4 Prozent; die Teilegenauigkeit von Astra liegt bei 80,9 Prozent. Bei IKEA-Manual erreicht Astra kategoriemittlere PA/SR von 93,27 Prozent und 75,44 Prozent, bei AssemblyBench 78,32 Prozent PA und 55,91 Prozent SR auf 279 Objekten und bei Fantastic Breaks 91,67 Prozent PA auf 150 Objekten. Open-Source-Systeme bleiben deutlich zurück: Qwen erreicht 11,9 Prozent SR, DeepSeek 0,0 Prozent; bei Qwen enden 65 und bei DeepSeek 17 von 100 Läufen im Zeitlimit, weitere 14 bzw. 34 in Ausführungsfehlern. Visuelle Referenzen erhöhen den SR bei Astra, Fable und Opus um 25, 20 bzw. 15 Prozentpunkte.
Die Evaluation betrachtet nur freie Geometrie ohne Kollisionsfreiheit oder physikalische Stabilität. Robustheitstests sind klein und nur mit einem Lauf pro Bedingung; die Verfeinerungsstudie nutzt zwei Fragmente und einen Seed. Unklare Vortrainingsdaten verhindern Aussagen zu kontaminationsfreier Generalisierung. Offene Systeme zeigen zudem Ausführungsfehler und Timeouts. Eine Code-Veröffentlichung nennt das Paper nicht.
Für Industrie- und Möbelmontage könnten solche Agenten mittelfristig digitale Montageplanung oder Qualitätsprüfung unterstützen, wenn spezialisierte geometrische Verfeinerung integriert wird. Kurzfristig sind Präzision und Zuverlässigkeit für reale Robotermontage unzureichend; eine Kombination aus generellen Agenten und spezialisierten Posenschätzern erscheint in 1 bis 3 Jahren als praktikabler Weg für assistierte Arbeitsabläufe, physische Montage eher in mehr als 3 Jahren.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.