I2CD: Direkte Vorhersage konvexer Zerlegungen aus Einzelbildern für simulationsfertige Kollisionsgeometrie
Der Preprint stellt I2CD vor, ein Verfahren, das aus einem einzelnen RGB-Bild direkt eine konvexe Zerlegung eines Objekts erzeugt, statt den Umweg über Mesh-Reparatur und nachträgliche Zerlegung zu gehen. Dazu wird ein eingefrorener Hunyuan3D-2-Backbone um einen leichten Cross-Attention-Kopf mit 38 Mio. Parametern ergänzt. Auf 227 Objekten erreicht I2CD den höchsten volumetrischen IoU (65,7 %) bei 6- bis 37-fach kürzerer Laufzeit als acht Rekonstruktions-basierte Pipelines; auf einem physischen xArm7 sinkt die Zeit für eine 20-Objekte-Szene von 328 s auf 11 s bei vergleichbarem Erfolg (85 von 100 gegenüber 90 von 100).
Kann ein vortrainiertes Bild-zu-3D-Modell so angepasst werden, dass es aus einem Einzelbild direkt konvexe, simulationsfertige Kollisionsgeometrie vorhersagt, statt erst ein visuelles Mesh zu erzeugen, das nachbearbeitet werden muss?
Bild-zu-3D-Generatoren liefern dichte, häufig nicht-mannigfaltige visuelle Netze, während Physik-Engines und Bewegungsplaner konvexe Kollisionsgeometrie benötigen. Die derzeitige Überbrückung über Reparatur, Dezimierung und approximative konvexe Zerlegung ist langsam und fehleranfällig; wird sie übersprungen, ersetzen Engines das Netz stillschweigend durch eine einzige konvexe Hülle, was zu falscher Kollisionsgeometrie führt.
Bisherige Ansätze kombinieren Bild-zu-3D-Modelle wie Hunyuan3D-2 oder SAM3D mit nachgelagerter Zerlegung durch CoACD, V-HACD oder gelernte Verfahren wie CvxNet und BSP-Net. Diese Pipelines sind langsam, reagieren empfindlich auf Mesh-Defekte und liefern oft fragmentierte oder überdehnte Teile; gelernte Einzelbild-Modi von CvxNet und BSP-Net sind kategoriegebunden und besitzen keine offenen Weltgewichte.
I2CD friert den Bild-DiT und den ShapeVAE-Decoder von Hunyuan3D-2-mini ein und trainiert nur einen neuen Cross-Attention-Kopf mit 12 gelernten Convex-Slot-Token. Jeder Token fragt die eingefrorenen Shape-Features ab und emittiert Halbebenen-Parameter (Normalen, Offsets, Translation, Schärfe) für einen konvexen Polytop; die Vereinigung der 12 Polytope wird über eine weiche Schnittmenge und Maximumbildung als Okkupanz dargestellt. Der Kopf wird ausschließlich auf zwischengespeicherten Latents von 121.056 MolmoSpaces-Netzen mit einer klassenbalancierten BCE- und einer kontrastiven Convex-Paar-Verlustfunktion trainiert; das Training dauert ca. 9 GPU-Stunden auf einer RTX 5000 Ada. Beim Export wird jeder Konvexe separat per Marching Cubes vermascht, leere Teile werden entfernt, es ist keine Nachbearbeitung nötig.
Auf 227 gehaltenen Objekten (127 OmniObject3D, 100 GSO) erreicht I2CD einen volumetrischen IoU von 65,7 % und übertrifft damit die beste Pipeline (HY3D+CoACD) um 2,9 Punkte; die End-to-End-Laufzeit beträgt 0,51 s gegenüber 3,05 bis 19,04 s der Baselines. In vier Engines (MuJoCo, PyBullet, Genesis, Isaac Sim) wird die I2CD-Geometrie bei mindestens 98,4 % der Objekte unverändert verwendet, während rohe generierte Netze je nach Engine nur bei 40,2 % erhalten bleiben oder mehrere Sekunden Vorverarbeitung benötigen. Auf einem physischen xArm7 reduziert I2CD die Zeit für eine planungsfertige 20-Objekte-Szene von 328 s auf 11 s, bei einem Greiferfolg von 85/100 gegenüber 90/100 der stärksten Baseline. Ablationen zeigen, dass Klassenbalancierung essenziell ist und der kontrastive Term den IoU um 1,6 Punkte steigert.
Die Autoren nennen als Grenzen: I2CD erbt Fehler des eingefrorenen Backbones (übersehene dünne Strukturen, Halluzinationen), und die Oberflächentreue liegt 3,6 F-Score-Punkte hinter der besten Pipeline, was für kontaktintensive Aufgaben bindend sein kann. Die Konvex-Slots gruppieren Geometrie nach Nähe statt nach Semantik. Die Roboterstudie umfasst nur eine Tischszene und quasi-statische Aufgaben; Szenen mit komplexen Stützbeziehungen und kontaktintensive Manipulation sind nicht getestet. Zudem ist der Code noch nicht veröffentlicht, und der Train-Test-Abstand der Latents beträgt 3,2 IoU-Punkte.
Robotik-Unternehmen, die Bild-zu-Simulations-Pipelines für Manipulation in unstrukturierten Umgebungen einsetzen, könnten I2CD innerhalb von 1 bis 3 Jahren nutzen, sobald der Code veröffentlicht ist und stärkere Backbones integriert werden. Simulatoren und Planungswerkzeuge wie MuJoCo, Isaac Sim oder PyBullet könnten von der direkten Erzeugung konvexer Geometrie profitieren; für kontaktintensive Aufgaben ist jedoch eine verbesserte Oberflächentreue Voraussetzung. Kurzfristig eignet sich der Ansatz als schneller Initialisierer für nachgelagerte Optimierungsverfahren wie SPARCS.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.