I2CD:从单张RGB图像直接预测仿真就绪凸碰撞几何
I2CD是一项发表在arXiv上的预印本研究,尚未经过同行评审。它冻结Hunyuan3D-2的图像条件扩散Transformer和ShapeVAE解码器,仅训练一个3800万参数的凸槽交叉注意力头,从单张RGB图像直接输出K个凸多面体,无需网格修复或分解。在227个留出物体上,I2CD取得8个基线中最高的体素IoU 65.7%,端到端延迟0.51秒,比基线快6到37倍;在真实xArm7的20物体杂乱场景中,几何准备时间从328秒降至11秒,执行成功率为85/100,与最强基线90/100接近。
能否利用预训练图像到3D生成模型的特征,从单张RGB图像直接预测仿真就绪的凸分解几何,从而绕过网格修复和分解流程?
物理模拟器和运动规划器要求凸碰撞几何,但图像到3D生成模型输出的是密集、常为非流形的视觉网格,例如Hunyuan3D-2生成的网格中98%含非流形边、中位160万面。现有重建后分解流程需要修复、减面和水密化,既慢又易出错;直接加载原始网格会被物理引擎静默替换为单一凸包,导致错误碰撞形状。
此前做法是重建后分解:先用Hunyuan3D-2或SAM3D等图像到3D模型生成密集网格,再用V-HACD、CoACD等近似凸分解,或使用CvxNet、BSP-Net等学习型分解。这些方法在干净网格上有效,但对生成网格的噪声和非流形缺陷敏感,耗时数秒到数十秒;CvxNet和BSP-Net的单视图模式仅针对类别训练,没有开放世界权重。
I2CD冻结Hunyuan3D-2-mini的图像条件DiT和ShapeVAE解码器,只训练一个3800万参数的凸槽交叉注意力头。该头用K个可学习的凸槽token查询冻结的形状特征,每个token输出一个凸多面体的半平面参数,包括法向量、偏移、平移和锐度,默认K等于H等于12。训练使用MolmoSpaces缓存潜变量,损失为类别平衡BCE加凸对对比损失,后者抑制薄片堆叠失效模式。推理时每个凸多面体独立用行进立方体网格化导出,无需任何后处理,端到端约0.51秒。
在227个留出的OmniObject3D和GSO物体上,I2CD的体素IoU为65.7%,高于8个重建后分解流程中最强的HY3D+CoACD 62.8%,端到端时间0.51秒,而基线为3.05到19.04秒,快6到37倍。在100个水密GSO物体上,I2CD为68.9%,比最佳基线SAM3D+V-HACD的63.8%高5.1个点;在127个OmniObject3D扫描上,I2CD为63.1%,与最佳基线62.9%持平,但IoU低于40%的物体比例仅5%,而基线为14到17%。四引擎仿真就绪测试中,I2CD几何在MuJoCo、PyBullet、Genesis、Isaac Sim中资产保留率不低于98.4%,原始HY3D网格默认处理保留率仅40.2%;Genesis内置CoACD保留率40.2%,PhysX内置V-HACD保留率26.8%,PhysX SDF保留率100%但需3.75秒烹饪且崩溃6个对象。真实xArm7的100次抓取试验中,I2CD成功85/100,SAM3D+CoACD为90/100,差异不显著p等于0.39,单凸包基线仅5/100;I2CD几何准备时间11秒,SAM3D+CoACD为328秒,约30倍加速。
作者承认:I2CD继承冻结骨干的错误,包括漏检薄结构、幻觉或过平滑,图像采样与网格编码潜变量之间存在3.2个IoU点差距;表面保真度落后最佳管线3.6个F-score点,约19%相对,对接触丰富任务可能成为瓶颈;凸槽按邻近性而非语义分组;真机实验仅覆盖一个桌面场景和准静态任务。此外,该研究尚未经过同行评审,论文称代码、模型和基准将发布,但当前未提供。
可服务于机器人仿真、仓库自动化、家庭服务机器人,以及需要从图像快速构建物理场景的数字孪生和电商3D资产平台。当前即可用于结构化桌面抓取和路径规划演示;1至3年内可集成到机器人操作系统和商业仿真工具链,前提是改进分割与位姿注册、提升表面保真度以支持接触丰富操作,并发布可用代码。对于需要高度精确碰撞几何的场合,如精密装配和推动操作,仍需进一步验证。
受许可协议限制,本站不转载该论文全文,仅提供摘要和原文链接。