I2CD、単一RGB画像から凸分解を直接予測しシミュレータにそのまま投入可能な衝突形状を生成

著者らは、画像から3Dメッシュを生成してから凸分解する従来経路を経ずに、単一RGB画像から直接、物理シミュレータやモーションプランナが利用可能な凸衝突形状を予測できるかを検証した。

画像から3Dを生成するモデルは高密度で非多様体なメッシュを出力し、物理シミュレータやモーションプランナが要求する凸衝突形状と乖離している。既存のワークフローは、修復、デシメーション、近似凸分解という再構成・分解パイプラインを経由するため、遅くて脆弱であり、各段階のエラーに敏感である。特に、生成メッシュは98%に非多様体エッジを含み、水密性テストを通過するのはわずか2%で、そのままエンジンに渡すと単一凸包に置き換えられ、誤った衝突形状でシミュレーションされることがある。

従来は、Hunyuan3D-2やSAM3Dなどの画像から3Dメッシュを生成するモデルの出力に対し、CoACD、V-HACD、CvxNet、BSP-Netなどの近似凸分解を適用する再構成・分解パイプラインが主流だった。これらの手法は、水密で整ったメッシュでは良い性能を示すが、生成メッシュのノイズや非多様体性に対して劣化し、清浄な入力でも1オブジェクトあたり数秒から数十秒を要する。SPARCSはシーン全体の凸形状を最適化するが、オブジェクト単位の前方推論ではなく、初期化に凸包を継承する。

I2CDは、Hunyuan3D-2の画像条件付き拡散トランスフォーマとShapeVAEデコーダを凍結し、その形状特徴に対してクロスアテンションする学習済みの凸スロットトークン（38Mパラメータ、10GPU時間未満で学習）のみを新たに学習する。各スロットが1つの凸多面体のハーフプレーン（H=12）パラメータを出力し、K=12個の凸多面体の和集合として形状を予測する。CvxNetの凸表現とYangらの包含原理を利用し、クラス均衡占有可能性損失と凸対比損失で学習する。推論は約0.5秒で、出力は凸であるため後処理なしで物理エンジンに読み込める。

I2CDは、227個のOmniObject3DおよびGoogle Scanned Objectsのホールドアウトデータで、体積IoU 65.7%（OmniObject3D 63.1%、GSO 68.9%）を達成し、8つの再構成・分解パイプライン中最高だった。最も強いベースラインはHY3D+CoACDで62.8%、エンドツーエンド時間はI2CDが0.51秒、ベースラインは3.05〜19.04秒で、6〜37倍高速だった。4つの物理エンジン（MuJoCo、PyBullet、Genesis、Isaac Sim）で、I2CDの凸形状は127オブジェクトの98.4%以上でそのまま使用され、一方生のHY3Dメッシュはデフォルト処理でMuJoCo、PyBullet、Genesisでは40.2%、Isaac Simでは40.5%しか形状が保持されなかった。実機xArm7の20物体クラッタシーンでは、プランナー準備済みジオメトリの生成時間がI2CDで11秒、SAM3D+CoACDで328秒、成功率はそれぞれ85/100と90/100、単一凸包ベースラインは5/100だった。

著者らは、I2CDが凍結バックボーンのエラー（薄い構造の見落とし、幻覚、過度な平滑化）を継承し、メッシュ符号化潜在変数と画像サンプリング潜在変数の間のIoUギャップ3.2ポイントはバックボーンの特性であると述べた。表面忠実度は体積忠実度より低く、最良パイプラインに比べFスコアで3.6ポイント劣る。凸スロットは近接性に基づいて部品をグループ化し、意味的な分割は行わない。実機実験は1つのテーブルトップシーンと準静的タスクに限定され、複雑な支持関係や接触リッチなタスクではさらに検証が必要である。また、プレプリントであり査読は受けていない。