AssemblyWorld: 汎用エージェントで3D組み立てを再考

事前学習済みの汎用エージェントは、組み立て専用の追加微調整なしに、視覚的な対話だけで3D部品を正しく組み立てられるか。

3D組み立てでは部品認識だけでなく、接続の整合、向き、微小な位置誤差の解消が求められる。既存の専用手法は特定ドメインや学習済み姿勢予測に依存し、汎用エージェントを体系評価する共通環境がなかった。また、オープンソース系エージェントは実行の信頼性と組み立て精度が低い。

従来は、幾何表現や学習済み姿勢予測に基づく専用モデル（DGL、SPAFormer、Manual-PA、Imagine、Assembler、GARFなど）が用いられてきた。参照画像やマニュアルを利用する手法もあるが、ドメイン固有の学習や追加微調整が必要であり、汎用エージェントを修正なしで使う試みはなかった。

AssemblyWorldは、MCP経由で描画ビュー取得、部品の並進・回転、グループ操作、シーン問い合わせを提供する対話型3D環境である。エージェントはメッシュ頂点や面に直接アクセスせず、2Dビューから形状を推測し、操作後の再観察で修正する。PartNet、IKEA-Manual、AssemblyBench、Fantastic Breaksの4データセットから80物体100タスクを選び、標準化した初期配置と共通実行予算で8種のエージェントを評価する。参照条件は画像、マニュアル、なしが混在する。

Astraは全体SR 59.4%、PA 80.9%で最高。Fable 50.0%、Opus 44.4%、Qwen 11.9%、Terra 7.5%、DeepSeek 0%。AstraとFableは2部品の破壊再組立でSR 90%だが、画像付きPartNetでは40%と25%。AstraはIKEA-ManualのChair/TableでPA 93.27%、SR 75.44%、AssemblyBench 279物体でPA 78.32%、SR 55.91%、Fantastic Breaks 150物体でPA 91.67%。参照画像はAstra、Fable、Opusにそれぞれ25、20、15ポイントのSR向上。Astraは平均5.8分、94ツール呼び出しでSolの8.7分、208呼び出しより効率的。GARFの予測をAstraが視覚修正するとPA 93.00%、CD 4.35×10^-3に改善。失敗解析では、AstraとFableの誤配置部品の67.4%と75.1%が並進誤差主体。

著者は、自由空間での幾何評価であり、衝突なしや物理的安定性は検証していないと述べている。また、タスクのサンプリング、単一実行のロバスト性試験、2部品かつ単一シードの精緻化実験に限定され、事前学習データの露出による汚染のない一般化は主張できない。オープンソース系は実行エラーが多く、シミュレーションのみで実機検証はない。