物体を剛体として動かす3D世界モデル、長期予測誤差を83%削減し実機押し操作で成功率90%
ハルビン工業大学（深圳）のプレプリントによると、物体ごとの剛体運動だけを予測する3D世界モデルORD-WMは、動く物体の全軌道の予測誤差を、LIBEROで微調整したPointWorldの225.7mmから37.6mmへ83%減らし、フランカのアームが実機で物体を2cm以内に押し込む成功率は90%だった。再計画1回の所要時間はエヌビディアRTX 3090一枚で0.27秒。
場面全体を毎回作り直さず、各剛体の動きだけを予測すれば、ロボットの世界モデルは多段の予測でも物体の形を保ち、実時間の計画に使える速さを保てるかを問う。
世界モデルはロボットに行動の結果を事前に思い描かせる。動画ベースや密な3D点群のモデルは毎ステップ場面を作り直すため、予測が長くなるほど物体が歪んだりずれたりし、数十ステップかかる押しや置きの計画には信頼しにくい。
動画世界モデルは将来のフレームを、PointWorldのような点群モデルは点ごとのシーンフローを予測する。どちらもカップがカップのままであることを暗黙に学ぶ必要があり、予測を入力に戻すたびに誤差が積み上がる。V-JEPA 2型の計画器は潜在空間で動くが、剛体構造を課してはいない。
ORD-WMは符号付き距離場で学習した回転等変のベクトルニューロン自己符号化器で、各物体の点群を3Dベクトルからなる潜在表現にする。行動を条件とするダイナミクスネットワークが物体ごとの回転と並進の増分を予測し、潜在表現に解析的に適用する。形状は構造上保たれ、姿勢だけが変わる。モデル予測制御は8ステップの行動候補を潜在空間で展開し、最良の最初の行動を実行する。
LIBEROの検証軌道で、動く点の誤差は1ステップで1.58mm、LIBERO微調整版PointWorldの10.04mmより約6.4倍低く（MEKAWIRE算出）、10ステップで7.71mm対79.62mm、全軌道で37.60mm対225.68mmと83.3%低かった。公開版PointWorld（321.11mm）比では88.3%低い（MEKAWIRE算出）。形状の崩れを示すシャンファー距離は0.00で、3.58mm、19.87mmと対照的だ。Franka Research 3とRealSense D435カメラ3台による実機の押し操作では、成功（最終誤差2cm未満）が候補64個で10%、256個で70%、1024個で90%。平均最終誤差は3.72cmから0.97cmへ、実行ステップは367から85へ76.8%減った（MEKAWIRE算出）。1ステップの計画時間は55.4ms、115.7ms、269.9ms。
プレプリントである。物体は自由な剛体か固定された剛体に限られ、ヒンジ付き、多関節、変形する物体は対象外。質量、摩擦、接触は暗黙に学習され、剛体更新は物体同士のめり込みを防がない。実機の根拠は試行回数が表に示されていない押し操作の成功率と、定性的なピックアンドプレースにとどまる。学習データはLIBEROと押し操作軌道1000本で、より大規模で多様なデータでは未検証と著者は認めている。
世界モデルによる計画は長い作業の信頼性を上げる道の一つで、弱点は多段にわたるずれだ。剛体部品の形を保つ構造化モデルは、箱や部品、通い箱をゆっくり扱う工場や物流の作業に合う。人手不足でピッキング自動化を進める国内のシステムインテグレーターにとっては、汎用の家庭用ロボット頭脳より、ビンピッキングやキッティングのセル内計画器として先に検討する価値がある。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。