3DROID：DROID由来のレンダリング可能な3D Gaussianデータセット、シーンごとの較正信頼性を測定して公開

カメラ外部パラメータの信頼性と姿勢条件付けがフィードフォワード3D Gaussian Splattingの再構成に与える影響を明らかにし、ロボットのメトリック作業空間に固定されたレンダリング可能なデータセットを構築できるか。

ロボット操作モデルは2D観測に依存するが、3D物理世界での把持や配置には3D空間推論が必要である。既存の3D Gaussian Splattingは写実的な新規視点合成を主目的としており、特にカメラ外部パラメータが不正確な場合、実世界のメートルスケールやロボット座標系との整合性が保証されない。ロボットデータセットではカメラ較正の信頼性が一様でなく、提供されるポーズをそのまま真値として扱えない。

従来はDROID等のロボットデータに対して点群や深度などの幾何学的事前情報を付与する研究（DP3、DROID-3D、PointWorld、Robo3Rなど）があったが、視点一貫した外観モデルを提供できない。RoboSnapは単一画像からメッシュとGaussianのレイヤーを構築するが、シーンごとの再構成信頼性を測定していない。またフィードフォワード3DGS（PixelSplat、MVSplat、DepthSplat）は正確なカメラ較正を前提としており、姿勢なし手法（NoPoSplat、AnySplat、YoNoSplat、ZipSplat）はロボットフレームへの位置合わせを定量的に評価していなかった。

本研究は、DROIDのエピソードをグループ化して520シーン群から較正ゲートを通過した114シーンを選定し、PointWorldの精緻化外部パラメータを姿勢条件として入力するフィードフォワード3DGS（主にZipSplat、評価ではYoNoSplatとAnySplat）で再構成した。較正の妥当性は、ロボット順運動学とCADから投影したロボット表面上の点における古典ステレオ深度とカメラ軸深度の比の中央値を用いて検証し、n_min=30、比が0.85〜1.15の範囲にあるシーンのみを採用した。再構成後の信頼性は、ロボット投影被覆率、ロボット誤差、ステレオ不一致の3指標で測定し、シーンごとにメタデータとして提供する。

110シーン（全ゼロ内部パラメータの4シーンを除く）で3視点再構成、保持視点ext2R評価。姿勢条件付き+精緻化外部パラメータ（Ours）は、姿勢なし+提供外部パラメータ（Baseline）に対し、YoNoSplatでPSNR 12.57→15.81（+3.24 dB）、ZipSplatで12.75→16.27（+3.52 dB）と大幅に向上した。アブレーションでは、同一外部パラメータ源で姿勢条件付けを加えると中央値PSNRが+0.73〜+2.73 dB改善し、同一姿勢設定で精緻化外部パラメータに切り替えると+0.29〜+2.13 dB改善した（すべてp<2×10^{-8}）。幾何評価では、精緻化外部パラメータ使用時にZipSplatのロボット誤差が8.99 cmから8.04 cm、ステレオ不一致が8.85 cmから8.07 cmに低下した。YoNoSplatはロボット誤差7.52 cm→7.54 cmとほぼ不変だった。提供外部パラメータでは姿勢条件付けの効果は一貫せず、ZipSplatのロボット誤差中央値は19.71 cmから30.58 cmに上昇したが、対比較の有意差はなかった（p=0.072、n=109）。較正ゲートは、n_min=30、±15%帯で精緻化ポーズでは114シーン、提供ポーズでは80シーンを通過した。

著者らは、3DROIDが4つの外部視点からの単一静的フレームのみを再構成し、幾何学的測定はロボット表面またはステレオ支持が利用可能な領域に限定されると述べている。手首カメラは視野が狭く静止カメラとのドメインギャップが大きいため除外した。また、シーン全体の幾何学的真値や下流の操作性能向上は主張していない。データセットは公開されているが、再構成コードや学習済みモデルの公開については論文では報告されていない。評価は実データ由来だが、再構成は静的スナップショットに留まり、動的な4Dシーンへの拡張は将来課題である。