3DROID:一个带逐场景可靠性度量的可渲染3D高斯数据集
这是一篇预印本论文。作者基于DROID构建了3DROID数据集,用位姿条件的前馈3DGS重建114个机器人场景,并通过机器人深度一致性门控筛选标定可靠场景。结果显示,位姿条件在相同外参下带来每场景中位PSNR提升0.73至2.73 dB,但几何收益取决于外参可靠性;该数据集为机器人操作研究提供带可靠性元数据的可渲染场景。
如何构建并评估锚定到机器人公制工作空间、同时提供逐场景标定与重建可靠性信息的可渲染3D高斯场景?
机器人操作需要3D几何推理,但现有渲染式3D高斯场景主要优化光度保真度,不保证真实世界公制尺度;真实机器人数据集的相机外参并非均匀可靠,直接当作真值可能导致重建场景静默移动表面或改变尺度。
传统3DGS对每个场景独立优化,稀疏机器人视角下约束不足且计算昂贵;前馈3DGS方法虽然支持少视图单次重建,但大多假设标定可靠,未验证公制对齐;几何感知高斯或相机标定方法解决了部分问题,但未在数据集层面提供逐场景可靠性信息。
提出标定感知的构建流程:先利用机器人CAD前向运动学点与经典立体深度的比值进行标定门控,以中位比值0.85至1.15且至少30个有效投影为条件筛选场景;再用PointWorld精化外参进行位姿条件的前馈3DGS重建;最终发布114个场景的3D高斯表示、渲染深度、覆盖掩码、相机参数和逐场景可靠性包络。评估时采用覆盖感知协议,对比渲染深度与经典立体深度及运动学定位的机器人几何。
在110个场景的3视图重建中,YoNoSplat的PSNR从12.57提升至15.81(+3.24 dB),ZipSplat从12.75提升至16.27(+3.52 dB),SSIM和LPIPS同步改善。固定外参来源时,位姿条件的中位PSNR增益为+0.73至+2.73 dB;固定位姿条件时,精化外参的中位PSNR增益为+0.29至+2.13 dB。几何评估中,使用DROID出厂外参时位姿条件未一致改善,ZipSplat机器人误差中位从19.71升至30.58 cm但配对变化不显著(p=0.072,n=109);使用精化外参后ZipSplat误差下降,YoNoSplat基本不变。标定门控在精化外参下保留114场景,出厂外参仅80场景。出厂外参无位姿条件时,三个骨干的机器人深度比值分别为1.34、1.31、1.26,表明手臂被系统性放远。
作者承认:目前仅从四路外部视图重建静态单帧,只在有机器人表面或立体支撑处测量几何,排除手腕相机流,未声称全场景几何真值或下游操作提升。此外,数据集仅有114个场景,外参依赖DROID与PointWorld,未独立重新标定。
可用于机器人操作数据平台、仿真与数据增强工具,以及需要显式3D场景的机器人基础模型训练。短期内(现在)可直接使用3DROID作为带可靠性标注的可渲染数据;1至3年内可集成到机器人大规模数据管道,结合标定门控提升渲染场景的公制可信度;3年以上若扩展到动态4D场景,可支持更完整的机器人学习环境。前提是企业能采用前馈3DGS重建管线并具备机器人几何与立体深度的验证能力。
受许可协议限制,本站不转载该论文全文,仅提供摘要和原文链接。