RYOPO 把端到端类别级物体姿态估计带入实时：31.8 FPS 处理全帧 RGB-D
预印本论文提出 RYOPO，一种端到端可训练的查询式 RGB-D 集合预测器，无需外部实例分割或显式 CAD 形状先验，同时完成检测、分割与 9 自由度姿态估计。在 NOCS 基准上大幅超越已发表的 RGB-D 联合检测与姿态估计方法，在 REAL275 与 HouseCat6D 上全物体评估中与两阶段方法相当，并在 RTX A6000 上实现 31.8 FPS 全帧姿态输出。该方法消除了按物体重复编码与额外分割阶段，为实时视觉伺服和机器人操作提供可能。
能否在不依赖外部实例分割与显式 CAD 形状先验的前提下，构建一个端到端 RGB-D 集合预测器，同时完成类别级物体检测、分割与 9 自由度姿态估计，并达到实时推理？
常见 RGB-D 姿态估计流程依赖单独训练的实例分割器获取物体掩码，再对每个实例提取 RGB 裁剪和点云，送入独立的姿态网络。这种设计引入额外分割阶段，且每个检测实例都要重复裁剪编码与姿态估计，推理成本随物体数量线性增长，限制闭环视觉伺服性能与操作吞吐。
两阶段方法如 AG-Pose、CleanPose 使用外部检测分割与裁剪姿态网络，准确但推理延迟随物体数量上升。联合方法如 CenterSnap、ShAPO 结合定位与姿态预测，但需要学习 CAD 派生的形状表示或测试时优化；YOPO 扩展检测 Transformer 进行 RGB 集合预测，但没有显式利用测量深度几何，且采用并行姿态头，缺乏基于当前姿态的迭代修正。
RYOPO 基于 DETR 风格的 EdgeCrafter 架构，用查询同时预测类别、框、掩码与 9 自由度姿态。输入 RGB-D 后，查询条件几何路径根据预测框和掩码对深度点进行一致性加权采样，生成物体点描述符；几何反馈通过物体交叉注意力与共享场景上下文更新查询内容与位置表示；物体中心姿态细化维护显式姿态元组，以姿态条件交叉注意力迭代预测残差旋转、平移和尺寸更新。训练采用姿态感知 Hungarian 分配、辅助关键点监督与对比去噪，无需外部分割器或 CAD 形状先验。
在 NOCS 的 CAMERA25（合成）上，RYOPO 达到 5°5cm AP 85.7、10°5cm AP 92.5、IoU50 98.6；在 REAL275（真实）上达到 5°5cm AP 52.5、10°5cm AP 76.8、IoU50 93.0，比最强联合方法 ShAPO 的 5°5cm AP 分别高出 19.1 和 3.7 个百分点。全物体评估中，CAMERA25 上 5°5cm AP 85.8 优于 CleanPose 5.9 个百分点；REAL275 上 5°5cm AP 51.1，比 AG-Pose 低 1.6 个百分点，但 10°5cm AP 73.6 为最高。HouseCat6D 上 5°5cm AP 21.5，与 CleanPose 21.1 相当，高于 AG-Pose 17.7。推理速度在 RTX A6000 上为 31.8 FPS（31.4 ms/帧），而两阶段方法 CleanPose 在 8 个物体时总耗时 132.7 ms。主要精度结果为三次独立运行平均。
作者承认在更严格的 2 cm 平移阈值下精度不足：REAL275 上 5°2cm AP 38.7、10°2cm AP 57.7，低于 AG-Pose（46.4、63.2）和 CleanPose（50.4、65.7）；HouseCat6D 上两阶段方法在 IoU 与 10°5cm AP 上更强。此外，论文仅报告 RTX A6000 上的速度，未提供嵌入式或低算力平台表现，且未说明代码是否开源。
该技术可应用于机器人抓取、仓储拣选、AR/VR 物体交互等需要实时类别级姿态估计的场景，尤其适合无 CAD 模型的新物体。由于无需外部分割器且推理时间固定，适合集成到机器人操作循环。落地时间约 1 至 3 年，前提是需要在真实机械臂上进行闭环抓取验证，提升 2 cm 级平移精度，并完成在嵌入式计算平台上的优化部署。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。