RYOPO、カテゴリレベル物体姿勢推定をリアルタイム化するエンドツーエンドRGB-Dセット予測器
本論文はプレプリントである。著者らは、外部のインスタンス分割や物体ごとのクロップ処理を排したエンドツーエンドのRGB-Dセット予測器RYOPOを開発した。NOCSのCAMERA25とREAL275で姿勢推定APを大幅に向上させ、HouseCat6Dでも二段階手法に匹敵する性能を示し、RTX A6000上でフルフレーム姿勢推定を31.8FPSで実行した。
カテゴリレベルの物体姿勢推定を、外部インスタンス分割やCAD由来の形状事前知識なしに、エンドツーエンドかつリアルタイムで行えるか
既存の高精度RGB-D手法は外部のインスタンス分割と物体ごとのクロップ姿勢推定に依存しており、ステージが分離し物体数に応じて処理コストが増大するため、リアルタイム推論が困難だった。
CenterSnapやShAPOなどのRGB-D同時検出姿勢推定手法はCAD由来の形状表現やテスト時最適化を用い、CleanPoseやAG-Poseなどの二段階手法はMask R-CNNによる検出と物体ごとのクロップ姿勢ネットワークを組み合わせていた。これらは精度が高い一方で、外部セグメンタや繰り返しのクロップエンコードにより推論レイテンシが物体数に応じて増加した。YOPOはRGBのみのクエリベースセット予測で姿勢を推定したが、深度を明示的な幾何補正に活用していなかった。
DETR系のEdgeCrafterを基盤に、画像とシーンエンコーダを共有し、クエリ条件付き幾何経路で観測3D点とRGB特徴を物体クエリに関連付け、共有シーンコンテキストを組み込む。さらに物体中心の姿勢リファインメントが現在の姿勢状態で条件付けたクロスアテンションと再帰的な残差補正により姿勢を更新する。外部インスタンスセグメンタもCAD由来形状事前知識も使用しない。
NOCSのCAMERA25ではIoU50 98.6、5°5cm AP 85.7、10°5cm AP 92.5を達成し、従来の同時検出姿勢推定手法ShAPOを5°5cm APで19.1ポイント上回った。REAL275ではIoU50 93.0、5°5cm AP 52.5、10°5cm AP 76.8で、ShAPOを5°5cm APで3.7ポイント上回った。全物体評価ではCAMERA25の5°5cm AP 85.8、10°5cm AP 92.5でCleanPoseを5.9ポイントと4.4ポイント上回り、REAL275では5°5cm AP 51.1でAG-Poseに1.6ポイント及ばずCleanPoseに4.0ポイント及ばないが、10°5cm AP 73.6は比較手法中最高だった。HouseCat6Dでは自前マスクで5°5cm AP 21.5を達成し、CleanPoseの21.1、AG-Poseの17.7を上回った。評価はCAMERA25の19,220フレーム、REAL275の2,754フレーム、HouseCat6Dの2,929フレームで実施し、推論速度はRTX A6000上で31.8FPSだった。
著者らは、厳しい2cm並進閾値での姿勢精度が限界と述べており、REAL275の5°2cm APと10°2cm APはAG-PoseやCleanPoseより低い。HouseCat6Dでも10°5cm APやIoU50では二段階手法が優位である。加えて、論文では実ロボットによる評価やコード公開の有無は報告されていない。
カテゴリレベルの姿勢推定がリアルタイムで動くため、未知インスタンスを含むピッキング、仕分け、組立などのロボットマニピュレーションに応用できる。CADモデルや物体ごとの再学習が不要なため、物流や製造現場での導入ハードルが下がる。現在はRTX A6000級のGPUがあれば31.8FPSで利用可能だが、組み込みGPUや省電力環境への展開、実機での把持成功率検証、安全基準への適合が1年から3年以内の実用化条件となる。3年以上の時間軸では、マルチロボットや移動マニピュレータへの統合が期待される。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。