RYOPO: End-to-End-Kategorie-Level-Objektposenschätzung in Echtzeit
RYOPO ist ein End-to-End trainierbares, querybasiertes RGB-D-Set-Prediction-Verfahren, das Objekterkennung, Segmentierung und 9-DoF-Objektposenschätzung ohne explizite CAD-Formprioren oder externe Instanzsegmentierung vereint. Auf NOCS übertrifft es die publizierten RGB-D-Joint-Methoden deutlich, auf REAL275 und HouseCat6D erreicht es unter All-Object-Auswertung eine mit zweistufigen Pipelines vergleichbare Genauigkeit, bei 31,8 FPS für die Vollbild-Poseausgabe auf einer RTX A6000. Das Paper ist ein Preprint und wurde noch nicht begutachtet.
Lässt sich eine End-to-End-trainierbare, querybasierte RGB-D-Set-Prediction für Kategorie-Level-Objektposenschätzung ohne externe Instanzsegmentierung und ohne CAD-abgeleitete Formprioren echtzeitfähig umsetzen?
Genaue RGB-D-Verfahren zur Kategorie-Level-Objektposenschätzung stützen sich meist auf eine separat trainierte Instanzsegmentierung und eine anschließende, pro Objekt wiederholte Merkmalsextraktion und Pose-Schätzung aus Bildausschnitten. Diese mehrstufige Verarbeitung verursacht objektspezifische Zusatzkosten, skaliert mit der Objektanzahl und verhindert dadurch Echtzeit-Inferenz für geschlossene Regelkreise oder Manipulationsdurchsatz.
Bisherige Ansätze wie CenterSnap oder ShAPO verwenden gelernte, CAD-abgeleitete Formrepräsentationen für RGB-D-Inferenz; YOPO erweitert einen Detection-Transformer um parallele Pose-Köpfe, bleibt aber RGB-only. Zweistufige Pipelines kombinieren externe Segmentierer mit Crop-basierten Pose-Netzen, was die Latenz mit der Zahl erkannter Instanzen erhöht. Frühe RGB-D-Fusion ohne objektbezogene Geometrieverarbeitung erreicht in den hier getesteten Set-Predictors ebenfalls geringere Pose-Genauigkeit.
RYOPO baut auf der DETR-artigen EdgeCrafter-Architektur auf und ergänzt drei Komponenten: Eine query-konditionierte Geometrie-Passage gewinnt aus aktuellen Boxen und Masken gewichtete 3D-Punktdeskriptoren; ein Geometrie-Feedback aktualisiert Query-Inhalt und Positionsrepräsentation durch Objekt- und Szenen-Cross-Attention; eine objektzentrische Pose-Verfeinerung hält einen expliziten Pose-Zustand aus Rotation, Translation und Größe und nutzt pose-konditionierte Cross-Attention mit residualen Korrekturen. Gemeinsame Bild- und Szenen-Encoder ersetzen wiederholte Crop-Encoder; trainiert wird mit pose-bewusster Hungarian-Zuordnung, Hilfs-Keypoint-Supervision und kontrastivem Denoising.
Auf CAMERA25 erreicht RYOPO 85,7 % 5°5cm AP und 98,6 % IoU50, auf REAL275 52,5 % 5°5cm AP und 93,0 % IoU50; damit liegt es im NOCS-Joint-Vergleich um 19,1 bzw. 3,7 Punkte über ShAPO. Unter All-Object-Auswertung mit eigenen Detektionen erreicht RYOPO auf CAMERA25 85,8 % 5°5cm AP und 92,5 % 10°5cm AP, auf REAL275 51,1 % 5°5cm AP und 73,6 % 10°5cm AP; der REAL275-Abstand zu AG-Pose beträgt 1,6 Punkte, zu CleanPose 4,0 Punkte bei 5°5cm, während RYOPO den höchsten 10°5cm AP unter den verglichenen Modellen erzielt. Auf HouseCat6D liegt RYOPO bei 21,5 % 5°5cm AP, vergleichbar mit CleanPose (21,1 %) und über AG-Pose (17,7 %), bleibt aber in IoU50 und 10°5cm AP hinter beiden zurück. Die Vollbild-Poseausgabe läuft mit 31,8 FPS auf einer RTX A6000; zweistufige Pipelines benötigen bei 8 Objekten 96,5 bis 133,4 ms pro Bild in den gemessenen Varianten.
Die Pose-Genauigkeit bei strengen 2-cm-Translationsschwellen bleibt begrenzt: Auf REAL275 liegt RYOPO bei 5°2cm und 10°2cm AP unter AG-Pose und CleanPose. Auch bei der Quader-Ausrichtung und 10°5cm AP auf HouseCat6D sind per-Objekt-Verfahren stärker. Das Paper ist ein Preprint ohne Peer-Review; ob Code oder trainierte Gewichte verfügbar sind, wird im Text nicht berichtet. Die Evaluation stützt sich auf NOCS- und HouseCat6D-Benchmarks, nicht auf physische Roboterausführung oder zusätzliche Domänen.
Für Anbieter von Pick-and-Place-, Bin-Picking- oder visuellen Servoregelungen könnte RYOPO eine echtzeitfähige, end-to-end Komponente ohne externe Segmentierer liefern. Kurzfristig ist es vor allem als Forschungsreferenz und für Machbarkeitsstudien interessant; eine industrielle Übernahme innerhalb von ein bis drei Jahren erscheint denkbar, sofern eine reproduzierbare Implementierung vorliegt, die Robustheit auf Zielhardware und für zusätzliche Objektkategorien validiert wird und die schwächeren 2-cm-Genauigkeiten für die Anwendung akzeptabel sind.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.