SNAP: Selbstüberwachtes geometrisches Repräsentationslernen durch Novel View Synthesis mit eingeschränktem Decoder
Das Preprint stellt SNAP vor, einen selbstüberwachten Encoder-Decoder-Transformer für geometrisches Repräsentationslernen aus Novel View Synthesis. Mit posefreiem Encoder, festen DINOv3-Merkmalen und einem posekonditionierten, lokal begrenzten Decoder erreicht SNAP über fünf Aufgaben hinweg Ergebnisse nahe an geometrieüberwachten Modellen, ohne dichte 3D-Annotationen zu benötigen. Besonders in der Robotermanipulation unter Kameraverschiebungen bleiben die Repräsentationen deutlich stabiler als bei 2D-Modellen und liegen nahe an VGGT.