MEKAWIRE
ExpertenarXiv

RIGID: 3D-bewusstes VLA erreicht 75,0 % auf LIBERO-Plus gegenüber 69,6 % für OpenVLA-OFT (QMUL, UCL, Oxford)

Chaoran Zhu, Hengyi Wang, Chenglin Cui, Yazhe Wan, Taein Kwon, Changjae OhQueen Mary University of London, University College London, Visual Geometry Group (University of Oxford)
In 30 Sekunden

Ein Team aus London und Oxford hat einer OpenVLA-OFT-Roboterpolicy räumliches 3D-Verständnis beigebracht, ohne ihr bisheriges Können zu beschädigen; auf dem gestörten Benchmark LIBERO-Plus steigt die mittlere Erfolgsquote auf 75,0 % gegenüber 69,6 % für das Basismodell und 70,3 % für die stärkste Konkurrenzmethode, so ein Preprint. Das 3D-Modul wird nur im Training genutzt und kostet im Betrieb nichts.

Forschungsfrage

Kann ein Vision-Language-Action-Modell 3D-Raumverständnis von einem 3D-Foundation-Modell übernehmen, ohne dass seine Repräsentation kollabiert, wie es beim direkten Kopieren von Merkmalen geschieht?

Problem

Üblich ist, die internen Merkmale des VLA punktweise an die eines 3D-Modells wie VGGT anzugleichen. Die Autoren zeigen, dass dies wie eine Niedrigrang-Regularisierung wirkt: Die Merkmale werden auf weniger Dimensionen gepresst, die Geometrie wird besser, die Robustheit etwa bei veränderter Kameraposition schlechter.

Bisheriger Ansatz

Explizite Verfahren speisen Tiefenkarten oder Punktwolken ein und hängen von sauberen Sensoren und vorab gescannten Szenen ab. Implizite Verfahren wie Spatial Forcing gleichen versteckte Zustände direkt an 3D-Merkmale an; der Preprint misst dabei einen deutlichen Verlust an effektivem Rang.

Neuer Ansatz

RIGID gleicht Beziehungen statt Merkmale an. Die paarweise Struktur der VGGT-Attention, also welche Bildausschnitte innerhalb und zwischen Kameraansichten zusammengehören, wird mit einem rotationsinvarianten Optimal-Transport-Verlust (Sinkhorn) in das VLA destilliert. Das VLA behält seinen eigenen Merkmalsraum, das 3D-Modul entfällt bei der Inferenz.

Ergebnisse

Auf LIBERO-Plus erreicht RIGID im Mittel über vier Aufgabengruppen 75,0 % gegenüber 70,3 % für Spatial Forcing, 69,6 % für OpenVLA-OFT und 53,6 % für pi0. Bei Kamerastörungen sind es 62,1 % gegenüber 56,5 % und 56,4 %. Auf dem Standard-LIBERO liegt es mit 98,5 % gleichauf mit Spatial Forcing. Das Training dauert 8,0 % länger als mit einem Attention-KL-Verlust, die Inferenz entspricht OpenVLA. Auf einem Franka-Panda-Arm in einer Spielküche mit sechs Aufgaben zu je zehn Versuchen erzielte RIGID den besten Mittelwert, die Werte zeigt das Paper aber nur als Grafik.

Grenzen

Es handelt sich um einen Preprint. Der Realrobotertest ist klein (60 Versuche je Modell) und nur grafisch dokumentiert. Bei einzelnen Störungen, etwa sprachlichen, liegt Spatial Forcing vorn. Die Autoren räumen ein, dass sich der Gewinn nicht allein auf den Rangerhalt zurückführen lässt. Alles basiert auf OpenVLA-OFT, andere VLA-Familien wurden nicht getestet.

Bedeutung für die Branche

Integratoren und Maschinenbauer, die offene VLAs für Montage- oder Logistikarme feinjustieren, kämpfen mit Kamerapositionen, die von den Trainingsdaten abweichen. Ein reines Trainingsrezept, das 3D-Robustheit bringt, ohne den Roboter zu verlangsamen, ist für Teams mit OpenVLA-artigen Modellen direkt nutzbar. Zeithorizont: Monate.

Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.