TGrasp6D: Aufgabenbezogene Vision-Language-Priors und Posenverfeinerung für aufgabenorientiertes 6DoF-Greifen ohne Training
Ein Greifplaner, der ein Vision-Language-Modell fragt, wo ein Werkzeug für eine bestimmte Aufgabe zu halten ist, wählte in 94,5 Prozent von 310 Fällen des TaskGrasp-Benchmarks den richtigen 6DoF-Griff, das beste frühere Verfahren in 73,7 Prozent, und war in 93 von 100 realen Versuchen an einem Franka Research 3 erfolgreich, berichten Forscher der Purdue University und des DEVCOM Army Research Laboratory der US-Armee in einem Preprint. Aufgabenspezifische Trainingsdaten braucht er nicht.
Kann ein Roboter aus einem RGB-D-Bild und einer Textanweisung ohne Training auf aufgabenmarkierten Griffen einen Griff wählen, der zum Zweck passt, etwa das Messer zum Schneiden am Griff halten, zum Übergeben den Griff aber freilassen?
Ein stabiler Griff ist nur die halbe Arbeit. Aufgabenorientiertes Greifen verlangt, dass der Griff zur Aufgabe passt. Lernende Verfahren stoßen an die Grenzen endlicher, von Hand annotierter Datensätze, bewertende Verfahren hängen von einem aufgabenneutralen Generator ab, der die richtige Stelle womöglich nie vorschlägt, und planare Verfahren schließen Griffe aus, die außerhalb der Bildebene ansetzen.
GCNGrasp verbreitet einen Wissensgraphen über den TaskGrasp-Datensatz, GraspGPT und FoundationGrasp bewerten Kandidaten eines aufgabenneutralen Generators mit Sprachmodellwissen, GraspMolmo verfeinert ein Vision-Language-Modell auf einem großen synthetischen Korpus, GraspCoT ergänzt Schlussfolgerungen über physikalische Eigenschaften.
TGrasp6D maskiert und beschneidet das Objekt, fragt ein Vision-Language-Modell, welches Teil die Aufgabe verlangt und wo es im Bild liegt, und lässt sich dann die Schließachse des Greifers als Linie durch diesen Punkt angeben. Über die Kamerageometrie werden Punkt und Linie in 3D gehoben und bilden eine Gauß-Verteilung um die Aufgabenregion. Daraus gezogene Kandidaten werden auf der Lie-Algebra von SE(3) optimiert, wobei ein gelerntes Distanzfeld des Greifers Kollisionen mit der Punktwolke bestraft und Griffe belohnt, deren Schließvolumen den Aufgabenpunkt erfasst. In den Hauptläufen dient GPT-5.5 als Modell.
Auf 310 Objekt-Aufgaben-Paaren aus TaskGrasp (Erfolg ab 0,1 IoU mit einem annotierten Griff) erreichte TGrasp6D 94,5 Prozent bei null Prozent Ausfällen, FoundationGrasp 73,7, GCNGrasp 72,1, GraspMolmo 65,0, GraspGPT 61,7 und GraspCoT 7,5 Prozent, ein Vorsprung von 20,8 Punkten. Die Posenverfeinerung brachte 5,1 Punkte gegenüber der reinen Modellvorgabe (89,4 Prozent), senkte Positionsfehler von 3,5 auf 1,6 und Orientierungsfehler von 3,9 auf 0,6 Prozent, falsche Teilwahl blieb bei 3,2 Prozent. Vor der Verfeinerung kamen GPT-5.5 auf 89,68, Gemini 3.7 auf 84,19 und Qwen3.5-35B auf 75,16 Prozent, Letzteres lieferte bei 19,7 Prozent der Eingaben keine Antwort. Am realen Franka Research 3 mit fünf Objekten und zehn Objekt-Aufgaben-Paaren zu je zehn Versuchen gelangen 93 von 100 Griffen, GraspGPT 41, FoundationGrasp 52, bei jedem Paar mindestens acht von zehn.
Eine einzige RGB-D-Ansicht macht das Verfahren anfällig für Tiefenrauschen und Selbstverdeckung, die die meisten Fehlschläge bei Krug und Sprühflasche verursachten. Es hängt von großen gehosteten Modellen ab, mit Latenz und API-Kosten, behandelt jeweils nur eine Aufgabenregion und modelliert weder Kontaktmechanik noch Regelung im geschlossenen Kreis. Fehlgriffe weisen größere Orientierungs- und Positionsfehler auf als trainierte Vergleichsverfahren. Die Realtests umfassen fünf Objekte an einem Arm. Es handelt sich um ein Preprint.
Werkzeugübergabe und zweckgerechtes Greifen sind Alltag für Service-, Logistik- und Montageroboter und werden heute meist je Teil von Hand programmiert. Ein Planer ohne Training, der die reale Erfolgsquote eines gelernten Verfahrens mehr als verdoppelt (93 gegen 41 von 100), erlaubt Integratoren, neue Teile per Textanweisung statt mit neuen Annotationen einzurichten, allerdings mit der Latenz eines Cloud-Modells. Für den Mittelstand mit hoher Variantenvielfalt ist das interessant, doch Datenschutz und Taktzeit sprechen für lokal betriebene Modelle, die laut Ablation noch deutlich schwächer sind. Pilotzellen sind in ein bis zwei Jahren denkbar.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.