Reins steuert zwei Roboterarme mit geprüften Aktionsketten
Der Preprint Reins beschreibt eine Werkzeugumgebung, die multimodale Modelle über geprüfte Aktionsketten und fortlaufende Kamerabeobachtung mit zwei Roboterarmen verbindet. GPT-6.1 Sol erreichte bei fünf realen Aufgaben mit fünf Episoden je Bedingung eine Erfolgsquote von 88 %. Die Arbeit zeigt, wie Ausführungsrückmeldungen und Beobachtung während der Modellwartezeit längere Manipulationsabläufe unterstützen.
Können unverändert eingesetzte multimodale Modelle mit elementaren Werkzeugen, Ausführungsbedingungen und fortlaufender visueller Beobachtung lange, kontaktreiche Aufgaben auf realen Robotern bewältigen?
Längere Manipulationsaufgaben verlangen Rückmeldung zu Kontakt und Griff sowie die Beobachtung von Veränderungen während Bewegung und Modellberechnung. Bilder zwischen einzelnen Entscheidungen erfassen zwischenzeitliche Bewegungen nur begrenzt. Ungeprüfte Aktionsfolgen können nach einem misslungenen Griff oder unerwarteten Kontakt weiterlaufen.
Frühere Systeme kombinieren Fertigkeiten, erzeugen Programme oder räumliche Ziele oder lernen die Steuerung aus Roboterdemonstrationen. Show-Harness arbeitet mit kleinen Bewegungen und offenen Aktionsblöcken, wodurch Zwischenfehler ungeprüft bleiben. VoLo beobachtet die eigene Ausführung in Abständen. Lücken bestehen bei Kontaktrückmeldungen und der Beobachtung während der Modellberechnung.
Reins stellt einem handelnden Modell 18 Werkzeuge bereit, darunter SAM 3 auf RGB-D-Bildern, 3D-Messung, Armbewegung und Greifersteuerung. Die Lokalisierung mit der Handgelenkkamera erreicht etwa 1,6 mm. Gelenkstrom löst Kontaktstopps aus, Greiferrückmeldungen zeigen gehaltene Objekte an. Aktionsketten umfassen bis zu acht Aufrufe und sechzehn Ausführungen mit anschließender Bedingungsprüfung. Eine zweite Modellinstanz beobachtet die Kopfkamera mit 1 frame/s, erhält während Bewegungen zusätzliche Handgelenkbilder und meldet Änderungen zusammen mit Werkzeugergebnissen. Zwei 6-DoF AirBot Play mit serienmäßigen Parallelgreifern sowie RGB-D-Kameras am Kopf und an den Handgelenken bilden die Plattform. Ein einzelnes Kopfkamerabild dient zudem zum Aufbau eines simulationsfähigen Szenenzwillings.
GPT-6.1 Sol, GPT-6 Astra und Claude Opus 5.5 wurden mit hoher Reasoning-Einstellung auf fünf realen Aufgaben mit fünf Episoden je Bedingung geprüft. Aufgaben waren ein Becherspiel, das Befüllen und Schließen einer Schublade, Handtuchfalten, Hemdfalten und Zusammenkehren. Sol erreichte insgesamt 88 % Erfolg. Alle drei Modelle öffneten die Schublade in jeder Episode. Ohne Beobachter gewann Sol 2 von 5 Becherspielen. Astras Beobachter verfolgte das versteckte Objekt in 4 von 5 Episoden, Opus in keiner. Die zwei Aufgabensiege von Opus wurden als geraten eingeordnet. Ohne die Werkzeugumgebung gewann Sol kein Becherspiel, laut Paper dauerte die Ausführung 8-mal so lange. Sols Ultrafast-Beobachter antwortete in 1-6 s und erfasste das Umstellen der Becher in 8-11 Beobachtungsfenstern. Astra und Opus benötigten im standard tier 3-40 s und erfassten 2-4 Fenster. Modelllatenz beanspruchte 41-78 % der Episodendauer. Detaillierte Erfolgsquoten je Aufgabe, absolute Laufzeiten und API-Kosten werden im bereitgestellten Text nicht berichtet.
Die Untersuchung umfasst eine Hardwareplattform und fünf Episoden je Bedingung. Ein Bediener bewertete den Erfolg. Die Anweisungen für Schublade und Kehren enthalten Hinweise zu Griff und Pose. Kontaktsensorik beruht auf Gelenkstrom und Greiferweite. Langsame Beobachter melden schnelle Veränderungen verspätet, Modelllatenz beansprucht einen großen Teil der Laufzeit. Die Codefreigabe ist zur Veröffentlichung angekündigt. Die Verbesserung von Richtlinien durch Lernen in Simulationszwillingen ist als künftige Arbeit vorgesehen.
Als mögliche Anwender kommen Roboterintegratoren und Entwickler zweiarmiger Tischsysteme für Falten, Schubladenbedienung und Kehren infrage. Eine breitere Anwendung setzt zusätzliche Versuche, Validierung auf weiterer Hardware und ausreichend schnelle Beobachter für veränderliche Szenen voraus. Ein Zeitplan für den kommerziellen Einsatz ist im Paper nicht berichtet.
Vollständige Studie
Veröffentlicht unter CC BY-NC-SA 4.0. Die vollständige Studie ist mit Namensnennung auf Englisch wiedergegeben: Volltext (Englisch). Original unter arXiv:2611.16632 (PDF).