Rhoda AI baut eigenen Tastsensor und lässt sein Videomodell einen blinden Roboter per Berührung steuern

Rhoda AI hat einem Roboter beigebracht, ein Objekt zu finden, das er nicht sieht. Im Forschungsbeitrag vom 13. Oktober beschreibt das Unternehmen aus Palo Alto, wie es Kopf- und Handgelenkkameras abdeckte, einen glatten und einen strukturierten Ball in eine Kiste legte und das Modell den Greifer allein über Berührung führen ließ, bis der strukturierte Ball gefunden, gegriffen und herausgenommen war. Dasselbe, nur mit diesen zwei Bällen trainierte Modell holte danach laut Unternehmen alle drei strukturierten Bälle aus einer Kiste mit sieben, zwei davon in Durchmesser, Härte und Oberfläche anders als der Trainingsball.

Die Vorführung stützt sich auf zwei Eigenentwicklungen: einen Tastsensor und eine Version des Direct-Video-Action-Modells (DVA), die neben Bildern auch Berührung vorhersagt. Beides ist wichtiger als der Ballversuch, denn es zeigt, wofür das Unternehmen die vor sieben Monaten eingesammelten 450 Mio. Dollar ausgibt.

Ein Sensor, der eine Feder spürt und 40 Newton trägt

Nach Angaben von Rhoda registriert der für Greifer verpackte Sensor die Berührung einer Feder mit wenigen Millinewton, die getestete optische und magnetische Standardsensoren nicht unterschieden, und misst zugleich Lasten über 40 N. Er trennt Normal- von Scherkräften, tastet Kontaktvibrationen mit etwa 500 Hz ab, genug, um Spiralbindung und Reißverschluss zu unterscheiden, erfasst einen Puls am Handgelenk und die Temperaturverteilung. Messprinzip, Preis und Vertriebspläne nannte das Unternehmen nicht, nur dass der Sensor kompakt, günstig und mit Kalibrieralgorithmen gegen Drift und Hysterese entwickelt sei.

Rhoda baute die Sensoren zudem in ein handgeführtes Universal Manipulation Interface ein, mit dem Menschen Demonstrationen ohne Roboter aufzeichnen; die Daten enthalten nun die aufgebrachten Kräfte.

Wie ein Videomodell fühlen lernt

DVA ist Rhodas Wette, dass ein Videomodell im Web-Maßstab selbst als Roboter-Policy dienen kann: Es sagt voraus, wie die nächsten Augenblicke aussehen sollten, ein separates inverses Dynamikmodell übersetzt das in Gelenkbefehle. Die multimodale Version nimmt eine Historie taktiler Videos auf und erzeugt künftige Tastbilder, die das inverse Modell in Bewegungen umsetzt; neue Sensorwerte schließen den Regelkreis.