Kontinuierliche Konditionierung von VLA-Modellen mit EMG und visuellen Annotationen
In diesem Preprint werden zwei feinabgestimmte Vision-Language-Action-Modelle vorgestellt, die Aufgabeninformationen über kontinuierliche Signale statt über Sprache erhalten: EC-VLA nutzt 8-Kanal-EMG, VA-VLA visuelle Segmentierungsannotationen. Im Vergleich zu sprachbasierten Baselines verbessern sich die Erfolgsraten in unübersichtlichen Szenen von 0,30 auf 0,50 (EC-VLA) und von 0,11 auf 0,20 (VA-VLA). Die Ergebnisse deuten darauf hin, dass nicht-sprachliche Modalitäten für die Aufgabenkonditionierung von Roboterrichtlinien nützlich sein können.
Können kontinuierliche Konditionierungssignale jenseits von Sprache, konkret EMG-Signale und visuelle Annotationen, die Aufgabenbeschreibung in VLA-Modellen verbessern, insbesondere in unübersichtlichen oder mehrdeutigen Szenen?
Bestehende VLA-Modelle verlassen sich bei der Aufgabenbeschreibung stark auf textuelle Sprachprompts. In unübersichtlichen Szenen oder bei nuancierten Aufgaben reicht Sprache oft nicht aus, da sie Gesten, Bilder oder Blicke nicht natürlich abbilden kann, was zu schlechterer Leistung außerhalb der Trainingsverteilung führt.
Bisherige Ansätze nutzen entweder rein sprachbasierte Prompts in VLA-Modellen wie OpenVLA oder π₀, oder setzen auf diskrete Zusatzsignale wie EEG, Eye-Tracking oder Keypoints, etwa in M4Bench, RT-Trajectory oder MOO. Diese Signale werden meist als separate Eingaben oder zur Objektauswahl verwendet, jedoch nicht als kontinuierliche, in den Zustandsvektor oder die Bildmodalität integrierte Konditionierung bei gleichzeitig unterspezifizierter Sprache.
Die Autoren stimmen zwei Action-Expert-VLAs ab: SmolVLA für EC-VLA und π₀.₅ für VA-VLA. Bei EC-VLA werden 8 EMG-Hüllkurven eines menschlichen Supervisors an den 6-dimensionalen propriozeptiven Vektor angehängt, während der Sprachprompt konstant und unterspezifiziert bleibt. Die Datenerfassung erfolgt an einem SO-101-Arm mit 15 Hz, zwei RGB-Kameras und drei Teilnehmern. Bei VA-VLA werden die RGB-Bilder mit Segmentierungsmasken versehen: Zielobjekt grün, Ablageort blau, bei ebenfalls unterspezifiziertem Text. Hier wird π₀.₅ auf simulierten RoboCasa-Demonstrationen mit 16 Pick-and-Place-Aufgaben, einem Franka-Panda-Arm auf mobiler Basis, 20 Hz, drei RGB-Ansichten, 16-dimensionalem propriozeptiven Vektor und 12-dimensionalen Aktionen feinabgestimmt. Der Trainingsdatensatz umfasst etwa 1600 Episoden. Beide Modelle werden mit Flow-Matching trainiert.
EC-VLA erreicht im unübersichtlichen, ungestörten Szenario einen durchschnittlichen Completion Score von 0,94 gegenüber 0,91 der Baseline, bei gleicher Erfolgsrate von 0,80. In gestörten, unübersichtlichen Szenen steigt der Completion Score von 0,43 auf 0,82, die Erfolgsrate von 0,30 auf 0,50 und die komplette Ausfallrate sinkt laut Tabelle II von 0,50 auf 0,04. Die Auswertung umfasst 30 Trials pro Modell (20 in-distribution, 10 cluttered) über drei Teilnehmermodelle und eine Baseline. VA-VLA verbessert den Completion Score über alle 16 RoboCasa-Aufgaben von 0,62 auf 0,66, die Erfolgsrate von 0,27 auf 0,31. In der unübersichtlichen Teilmenge steigt der Completion Score von 0,58 auf 0,64, in gestörten Szenen von 0,35 auf 0,51. Die Erfolgsrate in gestörten Szenen steigt von 0,11 auf 0,20 und die komplette Ausfallrate sinkt von 0,47 auf 0,25. Die Evaluation umfasst 800 Episoden für die ungestörten Aufgaben sowie zusätzliche gestörte Trials in acht modifizierten Aufgaben.
EC-VLA erfordert während der Ausführung einen menschlichen Supervisor, der kontinuierlich EMG-Signale liefert. Die Modelle sind teilnehmerspezifisch trainiert, nur drei Teilnehmer wurden einbezogen. VA-VLA nutzt Segmentierungsmasken aus dem Simulator, die in realen Umgebungen nicht direkt verfügbar sind. Die Autoren nennen als offene Punkte die benötigte Menge an Führung, mögliche Leistungsverschlechterung bei neuen Nutzern oder sekundären Segmentierungssystemen sowie die weitere Kombination von Modalitäten. Ein veröffentlichter Code wird im Paper nicht berichtet.
Unternehmen im Bereich Assistenzrobotik, kollaborative Roboter oder Logistik könnten diese Ansätze nutzen, insbesondere wenn Bediener durch Gesten oder visuelle Markierungen Aufgaben spezifizieren. Kurzfristig, etwa 1 bis 3 Jahre, sind Prototypen mit EMG-Armbändern oder externen Segmentierungssystemen denkbar. Für den breiten Einsatz müssen robuste, benutzerunabhängige Signale und visuelle Annotationen außerhalb der Simulation verfügbar sein, was eher in mehr als 3 Jahren realistisch erscheint.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.