STARS: Selbstüberwachte spatiotemporale Graphrepräsentationen für soziale Navigation
STARS ist ein Preprint der University of Texas at Austin, das multimodale Interaktionsszenarien in spatiotemporale Graphen überführt und mit einem selbstüberwachten Graph-Autoencoder komprimiert. Auf den Benchmarks SEAN Together und SocialNav-SUB erzielen die eingefrorenen Repräsentationen mit linearen Sonden konkurrenzfähige Ergebnisse und sind besonders dateneffizient: Bei der Fußgängeraktionsklassifikation erreicht STARS-He mit 1 Prozent der Labels einen Makro-F1 von 0,362 gegenüber 0,294 beim MLP und 0,308 beim Autoencoder. Die Arbeit zeigt, dass relationale Strukturpräferenzen die Knappheit von HRI-Daten teilweise ausgleichen können.
Können selbstüberwachte, relationale Repräsentationen aus kurzen spatiotemporalen Interaktionsfenstern soziale Semantik für nachgelagerte Aufgaben wie Wahrnehmungsvorhersage und Aktionsklassifikation dateneffizient bereitstellen?
Bestehende Systeme beherrschen entweder räumliches oder soziales Schlussfolgern, scheitern aber an der gemeinsamen Verarbeitung kontinuierlicher räumlicher Dynamik und sozialer Kontexte; Foundation-Modelle benötigen große, einheitliche Datensätze, während HRI-Daten klein, fragmentiert und annotationsarm sind.
Bisherige Ansätze setzen auf Trajektorienprognose mit räumlichen Displacement-Fehlern, auf Graph-Neuronale-Netze für Menschenmengen oder auf Foundation- und Weltmodelle mit massiven Datensätzen. Trajektorienmodelle optimieren zukünftige Positionen statt wiederverwendbare soziale Semantik, und unstrukturierte große Modelle überanpassen bei kleinen HRI-Datensätzen.
STARS überführt feste Interaktionsfenster in vollständige, kantenmerkmalsdichte spatiotemporale Graphen mit Agenten als Knoten und zeitlichen relativen SE(2)-Posen als Kanten. Ein geteilter Message-Passing-Graph-Encoder mit typisierten Kantenembedding projiziert heterogene Datensätze in einen gemeinsamen latenten Raum; ein VAE-artiges Rekonstruktionsziel für Knoten- und Kantenmerkmale wird selbstüberwacht vortrainiert. Nachgelagerte Aufgaben nutzen eingefrorene Knoten-Latents und eine lineare Sonde. STARS wird als homogene und heterogene Variante instanziiert.
Auf SEAN Together erreicht STARS-Ho bei 100 Prozent der Trainingslabels F1-Werte von 0,799 für Kompetenz, 0,741 für Überraschung und 0,734 für Absicht; STARS-He erreicht 0,794, 0,709 und 0,721. Die unstrukturierten Baselines MLP, Autoencoder und Random Forest liegen bei Kompetenz bei 0,797, 0,742 und 0,718; beim Überraschungswert erreicht der Autoencoder 0,739. Auf SocialNav-SUB liefert STARS-He mit 100 Prozent ein Makro-F1 von 0,503, STARS-Ho 0,475, der Autoencoder 0,332 und der MLP 0,293. Mit nur 1 Prozent der Labels erreicht STARS-He 0,362 gegenüber 0,294 beim MLP und 0,308 beim Autoencoder. Ein end-to-end überwachter heterogener Graph erreicht 0,445. Beim Cross-Dataset-Transfer erreicht STARS-He nur auf SEAN-T vortrainiert auf SNS 0,497 statt 0,503 bei gemeinsamem Vortraining; nur auf SNS vortrainiert erreicht es auf SEAN-T 0,801, 0,710 und 0,729 gegenüber 0,794, 0,709 und 0,721 bei gemeinsamem Vortraining. Alle Ergebnisse sind Mittelwerte über 10 Seeds.
Die Autoren nennen, dass Autoencoder und Message Passing hochfrequente paarweise Geometrien glätten und die Latents daher für kantenbezogene Aufgaben wie Gruppenerkennung weniger geeignet sind. Die Vereinheitlichung heterogener Datensätze in gemeinsame Graphen kann datensatzspezifische Nuancen verwerfen. Die Evaluation setzt feste Interaktionsfenster, verarbeitete Agententracks und kuratierte Datensätze voraus; Online-Segmentierung, verrauschte Wahrnehmung und reale Diversität sind im Paper nicht evaluiert. Kein Peer-Review, da Preprint.
Für Anbieter von Servicerobotern, Lager- und Lieferrobotern sowie autonome mobile Roboter in belebten Umgebungen könnte STARS als vortrainierte Repräsentationsschicht soziale Navigation dateneffizient verbessern. Kurzfristig sind lineare Sonden auf vorhandenen Benchmarks möglich; ein produktiver Einsatz in realen Flotten erfordert vorher Validierung mit Online-Wahrnehmung, verrauschten Tracks und mehreren Roboterplattformen. Ein realistischer Zeitraum ist ein bis drei Jahre, sobald reale HRI-Datensätze mit konsistenten Graph-Schemata verfügbar sind.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.