時空間ダイナミクスから社会的表現を学習するSTARS、グラフ自己教師ありでHRIデータ不足を克服

STARSは、空間情報と社会情報の統合推論を必要とするヒューマンロボットインタラクションにおいて、少量のラベル付きデータから再利用可能な社会的意味を獲得できるかを検証した。

社会対応ロボットには空間的経路計画と社会的文脈理解の同時推論が必要だが、既存モデルは空間推論か社会的推論のいずれかに偏り、両方を統合できない。HRIデータは収集コストが高く、センサモダリティやタスク、アノテーションが断片化しているため、大規模モデルをゼロから学習すると過学習しやすい。

従来は、LiDARや視覚を幾何学的表現に変換する空間基盤モデルと、テキストや視覚と言語を条件とする自己回帰モデルが別々に発展してきた。軌道予測に焦点を当てた時空間GNNは将来の空間配置の誤差最小化を学習するため、規範的行動や対人関係など社会的意味を再利用可能な形で捉えられない。基盤モデルは大規模統合データに依存するが、HRIには適用困難である。

STARSは、固定長のインタラクションシナリオをエージェントをノード、相対SE(2)姿勢と時間差分を含む時間的ペアワイズ特徴（次元8）をエッジとする完全時空間グラフに変換する。同種グラフと異種グラフの2つのアーキテクチャを用意し、異種版ではHEAT型の型付きエッジ注意機構を用いて人とロボットの関係を明示的に扱う。データセット依存の入力射影とエッジエンコーダを共有メッセージパッシングコアに接続し、自己教師ありVAEとしてエッジ系列と有効なノード属性を再構成する。凍結したノード潜在表現に線形プローブを適用し、タスクに応じてロボット潜在と平均人物潜在または個別人物潜在を連結する。

SEAN-Tの3つの知覚指標（competence, surprise, intention）とSocialNav-SUBの歩行者行動分類（avoid, follow, not considerのマクロF1）で評価した。10シード平均、早期停止を使用。SEAN-TではSTARS-Hoがcompetence 100%ラベルで0.799、surprise 0.741、intention 0.734を達成し、多くの設定でMLP、Autoencoder、Random Forestを上回った。SNSではSTARS-Heが全ラベル割合で最高で、1%で0.362、100%で0.503のマクロF1を記録した。非構造ベースラインは約0.3で頭打ちだった。同アーキテクチャの教師ありエンドツーエンドモデルは100%で0.445だった。クロスデータセット転移では、SEAN-Tのみで事前学習したSTARS-HeがSNSで0.497、SNSのみで事前学習した場合はSEAN-Tの各タスクで0.801、0.710、0.729だった。潜在空間の可視化ではavoidとfollowの行動意図がクラスタを形成した。

著者は、オートエンコーダとメッセージパッシングが高周波のペアワイズ幾何を平滑化するため、グループ検出のようなエッジ中心タスクには不向きと述べている。多様なデータセットの標準化がデータ固有のニュアンスを捨てる可能性も指摘している。評価は固定長ウィンドウと処理済みトラックを前提とし、VRベースのSEAN-TとSocialNav-SUBベンチマークのみで実施され、実機評価は論文では報告されていない。本論文は査読前のプレプリントである。