STARS, 시공간 그래프 오토인코더로 사회적 내비게이션 표현을 학습하다

저자들은 물리적 시공간 역학만으로 재사용 가능한 사회적 상호작용 표현을 학습하고, 그 표현이 적은 라벨로도 하위 사회적 내비게이션 과제에 적응할 수 있는지 답하려 했다.

사회적으로 유능한 로봇은 공간 지식과 사회적 지식을 함께 추론해야 한다. 기존 모델은 공간 추론이나 사회적 추론 한쪽에 치우치며, HRI 데이터는 수집 비용이 크고 데이터셋이 작고 센서와 과제가 파편화되어 대규모 비정형 모델을 처음부터 훈련하면 과적합하기 쉽다.

기존 궤적 예측 중심 GNN은 미래 공간 변위 오차를 최소화하도록 학습되어 재사용 가능한 사회적 의미보다 미래 위치를 반영한다. 파운데이션 모델과 월드 모델은 대규모 통합 데이터에 의존해 HRI 데이터 부족에서 일반화에 실패한다. 논문에서 비교한 MLP, 오토인코더, 랜덤 포레스트 같은 비정형 기준은 관계 신호를 추출하지 못해 SNS 행동 분류에서 macro F1 약 0.3에 머물렀다.

STARS는 상호작용 시나리오를 고정 길이 다중 에이전트 시공간 그래프로 변환한다. 에이전트를 노드로 두고 시간에 따른 쌍별 상대 SE(2) 포즈와 그 델타를 포함한 엣지 특징을 구성하며, 완전 그래프를 사용해 모든 관측된 에이전트 간 상호작용을 포착한다. 메시지 패싱 GNN 오토인코더가 엣지와 노드 특징을 재구성하는 자기지도 학습으로 물리 동역학을 노드별 잠재 표현으로 압축한다. 동종(STARS-Ho)과 이종(STARS-He) 변형을 도입했고, 이종은 로봇-사람, 사람-사람 등 엣지 타입 임베딩을 추가한다. 사전학습 후 인코더를 동결하고 하위 과제에 맞는 노드 잠재 벡터를 선택 또는 평균 집계한 뒤 선형 프로브만 훈련한다.

SEAN-T의 세 가지 주관 인식 과제에서 STARS-Ho는 100% 라벨 기준 competence 0.799±0.02, surprise 0.741±0.03, intention 0.734±0.02의 F1을 기록해 비교 모델 중 가장 높았다. STARS-He도 competence 0.794±0.02, surprise 0.709±0.04, intention 0.721±0.03으로 경쟁적이었다. SNS 행동 분류 macro F1에서 STARS-He는 라벨 1%일 때 0.362±0.06, 100%일 때 0.503±0.02를 기록해 MLP(100% 0.293±0.00), 오토인코더(100% 0.332±0.01), STARS-Ho(100% 0.475±0.02)를 앞섰다. 같은 이종 그래프 구조를 지도학습으로 처음부터 훈련한 모델은 100% 라벨에서 0.445를 얻어 STARS-He보다 낮았다. 교차 데이터셋 전이 실험에서 STARS-He를 SEAN-T로만 사전학습했을 때 SNS macro F1은 0.497로 공동 사전학습 0.503에 근접했고, SNS만으로 사전학습했을 때 SEAN-T competence, surprise, intention은 0.801, 0.710, 0.729로 공동 사전학습 0.794, 0.709, 0.721과 비슷했다. 모든 수치는 10개 무작위 시드 평균이며, 동결된 사전학습 표현에 선형 프로브만 얹은 평가다. 잠재 공간 분석에서는 SNS의 avoid와 follow 행동 라벨로 PCA와 t-SNE 투영에서 뚜렷한 군집이 나타나, 지도 행동 분류 목표 없이도 사회적 의미가 인코딩됨을 보였다.

저자들은 그래프 오토인코더와 메시지 패싱이 고주파 쌍별 기하 정보를 평활화해 그룹 감지 같은 엣지 중심 과제에는 부적합하다고 밝혔다. 데이터셋을 통일 그래프로 표준화하면 데이터셋 고유의 뉘앙스가 유실될 수 있다. 평가는 고정 길이 상호작용 창과 정제된 에이전트 트랙, 선별된 두 데이터셋에 국한됐고 온라인 분할, 노이즈 있는 인지, 더 다양한 실세계 환경은 검증되지 않았다. 실물 로봇 실험은 보고되지 않았으며, 코드는 공개됐지만 동료 심사를 거친 게재 여부는 확인되지 않은 프리프린트다.