Ego4WAM: 인간 중심 시점 데이터 확장에서 정렬, 과제 다양성, 지도 방식의 역할을 분해하다

로봇 학습을 위해 인간 중심 시점 데이터를 확장할 때 어떤 데이터 속성과 사용 전략이 실제 다운스트림 로봇 성능을 가장 크게 좌우하는가?

인간 중심 시점 데이터는 정렬 수준, 행동 범위, 감독 신호가 천차만별인데, 기존 확장 연구는 전체 데이터 지속 시간만으로 규모를 요약하고 개방 루프 인간 행동 예측 오차로 평가해 어떤 속성이 로봇 성능 향상을 일으키는지 알기 어렵다. 또 신뢰할 수 있는 손 자세, 카메라 궤적 주석은 비용과 품질 문제로 대규모 확보가 어렵다.

기존 연구는 EgoScale, Dyna-2, OpenWAM 등 대규모 인간 중심 시점 데이터를 사전학습에 섞어 유리한 확장 추세를 보고했지만, 정렬, 다양성, 감독, 사용 시점을 분리하지 않고 지속 시간과 개방 루프 지표에 집중했다. 일부는 손-손목 리타게팅이나 시점 변환으로 인간 경험을 로봇 도메인으로 변환했지만, 카메라 추적과 손 재구성 오류가 신뢰도를 제한했다.

고정된 WAM 백본과 32차원 양손 통합 행동 공간을 유지한 채, egocentric 데이터를 로봇 정렬 시연(EgoAlign), 품질 관리된 비디오-행동 데이터, 비디오 전용 데이터의 피라미드로 나누고 사전학습(비디오 세계 모델), mid-training(행동 포함), post-training(로봇 적응) 단계로 사용했다. 또한 행동 토큰이 예측된 미래 시각 표현을 참조하는 joint shared-attention을 도입하고, 실물 Piper 양팔 로봇과 RoboDojo 폐쇄 루프 평가로 성능을 측정했다.

실물 로봇 평가에서 Place into the Basket는 로봇 전용 정책이 ID 60% 성공, object-OOD 10%, scene-OOD 0%였으나 객체 OOD 인간 시연 추가로 object-OOD가 60%로, 장면 OOD 인간 시연 추가로 scene-OOD가 20%로 올랐다. Fold Cloth에서 로봇 시연을 300개에서 100개로 줄이면 성능이 크게 떨어졌지만 인간 시연 500개를 더하면 ID 80%, object-OOD 60%, scene-OOD 80%를 회복했고, 로봇 시연 20개만으로는 인간 시연만으로 회복되지 않았다. 다중 과제 mid-training을 거친 뒤에는 같은 20개 로봇 시연과 정렬 인간 시연으로 ID 80%, object-OOD 80%, scene-OOD 60%를 달성했다. RoboDojo에서 500개 과제를 고정하고 기간을 1K→4K 시간으로 늘리면 Generalization 5.0→7.8, Long-Horizon 12.0→16.2로 개선됐고, 과제 다양성을 500→6K로 늘리면 Generalization 5.0→7.0, Long-Horizon 12.0→16.2로 개선됐지만 Precision은 감소했다. 비디오 전용 사전학습은 행동 지도 없이 평균 점수 6.39/성공률 3.15%를 14.13/9.45%로 올렸고, 비디오-행동 mid-training을 더하면 15.04/10.78%가 됐다. 비디오 사전학습 후 joint attention을 적용하면 평균 20.29/성공률 14.35%에 도달했으며, 이는 0.1K 로봇 데이터와 15K egocentric 데이터를 사용한 결과다.

저자들은 인간 데이터가 로봇 데이터를 완전히 대체하지 못하며, 로봇 시연이 20개로 줄면 정렬 인간 시연만으로는 충분하지 않다고 밝혔다. 또 기간 확장과 과제 다양성 확장은 능력별로 다르게 작용해 장기 미충족 과제에서 Precision이 떨어질 수 있고, 비디오 사전학습과 mid-training 비교는 계산량을 맞춘 비교가 아니라고 언급했다. 모델은 장기 기억과 개방형 지시 수행을 목표로 하지 않아 RoboDojo Memory와 Open 지표가 낮았고(예: Open 평균 0.55/0.50), 코드와 체크포인트 공개는 논문에 예고만 되어 있을 뿐 실제 공개 여부는 확인되지 않았다. 실물 로봇 평가는 단일 Piper 양팔 로봇과 일부 조작 과제로 제한됐다.