EF-GAIfO, 로봇 경험 기반 실행 가능성 추정으로 상태 시연 모방 성능 높인다

로봇과 체형 및 동역학이 다른 인간의 상태 궤적 시연에서 로봇이 실행 불가능한 전이를 로봇 자신의 경험만으로 가려내고, 이를 모방 학습에 반영해 정책 성능을 높일 수 있는가?

로봇 프리 시연 인터페이스는 상태 궤적만 제공하며 행동 레이블이 없어 Imitation from Observation을 사용하지만, 인간과 로봇의 체형 불일치로 시연된 상태 전이가 로봇에게 실행 불가능할 수 있다. 이런 시연을 그대로 사용하면 정책이 재현할 수 없는 동작을 따라 하게 되어 넘어지거나 작업 성능이 떨어질 수 있다. 기존 모델 기반 방법은 전신 동역학과 접촉, 균형 제약을 정확히 모델링하기 어렵다는 문제가 있다.

기존 연구는 GAIfO나 WGAIfO 같은 상태 전이 분포 매칭 방식으로 관찰만 있는 시연을 모방했고, 실행 가능성은 알려진 동역학 모델이나 학습된 동역학 모델로 평가하거나 별도의 사전 탐사 데이터를 사용했다. WGAIfO는 시연 품질 가중치를 도입했지만 체형 불일치에 따른 실행 가능성을 직접 다루지 못했고, 모델 기반 방식은 전신 접촉과 균형 조건을 정확히 반영하기 어려웠다.

EF-GAIfO는 GAIfO 정책이 온라인으로 수집한 로봇 경험 상태 전이를 이용해 변분 오토인코더 재구성 모델을 학습하고, 시연 전이의 재구성 오차를 0과 1 사이 실행 가능성 가중치로 변환한다. 이 가중치를 판별자 학습의 시연 로그우도에 곱해 실행 가능성이 낮은 전이의 영향을 줄인다. 임계값은 학습 중 시연 오차 분포의 백분위수 q를 점진적으로 높이며 갱신되므로, 초기에는 좁은 경험 영역만 높은 가중치를 주고 경험이 쌓이면 실행 가능 영역을 넓힌다. 별도의 동역학 모델이나 사전 탐사 데이터 없이 정책, 재구성 모델, 판별자를 함께 학습한다. 사족 로봇 실험에서는 사전 학습된 하위 보행 정책 위에 상위 정책을 PPO로 학습했다.

점질량 환경에서 EF-GAIfO는 multi-speed 설정 성공률 90.0±30.0%, multi-path 설정 성공률 100.0±0.0%를 기록했다. 같은 조건에서 GAIfO는 15.0±35.7%, 50.0±50.0%였고 WGAIfO는 20.0±44.7%, 20.0±41.0%였다. Hausdorff 거리는 EF-GAIfO가 multi-speed에서 0.884±1.72, multi-path에서 0.163±0.075로 가장 작았다. 각 방식은 20개 시드로 학습하고 시드당 10회 평가해 총 200회 시험했다. 사족 로봇 시뮬레이션에서는 목표 위치 1~3과 무작위 목표에서 EF-GAIfO가 83.6±9.2%, 88.0±5.7%, 84.8±10.0%, 85.8±7.4%를 달성해 GAIfO의 37.4±14.2%, 36.8±8.1%, 42.0±17.6%, 35.4±18.1%를 크게 앞섰다. 시뮬레이션은 정책당 100회, 5개 시드로 평가했다. 실물 Unitree Go2에서 EF-GAIfO는 목표 1~3과 무작위 목표에서 각각 70%, 70%, 80%, 80% 성공했고, GAIfO는 10%, 10%, 20%, 20%에 그쳤다. 실물 평가는 설정당 10회였다.

저자들은 EF-GAIfO의 실행 가능성 추정이 로봇의 체형과 운동학적 실행 가능성에 집중하며 지형, 장애물, 물체 배치, 접촉 조건 같은 환경 의존적 실행 가능성은 반영하지 못한다고 밝혔다. 실물 로봇 평가는 Unitree Go2 한 기종에서 설정당 10회로 적고, 대부분 평가가 시뮬레이션에서 이뤄졌다. arXiv 프리프린트로 동료 심사 여부가 확인되지 않았고, 코드 공개 여부와 연산 비용은 논문에 보고되지 않았다.