Diffeomorphic Hidden-State Steering: 전문가 시연의 은닉상태 기하로 모방학습 로봇 정책의 강건성을 높이다

추가 시연도, 보상 신호도, 가중치 변경도 없이 원래의 전문가 시연만으로 학습된 모방학습 정책을 폐루프 실행에서 더 강건하게 만들 수 있는가.

관측이나 동작의 작은 오차가 모방학습 정책을 시연에 없던 상태로 밀어내고, 오차가 누적되면 작업이 실패한다. DAgger식 전문가 재라벨링, 복구 시연, 강화학습 미세조정 같은 기존 해법은 모두 원래 데이터 밖의 정보가 필요해 생산 현장에서는 비용이 크다.

기존 은닉상태 보정은 보정 모듈을 정책과 함께 학습하거나, 성공과 실패 실행에서 조향 필터를 맞추는 방식이었다. 전문가 은닉상태에 선형 필터(PCA)를 맞춰 분산이 작은 방향을 억제하는 단순한 방법도 있지만, 고정된 방향 하나로는 영역마다 방향이 바뀌는 구조를 따라가지 못한다. 지수가중이동평균 같은 동작 평활화는 떨림을 줄이지만 내부 상태를 바로잡지는 않는다.

DHS는 시연을 고정된 정책에 다시 통과시켜 한 층의 은닉상태를 모은다. 저자는 이 전문가 변동이 소수의 차원에 몰려 있지만(Square 과제에서 주성분 29개가 분산의 90% 설명) 군집마다 방향이 다르다는 점을 확인했다. 그래서 DHS는 이 은닉상태로부터 가역적인 비선형 좌표계(차트)를 학습한다. 실행 중에는 현재 은닉상태를 차트 좌표로 옮겨, 전문가 분산이 작은 좌표를 큰 좌표보다 더 강하게 줄이되 모든 좌표를 남긴 뒤 다시 원래 공간으로 되돌려 나머지 층이 동작을 만들게 한다. 조향 강도는 매개변수 하나로 조절한다.

Robomimic의 Square, Transport, Can과 MimicGen의 Coffee-D1에서 과제별로 같은 고정 BC-Transformer를 쓰고 조건당 300회(시드 3개 x 100회)를 돌린 결과, 잡음 환경 성공률은 Square 39.7%→51.7%, Transport 37.3%→41.0%, Can 55.3%→61.7%, Coffee-D1 67.0%→73.0%였다. 동작 평활화와 함께 쓰면 Square는 57.7%에서 61.7%로, Transport는 56.3%에서 62.0%로 올랐다. 같은 29개 좌표를 남길 때 학습된 차트는 잡음 환경에서 48.7%로 PCA의 21.7%를 크게 앞섰고, 512개 좌표를 모두 남기는 비교에서도 50.3% 대 44.0%였다. Square 실행 중 분산이 작은 부분의 중앙값 노름은 8.49에서 0.95로 줄었지만 분산이 큰 부분은 거의 변하지 않았다(코사인 유사도 0.9989). 조향 강도 0.1~1.0에서 성공률은 48.0~53.3%로 유지됐다.

모든 실험이 시뮬레이션이고, 저차원 상태 입력과 정책 구조 하나, 개입 층 하나에 한정된다. 잡음이 없을 때 Transport 성공률은 45.0%에서 36.0%로 떨어졌고, DHS에 평활화를 더하면 Can과 Coffee-D1의 잡음 성공률이 낮아져 과제별 강도 조정이 필요하다. 강도는 하이퍼파라미터 탐색으로 정했다. 상태가 시간에 따라 어떻게 변하는지는 모델링하지 않아, 전문가처럼 보여도 현재 작업 단계에는 틀린 상태가 있을 수 있다. 단독 저자 프리프린트이며 실기 검증은 없다.