UniIntervene++: 실물 로봇 온라인 RL을 위한 적응형 개입 에이전트
이 논문은 실물 로봇 온라인 강화학습에서 자율 실행과 자동 보조 행동 사이의 제어를 학습하는 UniIntervene++를 제안한다. 다섯 가지 실물 조작 과제에서 평균 성공률 89.67%를 기록해 최고 기준 모델보다 6%포인트 높았고, 인간 개입률은 0.77%로 가장 낮은 기준 모델 대비 94.6% 줄었다. 아직 동료 심사를 거치지 않은 프리프린트이며, 개입 시점과 방식을 정책의 역량 변화에 맞춰 조정한다는 점에서 중요하다.
온라인 RL로 정책이 향상되는 동안 개입 에이전트가 자율 실행과 보조 실행 사이의 통합 제어 배분 정책을 적응적으로 학습할 수 있는가?
실물 로봇 온라인 강화학습은 물리적 상호작용으로 정책을 개선하지만 보상이 희소하고 탐색이 비효율적이며 실패 롤아웃이 로봇 시간을 소모한다. HIL-SERL 같은 인간 개입 방식은 숙련 작업자가 계속 모니터링하고 제어를 넘겨야 하며, AutoSERL과 UniIntervene 같은 자동화 방식은 오프라인 추정이나 고정 규칙에 의존해 정책 역량이 변하면 개입 강도와 시점이 맞지 않게 된다.
HIL-SERL은 사람의 수동 수정을 사용하고, AutoSERL은 단일 시연에서 궤적 안내와 사전 정의된 실패 영역 복구를 재사용하며, UniIntervene은 오프라인에서 학습한 목표 조건 복구 정책으로 지속적 가치 저하를 감지해 개입한다. 이들 자동화 방식은 개입 모듈을 대상 온라인 학습 전에 고정하거나 복귀 시점을 적응적으로 결정하지 못해, 초기에는 과도한 개입이 자율 실행을 제한하고 후반에는 불필요한 보조가 남거나 필요한 보조가 부족할 수 있다.
UniIntervene++는 RL 정책, 궤적 수정, CodePolicy를 하나의 semi-MDP 옵션 집합으로 두고 Double-DQN 스케줄러가 가용성 마스크와 최근 옵션 이력을 보고 상대 가치를 온라인으로 학습한다. 스케줄러 입력은 RL 정책의 동결된 시각 인코더 특징과 최근 완료 옵션 요약, 유효성 표시로 구성된다. Adaptive RL Probe는 주기적으로 비보조 RL 실행 구간을 배정해 기준 궤적 대비 투영 진행률과 이탈로 역량을 평가하고 통과 횟수에 따라 구간을 늘리거나 줄인다. Coupled Experience Learning은 보조 실행과 인간 오버라이드에서 나온 전이를 데모 버퍼에 추가해 RL 정책을 학습시키고, 그 결과가 다시 스케줄러의 개입 결정을 바꾸는 데이터 루프를 만든다.
실물 UR7e 로봇 한 대와 Robotiq 그리퍼로 Ring Transfer, Tube Insertion, USB Insertion, Wipe Whiteboard, Towel Folding 다섯 과제를 수행했다. 학습 후 과제당 20회씩 3회 반복 평가에서 UniIntervene++는 평균 성공률 89.67%로 HIL-SERL 83.67%, UniIntervene 83.67%, AutoSERL 73.67%보다 높았다. 과제별 성공률은 Ring Transfer 88.33%, Tube Insertion 91.67%, USB Insertion 96.67%, Wipe Whiteboard 86.67%, Towel Folding 85.00%였다. Wipe Whiteboard에서만 UniIntervene의 90.00%보다 3.33%포인트 낮았다. 평균 인간 개입률은 0.77%로 AutoSERL 14.29%, UniIntervene 18.84%, HIL-SERL 54.03%보다 낮았고, 인간 개입률이 가장 낮은 기준 모델인 AutoSERL 대비 94.6% 줄었다. Ring Transfer에서 RL 정책의 독립 평가 성공률이 0%에서 88.33%로 오르는 동안 RL 정책의 제어 점유율은 35.78%에서 90.51%로 높아졌다. 학습에 사용한 로봇 상호작용 스텝은 18,000에서 82,000스텝, 유효 학습 시간은 29에서 131분이었다. 제거 실험에서는 Ring Transfer와 Towel Folding에서 full이 각각 88.33%, 85%였고, 고정 확률 스케줄러는 75%, 80%, CodePolicy 제거는 0%, 0%, Trajectory Correction 제거는 50%, 47%, 무보조 SERL은 0%, 0%였다.
저자가 한계를 명시적으로 나열하지는 않았지만, 실험은 단일 UR7e 로봇과 5개 과제, 과제당 60회 평가로 제한됐다. 전체 개입률은 평균 56.04%로 여전히 절반 이상의 훈련 시간을 자동 보조가 차지한다. Adaptive RL Probe의 독립 기여는 제거 실험에서 분리되지 않았고, 궤적 수정과 CodePolicy가 동작하려면 작업 시연, 객체 자세 인식, 작업별 CodePolicy 타당성 검사가 필요하다. 학습에 필요한 계산 비용과 더 긴 훈련, 여러 로봇, 안전 인증에 대한 검증은 논문에 보고되지 않았다. 프리프린트이므로 동료 심사를 거친 연구보다 결과의 검증 강도가 낮다.
물류 피킹, 조립, 표면 작업 등 실물 로봇 학습에서 인간 감독 부담을 줄이고 정책 성공률을 높이는 데 쓸 수 있다. 특히 소량의 시연과 구조화된 보조 정책을 준비할 수 있는 고정 작업장에는 1~3년 안에 적용 가능성이 있다. 다만 상용 적용 전에 여러 로봇과 환경 변화에 대한 일반화, 안전 인증, 장시간 연속 학습 안정성, 개입 옵션의 자동 구성 비용을 검증해야 한다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.