접촉 풍부 조작을 위한 고유수용 반사 행동 학습

불완전한 상위 명령과 불확실한 접촉 기하에서 접촉력을 제한하면서 과제 성공을 유지하는 저수준 실행 계층을 학습할 수 있는가?

접촉 풍부 조작에서 상위 명령이 실제 물체 표면이나 구멍 위치와 정확히 일치하지 않으면, 기존 위치, 하이브리드 힘, 위치, 카테시안 임피던스 제어는 정해진 추종 목표, 강성, 힘 제어 방향이 국소 접촉 구속과 어긋나 과도한 힘이나 재밍을 일으킨다. 특히 고정밀 삽입은 위치 오차가 수십 μm인데 반해 구멍 위치 추정 오차가 수 mm에 달해 접촉을 통한 적응이 필요하다.

기존 연구는 FORGE처럼 힘 임계값 페널티로 RL 정책을 학습하거나, Zhi et al.의 힘 보상 위치 보상, Lee et al.의 상호작용 모드 명령을 사용했고, 고전적 임피던스, 어드미턴스, 하이브리드 제어가 널리 쓰였다. 그러나 이들은 작업 명령과 실행 계층을 분리하지 않거나 힘 센서, 기하 정보를 필요로 하고, 강성 튜닝이 자유공간 추종 정확도와 접촉 하중 사이의 상충을 해결하지 못했다.

저자들은 스프링(앵커로 당김), 평면(침투 시 반발), 레일(직선으로 복원)의 가상 힘 원시 요소를 무작위 샘플링하는 시뮬레이션에서 PPO로 고유수용 반사 정책을 학습했다. 정책은 25스텝(0.5초)의 관절 위치, 관절 목표 오차, 명령, 측정 엔드이펙터 포즈, 준수 모드 이력을 받아 관절 위치 잔차를 50Hz로 출력하며 힘 측정이나 원시 요소 파라미터는 관측하지 않는다. 보상은 FORGE의 초과 힘 페널티와 Zhi et al.의 힘 투영 위치 보상을 결합하고 이진 준수 모드 입력으로 접촉 허용 여부를 전달한다. 학습된 정책은 고정 실행 계층으로 상위 플래너, 학습 정책, 원격 조작 아래에 배치된다.

실물 듀얼암 상자 들기에서 반사 정책은 명령 침투 깊이 7.5~17.5cm 모두 성공했고 IK+PD는 17.5cm에서 발산했다. 하드웨어 평균 관절 위치 오차는 반사에서 12° 미만으로 유지됐고 시뮬레이션 손바닥 접촉력은 훈련 임계값 2N 이하로 유지됐다. 실물 0.02mm 공차 페그 삽입에서 반사 정책은 오프셋 0, 2, 5, 9mm에서 성공률 58%, 56%, 36%, 42%를 기록했고 IK+PD는 최대 22%였으며 5mm에서 모두 실패했다. 평균 추정 접촉력은 반사 6.33~7.63N로 IK+PD의 17.43~18.86N보다 절반 미만이었다. 0.1mm 공차에서도 반사는 0mm와 2mm에서 100%, 9mm에서 84% 성공했고 IK+PD는 96%에서 52%로 하락했다. 시뮬레이션 삽입(5개 시드, 조건당 1000회)에서 반사는 0.02mm 공차 74.8±4.6%, 0.1mm 93.1±2.8%, 1.0mm 99.0±0.3%였고, IK+PD는 각각 54.6±12.4%, 72.8±7.1%, 97.9±1.6%, Impedance는 10.4±4.3%, 39.7±9.9%, 90.0±2.2%였다. 표면 추종 시뮬레이션에서 반사는 평평한 표면 힘 p95 7.5N, 거친 표면 7.4N으로 Hybrid의 7.4N, 8.7N과 유사했고 거친 표면 접선 RMSE는 31.3mm 대 32.6mm였다.

저자들은 더 넓은 접촉 풍부 과제로의 일반화를 확인하지 못했고, 원시 요소가 병진 하중과 구속만 모델링해 회전 연성이 포함된 문 열기 같은 과제에는 적용할 수 없다고 밝혔다. 또한 정책이 준수 모드 입력에 의존해 모션 명령만 출력하는 상위 정책과의 통합을 복잡하게 만든다. 평가 측면에서 표면 추종은 시뮬레이션만 보고됐고 실물 평가는 두 과제와 조건당 50회 시행에 한정됐다. 상자 들기의 힘은 실측이 아닌 시뮬레이션 재생으로 추정했고 코드 공개 여부는 보고되지 않았다.