MiNI-Q, T^8 자세 조건화 정책으로 270g 연속회전 쿼드루페드의 정립, 도립 보행과 낙하 복구 통합
UCLA RoMeLa 연구진은 관절이 360도 연속 회전하는 270g 쿼드루페드 MiNI-Q에서 정립 보행, 도립 보행, 낙하 후 복귀, 교체형 발 형상 전이를 하나의 강화학습 정책으로 수행했다고 밝혔다. 이 연구는 arXiv 프리프린트로 공개됐으며, 128×128 MLP 정책이 ESP32 듀얼 마이크로컨트롤러에서 50Hz로 완전 온보드 실행됐다. 실물 실험에서 전진 속도 RMSE가 정립 0.037±0.004m/s, 도립 0.050±0.003m/s였고, 30회 낙하 시험 중 24회(80%) 안정 보행에 복귀했다.
연속회전 관절을 가진 초경량 쿼드루페드에서 하나의 학습된 제어기가 정립, 도립 보행과 낙하 복구, 다양한 발 형상까지 다룰 수 있는가?
기존 학습 보행은 상용 쿼드루페드에서는 일반적이지만 1kg 미만 플랫폼에서는 드물다. MiNI-Q의 8개 관절은 기계적 스톱이 없어 각 관절이 원 S^1 위에 있고 전체 관절 공간이 T^8 토러스가 된다. 표준 관측은 ±π 불연속에서 깨지고, 1g 하단 링크, 벨트 백래시, 위치 명령만 받는 서보, 듀얼 마이크로컨트롤러 임베디드 환경, 교체형 발 형상 편차가 실물 전이를 어렵게 한다.
기존에는 MiNI-Q의 도립 이동이 사전 계산 궤적으로 시연됐고, Q8bot, Stanford Pupper 등은 유계 회전 관절을 사용했다. 상용 사족 보행 연구는 상태 머신이나 복구 전용 제어기를 쓰거나, 사전 계산 또는 오프보드 정책 실행에 머무는 경우가 많았다. 유계 관절 플랫폼은 도립 자세나 중간 자세를 관절 한계 때문에 표현할 수 없었다.
연구진은 자세 참조 θ^p를 T^8 위 연속 명령으로 두고, 다리 대칭 변환 I(a,b)=(π-a,-b)를 투영 중력 부호에 따라 적용해 정립과 도립 참조를 하나의 인터페이스로 연결했다. 관측에는 각 관절을 (sinθ, cosθ)로 임베딩해 ±π 불연속을 제거하고, 3프레임 조인트 오프셋, 투영 중력 이력을 넣었다. 자세 보간과 낙하 높이를 단계적으로 넓히는 커리큘럼, 발 형상 무작위화, 식별된 서보 동역학, Isaac Gym 훈련 후 MuJoCo, Isaac Lab 교차 검증을 사용했다. 정책은 [128,128] ELU MLP로, ESP32-S3에서 추론하고 ESP32-C3가 IMU와 Dynamixel 버스를 담당한다.
실물 MiNI-Q 1대에서 같은 체크포인트로 시험했다. 0.15m/s 전진 속도 명령에서 RMSE는 정립 0.037±0.004m/s, 도립 0.050±0.003m/s(방향별 N=5)였다. 25초 자세 전환 시험에서 평균 전진 속도 RMSE 약 0.04m/s였고, ANYmal, Nose-down, Nose-up, Crouch, Q8bot 참조를 오가며 보행을 유지했다. 20~30cm 높이 낙하 복구는 30회 중 24회(80%) 성공했고, 조건별 성공률은 67~100%였다. 교체형 발 4종(훈련에 있는 Rounded와 미학습 Hex, Square, Spike)을 MDF, 폴리카보네이트, 터프, 고무 4개 표면에서 시험한 16개 조합 모두 걸었고, 미학습 형상 12개 셀의 RMSE는 중앙값 0.087m/s, 범위 0.055~0.136m/s였다. 서보 식별 모델은 공칭 PD 기준 0.49rad RMSE를 고관절 0.029rad, 무릎 0.025rad로 낮췄고, 별도 XL330에서 0.019rad였다. 온보드 추론은 594.33µs로 20ms 주기의 약 3%였고, RAM 150.3kB, 플래시 846.7kB였다. 시뮬레이션 절제에서 중력 조건 참조를 빼면 도립 속도 추적 달성 비율이 1.00에서 0.02로, 주기 인코딩을 빼면 0.21로 떨어졌고, 낙하 커리큘럼을 빼면 복구 시간이 6.9초에서 9.7초로 늘었다.
저자들은 단일 조립체, 4개 실내 표면, 선정된 자세, 20~30cm 낙하만 평가했고, 기체 간 편차, 실외 지형, 큰 초기 각속도는 확인하지 않았다고 밝혔다. 낙하 실패 6건에는 액추에이터 과전류 차단, 배터리 접점 이탈, 벨트 톱니 미끄러짐이 포함됐다. 절제 실험은 변형당 1회 훈련만 해 종자 변동성을 정량하지 못했고, 발 형상 무작위화의 이득을 분리할 동일 구형 발 정책 비교는 없었다. 연속 인코딩이 일반적으로 필요한지는 불연속 자세 변형 실험만으로는 단정할 수 없다. 코드 공개 여부는 논문에 보고되지 않았다.
교육용, 연구용 초소형 쿼드루페드와 모듈형 데스크톱 로봇 플랫폼에 바로 적용 가능한 요소다. 완전 온보드 50Hz 임베디드 추론은 저비용 마이크로컨트롤러에서도 실시간 학습 제어가 가능함을 보여 소형 로봇의 자세 복구와 다중 로봇 협업 자세 선택으로 확장할 수 있다. 다만 상용 제품화에는 액추에이터 충격 내성, 배터리 접점, 벨트 정렬 같은 신뢰성 문제와 기체 간 편차, 실외 검증이 먼저 필요하며, 1~3년 내 연구용 플랫폼 단위에서 확산될 가능성이 높다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.