TierCEM, 우선순위 제약을 반영한 크로스엔트로피 최적화

서로 충돌하는 제약이 있을 때, 가중치를 쓰지 않고 사전에 정한 우선순위에 따라 어떤 제약을 보존하고 어떤 제약을 완화할지를 결정하는 샘플링 기반 최적화 방법을 만들 수 있는가?

제약들이 충돌할 때 스칼라화된 목적함수는 우선순위를 수치적 가중치 교환으로 바꾼다. 이 방식은 하위 제약 위반을 줄이거나 과제 점수를 올리는 대가로 상위 제약을 희생할 수 있다. 가중치를 우선순위에 맞게 조정하려면 제약 간 척도와 도달 가능한 값을 모두 고려해야 해서 보정에 민감하다. 실행 가능성 우선 방식인 Constrained Cross-Entropy(CCE)는 과제 완수를 포기하고 제약 만족만 고수할 수 있으며, 충돌 시 어떤 제약을 완화할지 지정하지 못한다.

기존 스칼라화 CEM은 Soft-Constraint CEM과 Hierarchical Scalarized CEM처럼 과제 점수와 제약 위반 페널티를 가중합해 후보 순위를 매긴다. 가중치가 공유되거나 개별적으로 조정되더라도 상위 제약 위반이 하위 제약 위반 감소나 과제 개선으로 상쇄될 수 있다. CCE는 실행 가능성과 과제 최적화를 분리하지만 제약을 묶어서 평가하기 때문에 충돌이 생겼을 때 우선순위에 따라 완화할 제약을 고르지 못한다.

TierCEM은 각 CEM 반복에서 샘플링한 후보를 우선순위가 가장 높은 제약부터 순차적으로 필터링한다. 어떤 단계에서 후보가 모두 사라지면 직전의 비어 있지 않은 집합으로 돌아가 해당 차단 제약의 위반이 가장 작은 후보를 엘리트로 선택한다. 모든 필터를 통과하면 최하위 제약의 경계까지 거리가 가장 큰 후보를 엘리트로 삼는다. 이렇게 선택된 엘리트로 표준 CEM 방식에 따라 가우시안 분포를 갱신한다. 제약별 중요도 가중치 없이 우선순위 순서만으로 완화 동작이 결정된다.

2D 내비게이션에서 TierCEM은 task_obstacle_lane과 task_lane_obstacle 설정 모두 20개 시드 중 20번 목표에 도달했고, 상위 우선순위 제약 위반은 0건, 하위 우선순위 제약 위반은 20건이었다. CCE는 두 설정 모두 0/20 도달, 위반 0건, 평균 160스텝을 기록했다. Push-T 시뮬레이션 20개 시드 평균에서 TierCEM의 task≻obstacle≻lane은 위치 오차 20.63±16.17픽셀, 장애물 위반율 0.5±1.5%, 차선 위반율 64.8±34.3%였다. task≻lane≻obstacle은 위치 오차 22.34±12.23픽셀, 장애물 위반율 44.0±15.9%, 차선 위반율 10.3±9.8%였다. CCE는 위치 오차 21.29±18.13픽셀, 장애물 위반율 0.4±1.2%, 차선 위반율 0.2±1.1%였다. DINO-WM 잠재 표현을 사용한 Push-T 20개 에피소드에서 TierCEM task≻obstacle≻lane은 위치 오차 57.95±11.09픽셀, 장애물 위반율 10.4±17.4%, 차선 위반율 66.4±27.3%였다. task≻lane≻obstacle은 위치 오차 45.32±7.63픽셀, 장애물 위반율 54.3±20.9%, 차선 위반율 3.2±7.7%였다. CCE는 위치 오차 105.11±17.54픽셀, 장애물 위반율 0.4±1.2%, 차선 위반율 1.6±3.1%였다.

저자들은 TierCEM의 성능이 학습된 동역학 모델과 제약 모델의 정확도에 의존하며, 안전 필수 응용에는 추가 안전 보장이 필요하다고 밝혔다. 실험은 2D 내비게이션과 Push-T 시뮬레이션에서 20개 시드 또는 에피소드로 수행됐고, 실물 로봇 검증은 보고되지 않았다. 코드 공개 여부도 논문에 보고되지 않았다.