優先制約付き交差エントロピー法TierCEM、数値重み不要で競合制約の緩和順序を厳守

競合する制約が同時に満たせない場合、数値的重みに変換せずに制約の優先順位だけで、どの制約を緩和するかを決定できるか。

複数制約をスカラー化目的関数にまとめると、優先順位が数値的重み付きトレードオフに変わり、高優先度制約の違反を低優先度違反や目的改善で補償してしまう。安全性が優先されるべき場面でこの補償は許容されない。

従来は、制約ペナルティを重み付きで足し合わせるスカラー化CEMや、実行可能性を優先するConstrained Cross-Entropy（CCE）、階層二次計画法などが用いられた。これらは制約重要度を数値重みで表現するか、制約を一括して扱うため、重み校正が難しく、制約スケールや環境の変化に敏感である。

TierCEMは、各反復でサンプル候補を高優先度制約から順にフィルタリングし、空集合が発生した場合は直前の非空集合に戻ってブロッキング制約の違反が最小の候補をエリートとして選択する。全ての制約を満たす候補が存在する場合は最下位制約のマージン最大化でランク付けする。これにより重みを一切使わず、制約順序のみで緩和挙動を制御する。

2次元ナビゲーション（20シード、計画ホライズン8、1200サンプル、エリート24、10反復、4アクションコミット）では、TierCEMはtask_obstacle_laneで20/20がゴール到達、高優先度制約違反0、低優先度制約違反20、平均34ステップ、task_lane_obstacleでは20/20、0、20、32ステップだった。同じタスクでCCEは0/20到達で違反0、160ステップだった。ソフト制約CEM（λ=0.5）はtask_obstacle_laneで20/20到達、高優先度違反20、低優先度違反12だった。Push-Tの正確な状態評価では、TierCEM（task>obstacle>lane）は位置誤差20.63±16.17px、障害物違反0.5±1.5%、レーン違反64.8±34.3%であり、逆順では位置誤差22.34±12.23px、障害物違反44.0±15.9%、レーン違反10.3±9.8%だった。CCEは位置誤差21.29±18.13px、違反0.4±1.2%、0.2±1.1%で安全性優先だが、目標距離を広げるとx=360で位置誤差87.80±36.79pxまで増大した。学習済み世界モデル（DINO-WM）では、TierCEM task>obstacle>laneは位置誤差57.95±11.09px、障害物違反10.4±17.4%、レーン違反66.4±27.3%、逆順では45.32±7.63px、54.3±20.9%、3.2±7.7%だった。CCEは位置誤差105.11±17.54px、違反0.4±1.2%、1.6±3.1%だった。いずれも20エピソードの平均±標準偏差である。

著者は、TierCEMの性能が学習済みダイナミクスと制約モデルの精度に依存し、安全criticalな応用には追加の安全保証が必要と述べている。実機ロボットでの評価は行われておらず、シミュレーションのみである。コード公開の有無や計算コストについては論文では報告されていない。