VAPS：継続・中止・転倒を選択するヒューマノイド安全制御
本論文はプレプリントである。ヒューマノイドのアクロバット動作中に基準軌道から外れた際、名目追従、足からの着地を狙う中止、頭部と手を守る保護転倒の3方針から、短い将来の生存可能性を予測して最も野心的で生存可能な方針を選ぶVAPSを提案した。シミュレーションではUnitree G1とLimX Oliで頭部接触と手部接触を大幅に低減し、実機LimX Oliでもサイドフリップで検証した。
動的なヒューマノイド動作中に、外乱やsim-to-realギャップで基準軌道から外れたとき、ハードウェア損傷を最小化するため、どの時点でどの回復方針へ切り替えるべきか。
人間型ロボットのアクロバット動作は基準追従ポリシーで学習されるが、一度基準から外れると回復手段がなく、既存の安全機構は名目ポリシーと単一のバックアップの二値切替しか提供しない。動作が1〜2秒と短く、逸脱の程度に応じて制御された着地か保護転倒かを選ぶ粒度が欠けており、中間状態では過剰な転倒や損傷が生じる。
従来は基準追従ポリシーと単一の保護転倒ポリシーまたは安全シールドを組み合わせ、転倒予測器や制御バリア関数で切替を判定していた。SafeFallなどは最終転倒を予測するが、1つの安全値しか計算せず、制御された中止が可能かどうか判定できない。また、単一ネットワークに実行と回復を統合する試みも、いつタスクを放棄するかの切替判断を学習できない。
VAPSは名目追従、中止（abort）、保護転倒（protect）の3つの専門ポリシーを訓練する。中止ポリシーは両足で立つ制御着地を、保護転倒ポリシーは頭部と手の接触力・関節負荷を最小化する。各制御ステップで、名目ポリシーと中止ポリシーについて、直近Nステップの観測履歴から今後Hステップ以内に非足部接触が起きない確率を割引交差エントロピーで学習した予測器が推定する。最も犠牲の少ない、すなわちタスク野心が高く生存可能なポリシーを選択する。切替は不可逆で、中止が失敗しそうなら保護転倒へエスカレーションする。訓練データは凍結した名目ポリシーを乱数外乱下でロールアウトした切替状態から反実仮想ロールアウトで生成する。
Unitree G1のフロントフリップのシミュレーション（5シード、ランダム外乱）では、名目のみが成功率62.1%で頭部接触27.7%、手部接触36.6%だったのに対し、VAPSフル階層は成功率59.6%を維持しつつ頭部接触1.6%、手部接触8.8%に低減した。LimX Oliのサイドフリップでは、名目のみ成功率80.7%、頭部接触15.5%、手部接触19.3%に対し、VAPSフル階層は成功率79.2%、頭部接触1.1%、手部接触4.8%だった。単一ネットワーク代替（エンドツーエンドRL、蒸留学生、DAgger）と比較し、VAPSは成功率と頭部接触のパレートフロンティアで優越した。実機LimX Oliでは、サイドフリップ13試行で予測器が全て正しく判定し平均予告時間0.544秒、個別ポリシー試験で中止が19試行中17回成功、保護転倒が16試行中12回で頭部と手を保護、フル階層は18試行中15回で選択した専門家が目的を達成した。
著者は、実機での予測器評価13試行では偽陽性率の上限を緩くしか拘束できないと述べている。閾値は経験的に選択され、評価はフロントフリップとサイドフリップに限定されている。論文ではコード公開の有無は報告されていない。計算負荷は1制御周期の1.45%と小さいが、複数ポリシーと予測器の維持が必要である。
ヒューマノイドロボットでアクロバットや高速動作を商用デモ・開発に展開する企業が、開発中のポリシーや外部外乱からハードウェアを保護するために利用できる。現在は、既存の基準追従コントローラにバックアップポリシーと予測器を追加する形で、実機デモの安全性向上に寄与する。今後1〜3年で、走行や跳躍など他の動的タスクへ拡張できれば、転倒時の損傷コスト低減と安全な動作範囲の拡大が期待される。ただし、タスクごとに中止・保護転倒ポリシーと予測器の再訓練、および実機での十分な検証が必要である。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。