UniIntervene++、実世界強化学習の介入を適応制御し成功率89.67%と人手介入0.77%を達成
arXivプレプリントである。UniIntervene++はオンライン強化学習中に自律実行と軌道修正およびCodePolicyの間で制御を割り当てる介入エージェントを学習する。5つの実世界操作タスクで平均成功率89.67%、人手介入率0.77%を達成し、最良ベースラインより成功率6ポイント高く、人手介入を相対94.6%削減した。
オンライン強化学習中にRL方策が改善するにつれて適応する統一的制御割り当て方策を介入エージェントが学習できるか、という問いである。
実世界オンラインRLでは報酬が疎で探索が非効率になるため人の介入が有効だが、既存の人間参加型RLは熟練操作者が訓練を継続的に監視し制御を割り当てる必要がある。また介入戦略がオフライン推定や固定ルールに基づく場合、学習中にRL方策の能力が変化すると現在の方策と不一致になる。
HIL-SERLは操作者による修正を利用するが、監視と介入タイミングを人が担う。AutoSERLは単一のデモンストレーションから軌道誘導と自動回復を行うが、タスク固有の失敗を十分解決できない場合がある。UniInterveneはオフラインで学習した価値ベースの回復方策を用いるが、介入モジュールがオンライン学習前に固定され、制御を返す判断が改善するRL方策に適応しない。
UniIntervene++は、進化するRL方策と軌道修正およびタスク構造化CodePolicyを単一の半マルコフ決定過程のOption集合として定式化し、Double DQNスケジューラがオンラインで相対価値を学習する。さらにAdaptive RL Probeが一定の非支援実行窓を確保してRL方策の現在の能力を直接評価し、支援から自律へ制御割り当てを漸進的に移行させる。Coupled Experience Learningでは支援経験をRL方策の学習に用い、その成果が介入判断を更新する。
実機UR7eアームとRobotiqグリッパで5つの操作タスクを評価した。各タスクで訓練後に20エピソードを3回実施し、UniIntervene++は平均成功率89.67%を達成した。最良ベースラインであるHIL-SERLとUniInterveneの83.67%より6ポイント高い。タスク別ではRing Transfer 88.33%、Tube Insertion 91.67%、USB Insertion 96.67%、Wipe Whiteboard 86.67%、Towel Folding 85.00%である。人手介入率は平均0.77%で、ベースライン最低のAutoSERL 14.29%から絶対13.52ポイント、相対94.6%削減した。Ring TransferではRL方策の制御割合が35.78%から90.51%へ増加し、支援の合計は64.22%から9.49%へ減少した。アブレーションではRing TransferでUniIntervene++が88.33%、固定事前確率スケジューラ75%、Trajectory Correction除去50%、CodePolicy除去0%、SERL 0%だった。Towel Foldingではそれぞれ85%、80%、47%、0%、0%だった。訓練には18,000から82,000ステップ、29から131分を要した。
著者らはAdaptive RL Probeの独立寄与を分離していないと述べている。アブレーションはOptionを除去すると実行支援とタスク方策への経験供給の両方が変化するシステムレベルの評価である。また、評価は単一のUR7eロボットによる5タスク、各60エピソードの成功率に限られ、統計的有意性や複数シードは報告されていない。実環境の安全性確保のため外部の人間による安全オーバーライドが残る。
産業用ロボットの操作スキル学習において、人手による監視と介入を大幅に減らせる可能性がある。自動車部品組立、電子部品挿入、変形物操作などの実世界タスクを扱うロボットインテグレータや製造企業が、オンラインで方策を改善する際の訓練コストと安全対応を低減できる。実用化にはより多様なロボットとタスクでの検証、安全性保証、統計的再現性の確認が先行する必要がある。時間軸としては1年から3年程度で、まず人による安全監視を残した半自律訓練の形で導入される可能性がある。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。