サンクチュアリAIの「TIGER」、模倣方策を報酬信号に変え実機強化学習の安全停止をゼロに

カナダのサンクチュアリAIは2日、研究記事で「TIGER(効率的な強化学習のためのタスク空間模倣ガイダンス)」を公表した。模倣学習の方策が予測した動作のまとまりを実行せず、手先がまもなく達する短期の目標位置に変換することで、強化学習エージェントがエピソード終了時の成否だけでなく制御の各ステップで密な報酬を得られるようにする。

同社によると、報酬が疎な操作課題すべてで成功率50%に達するまでのステップ数が20〜57%減り、実機の最初の1000ステップで安全停止は比較手法の35〜38回に対し0回、静止したソケットしか示していない状態でも回転するソケットへの挿入に90%成功した。

結果は同社の自社発表で査読は経ていない。MEKAWIREの記録では、同社が金額を開示した直近の調達は2022年3月の5850万ドルのシリーズAだ。