FailBank、ランタイム安全フィードバックを自己進化に変換しVLAの成功率と安全性を同時改善
米ノートルダム大学の研究チームは、視覚言語行動モデル（VLA）の実行時安全フィードバックを永続的なポリシー改善に変換するFailBankを開発した。固定CBF教師による観測のみの収集、成果認識付き選別、蓄積型失敗バンク、ガード付きLoRA更新を組み合わせ、VLA-Arena静的障害物スイートで成功率向上とポリシー起因コスト低減を同時に達成した。本論文はプレプリントである。
実行時の安全フィードバックを学習記録に変換し、基盤となるVLAポリシーを永続的に改善できるか。
VLAは複雑環境でタスク達成と意図しない接触回避の両立が必要だが、AEGISに代表されるランタイムシールドは行動を逐次修正するだけで基盤ポリシーを変えない。そのためポリシーとシールドの不一致が繰り返され、特に難度の高いタスクで進行が妨げられタイムアウトに至る場合がある。
従来はCBFに基づくランタイムシールド（AEGISなど）や制約付き学習が用いられた。ただしシールドは実行時の行動を投影するだけであり、名目ポリシーが同じ誤りを生成し続けるため、介入が繰り返されるポリシー・シールド不一致を解消できず、成功率が大きく低下することがあった。
FailBankは4段階の自己進化ループを導入した。第1段階は観測のみのCBF教師がポリシーのロールアウト分布を変えずに対実測提案を収集。第2段階は成果認識付きの入場判定で有効な修正記録と成功した無修正行動（クワイエットアンカー）を重み付きで選別。第3段階で記録を失敗バンクに蓄積し、第4段階でベースチェックポイントから新しいLoRAアダプタを学習し、保持検証でのフロー損失と一次行動ドリフトが閾値内の場合のみ採用する。展開時はシールドや特権幾何情報を必要としない。
VLA-Arena静的障害物スイートのレベル1とレベル2、π0.5とπ0の2つのバックボーンで評価した。ベースポリシーと比較し、10タスク平均成功率はπ0.5で66.0%から74.5%へ8.5ポイント、π0で47.5%から54.4%へ6.9ポイント向上した。ポリシー起因コストはπ0.5で47.76から30.76へ35.6%、π0で10.62から8.09へ23.8%低減した。AEGISとの比較では平均成功率をπ0.5で25.4ポイント、π0で9.5ポイント上回り、ポリシー起因コストはAEGISの29.01および6.27に対し30.76および8.09と同程度だった。また成功率とコストの同時改善は10のタスク・バックボーン対のうちFailBankが8件、AEGISが3件だった。
著者らは、本手法が連続フローマッチング方策を対象とし、他の行動定式化には教師信号とガード目的の適応が必要であること、また静的障害物のみを扱い動的シーンには時間的予測と移動障害物向け補正が必要であると述べている。さらに評価はシミュレーションのVLA-Arenaベンチマークに限定され、実機実験は報告されていない。コードは公開されている。
一般用途VLAを安全制約のある実環境へ展開するロボット企業や系統メーカーが、実行時シールドに頼らずポリシー自体を継続改善する仕組みとして利用できる。特に倉庫ピッキングや家庭用ロボットなど、類似物体や保護対象物が混在する操作タスクで、タスク成功率と接触回避の同時改善が期待される。実機での安全性検証、動的障害物への拡張、多様なVLAバックボーンへの対応が整えば、1〜3年程度で商用システムへの組み込みが現実的になる。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。