ACCRUE：ロボット基盤モデル向けの継続オフポリシー強化学習

現場に導入したロボットが新しいタスクを順に覚える際、前のタスクで行った強化学習を次の学習の高速化に再利用し、習得済みの技能も失わずに済むか。土台のVLAや世界行動モデルが新しいデモで再学習され続ける条件でも成り立つかを問う。

VLAや世界行動モデル（WAM）などのロボット基盤モデルは汎用性が高いが、特定の工程では完璧ではなく、導入後の強化学習（RL）で差を埋める方法が使われる。ただしRLによる追加学習の多くは一つのタスクに対する一度きりの手順だ。新部品や派生機種が次々に入るセルでは、タスクごとにRLを最初からやり直し、ロボット時間を繰り返し費やすことになる。学習器を引き継げば忘却の恐れがあり、過去の全データを保持するコストはタスクが増えるほど膨らむ。

Simple RecipeなどVLA向けの継続RLはオンポリシーでモデルを更新するため常に新しい試行が必要で、新タスクへの転移効果は小さかった。RL TokenやEXPO-FTのように固定した基盤モデルに小さなactorとcriticを付けるオフポリシー手法はサンプル効率が高いが、単一タスク内に限られた。経験再生やEWCによる重み制約、パラメーター統合（RETAIN）といった従来の継続学習手法は、忘却が大きいか新規学習が遅かった。

ACCRUEは基盤モデルを提案役に据える。各段階でそれまでの全デモで微調整してから固定し、参照となる行動チャンクを出させる。軽量なactorがそれを補正し、criticが評価する。両者は既製の固定画像エンコーダー（シミュレーションではDINOv3）の特徴を入力とするため、基盤モデルを再学習しても入力表現は変わらない。2つのネットワークは初期化せずに次のタスクへ引き継ぐ。criticは新タスクのデータだけで学習する。少量の記憶では旧タスクの価値推定を正確に保てないためだ。代わりに完了したタスクごとに直近N件のエピソード（主実験で20〜100件）を残し、その入力上でactorが前段階のactorと同じ出力を出すよう蒸留して旧来の動作を守る。actorが基盤モデルの提案から離れすぎないよう罰則を設け、RLを局所的な補正にとどめる。

エヌビディアのIsaac LabのFORGEタスク（ピン挿入、ギアかみ合わせ、ナット締結）でGR00T N1.7を基盤モデルとしたシミュレーションでは、ACCRUEの最終正解率は0.917で、単純な逐次学習の0.685、経験再生の0.626を上回った。最終忘却は0.068で、それぞれ0.409、0.516より小さい。負の後方転移は0.065と、忘却が最も少なかった既存手法EWCの0.217を下回った。EWCは新タスクの習得が大きく劣った（前方転移0.593、ACCRUEは0.823）。5段階のAutoMateプラグ挿入系列では最終正解率0.863（経験再生0.779）、忘却0.054（0.176）だった。実機（DROID環境、Physical Intelligenceのπ0.5をタスクあたり遠隔操作デモ5〜10件で微調整）では、actorとcriticを引き継ぐことで成功率95%到達までのロボット時間が3段階のNISTボードと5段階のAutoMate系列を通じて段階ごとに31.0〜68.5%減った。過去のタスクはいずれも20試行中18回以上成功した。タスクあたり100〜200エピソード（再生バッファの約3%）の保持が最適で、10〜20件では不足し、200件は100件よりわずかに悪かった。

査読前のプレプリントである。著者らは系列が最大5段階で、記憶上限が総量ではなくタスク単位であり、全タスクが似通った接触の多い組立作業だと説明している。別機体や性質の大きく異なるタスクへの転移は今後の課題とした。実機では全面的な比較が難しく単一タスクRLとのみ比較し、成否は作業者が判定した。実機タスクが専用の3Dプリントグリッパーで部品を把持した状態から始まり、状態入力が関節位置だけで、把持や物体位置推定が問題から外れている点、比較対象がRLのやり直しであってRL自体が不要なほど強い基盤モデルではない点にも留意が必要だ。