Value as Memory：汎用ロボット方策のオンライン価値誘導型ポストトレーニング

方策自身の進捗推定を学習用スコアとしてだけでなく実行時の入力に使えば、見た目は同じでも必要な動作が違う状態を見分けられるか。実機でのオンライン強化学習は大型VLA方策のポストトレーニングを速く、データ効率よくできるか。

汎用ロボット方策は導入後、自らの試行と人による修正のデータで再調整される。障害は二つある。1枚のカメラ画像では作業の進み具合が分かりにくく、半分たたんだシャツとほぼたたみ終えたシャツは似て見えても次の動作は異なる。また実環境のポストトレーニングは収集、停止、再学習、再配備を繰り返すバッチ方式が多く、新たな失敗のフィードバックが遅れ、1回の改善コストも高い。

Physical IntelligenceのRECAP（pi0.6*に使われた手法）は、デモ、実行記録、人の介入から価値関数を学び、動作の良し悪しをラベル付けして優位条件付き学習に使う。価値推定は学習データの加工にとどまり、実行時の方策には渡されず、価値モデルの更新もオフライン学習の合間に限られる。

VaM（Value as Memory）は「価値キャッシュ」を加える。別の価値モデルが出した直近の進捗予測を画像や関節状態と一緒に行動モデルへ入力し、進捗が上がっているか、止まっているか、下がっているかを方策に知らせる。学習はデモによる初期化、オフライン強化学習のウォームアップ、人の修正を伴うオンラインDAgger、成功信号だけを報酬にする自律学習の4段階で、データ収集と価値学習、方策学習を並行して回す。行動モデルはPhysical Intelligenceが公開したpi0.5（20億パラメータのPaliGemma基盤と3億パラメータの行動Transformer）を初期値とする。

実機1台での箱の組み立て、洗濯物たたみ、磁石式おもちゃバスの組み立てで、VaMの最終3チェックポイントの成功率は96.7%、88.9%、76.7%だった。価値キャッシュなしの同じパイプラインは81.7%、48.9%、43.3%、RECAPは71.7%、64.4%、43.3%。予算をそろえたオフライン強化学習と比べ、オンライン学習は平均32.8ポイント高く、勾配1ステップ当たりの実時間は57.8%短縮した。箱の組み立てでは同じ勾配予算で方策更新16回（オフラインは2回）。推論時に古い価値モデルへ差し替えると3タスクとも成功率が下がった。

著者は、実際の進捗を正確に追う価値モデルが前提のためオフラインのウォームアップが欠かせないこと、実験がロボット1台に限られ複数台での効果は未検証であることを認めている。加えて、タスクが3種で評価回数も少なくばらつきが大きい（キャッシュなしの洗濯物たたみは±30ポイント）、自律段階の前は人の介入が必要、コードは公開予定にとどまる点も留意したい。