AtomicRL：サブタスク単位の強化学習で AgiBot G1 の長い実作業成功率が48.0%から69.3%に、PPOより8ポイント高い（中山大学、JD Explore Academy）

長い作業がサブタスクに分かれる構造を生かせば、VLA 方策の強化学習による微調整をより速く、より強くできるか。

既存の VLA 強化学習は軌跡全体の成功にしか報酬を与えないため、後半で失敗するとうまくいった前半の学習信号まで失われ、特定のサブタスクがボトルネックでも練習は均等に配分される。

RLinf などの枠組みでの PPO 型の VLA 後学習は、軌跡単位のまばらな報酬と均等なタスク抽出を使う。

進捗と完了を判定する評価器がサブタスクの境界を推定する。意味認識方策最適化（SAPO）は失敗したサブタスクの時間差誤差が前のサブタスクの評価を汚さないよう遮断し、ボトルネック適応探索（BATE）は習熟度の低いサブタスクへタスク抽出と探索報酬を振り向ける。実作業をシミュレーションで再構成して並列に強化学習し、実機に戻す Real2Sim2Real の流れも備える。

LIBERO-LONG（10タスク、各50回）では200回の最適化後に OpenVLA-OFT で98.8%、pi-0.5 で99.0%と、PPO を4.0、3.6ポイント上回った。CALVIN ABC-D（1000回）では平均連続完了数4.56で PPO の4.36、教師あり微調整の3.56を上回り、5連続成功率は80.1%と PPO の70.6%を超えた。実機 AgiBot G1 の4〜6手順の作業3種（各25回、作業ごとに実演100件）ではパン配置76%、ごみ捨て72%、卓上片付け60%で平均69.3%となり、PPO の61.3%、教師あり微調整の48.0%を上回った。シミュレーションと実機の成功率の相関は0.909。

プレプリントである。著者らはオンライン強化学習の根本的なサンプル効率の悪さは解決しておらず、実機学習のコストは依然高いとしている。検証は教師あり方策から始めた卓上作業に限られ、実機評価は1機種で各25回。サブタスクの区切りも学習した評価器に依存する。