ロボの失敗を診断して訓練場面を作るシミュレーター、CoDAでpi0.5の汎化成功率5倍

シミュレーターが訓練環境を無限に作れるとき、今の方策の弱点を直す環境をどう選び、どんな学習信号を与えればそこから学べるのか。

生成型シミュレーションで場面づくりの費用は大きく下がったが、物理的に妥当な場面が役に立つとは限らない。既存のデータエンジンは人が決めた範囲で場面を変えるか、物理検査に通れば止めるか、課題ごとの成功率で予算を配る。どれも方策がなぜ失敗するのか、どう指導すれば越えられるのかは示さない。成否だけの疎な報酬では更新の効果も出にくい。

ドメインランダム化や一様な変形は方向性なく変化を選び、成功率に基づく生成は単一の点数で場面を配分する。スキルライブラリーは再利用できるコードを保存するが、場面づくりの経験と訓練の経験を混ぜてしまう。方策の失敗理由を構造的に記録する手法はなかった。

CoDAは場面構築、診断済みの失敗、学習の進み具合を別々に保存する共有記憶を中心に、データエンジンと方策を交互に進化させる。視覚言語の評価モデル（既定はGPT-5.5）が失敗した実行を見て原因を示し、対照実験で確かめられた診断だけが記憶に入る。記憶はその難しさを再現する場面生成プログラムと、克服を助ける訓練プログラムに変換される。Text2potentialは診断を段階的な部分目標のポテンシャルに変え、行動のまとまりの価値を学ぶ密な信号を与える。標準的な報酬整形の前提の下では最適方策は変わらない。測った学習の進み具合が次の回を決める。

pi0.5を方策に使った実験で、つまんで置く、関節物体、中に入れる、積む、差し込むの4課題群の平均分布外成功率は27.6%だった。実演データでの微調整は5.3%、ドメインランダム化7.9%、一様変形8.5%、成功率に基づく生成18.1%だった（相対52%改善）。15回反復すると42.1%に達した。LIBERO-Proでは位置変化条件が25%から84%、指示変化条件が1%から76%に上がり、ASPIREをそれぞれ7ポイント、9ポイント上回った。通常のLIBEROは97.4%（適用前97.1%）を保った。Text2potentialは2万1000回の方策更新で分布外成功率25%に達し、疎な報酬（3万1000回）より約32%少なかった。評価モデルをClaude Opus 5、InternVL3-78B、Qwen3-VL-235Bに替えると1.5〜2.7ポイント下がった。pi0.5で集めた記憶を使うと、新たな場面なしでOpenVLA-OFTが3.8%から21.1%に上がった。費用は採用された環境1000件あたり言語モデルのトークン740万、GPU66時間だ。

プレプリントで、評価はシミュレーション内の操作に限られる。著者らは実機、特に接触に敏感な作業への移行はまだ示されていないとする。場面生成、診断、ポテンシャル作成に複数の基盤モデルを使うため、その物理理解の誤りがデータに入り込み得るうえ、モデルの版が変われば結果も変わり得る。5回反復後の分布外成功率は27.6%にとどまり、回を重ねるごとにシミュレーションと推論の費用が増え、反復回数と課題数が予算で制約される。