フロー型VLAモデルのためのマルチ教師オンポリシー蒸留

領域ごとに特化したフロー型VLA方策の技能を、教師が見せなかった状況で生徒が崩れないようにしながら、1つの共有方策に統合できるか。

複数領域をまとめて教師あり微調整すると、各専門モデルの能力の多くが失われる。教師の実演をまねても、生徒が自ら失敗した場面には役立たない。つかみ損ねれば教師データにない観測と復旧が必要になるからだ。フロー型VLAではこのずれが、訪れる環境状態と、ノイズから行動へ向かう生成の中間状態の二層で生じる。

教師が生成したデータでの学習（Teacher-rollout SFT）や、最終的な行動チャンクだけを合わせるオンポリシー蒸留（Action Loss OPD）は、せいぜい一層しか扱えない。

二層オンポリシー蒸留では、共有のpi-0.5生徒を各領域で行動させ、凍結した領域専門の教師に、生徒自身のフロー軌道上のすべての中間状態で予測する速度を教えてもらう。領域ごとの重み付き損失で生徒を1回更新し、次のラウンドでは更新後の生徒が新たな環境経験とフロー経路を集める。教師は学習時のみ使う。

80ラウンド後、Velocity Loss OPDはLIBERO-40で75.7%（共同SFT 53.15%、Teacher-rollout SFT 69.3%、Action Loss OPD 66.2%）、Meta-World MT50で60.6%（SFT 38.0%）、CALVINの5指示連続完了で72.9%（SFT 39.5%）を記録し、CALVINの平均系列長は3.235から4.362に伸びた。長いタスクほど差が開き、LIBERO-10ではTeacher-rollout SFT比13.8ポイント、短いタスク群は1.6〜5.8ポイントだった。

結果はすべてシミュレーションで、実機試験はない。統合した生徒は専門モデルに届かず（LIBERO-40で75.7%対98.0%、MT50で60.6%対76.2%）、著者は領域ごとにグリッパーの出力位置が異なるなど行動の規約が不統一だと指摘する。領域ごとに凍結教師と多数のロールアウトが要り、領域が増えるほど学習コストもかさむ。