面向流匹配视觉语言动作模型的多教师在策略蒸馏
华为研究人员提出把多个专用机器人控制模型合并成一个通用模型的方法:让通用模型自己练习,并在其动作生成的每一步由专用模型纠正。在三个仿真基准上,合并后的模型比常规微调成功率高出22至33个百分点,但仍不及专用模型。
如何把分属不同领域的流匹配VLA专家策略的能力整合进一个共享学生策略,并避免学生在遇到教师从未展示过的情形时崩溃?
多领域联合监督微调会丢失各专家的大量能力。照搬教师演示也无法应对学生自己的失误,因为一次抓取失败就会产生教师数据未覆盖的观测和恢复需求。对流匹配VLA而言,这种分布偏移出现在两个层面:学生访问的环境状态,以及其生成器从噪声到动作经过的中间状态。
基于教师生成数据的训练(Teacher-rollout SFT)和只匹配最终动作块的在策略蒸馏(Action Loss OPD)至多只处理其中一个层面。
论文提出的两级在策略蒸馏让共享的pi-0.5学生在各领域中执行动作,再请冻结的领域专家在学生自身流轨迹的每个中间状态上给出速度预测作为监督。各领域加权损失每轮更新一次学生,下一轮由更新后的学生采集新的环境经验和流路径。教师只在训练中使用。
80轮后,Velocity Loss OPD在LIBERO-40上达到75.7%(联合SFT为53.15%,Teacher-rollout SFT为69.3%,Action Loss OPD为66.2%),Meta-World MT50达60.6%(SFT为38.0%),CALVIN连续完成五条指令达72.9%(SFT为39.5%),CALVIN平均长度由3.235升至4.362。任务越长收益越大:LIBERO-10比Teacher-rollout SFT高13.8个百分点,较短任务组仅高1.6至5.8个百分点。
全部结果来自仿真,没有真机实验。合并后的学生仍落后于专家(LIBERO-40为75.7%对98.0%,MT50为60.6%对76.2%);作者指出各领域动作约定不一致,夹爪控制位于不同输出维度。方法需要每个领域的冻结教师和大量交互轮次,训练成本随领域数增加。
华为等平台型企业以及Physical Intelligence都在按现场微调模型,并需要把改进回收到统一模型中,正面临这一整合问题。结果表明,在长任务上,生成器内部的蒸馏目标比只看最终动作更重要。对国内具身大模型训练流程而言,6至18个月内具有参考价值,但仍需真机验证。