CrossBFM:在不同人形机器人本体之间蒸馏共享的潜在行为空间
能用一个提示让人形机器人模仿舞蹈、摆出姿态或追逐奖励的全身控制模型,每台机器人通常要花100多个GPU小时训练。VinRobotics、新加坡国立大学和德国达姆施塔特工业大学的这篇预印本,把为宇树G1训练的模型迁移到加速进化(Booster)T1、傅利叶N1和团队自研的M3上,只需不到1小时的共享编码器训练加每台不到10个GPU小时,跟踪精度与专用控制器相差无几。
研究探讨的是,为一款人形机器人学到的可提示行为空间,能否通过监督蒸馏而非重跑昂贵训练,交给关节数量、身体构成和关节顺序都不同的其他人形机器人。
行为基础模型(BFM)为人形机器人提供一个由单个潜向量驱动的统一策略,这个向量可以表示要模仿的动作、要到达的姿态或要最大化的奖励。BFM-Zero所用的前向后向(Forward-Backward)表征能很好地学出这类空间,但作者指出单次训练每台机器人就要100多个GPU小时。每次训练还会生成与其他机器人毫无关联的潜空间,为一款人形机器人开发的提示、生成器和规划器无法沿用到下一款。新本体不断推出,成本和碎片化同时累积。
常规做法是为每个本体重跑完整的前向后向无监督强化学习流程。更便宜的替代方案是TWIST2这类直接以重定向关节参考为输入的跟踪策略,跟踪效果好,但用法单一,也没有可用于姿态或奖励提示的共享空间。以本体描述为条件、可泛化到新机器人的跨本体方法也存在,但作者指出它们通常只覆盖速度跟踪等单一任务。
CrossBFM冻结在宇树G1上预训练的BFM-Zero模型,只保留其后向映射,也就是把动作、姿态或奖励转换为潜向量的部分。每段动作都按同一时间轴重定向到所有机器人,因此G1每一帧的潜向量可以直接作为其他机器人对应帧的回归标签,目标机器人一侧构建空间时无需仿真器、强化学习或对抗训练。第一阶段为所有目标机器人同时训练一个编码器,不含任何机器人专属权重:每台机器人的状态被写入163维的固定输入,包括33个标准关节槽位、8个关键身体部位槽位和根节点块,缺失槽位单独标记;再用一个4层、宽度256、参数327万的小型pre-LayerNorm Transformer,以逐帧余弦损失对齐冻结的256维G1潜向量。所有机器人合计在一块消费级GPU上不到1小时即可完成。第二阶段为每台机器人用PPO训练潜向量条件跟踪策略,在一块RTX 4090上不到10小时,策略只接收共享潜向量和自身本体感知。对于奖励提示,方法用各机器人的重定向数据估计状态分布,并按百分位换算手部高度等奖励阈值,使其适配体型不同的机器人。在共享潜空间上训练的整流流(rectified flow)模型又增加了第四种提示方式。
三个目标本体是团队自研的M3(27个关节)、加速进化T1(23个)和傅利叶N1(23个),与29个关节的G1以及彼此之间在关节、刚体和拓扑上都不相同。在LAFAN动作跟踪上,潜向量条件策略的平均关节误差为M3 0.2024弧度、T1 0.1901弧度、N1 0.1391弧度,TWIST2式关节参考策略分别为0.1777、0.1844和0.1362弧度,差距最多0.025弧度。姿态到达任务中机器人在姿态间切换无一跌倒,误差为0.2345、0.1967和0.1512弧度。为G1设计的41个奖励提示在新机器人上全部可用;与直接沿用G1状态缓冲区相比,目标侧算法把平均归一化回报从0.183提高到0.431,提升2.35倍。只用四分之一动作数据训练编码器时,M3跟踪误差由0.2132弧度升至0.2241弧度,约5%;降到10%时升至0.2706弧度,随机潜向量为0.4411弧度。留一法测试中,用两款机器人训练的编码器应用于第三款,在随机潜向量与完整训练潜向量之间分别弥合了M3 89.3%、N1 55.5%、T1 12.8%的差距,T1是体型最小、形态差异最大的本体。真机上,M3跟踪5段动作误差0.2206弧度(仿真0.2024),到达9个姿态误差0.2675弧度,3项奖励任务得分0.562;M3和T1都执行了流模型生成的潜向量。
本文为预印本,作者注明仍在审稿中。迁移效果取决于形态相似度,T1仅12.8%说明训练集中没有近亲的机器人仍需自有数据。每台新机器人都需要高质量重定向动作数据,实验也只用了包含40段动作、8类行为的LAFAN数据集。MEKAWIRE认为,潜向量策略在仿真中的每款机器人和M3真机上都略逊于关节参考跟踪器,真机数据只给出了M3,研究也只涉及全身运动,不包括物体操作。潜空间的表达能力也不会超过其继承的G1模型。
如果结果站得住,人形机器人厂商就能以每台约10个GPU小时、而非100多个GPU小时的成本,继承在宇树G1这类主流研究平台上训练成熟的可提示控制器,每次推出新本体或硬件改版的控制软件成本随之下降。加速进化和傅利叶的机型出现在目标名单中,说明该方法已触及宇树以外的商用整机。共享潜空间还意味着动作库、潜向量生成器乃至文本接口可以同时驱动多种本体,对混合部署不同品牌人形机器人的工厂和软件公司都有吸引力。对国内众多新入局的整机厂而言,这类方法既是追赶捷径,也会进一步巩固宇树G1作为研究基座的地位。真正落地取决于代码开源以及在操作任务上的验证,进入量产应用大约需要12至24个月。