MEKAWIRE
专业arXiv

CrossBFM:在不同人形机器人本体之间蒸馏共享的潜在行为空间

Tan-Dzung Do, Tuan Dat Phuong, Nico Bohlinger, Cuc T. Trinh, Siwei Ju, Vien Anh Ngo, Jan Peters, Xinchao Wang, An T. LeVinRobotics, National University of Singapore, TU Darmstadt, VinUniversity, DFKI, Hessian AI
30 秒速读

能用一个提示让人形机器人模仿舞蹈、摆出姿态或追逐奖励的全身控制模型,每台机器人通常要花100多个GPU小时训练。VinRobotics、新加坡国立大学和德国达姆施塔特工业大学的这篇预印本,把为宇树G1训练的模型迁移到加速进化(Booster)T1、傅利叶N1和团队自研的M3上,只需不到1小时的共享编码器训练加每台不到10个GPU小时,跟踪精度与专用控制器相差无几。

研究问题

研究探讨的是,为一款人形机器人学到的可提示行为空间,能否通过监督蒸馏而非重跑昂贵训练,交给关节数量、身体构成和关节顺序都不同的其他人形机器人。

问题

行为基础模型(BFM)为人形机器人提供一个由单个潜向量驱动的统一策略,这个向量可以表示要模仿的动作、要到达的姿态或要最大化的奖励。BFM-Zero所用的前向后向(Forward-Backward)表征能很好地学出这类空间,但作者指出单次训练每台机器人就要100多个GPU小时。每次训练还会生成与其他机器人毫无关联的潜空间,为一款人形机器人开发的提示、生成器和规划器无法沿用到下一款。新本体不断推出,成本和碎片化同时累积。

既有方法

常规做法是为每个本体重跑完整的前向后向无监督强化学习流程。更便宜的替代方案是TWIST2这类直接以重定向关节参考为输入的跟踪策略,跟踪效果好,但用法单一,也没有可用于姿态或奖励提示的共享空间。以本体描述为条件、可泛化到新机器人的跨本体方法也存在,但作者指出它们通常只覆盖速度跟踪等单一任务。

新方法

CrossBFM冻结在宇树G1上预训练的BFM-Zero模型,只保留其后向映射,也就是把动作、姿态或奖励转换为潜向量的部分。每段动作都按同一时间轴重定向到所有机器人,因此G1每一帧的潜向量可以直接作为其他机器人对应帧的回归标签,目标机器人一侧构建空间时无需仿真器、强化学习或对抗训练。第一阶段为所有目标机器人同时训练一个编码器,不含任何机器人专属权重:每台机器人的状态被写入163维的固定输入,包括33个标准关节槽位、8个关键身体部位槽位和根节点块,缺失槽位单独标记;再用一个4层、宽度256、参数327万的小型pre-LayerNorm Transformer,以逐帧余弦损失对齐冻结的256维G1潜向量。所有机器人合计在一块消费级GPU上不到1小时即可完成。第二阶段为每台机器人用PPO训练潜向量条件跟踪策略,在一块RTX 4090上不到10小时,策略只接收共享潜向量和自身本体感知。对于奖励提示,方法用各机器人的重定向数据估计状态分布,并按百分位换算手部高度等奖励阈值,使其适配体型不同的机器人。在共享潜空间上训练的整流流(rectified flow)模型又增加了第四种提示方式。

结果

三个目标本体是团队自研的M3(27个关节)、加速进化T1(23个)和傅利叶N1(23个),与29个关节的G1以及彼此之间在关节、刚体和拓扑上都不相同。在LAFAN动作跟踪上,潜向量条件策略的平均关节误差为M3 0.2024弧度、T1 0.1901弧度、N1 0.1391弧度,TWIST2式关节参考策略分别为0.1777、0.1844和0.1362弧度,差距最多0.025弧度。姿态到达任务中机器人在姿态间切换无一跌倒,误差为0.2345、0.1967和0.1512弧度。为G1设计的41个奖励提示在新机器人上全部可用;与直接沿用G1状态缓冲区相比,目标侧算法把平均归一化回报从0.183提高到0.431,提升2.35倍。只用四分之一动作数据训练编码器时,M3跟踪误差由0.2132弧度升至0.2241弧度,约5%;降到10%时升至0.2706弧度,随机潜向量为0.4411弧度。留一法测试中,用两款机器人训练的编码器应用于第三款,在随机潜向量与完整训练潜向量之间分别弥合了M3 89.3%、N1 55.5%、T1 12.8%的差距,T1是体型最小、形态差异最大的本体。真机上,M3跟踪5段动作误差0.2206弧度(仿真0.2024),到达9个姿态误差0.2675弧度,3项奖励任务得分0.562;M3和T1都执行了流模型生成的潜向量。

局限

本文为预印本,作者注明仍在审稿中。迁移效果取决于形态相似度,T1仅12.8%说明训练集中没有近亲的机器人仍需自有数据。每台新机器人都需要高质量重定向动作数据,实验也只用了包含40段动作、8类行为的LAFAN数据集。MEKAWIRE认为,潜向量策略在仿真中的每款机器人和M3真机上都略逊于关节参考跟踪器,真机数据只给出了M3,研究也只涉及全身运动,不包括物体操作。潜空间的表达能力也不会超过其继承的G1模型。

产业影响

如果结果站得住,人形机器人厂商就能以每台约10个GPU小时、而非100多个GPU小时的成本,继承在宇树G1这类主流研究平台上训练成熟的可提示控制器,每次推出新本体或硬件改版的控制软件成本随之下降。加速进化和傅利叶的机型出现在目标名单中,说明该方法已触及宇树以外的商用整机。共享潜空间还意味着动作库、潜向量生成器乃至文本接口可以同时驱动多种本体,对混合部署不同品牌人形机器人的工厂和软件公司都有吸引力。对国内众多新入局的整机厂而言,这类方法既是追赶捷径,也会进一步巩固宇树G1作为研究基座的地位。真正落地取决于代码开源以及在操作任务上的验证,进入量产应用大约需要12至24个月。