用扩散模型直接生成人形机器人控制网络权重，宇树G1真机实现行走、舞蹈和旋踢
伯克利团队用数千个训练好的人形控制器训练扩散模型，再生成全新的控制网络，这些网络无需微调就在真实的宇树G1上完成了行走、舞蹈和旋踢。这篇预印本还发现，无论强化学习还是模仿学习，网络第一层都编码了机器人的身体结构。
能否用生成模型直接学习可用的人形控制网络权重，从而直接采样出可部署的新控制器？这个权重空间又揭示了网络学到了什么？
人形控制器通常要靠耗时且对随机种子敏感的强化学习逐个训练得到。很少有研究把训练好的权重当作数据：它们是否构成可学习的分布，采样出的权重能否真正驱动真机，不同控制器之间共享何种结构，都缺乏研究。
权重空间生成此前用于图像分类器和小型控制任务，人形研究则集中在改进训练方法（强化学习动作跟踪、蒸馏为学生策略）。新动作的控制器仍需重新训练。
团队针对每个动作用不同随机种子做了750次强化学习训练，每次保留8个收敛后的网络，每个动作共6,000个网络，均为约3万至4万参数的三层MLP。分簇线性自编码器把权重压缩到潜空间，嵌入维度1024的Diffusion Transformer学习潜变量分布。采样的潜变量解码回完整网络后，按标准流程部署到宇树G1上，不做微调。
仿真（mjlab，1,024个并行环境）中，生成网络的平均成功率为行走0.993、舞蹈0.941、旋踢0.943，略低于训练数据网络的0.999、0.998、0.997；100个样本中最佳者达到1.000，与数据集持平。较小的Transformer明显变差：嵌入维度512时行走进度得分为0.643，1024时为0.997。生成网络在真实G1上完成了全部三个动作。第一层权重始终对髋俯仰、膝和腰关节赋予更大权重，模仿学习蒸馏出的网络（成功率0.9979至0.9919，强化学习教师为0.9994至0.9972）也呈现同样结构。
论文为预印本。t-SNE显示生成权重大多落在训练分布之内，方法更多是复现已知控制器的范围，而非创造新技能。研究仅覆盖三个动作和一种机型，分析集中在第一层，作者也承认可解释结构尚未转化为更好的策略。生成网络平均性能略低于训练网络，实际使用需多次采样并在仿真中筛选。
对宇树（实验用G1的厂商）以及在G1上构建动作库的团队而言，近期价值在于低成本批量生成可用控制器变体，并诊断策略依赖哪些输入。对国内人形厂商而言，强化学习与模仿学习网络共享与机体相关的第一层这一发现，可能催生缩短训练时间的预初始化方法。商业影响仍处研究阶段，预计两年以上，关键在于作者列为后续工作的基于文本或轨迹的条件生成。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。