MEKAWIRE
专业arXiv

TRACE:以事件为锚、可多轮对话编辑的人形机器人动作扩散模型

Zejian Kang, Yifu Luo, Boyang Shen, Jingxuan Li, Zekai Chen, Zekun Shi, Yongxue Xu, Zhenyu Hou, Bingqian Wu, Shaolei Zhang, Wentao Yang, Xiangru HuangWestlake University and Zhejiang University, with TU Munich, HUST, USTB, BIT, Beihang, Sun Yat-sen, Nanjing and Renmin universities
30 秒速读

西湖大学牵头的团队在预印本中报告,TRACE把文本转换为宇树G1人形机器人动作,文本检索准确率R@1达73.84%,高于次优模型MotionGPT3的68.46%,与真实动作分布的差距FID降低30.9%;在16人参与的盲评中,其综合得分为2.391分(满分3分),七个对比模型最高仅1.469分。

研究问题

先预测足部支撑、躯干高度、手部高度等可测量事件,再用它们界定后续修改范围,能否让人形机器人动作生成器既更忠实于文本,又能通过对话逐轮编辑?

问题

文本很少说明哪只脚何时支撑身体、手抬多高,现有模型只能自行补全,结构未必与训练动作一致。编辑更难:“手再抬高一点”这类相对指令必须以当前动作为参照,其余部分保持不变,而多轮修改往往会让动作逐渐走样。

既有方法

MDM、MoMask、MotionGPT3等文本到动作模型把描述映射为轨迹或动作token;TextOp、TeXedo、ECHO、OMG等人形专用模型直接面向G1。语言模型规划器把指令拆成细节描述,TMED、SimMotionEdit等编辑器从文本和已有动作中学习修改,但缺少对“改什么”的类型化描述。

新方法

语言模型预测一份稀疏事件计划,包括左右脚支撑、躯干垂直速度和高度、左右手高度分档,其监督标签由配对的训练动作计算,而非来自文本。时间对齐的计划编码与文本一起输入扩散生成器,生成器采用重力参照状态以及轨迹和足部接触目标。编辑时,类型化请求限定可改动的身体部位和时间段,并给出相对原动作的目标;独立的参照条件扩散编辑器执行修改,采样过程中的投影保持受保护坐标不变。

结果

在重定向到G1的BONES-SEED测试集上,TRACE的R@1、R@2、R@3分别为73.84%、86.24%、90.31%,MotionGPT3为68.46%、81.29%、85.81%;FID由0.0628降至0.0434,MM-Dist由0.8886降至0.8165。在100条提示、16名参与者的用户研究中(1至3分),TRACE质量得分2.338、文本匹配2.444、综合2.391,综合最高的对比模型ECHO为1.469。编辑实验使用199个留出的G1动作,以5厘米手部高度修改串成597条四轮序列,作者称其全轮成功率比改造后的TMED和SimMotionEdit更稳定(结果仅以图表呈现)。

局限

这是预印本。系统只处理文本和平地运动学,不具备场景感知;作者承认接触目标能减少但不能消除脚底打滑。指标评估生成动作本身,并不检验每个预测事件是否被严格执行。真实机器人证据仅为附录中的定性演示,没有硬件成功率;编辑只测试了手部高度修改。

产业影响

对销售文旅、商超和科研用人形机器人的厂商来说,动作制作是实际瓶颈,而本研究的平台正是宇树G1。操作人员无需调关键帧、用自然语言即可生成并微调动作,可缩短演示和表演内容的制作周期,对把G1卖进展演、教育和科研市场的宇树及其国内同行尤其直接。预计一年内先进入G1开发者工具链;进入工厂则需要本文未涉及的场景感知能力。

受许可协议限制,本站不转载该论文全文,仅提供摘要和原文链接。