TRACE:以事件为锚、可多轮对话编辑的人形机器人动作扩散模型
西湖大学牵头的团队在预印本中报告,TRACE把文本转换为宇树G1人形机器人动作,文本检索准确率R@1达73.84%,高于次优模型MotionGPT3的68.46%,与真实动作分布的差距FID降低30.9%;在16人参与的盲评中,其综合得分为2.391分(满分3分),七个对比模型最高仅1.469分。
先预测足部支撑、躯干高度、手部高度等可测量事件,再用它们界定后续修改范围,能否让人形机器人动作生成器既更忠实于文本,又能通过对话逐轮编辑?
文本很少说明哪只脚何时支撑身体、手抬多高,现有模型只能自行补全,结构未必与训练动作一致。编辑更难:“手再抬高一点”这类相对指令必须以当前动作为参照,其余部分保持不变,而多轮修改往往会让动作逐渐走样。
MDM、MoMask、MotionGPT3等文本到动作模型把描述映射为轨迹或动作token;TextOp、TeXedo、ECHO、OMG等人形专用模型直接面向G1。语言模型规划器把指令拆成细节描述,TMED、SimMotionEdit等编辑器从文本和已有动作中学习修改,但缺少对“改什么”的类型化描述。
语言模型预测一份稀疏事件计划,包括左右脚支撑、躯干垂直速度和高度、左右手高度分档,其监督标签由配对的训练动作计算,而非来自文本。时间对齐的计划编码与文本一起输入扩散生成器,生成器采用重力参照状态以及轨迹和足部接触目标。编辑时,类型化请求限定可改动的身体部位和时间段,并给出相对原动作的目标;独立的参照条件扩散编辑器执行修改,采样过程中的投影保持受保护坐标不变。
在重定向到G1的BONES-SEED测试集上,TRACE的R@1、R@2、R@3分别为73.84%、86.24%、90.31%,MotionGPT3为68.46%、81.29%、85.81%;FID由0.0628降至0.0434,MM-Dist由0.8886降至0.8165。在100条提示、16名参与者的用户研究中(1至3分),TRACE质量得分2.338、文本匹配2.444、综合2.391,综合最高的对比模型ECHO为1.469。编辑实验使用199个留出的G1动作,以5厘米手部高度修改串成597条四轮序列,作者称其全轮成功率比改造后的TMED和SimMotionEdit更稳定(结果仅以图表呈现)。
这是预印本。系统只处理文本和平地运动学,不具备场景感知;作者承认接触目标能减少但不能消除脚底打滑。指标评估生成动作本身,并不检验每个预测事件是否被严格执行。真实机器人证据仅为附录中的定性演示,没有硬件成功率;编辑只测试了手部高度修改。
对销售文旅、商超和科研用人形机器人的厂商来说,动作制作是实际瓶颈,而本研究的平台正是宇树G1。操作人员无需调关键帧、用自然语言即可生成并微调动作,可缩短演示和表演内容的制作周期,对把G1卖进展演、教育和科研市场的宇树及其国内同行尤其直接。预计一年内先进入G1开发者工具链;进入工厂则需要本文未涉及的场景感知能力。
受许可协议限制,本站不转载该论文全文,仅提供摘要和原文链接。