MEKAWIRE
进阶arXiv

HAF-VLA:按腿、腰、臂顺序生成动作,人形机器人任务得分68.3%

Langzhe Gu, Chengkai Hou, Meng Li, Xinhua Wang, Xinyuan Lv, Shuanghao Bai, Guangrun Li, Jingyang He, Ziluo Ding, Zhiyuan Xu, Ning Ding, Kuan Cheng, Jian Tang, Shanghang Zhang, Zhengping ChePeking University; Beijing Innovation Center of Humanoid Robotics; Nankai University; Xi'an Jiaotong University; Tsinghua University
30 秒速读

分阶段生成全身动作的人形VLA在六项真实任务中平均得分68.3%,pi0.5为53.3%。该方法复用现有通用VLA权重,成本较低。本文为预印本。

研究问题

为固定或轮式机器人设计的VLA,能否通过按腿与头、腰、臂与手的固定顺序生成动作,迁移到全尺寸双足人形机器人上?

问题

人形机器人需同时协调行走、姿态、视线与双臂。一次生成全部26个控制维度时,下肢和腰部的微小误差会迫使上身补偿,降低精度和稳定性。

既有方法

pi0.5等通用VLA单阶段生成完整动作块;英伟达GR00T N1.7、Cosmos Policy以及模仿学习ACT都没有按身体部位排序生成。

新方法

HAF-VLA沿用pi0.5的视觉语言编码器与动作专家,在共享动作空间内分三阶段去噪(行走与头部、腰部、手臂与手),每阶段10步;每阶段结果重新编码为KV缓存,作为下一阶段条件。每项任务采集120条遥操作示范,在天工3.0和2.0上训练。

结果

每项任务10次实机测试,平均得分68.3%,pi0.5为53.3%,GR00T N1.7为37.8%,ACT为25.6%,Cosmos Policy为25.0%。搬箱子93.3%(pi0.5为60.0%)。消融中腿、腰、臂顺序得86.7%,腰优先70.0%,臂优先60.0%;30步pi0.5仅30.0%。目标桌移动30厘米后仍保持73.3%(pi0.5为40.0%)。

局限

作者承认阶段增多带来更高延迟(0.123秒,对比10步pi0.5的0.075秒)。测试仅在一个实验室的两台机器人上进行,每种设置10次,统计波动较大。尚未经过同行评审。

产业影响

对基于开源或授权通用VLA做微调的人形厂商意义直接。论文已在天工人形机器人上完成实机验证,国内采用pi0.5或GR00T路线的整机企业可低成本复用这一分阶段生成思路,延迟是快速任务中的主要障碍。

受许可协议限制,本站不转载该论文全文,仅提供摘要和原文链接。