HAF-VLA:按腿、腰、臂顺序生成动作,人形机器人任务得分68.3%
分阶段生成全身动作的人形VLA在六项真实任务中平均得分68.3%,pi0.5为53.3%。该方法复用现有通用VLA权重,成本较低。本文为预印本。
为固定或轮式机器人设计的VLA,能否通过按腿与头、腰、臂与手的固定顺序生成动作,迁移到全尺寸双足人形机器人上?
人形机器人需同时协调行走、姿态、视线与双臂。一次生成全部26个控制维度时,下肢和腰部的微小误差会迫使上身补偿,降低精度和稳定性。
pi0.5等通用VLA单阶段生成完整动作块;英伟达GR00T N1.7、Cosmos Policy以及模仿学习ACT都没有按身体部位排序生成。
HAF-VLA沿用pi0.5的视觉语言编码器与动作专家,在共享动作空间内分三阶段去噪(行走与头部、腰部、手臂与手),每阶段10步;每阶段结果重新编码为KV缓存,作为下一阶段条件。每项任务采集120条遥操作示范,在天工3.0和2.0上训练。
每项任务10次实机测试,平均得分68.3%,pi0.5为53.3%,GR00T N1.7为37.8%,ACT为25.6%,Cosmos Policy为25.0%。搬箱子93.3%(pi0.5为60.0%)。消融中腿、腰、臂顺序得86.7%,腰优先70.0%,臂优先60.0%;30步pi0.5仅30.0%。目标桌移动30厘米后仍保持73.3%(pi0.5为40.0%)。
作者承认阶段增多带来更高延迟(0.123秒,对比10步pi0.5的0.075秒)。测试仅在一个实验室的两台机器人上进行,每种设置10次,统计波动较大。尚未经过同行评审。
对基于开源或授权通用VLA做微调的人形厂商意义直接。论文已在天工人形机器人上完成实机验证,国内采用pi0.5或GR00T路线的整机企业可低成本复用这一分阶段生成思路,延迟是快速任务中的主要障碍。
受许可协议限制,本站不转载该论文全文,仅提供摘要和原文链接。