MEKAWIRE
专业arXiv

GRAFT:为冻结的通用动作跟踪模型加装地形适配模块

Liang Li, Guoyao Zhang, Xingyu Chen, Sikai Wu, Qianyang Wu, Yuhang Lin, Renjing Xu, Mingliang Zhou, Diyun XiangXiaomi Robotics Lab; HKUST(Guangzhou)
30 秒速读

小米机器人实验室的预印本称,加装一个轻量适配网络后,动作跟踪模型SONIC在难地形仿真中的成功次数从40次中的3次升至39次。在真实宇树G1上,机器人仅靠机载深度感知跨过0.30米平台和0.10米、0.17米台阶,未改动的模型在相同参考动作下只能原地踏步。

研究问题

不重新训练全身跟踪模型,只增加少量地形修正,人形机器人能否通过楼梯、沟壑和平台?

问题

行为基础模型是一种能跟随任意运动参考的单一策略,参考可来自动作片段、遥操作或VLA模型。但其训练数据多为平地动作,无法根据前方地面调整落脚点和摆腿高度。

既有方法

许多地形感知方案需要把跟踪模型与感知系统一起重训或微调,数据和算力成本高,而且普通跟踪功能与感知链路绑定,跟踪模型难以单独替换。

新方法

GRAFT保持跟踪模型参数和参考接口不变,由轻量适配器只对下肢执行目标叠加地形修正。适配器用任务和足部几何奖励训练,对平地修正施加惩罚,再把特权地形信息蒸馏到机载深度输入。

结果

每个地形条件测试10次,加装GRAFT前后的成功次数为:SONIC 40次中3次升至39次,Humanoid-GPT 3次升至34次,HoloMotion 8次升至39次,ScaleBFM 2次升至20次。复合赛道上,障碍段平均修正量1.529,平地段0.408,沟壑处峰值3.488。腰部跟踪误差由平地1.18度升至障碍段3.17度。实机测试中,宇树G1跨过0.30米平台和0.10米台阶,未改动模型只能原地踏步,另外还展示了0.17米台阶和推车场景。

局限

这是一篇预印本。成功率来自每格10次的小样本仿真,实机结果只是演示,未给出试验次数。提升也不均衡:ScaleBFM下楼梯从10次中1次降到0次,Humanoid-GPT在平台上仅成功5次。所有模型都使用SONIC数据集的参考动作,作者说明曲线不代表模型排名。每个模型都需要单独的适配器。

产业影响

对采用开放跟踪模型的国内人形机器人企业而言,这意味着地形能力可以作为独立模块交付,无需整体重训。小米实验室用宇树G1完成验证,也说明通用模型加第三方硬件的研发路线正在成形。由于实机可靠性尚未量化,短期价值主要在研发和试点阶段。

受许可协议限制,本站不转载该论文全文,仅提供摘要和原文链接。