两阶段非均匀Flow去噪把VLA推理从61.6毫秒压到22.0毫秒,真机叠衣验证实时执行方法
这是一篇arXiv预印本,尚未经过同行评审。作者以π0.5为基线,在双臂真机上测量了从相机、本体感知到命令响应的端到端延迟,并提出两阶段非均匀Flow Matching去噪,把推理步数从10步减到2步,模型推理时间从61.557毫秒降到21.956毫秒。在30次叠衣真机试验中,训练型方法Legato和免训练方法Temporal Smoothing表现最好;把两阶段去噪与这两种方法结合,推理成本大幅下降,但任务成功率有小幅回落。
如何通过模型推理效率和机器人系统时序的联合优化,缩小VLA低速率推理与机器人高速率控制之间的时间尺度差距?
VLA单次推理通常需要几十毫秒,而机器人控制周期为毫秒级;异步执行虽然能重叠推理和动作执行,但新动作块基于旧观测生成,导致块间不连续和观测、推理、执行之间的时间错位。此外,相机时间戳偏移、图像读出、本体感知反馈和命令到运动的物理响应都带来额外延迟。现有研究在模型加速、动作连续性和系统校准上各自优化,缺乏统一的端到端测量和公平比较。
之前的工作主要从三个层面改进:通过蒸馏、减少采样步数或改用低维动作表示来加速扩散或Flow Matching策略;通过固定已执行动作前缀、预测未来执行时刻状态或学习动作延续来改善块间连续性和状态对齐;通过传感器标定、多模态同步和轨迹重定时来优化系统时序。但这些工作使用不同基座模型、机器人平台、任务和运行时配置,无法直接比较;对Flow Matching各积分阶段的差异缺乏表征;也缺少覆盖从感知到物理响应的统一延迟测量。
作者先用π0.5在双臂机器人上测量了模型侧和机器人侧延迟,包括相机时间戳偏移17.7±1.8毫秒、图像读出32.8±3.3毫秒、本体感知反馈26.4±6.2毫秒、命令到运动响应15.3±5.4毫秒。对速度场轨迹的分析显示,早期积分阶段速度场幅度和方向相对稳定,终点附近出现明显的方向修正。据此提出两阶段非均匀去噪:第一步从Flow时间1到0.3执行长区间粗生成,第二步用SnapFlow的捷径细化机制完成0.3到0的短区间终点修正,推理时只评估两次动作专家网络,NFE从10降到2。训练时以50%概率选择标准Flow Matching分支或两阶段分支,两阶段分支用MSE损失约束第一阶段速度,用SnapFlow构造的终点区间平均速度作为监督,权重λsc=0.1。同时开发了分布式、线程解耦的实时VLA推理和执行框架,推理、动作发布和机器人控制速率可独立配置,支持模块化观测采集、动作缓冲、时间对齐和动作来源记录。
在180次双臂T恤折叠真机试验中(每方法30次),Legato总成功率为29/30(96.7%),平均完成时间73.56秒,成功任务吞吐量47.31每小时;VLASH为28/30(93.3%),77.73秒,43.22每小时;Temporal Smoothing为23/30(76.7%),93.93秒,29.38每小时;Naive Asynchronous、Training-time RTC和Inference-time RTC成功率均不超过63.3%,平均完成时间超过120秒。动作连续性方面,Legato在左臂第三关节上的Tail Gap和Switch Gap最低,分别为0.0193弧度和0.0062弧度;Temporal Smoothing的最大加速度最低,为25.6弧度每二次方秒,但其Tail Gap和Switch Gap明显高于Legato。模型侧,两阶段去噪把推理时间从61.557毫秒降到21.956毫秒,速度提升2.804倍,时间减少64.33%;离线动作误差与标准10步Flow处于同一数量级。与Legato结合时,推理速度相对5步基线提升1.676倍,成功率从96.7%降到86.7%;与Temporal Smoothing结合时,速度相对10步基线提升2.804倍,成功率从76.7%降到70.0%;两种组合的成功试次平均时间约增加5%,三个连续性指标约增加20%。
论文是预印本,未经同行评审。真机评估只覆盖双臂T恤折叠一个任务,基座模型仅为π0.5,机器人平台仅为Agilex Piper双臂,试验次数为每方法30次,未做方法间显著性检验。两阶段去噪的τ固定为0.3,未搜索其他阈值;NFE从10降到2带来2.804倍加速,而非5倍,说明固定条件编码等开销仍占一定比例。结合两阶段去噪后,任务成功率下降约6.7到10个百分点,显示高压缩推理仍会损失闭环动作质量。论文未报告训练算力成本、不同GPU或嵌入式平台上的推理延迟,也未验证该方法在其他VLA架构上的泛化性。
该研究的分布式框架已开源,可直接用于人形机器人、双臂服务机器人和工业操作中的VLA实时部署原型。两阶段去噪可降低云端或本地GPU推理成本,使高频率控制成为可能,但当前成功率回落意味着需要谨慎选择应用场景。未来1到3年,若能在更多任务、更多VLA架构上验证并保持任务性能,该方法有望成为实时VLA系统的关键组件;前提是配套的传感器时间同步、动作缓冲和本地控制链路也达到论文中的标定精度。
受许可协议限制,本站不转载该论文全文,仅提供摘要和原文链接。