单段人类视频引导的视觉语言动作模型适配

预训练的视觉语言动作策略，能否仅凭一段人类操作视频，在没有机器人示范和额外训练的情况下完成从未学过的操作任务？

pi0.5等VLA模型能胜任训练过的任务，一旦超出范围就明显失效。教会新任务通常要采集机器人示范并微调，客户每增加一道工序都要付出人工和算力。人类视频拍摄成本低得多，但冗长重复、视角不同，人与机器人的手臂和手部结构也不同，无法直接照搬动作。

以往研究用人类视频做表征预训练，或提取轨迹和手部姿态再重定向，或要求每个新任务提供配套机器人数据。最省事的做法是把视频token直接放入策略上下文，本文将其作为基线Direct Video Prefix进行测试。

CapPro由两部分组成。阶段感知视频模块从人类视频中取8帧，每帧保留32个学习选出的视觉token（作者称该选择器为GridS），并训练4个查询token预测任务各阶段的描述文字，使表征聚焦每个阶段发生了什么。视频条件适配模块再把压缩后的视频token和经门控的查询token送入pi0.5的动作条件上下文。视频告诉策略做什么、按什么顺序做，手臂如何运动仍由策略自身的动作专家决定。训练对pi0.5的20亿参数视觉语言主干和3亿参数动作专家使用LoRA，13个源任务每个使用50条干净轨迹和500条随机化轨迹。

在RoboTwin上，按干净和随机化设置各100次试验取平均，CapPro在全部39个任务上达到42.6%，同等数据和预算训练的pi0.5为28.4%。源任务从64.4%升至68.9%。未见任务中，近似变体从34.5%升至44.8%，涉及新物体或新用法的任务从2.5%升至29.0%，组合任务从4.0%升至20.7%；论文报告26个未见任务平均29.5%，按任务数加权，MEKAWIRE计算pi0.5为10.5%。Direct Video Prefix整体降至19.1%，源任务降至43.5%，低于基线。去掉分阶段描述后源任务升至76.5%，但未见任务平均跌至12.7%，说明阶段描述是视频能够迁移的关键。

这是一篇预印本，且第1版并不完整。真实机器人表格中7个任务、每个5次试验的结果只填了一列（叠裤子和工件分拣均为0/5），无法读出CapPro与pi0.5的实机对比；我们阅读的章节也未说明所用机器人型号。消融表7行中有5行为空。核心数据均来自仿真。即使提供视频，最难任务组的成功率也只有20.7%至29.0%，距离部署很远，作者也承认这一点。示范视频是为目标任务录制的第一视角人类视频，而非任意网络视频。