人类视频也能教机器人：港科大(广州)TS-WAM实机成功率72.5%，超过pi0.5
这篇预印本让机器人在动手之前先预测动作会让画面发生什么变化，结果在陌生环境下明显更稳。它还能把成本低廉的人类视频混入训练，为降低数据成本提供了一条路径。
视觉语言动作(VLA)策略如果学会预测自身动作的视觉后果，并在一次训练中同时使用机器人示教数据和无动作标注的人类视频，能否变得更鲁棒？
多数VLA策略直接把相机画面和指令映射为从机器人示教中学到的电机指令，内部没有对动作后果的显式预测，难以利用规模大得多的无动作人类视频，也容易对示教时的具体条件过拟合。
LAPA、UniVLA等潜在动作方法从视频帧间变化中学习紧凑编码，WorldVLA、VLA-JEPA等世界模型类VLA预测未来状态。但它们大多先单独预训练潜在动作模型或世界模型，再微调成机器人策略，计算开销更大，也无法保证学到的编码真正有助于最终的动作输出。
TS-WAM端到端联合训练。学生视觉语言模型只看当前画面和指令，预测潜在动作；以滑动平均更新的教师副本额外看到下一帧，提供监督目标，作者称之为vlm-jepa。随后一个小型解码器预测冻结的DINOv3图像特征在该潜在动作下如何变化，流匹配动作头再依据预测出的未来特征生成动作。人类视频训练潜在动作和预测模块，机器人数据还训练动作头。部署时去掉教师分支。
实机测试中(每个任务和条件各20次)，TS-WAM在Franka Research 3的两项任务和配备灵巧手的双臂人形机器人RevoTron的两项任务上平均成功率72.5%，pi0.5为55.0%；在12个分布外组合中全部领先，平均62.9%对35.0%。从常规场景到变化场景，TS-WAM成功率下降9.6个百分点，pi0.5下降20.0个百分点。仿真方面，LIBERO为97.0%(pi0.5为96.9%)，SimplerEnv为63.8%(RoboVLMs为51.4%)，LIBERO-Plus零样本迁移为75.7%，比VLA-JEPA的62.9%高12.8个百分点。去掉人类视频后LIBERO-Plus降至64.8%，去掉师生结构降至61.0%。训练使用4张A100，推理在单张RTX 4090上以30Hz运行。
这是一篇预印本。作者承认教师分支增加训练显存，把预测特征接入动作头会拖慢收敛。标准LIBERO上相对pi0.5只高0.1个百分点，优势主要体现在鲁棒性测试。实机对比只有pi0.5一个基线，每格20次；论文未说明使用了多少小时人类视频，也未说明是否开源代码。解码器只预测一步，并非长时程模拟器。
对正在把VLA推向工厂和家庭的国内人形机器人企业而言，灯光和杂物与示教不一致是量产落地的核心难题，宇树、智元等厂商以及Physical Intelligence、Figure都绕不开。以约7B模型六分之一的参数量承受场景变化，并用廉价人类视频学习，意味着每个落地任务的数据采集和算力成本有望下降。若在更多本体和更长任务上得到验证，“在策略内部预测下一画面”的做法可能在一到两年内进入商用软件栈。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。