Ego4WAM：系统拆解自我中心人类数据规模化，对齐、多样性与纯视频预训练谁是关键

在扩展自我中心人类数据用于机器人学习时，哪些数据属性和使用策略最重要？

自我中心人类数据在人体与机器人对齐程度、行为覆盖范围和可用监督上差异极大。以往研究常用数据总时长概括规模，但未分离对齐、任务多样性、动作监督和训练阶段等因素，导致无法判断下游机器人性能提升究竟来自更强对齐、更广覆盖、不同训练目标还是单纯数据量增加。

此前工作主要沿两条路线：一是将人类动作重定向到机器人动作空间，用于模仿学习预训练；二是利用 World-Action Model 加入未来状态预测，从视频中学习动力学。但这些研究通常混合多种因素，仅报告总体扩展曲线和开环人类动作预测误差，未在闭环机器人任务上拆解各因素的贡献；动作标注依赖手部重建和相机跟踪，既昂贵又不可靠。

论文固定 WAM 主干和统一的 32 维双臂动作空间，将自我中心数据分为三级金字塔：小规模机器对齐演示 EgoAlign、大规模多任务视频动作数据、更大规模纯视频数据。采用三阶段训练：先用 15K 小时视频做纯世界模型预训练，再用 12K 小时有动作标签数据和约 90 小时多任务机器人数据做联合世界动作中训，最后用少量机器人演示做下游适配。通过对比对齐程度、时长与任务多样性、有无动作监督、以及共享注意力机制（base 与 joint），在真机和 RoboDojo 上做闭环评估。

真机任务显示：Place into the Basket 中，仅用 300 个机器人演示的基线 ID 成功率 60%，物体 OOD 降至 10%，场景 OOD 为 0%；加入对应 OOD 人类演示后，物体 OOD 升至 60%，场景 OOD 升至 20%。Fold Cloth 中，机器人数据从 300 减到 100 时性能大幅下降，加入 500 个人类演示可恢复 80% ID、60% 物体 OOD、80% 场景 OOD；但仅 20 个机器人演示时，单靠对齐人类数据无法恢复，需要多任务中训，之后可达 80% ID、80% 物体 OOD、60% 场景 OOD。在 RoboDojo 上，固定 500 个任务将时长从 1K 增至 4K 小时，Generalization 从 5.0 升至 7.8，Long-Horizon 从 12.0 升至 16.2；任务数从 500 扩到 6K，Generalization 从 5.0 升至 7.0，Long-Horizon 从 12.0 升至 16.2，但 Precision 下降。视频预训练消融：无任何人类数据时平均得分 6.39、成功率 3.15%；仅纯视频预训练（base）达到 14.13 / 9.45%；预训练加中训（base）为 15.04 / 10.78%；仅中训为 10.28 / 6.42%；仅纯视频预训练加 joint 注意力机制达到 20.29 / 14.35%。与官方榜单模型相比，Ego4WAM 仅用 0.1K 小时机器人数据和 15K 小时人类数据即达到平均 20.29，超过需要 7.2K 小时机器人数据的 Xiaomi-1（20.07）。

作者承认该框架不针对长期记忆或基于 VLM 的开放指令跟随，RoboDojo 评估重点放在泛化、精度和长程任务；其他真实任务仅定性展示，未报告量化成功率。视频预训练与中训阶段并非计算匹配的比较；部分结论基于有限的真机任务和单一种类机器人；代码与模型权重尚未公开，论文为预印本。