Ropedia W0：用1万小时人类视频训练、覆盖人形机器人的通用世界模型
Ropedia W0以约1万小时人类第一人称视频和3000小时机器人视频训练，可预测行走和操作中的人与机器人下一步看到的画面，在未见人类视频上手部位置误差比Cosmos3-Nano低约30%。该预印本来自南洋理工大学等机构。
单一世界模型能否同时预测人类、夹爪机器人和灵巧手人形机器人在移动与操作中的第一人称未来画面？增加人类视频能否提升机器人上的表现？
世界模型让机器人在行动前预判结果，但多数只处理固定机械臂加夹爪。行走机器人移动时视角不断变化，各类机器人动作空间不同，数据难以合并，机器人数据本身也稀缺。
英伟达Cosmos3、DreamDojo、OSCAR、RynnWorld-Teleop等模型以机器人动作或文本为条件生成视频，通常只针对一种本体或固定基座操作。
以统一的视觉控制信号替代关节指令：用相机位姿表示移动，用投影到画面中的骨架表示手或夹爪，机器人骨架由正向运动学结合人工关键点校正生成。团队整合14个人类与13个机器人公开数据集及自采数据构成Xp-Data，训练5B和14B激活参数模型，发布人形机器人遥操作基准Xp-Teleop，并蒸馏出可实时运行的版本。
在200段未参与训练的人类第一人称视频上零样本预测，5B模型PSNR为18.90dB、LPIPS为0.2444，优于Cosmos3-Nano（16B）的18.66dB和0.2753，以及Cosmos3-Super（64B）的18.36dB；手部位置误差由46.9像素降至32.7像素，按MEKAWIRE计算约低30%。14B激活模型将相机轨迹误差由1.931厘米降至1.542厘米。但完整长度FVD上Cosmos3-Nano为178.9，优于W0的189.9。作者称在DreamDojo、Psi0、omega-HOME、Xp-Teleop和AgiBot五个跨本体基准上取得最优，人类预训练数据越多效果越好，蒸馏后可实现分钟级实时生成并支持VR交互。
这是预印本。控制信号只描述相机与手部运动，不含接触力和物体物理，模型预测的是外观而非受力后的行为。超过一分钟的长时生成需要更好的记忆机制。扩展实验仅到14B激活参数且数据配比固定。PSNR等指标衡量画面质量，在接触密集任务中看似合理的世界模型仍可能误导控制器。
直接受益方是采集遥操作数据的人形机器人企业和英伟达Cosmos等仿真供应商：结果支持以采购或录制人类第一人称视频替代昂贵的机器人运行时长。对国内建设数据采集工厂的企业而言，这意味着人类视角数据的价值可能被重估。预计一到两年内此类模型将进入策略评估与数据生成流程。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。