感知、预测与规划合一：面向第一视角灵巧操作的统一世界动作模型P3-WAM

把感知（还原手部与相机运动）、动作条件预测和目标导向规划放进同一个世界动作模型联合训练，是否比分别训练更好？

用人类视频训练机器人通常需要三个独立模型：手部姿态估计器、动作条件视频预测器和规划器。各自训练的模型无法共享对手物交互的理解，而缺少显式三维动作的视频生成模型容易偏离指定动作。

手部重建依赖HaMeR、Dyn-HaMR等估计器。DreamDojo、Hand2World、EgoSim等动作条件世界模型，以及Wan2.2、英伟达Cosmos 3等通用视频模型，能预测或生成视频，但不同时输出结构化的三维动作规划。

P3-WAM把手部和相机轨迹的紧凑三维表示接入预训练视频扩散Transformer（Wan2.2-Fun A14B-Control），采用共享权重的混合Transformer结构，加入模态专属适配和视频与动作之间的双向注意力。训练时随机遮蔽视频或动作，使同一模型学会由视频推动作（感知）、由动作生成视频（预测），以及由图像、指令和可选目标图同时生成两者（规划）。

在相同训练步数下，与单模式训练相比，统一训练在EgoDex、ARCTIC、HOT3D和EgoLive上平均把相机坐标系手部误差降低23.5%，预测FVD从1106降至1010。在EgoDex上，相机坐标系手部误差为32.9毫米，HaMeR和Dyn-HaMR分别为112.9和115.5毫米。动作条件预测在四个数据集上全帧指标均居首，相对自身骨干模型平均PSNR从15.9提升至19.0分贝，FVD从1218降至622。规划方面，盲评的通义千问VLM给出指令遵循3.74分（满分5分），高于Wan2.2或Cosmos 3-Nano最佳设置的3.12分。

作者指出，单目相机估计手部全局三维位置存在固有歧义，机器人执行为开环，无法自我纠正。机器人证据仅为重定向后的两个定性示例，没有成功率。规划质量由视觉语言模型打分而非任务完成率衡量，部分基线按各自的条件输入方式运行。