XGenAct 将深度、法向与语义分割统一为视频生成，RLBench 未见过任务成功率 52%

能否将多种几何与语义感知任务同机器人动作统一到同一个生成视频空间，从而提升世界动作模型的空间理解与闭环控制性能？

现有世界动作模型主要进行 RGB 和动作的时序预测，缺乏显式的空间理解；一些工作试图加入深度等几何信号，但通常采用专用预测头、门控残差模块或模态分支，监督信号分散、架构碎片化，难以高效融合多种空间信息来改善动作生成。

此前主流做法包括仅预测未来 RGB 视频和动作；以及通过辅助分支、残差模块或专用头引入深度、光流等空间信号（如 PAD、GeoSem-WAM、DreamWAM、WAM4D 等）。这些方法依赖模态专用组件或多个训练目标，覆盖的感知任务有限，且动作生成与感知预测往往分离。

XGenAct 将所有模态（RGB、度量深度、表面法向、功能角色分割、7DoF 动作）通过确定性编解码器转换为三通道 RGB 视频，共用同一个冻结的视频 VAE 和扩散 Transformer。训练时对每个样本随机采样一个感知模板（一个感知流加两个视角的动作流），使用统一流匹配目标，不引入模态专用学习头、辅助损失或手工损失权重。推理时支持联合、策略和逆动力学三种条件计划，可生成未来多模态帧。

在五个未见过的 RLBench 任务上，20 次试验/任务，XGenAct 平均成功率为 52%，最强基线 Pi0.5 和 VLANeXt 均为 26%，LaWAM 25%，UWM 14%，VLA-JEPA 14%，PAD-Depth 12%，MolmoAct 11%，Evo-1 7%。XGenAct 在 close drawer 100%（最优基线 50%）、close microwave 60%（最优基线 30%）、close laptop 40%（最优基线 25%）上领先；在 toilet seat down 落后 LaWAM（40% vs 70%），在 reach target 落后 Pi0.5（20% vs 35%）。消融中，仅 RGB 训练平均 32.50%，加入感知流后达到 52.50% 至 61.25%，其中 RGB+N+S 最高 61.25%，提升 28.75 个百分点；RGB+D+N+S 为 58.75%。未来感知生成方面，直接生成深度 AbsRel 为 0.28–0.33，优于先生成 RGB 再经专家模型的 0.41–0.43；分割 mIoU 直接生成 0.42–0.49 比专家路线 0.22–0.24 约翻倍；法向余弦相似度两条路线基本持平（0.76–0.77），但 RGB+D+N 直接生成低于专家路线（0.71 vs 0.76）。RGB 未来生成 LPIPS 从仅 RGB 的 0.39 轻微上升至 0.40–0.43。所有评估均为仿真，未报告真机实验。

作者承认最佳训练菜单依赖具体任务，需要更广泛评估和自适应任务平衡。该研究仅在 RLBench 和 ManiSkill3 仿真环境训练与评估，未涉及真实机器人；每任务仅 20 次试验，规模较小；训练数据为自生成演示（RLBench 16 任务 3960 条、ManiSkill3 7 任务 1750 条），未见更多任务多样性分析。论文未报告是否开源代码或模型权重，推理成本未量化；在 toilet seat down 等任务上仍落后基线。