Dream4ACT 用共享视觉动作界面统一多机器人视频与动作建模
Dream4ACT 提出 action views，把目标关节构型渲染为四路固定虚拟相机图像，让不同关节空间机器人共享同一视频生成接口，并通过无训练的 URDF 约束匹配还原可执行关节目标。模型在 RoboTwin2.0 仿真平均成功率为 88.98%，TriWorldBench 总分 65.66，真机四平台两项常见任务成功率分别为 87.5%、85.0%、87.5%、90.0%。本文为预印本，尚未经过同行评审。
能否用统一的视觉动作表示，让多构型机器人在同一视频动作模型中共享权值，同时保留可执行关节目标信息？
现有视觉动作接口多只编码末端执行器位姿，需额外本体特定映射到关节角，可能有奇异或无解；联合空间向量缺乏空间结构且跨构型不一致；相机对齐渲染依赖物理相机外参标定。
此前方法包括联合空间向量策略、末端执行器热图或图像、与观测视角对齐的 URDF 渲染。它们或者需要学习的本体特定动作解码器，或者只编码末端量，或者依赖物理相机外参。
Dream4ACT 用四个固定虚拟相机渲染目标关节构型为 action views，形状固定但保留构型几何；共享视频 VAE 和扩散 Transformer 联合建模 RGB 与 action-view 序列，用掩码流匹配支持前向、逆向和联合生成；预测视图通过无训练、URDF 约束的高斯-牛顿匹配恢复关节目标。
RoboTwin2.0 仿真中，50 个任务分 clean 和 randomized 配置，平均成功率 88.98%（clean 90.50%，randomized 87.46%）；对比基线 π0.5 79.80%，Motus 87.80%，LingBot-VA 92.20%，Fast-WAM 91.80%。TriWorldBench 官方 500 集测试总分 65.66，与 BWM 65.54 相当，并获最高 P3D 61.30、MQ 41.66、TC 64.88，VQ 31.42 与 BWM 并列。多构型仿真五机器人共享同一检查点，31 个共享任务平均成功率：Aloha-Agilex 82.19%，Piper 81.94%，ARX-X5 81.23%，Franka-Panda 63.48%，UR5-Xsg 30.97%。真机四平台（Aloha-Agilex、TienYi2.5 Pro、Franka Research 3、UR5e）各 20 次试验，两项公共任务成功率分别为 87.5%、85.0%、87.5%、90.0%；扩展双臂任务 stack_blocks 和 storage_item 成功率较低（Aloha-Agilex 20.0% 和 50.0%，TienYi2.5 Pro 30.0% 和 65.0%）。消融中，固定虚拟相机渲染相比相机对齐骨架渲染在 DROID 50 条保留轨迹上 PSNR 23.19→24.33 dB，SSIM 0.899→0.906，LPIPS 0.105→0.093。
作者未设独立局限章节。论文报告了跨构型性能不均：Franka-Panda 仿真平均 63.48%，UR5-Xsg 30.97%，末端恢复误差较高（UR5-Xsg 位置 11.85 mm、旋转 21.39°）；真机扩展任务 stack_blocks 成功率仅 20% 至 30%。消融仅在 DROID 50 条轨迹上评测 RGB 预测，样本量有限；真机每任务仅 20 次试验，任务数量有限。论文未报告代码开源状态、训练算力与推理延迟。
面向人形机器人、多构型机械臂的通用视频动作模型研发；其可跨构型共享权值并直接输出可执行关节目标，适合多型号机器人统一部署。1至3年内可用于仓储、家庭服务等领域的仿真到真机迁移和多机器人策略训练，前提是具备各机器人 URDF、可接受渲染与恢复计算开销，并需进一步验证长程任务与安全性。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。