SkeleWAM：用稀疏3D骨架做世界动作模型，57M参数在LIBERO-Plus达85.9%成功率
这是一篇预印本论文，介绍 SkeleWAM，一种紧凑的世界动作模型，把操作场景表示为稀疏 3D 骨架，包含机器人关节、物体中心和交互点。该模型在 LIBERO-Plus 基准取得 85.9% 总体成功率，仅用 57.1M 参数，优于最强基线 Cosmos-Policy 3.7 个百分点；真机五任务平均成功率为 89%。它通过同时预测未来骨架辅助动作学习，推断时省略未来预测，在保持鲁棒性的同时大幅降低模型规模。
能否用稀疏的机器人-物体结构表示支持有效的世界动作学习，同时大幅降低模型复杂度？
现有世界动作模型通常预测视频或视觉潜变量，隐式编码交互几何，可能保留与操控无关的外观信息；这些模型参数多、计算成本高，且视觉潜变量的信息受编码器和预训练目标影响，未能显式提取机器人-物体空间关系。
此前方法如 WorldVLA、UniVLA、Cosmos-Policy 等预测视频或像素重建，VLA-JEPA 预测未来潜变量，Fast-WAM 保留未来视频预测作为协同训练目标。这些方法或依赖大规模视频生成，或使用视觉潜变量，交互几何仅隐式表示，模型参数量常达数十亿。
SkeleWAM 从当前 RGB-D 和机器人本体感知在线构建稀疏 3D 骨架，节点为机器人关节、物体中心和交互点，坐标统一在机器人中心坐标系。模型采用双专家 Mixture-of-Transformers 架构，用流匹配联合训练动作块和未来骨架序列，动作与未来骨架 token 不互相注意，仅共享当前骨架上下文。推断时省略未来骨架分支，直接由当前骨架和语言生成动作，并用 Medoid Action Consensus（MAC）从 K=3 个随机采样轨迹中选择平均距离最小的候选，执行前 16 步动作后重新规划。
在 LIBERO-Plus 全基准零样本测试中，SkeleWAM 以 57.1M 参数取得 85.9% 总体成功率，比最强观测基线 Cosmos-Policy（82.2%）高 3.7 个百分点；相机扰动下 93.4%，比 Cosmos-Policy 高 17.6 个百分点；语言、背景、噪声扰动分别达 89.1%、96.0%、93.9%，但布局扰动仅为 66.6%。特权模拟器状态版本（sim-state）总体成功率 87.7%，两者差距 1.8 个百分点。真机实验中，在 ARX R5 机器人上完成 5 个任务、每任务 20 次试验，平均成功率达 89%，超过 Cosmos-Policy（87%）、Fast-WAM（83%）、π0.5（76%）。
作者指出在布局大幅变化下成功率较低（观测版 66.6%，特权状态版 69.0%），表明稀疏几何不足以完全应对空间泛化。真机实验仅含 5 个任务、单台机器人和每任务 20 次试验，规模有限；论文为预印本，尚未经同行评审。对未来骨架预测所用感知网络为冻结预训练模型，其精度直接影响骨架质量，但论文未报告该感知网络在部署场景中的泛化误差。
该方法适用于语言条件机器人操作，尤其适合需要在有限算力下部署的仓储、服务机器人和工业臂场景。其 57M 参数模型可在单张 RTX 4090 上训练和推理，配合 MAC 仅需 3 次采样，具备边缘端部署潜力。短期（1 至 3 年）内，若配套的物体中心与交互点感知网络能在目标场景保持稳定，此类紧凑世界动作模型有望进入产品原型；长期（3 年以上）可结合更丰富的关系结构扩展至复杂多步操作。前提是需要足够多样化的演示数据来训练骨架提取和世界动作模型。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。