加入记忆模块后，宇树G1在视野外线索任务上的成功率从36.7%升至88.3%（MBZUAI）
阿联酋MBZUAI（穆罕默德本扎耶德人工智能大学）在预印本中称，让人形机器人控制模型只记住此前看到的少数关键画面后，宇树G1在6项真实任务中的成功率由36.7%提升至88.3%（60次中53次）。机器人需要依据已离开摄像头视野的线索行动，例如人碰过哪一个罐子。
行走中的人形机器人全身VLA策略，能否依据转身走向目标之前看到的事件做出正确动作，又需要保留哪些历史帧？
人形机器人移动操作往往不满足马尔可夫性：机器人转身或行走时物体被遮挡、移动或留在身后，决定动作的线索在行动时已不在头部摄像头视野内。现有全身VLA策略只看当前图像和很短的本体感知历史。
GR00T、适配全身动作的pi0.5、WholeBodyVLA和Psi-0等策略都只依据当前观测行动。已有记忆方法主要面向不移动的桌面机械臂，靠均匀采样、检索或简单事件保留画面；现有人形机器人基准测试中目标始终在视野内。
WholeBodyMem仅把SAM3分割模型用作任务物体追踪器。在去除机器人自身相机运动后，以物体事件在自适应预算内挑选关键帧，动作专家模块（6个扩散Transformer块）通过交叉注意力读取这些帧，并结合编码外观、几何和时间的物体token。作者同时发布HuMeGo基准，包含6项仿真任务和6项真实G1任务，分别考察“什么、在哪、何时”的记忆。
仿真中，基础策略Psi-0在记忆任务上的成功率由29.1%升至72.6%，在标准SIMPLE移动操作任务上由70.2%升至86.9%，优于InternVLA-M1、Diffusion Policy、ACT、EgoVLA、pi0.5、GR00T等无记忆基线以及均匀记忆变体。在配备Dex3灵巧手、头部RealSense D435和SONIC全身控制器的真实G1上，每项任务用15条遥操作示范训练后，WholeBodyMem在60次试验中成功53次（88.3%），Psi-0为22次（36.7%）。推理在一张RTX 5090上运行。
作者承认，若物体从未被检测到，SAM3会漏掉线索；在线追踪增加推理开销；渲染导致仿真与现实存在差距；仿真示范为脚本生成。此外，真机实验规模较小（每项任务10次、共90条示范），策略在机外台式GPU上运行，任务是短时布景而非工厂或家庭中的长时间作业。
向物流和零售场景推销人形机器人的厂商，需要机器人记住几秒前发生的事，例如哪只周转箱已清空、人指向了哪里。结果表明，挑对画面比扩大上下文窗口更省成本。对使用G1的国内高校和人形机器人企业而言，这类记忆模块有望在一年内进入研究栈；能否上机部署取决于追踪开销能降多少。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。