会记忆的双臂机器人：UCLA的Mem4Act长时程任务成功率81.5%，约为pi0.5的三倍

视觉语言动作(VLA)策略如何记住几分钟前看到的信息，例如积木被盖住前的颜色，同时又不把越来越长的视频历史输入模型？

多数VLA策略只依据当前画面行动。在长任务中，决定下一步的信息往往早已离开视野。输入全部历史会让模型处理不断增长的图像令牌，算力开销上升并可能产生混淆；而挑选关键帧、丢弃令牌或改写成文字摘要，又可能丢掉之后才变得重要的细节。

已有记忆方法保存原始历史帧、压缩视觉令牌或文本摘要，如MemER、FrameSamp和TokenDrop等MME-VLA变体、Mem-0、NativeMEM、HAMLET。它们要么随任务长度膨胀，要么可能丢失时间、语义或视觉细节，也没有机制确保策略真正依赖提供给它的记忆。

Mem4Act维护一个在整个任务中持续更新、容量固定为512个令牌的潜在记忆。三层编码器按32、16、8的时间窗口由粗到细聚合历史帧。记忆保留什么由两类监督决定：通过语言模型回答关于过去事件的问答，以及重建关键帧图像特征以保留视觉细节。训练采用“记忆优先”：先冻结策略预训练记忆，再以十分之一学习率与动作策略联合训练，作者证明这会提高策略对记忆的依赖。

在每项任务用70条遥操作示教训练的YAM双臂平台上，Mem4Act在盖积木、交换、重排、放回四项任务中分别取得78%、70%、100%、78%，平均81.5%；MME-VLA为42.0%，pi0.5为28.0%，Mem-0为22.5%。GPT-6 Astra达到42.5%，但每次决策约需19秒、每次成功耗时17分钟，Mem4Act分别为335毫秒和40秒。仿真中，它在RoboMME上为49.88%(最佳基线44.51%)，在RMBench上为61.0%(NativeMEM为48.7%)，需要记住多个历史画面的任务上为41.3%对14.8%。结构比容量更重要，1,024个令牌反而低于512个令牌，只有42.75%。

这是一篇预印本。真实任务是由RMBench改编的积木题，只在一种机器人上测试，且记忆只输入头部相机的历史。同一GPU上每次决策335毫秒，约为pi0.5(131毫秒)的2.6倍。RoboMME总体成功率仍不足50%，空间持久性任务只有31.5%，低于MemER的53.2%。部分基线由作者复现，GPT-6 Astra为带时间限制的零样本运行，与训练过的策略并非同条件比较。