机器人记忆怎么验：给对历史记录，任务成功率从39.1%升至74.3%
海南比勒费尔德应用科学大学、慕尼黑工业大学和柏林工业大学的预印本显示，在仅凭当前画面无法完成的新基准上，机器人能查阅正确历史记录时，任务成功率由39.1%升至74.3%，与始终选对的oracle持平。论文同时指出，仅凭成功率提高并不能证明机器人的记忆在使用正确的事实。
当说一个视觉语言动作（VLA）机器人系统使用了记忆时，存储的内容是否真正驱动了决策，又该如何检验？
为处理长时任务，越来越多VLA策略加装记忆模块，但常见证据只是开关记忆后比较成功率。这同时改变了信息和计算，而整体成功率可能掩盖部分回合的收益与其他回合的损失相互抵消。
以往带记忆的机器人策略主要以有无记忆库时的任务成功率评估，且很多基准中所需信息在当前观测中仍可见或可恢复。
作者提出干预式评估协议IMEP：按随机种子配对回合，在检索接口直接修改记忆，包括替换关键事实、用保留事实的其他记录替换、把数值改动一个最小单位，或插入完全相同的副本，并将决策正确性与动作执行分开评分。作者还构建了ChainBench：机器人先看到物体放在哪个抽屉，经过若干干扰回合后，须在外观相同的关闭抽屉中做选择，再由冻结的pi0.5策略执行。
在ChainBench（202条链，二选一，随机50%）上，无记忆时决策正确率53.0%、任务成功率39.1%；打乱记录时为51.5%和38.6%；完整记忆在所有链上选对，正确率100.0%，任务成功率74.3%，与共享执行记录的oracle相同（提升35.2个百分点，1.90倍，MEKAWIRE计算）。在学习型记忆库实验中，最小单位的数值改动连同安装过程改变了11.9%的配对结果，但替换关键事实相比保留事实的替换并无明显额外效果。遮挡摄像头的Shell Game中，记忆读取仅带来4.0个百分点（73.5%对69.5%），低于作者预设的10个百分点标准；训练出的记忆插件在保留记忆库时，成功率由18.4%降至10.2%。
本文为预印本，包括SimplerEnv任务在内的全部实验均在仿真中完成。作者承认学习型记忆库实验缺少决策读数和内容阳性对照，小幅的事实特异效应无法判定，跨检查点和实现的泛化也未验证。ChainBench完整记忆配置使用人工整理的最新写入集合，决策时不调用语言模型，74.3%说明正确历史可以帮助决策，不代表已部署的记忆系统能做到。
对开发长时任务VLA产品的企业，包括使用Physical Intelligence的pi0.5的团队，以及给物流、家用机器人加装记忆的厂商，这提供了检验供应商宣称的方法：不仅要看开关记忆的成功率，还要看事实替换和副本对照。国内具身智能企业在长程任务演示中也可直接采用。一到两年内，它更像采购和研究的评估标准，而非新能力。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。