一段人类生活视频让移动机器人抓取成功率达80%：纽约大学MoCaP
这项预印本不靠任务示教，只用人在空间中日常生活的视频，就让移动机器人找到物品并选好抓取站位。它指向降低家用和服务类移动机器人现场部署成本的路径。
不需要任务示范，仅凭人在空间中生活的普通视频，能否教会移动操作机器人去哪里找物品、伸手之前停在哪里。
移动操作的失败多发生在抓取之前：机器人找不到视野外的物品，或者停在手臂够不到的位置。为每个任务录制机器人示教成本很高，而为桌面机械臂设计的编程智能体用忽略家具的简单几何规则选择站位。
CaP-X等代码即策略智能体让语言模型编写调用感知、导航和抓取工具的程序，但它们靠原地旋转搜索，并用启发式规则确定底盘位置。CoW、ApexNav等物体导航方法借助开放词汇检测器探索未知边界，出发前对房间没有任何记忆。
MoCaP先让GPT-5.6观看用Aria Gen 2眼镜录制的第一人称视频，建立记录物品位置的空间记忆，以及记录人在拿取每件物品前站在哪里的交互记忆。运行时，闭环代码智能体依据记忆导航，从人接近的那一侧停靠，在附近搜索能让抓取姿态通过碰撞和逆运动学检查的底盘位置，再用英伟达cuRobo针对观测到的场景规划整臂动作。同一份记忆可用于所有任务。
在YOR机器人（全向底盘、升降柱、两只AgileX Nero机械臂、ZED2i相机、Jetson Orin NX）上，MoCaP抓取柜子上的箱子20次成功16次，抓取起初不在视野内的易拉罐10次成功8次，均为80%。CaP-X和加入避碰导航的CaP-X+两项均为0；CaP-X+在箱子任务中20次里有8次发起抓取，但常常停在距箱子0.74至1.64米处，两个基线都没能找到易拉罐。在寻找视野外蓝色垃圾桶的导航任务中，MoCaP 10次全部成功，去掉视频先验的版本7次，ApexNav 2次，CoW 0次，后者停在一个贴有蓝色告示的白色垃圾桶前。加入人类接近方向先验后，到达可抓取站位的比例由45次中18次升至38次（40.0%升至84.4%），从视频中人所在位置对面出发时由15次中0次升至14次。
该研究为预印本，只在一个室内环境、一段视频、三个目标物品上测试，每个条件5至20次；作者承认结果证明的是可行性而非通用性，并表示在此样本量下站位改进的合并结果不具统计显著性。记忆是启动时生成的固定摘要，可能遗漏物品或过时；技能仅到抓起为止；系统依赖未公布单任务成本和延迟的商用语言模型GPT-5.6。站位实验正文写每个起点5次，表格按15次统计，本文以表格为准。
对家用和服务类移动操作机器人厂商而言，为每个客户空间做设置的成本很高，住户拍一段巡视视频就可能替代建图和逐项任务教学。研究还说明可穿戴设备（此处为Meta的Aria眼镜）拍摄的视频可以成为家庭机器人的数据来源。时间上仍处研究阶段，产品化需要更多家庭场景、抓取之外的技能，以及不必每一步都调用前沿大模型的低成本规划器。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。