COWBOY：纯仿真训练的移动灵巧手机器人，在24个真实场景抓取陌生物体成功率91%（卡内基梅隆大学）
卡内基梅隆大学研究人员在预印本论文中报告，一个只在仿真中训练的视觉策略，让带机械臂、四指灵巧手和可动相机的轮式机器人在冰箱、楼梯等24个真实场景中抓取日常物体，平均成功率91%。在8000个未参与训练的仿真环境中成功率为92.4%，ManipGen为63.1%，端到端强化学习为0%。
一个仿真学到的策略，能否根据物体周围的场景而不仅是物体本身，同时决定移动操作机器人停在哪里、看向哪里、手臂怎么走以及手怎么抓？
仿真到现实的抓取系统能泛化到大量物体，但通常只在单一固定环境中训练。家庭中的移动机器人还要在货架、抽屉和杂物之间选择底盘位置、相机视角和手臂路径，这让仿真中的奖励和观测都难以设计。
ManipGen把基于点云的局部策略、AIT*运动规划和指定中间目标的视觉语言模型串联起来，但中间目标不考虑后续操作，常让手臂停在奇异位形附近。端到端点云强化学习在有障碍物时完全失败。
COWBOY把任务拆开。基于几何织物（geometric fabrics）的全身控制器在单块GPU上并行运行数千个仿真场景，在避障并让相机盯住目标的同时把手送到物体附近；在Isaac Gym中用数百种物体训练的局部强化学习专家负责抓取。两者被蒸馏成一个学生策略，仅凭深度和激光雷达点云控制TidyBot++底盘、Franka机械臂、LEAP灵巧手和搭载相机的ARX X5机械臂，共32个自由度。
在24个仿真中从未建模的真实场景里，该策略抓取大量陌生日常物体（含不规则和柔性物体）的平均成功率为91%，并会根据场景选择顶抓或侧抓及底盘位置。在含150种未见物体的8000个仿真环境中，学生策略在桌面、抽屉、箱子和货架上分别为94.7%、92.9%、91.3%和90.5%，平均92.4%，教师为95.6%；碰撞率6.1%，教师4.3%。ManipGen平均63.1%（货架21.2%），端到端强化学习为0%，去掉障碍物后为96%。全身控制器在98.4%的试验中把手送入局部专家的工作范围。
作者承认抓取方式只由场景和物体形状决定，而实际任务常需要面向后续用途的特定抓法，需额外条件输入。需侧抓的货架场景较弱，因为容易碰倒物体。真实实验只给出跨场景平均值，正文未列出各场景试验次数，任务也仅限抓取而非多步骤家务。该论文为预印本，尚未经过同行评审。
家用和服务机器人厂商需要能在陌生房间工作的移动操作机器人，而为每种布局采集真实数据太慢。以仿真为主的流程能迁移到冰箱、沙发和楼梯，印证了英伟达Isaac用户和人形机器人初创公司走的重仿真路线。国内做家庭和商用移动操作机器人的企业，可在两到三年内把取物作为落地场景，前提是补上面向任务的抓取和失败恢复。