WorldOracle:用真实执行结果检验动作条件世界模型的基准
智元机器人与英伟达研究人员在预印本中发布一项基准:把真实机器人执行过的动作原样输入世界模型,检查预测视频是否与真实结果一致,包括抓空和洒水。受测的七个模型在长时预测中全部退化,即便机械臂轨迹跟得最好的模型也常把物理结果预测错,这对打算在世界模型中评测或训练机器人的企业是一个提醒。
机器人与具身智能领域的最新论文,以及每篇对产业的意义。
智元机器人与英伟达研究人员在预印本中发布一项基准:把真实机器人执行过的动作原样输入世界模型,检查预测视频是否与真实结果一致,包括抓空和洒水。受测的七个模型在长时预测中全部退化,即便机械臂轨迹跟得最好的模型也常把物理结果预测错,这对打算在世界模型中评测或训练机器人的企业是一个提醒。
英伟达研究团队在一篇预印本论文中称,仿真中的单个机械臂在没有人类示范、只获得“装配成功与否”信号的情况下,以98.2%的成功率学会了NIST标准装配板上的全部20项任务。目前所有结果均来自仿真,能否在真实产线上复现仍是关键待解问题。
这篇arXiv预印本尚未经过同行评审。作者提出UniIntervene++,一种在真实机器人在线强化学习中动态分配自主执行与多种辅助行为的干预智能体。它在五个真实操作任务上平均成功率达89.67%,比最强基线高6个百分点,人类介入率仅0.77%,比基线中最低的14.29%相对降低94.6%。
这是一篇预印本论文,尚未经过同行评审。作者提出两条互补路径:让 GPT-6 Astra 等前沿模型自主生成演示数据并加入纠错片段,训练低延迟本地策略;同时用三层次嵌套语言标注和多方面指令描述训练策略,提升指令跟随能力。在 RoboCasa 365 和 BEHAVIOR-1K 上,层次化与多方面监督组合达到最高分,混合演示与纯人类演示的总体成功率相同,十字填词任务中超时预算内累计动作执行时间提升约 3.4 倍。
RATE是预印本框架,通过学习任务条件下的交互风险来增强触觉表征。在八个仿真任务上获得71.8%的平均成功率,超过4B参数的StarVLA-α 15.6个百分点;在三个真机任务上也取得最高成功率和接触安全成功率。该方法仅更新0.59%的模型参数,为小模型超越大模型提供了新路径。
这篇预印本提出 AdaTempo,一种自监督方法,通过提取多个演示中共享的相对节奏模式,对演示轨迹进行离线重采样,训练出更快执行的视觉运动策略。在5个仿真和6个真机任务上,AdaTempo 最高实现3.57倍加速,仿真平均成功率达75.5%、平均加速2.83倍,真机汇总成功率从58.3%提升到77.8%且平均快2.02倍。该方法无需运行时速度选择或在线重定时,简化部署。
这是一篇预印本。研究者提出 ManiPhysicsZoo 物体库和基于物理求解器的评估方法,据此构建 ManiPhysicsBench,在 LIBERO 和 SimplerEnv 上评估 VLA 模型的物体保全。结果显示公共 VLA 检查点任务成功率高但安全成功率低,安全成功率平均仅为 13.5%(SimplerEnv)和 1.9%(LIBERO)。重训练使用物体特定连续夹爪标签后安全成功率提高,但任务成功率下降。
这是一篇未经同行评审的 arXiv 预印本。作者提出一种基于偏好学习的可通行性估计方法,使用冻结视觉语言模型特征空间中的 von Mises-Fisher 混合原型,先用 LLM 生成的相对语言规则初始化,再用少量相对图像标注适配目标域。在 WayFAST 上微调后,该方法在 HDR 0.25 和 0.5 指标上超过端到端基线 W-RIZZ,同时训练参数仅约 8.2k,并展示出低样本下的效率优势。
论文提出DeltaWorld,一种用于机器人操作的物理一致交互式世界模拟器。其Delta-LTM预测动作引起的潜变量增量并叠加到当前状态,Interaction-aware Latent Alignment强化机器人-物体交互区域的监督。在IWS基准和自我采集的跨机器人数据集上,DeltaWorld相比IWS基线将FVD降低46.6%,LPIPS降低31.1%。该研究为预印本,尚未经同行评审。
这是一篇 arXiv 预印本。作者提出 LLA-MPC 的通用实现,在 F1TENTH 实车上用 5000 个并行候选模型实时辨识轮胎参数。实验显示,在低摩擦、变表面和机载计算条件下,LLA-MPC 完成高速跟踪任务,而固定标称模型失败。该方法无需学习或预热,可快速适应动力学变化。
这是一篇预印本,提出人形机器人学习流水线中存在四层代理分歧:奖励、课程门控、评估统计、参考动作。作者在模拟的1.91米人形机器人上完成四阶段PPO训练,展示了平均误差课程门控忽略局部失败、同步重置评估产生相位混叠等系统性偏差,并给出修正方案。这些发现对依赖模拟训练和课程学习的机器人开发者具有直接警示意义。
这篇预印本提出 Register-Routed Delayed Fusion(RRDF),在 ACT 等视觉运动模仿策略中屏蔽紧凑令牌与视觉令牌的直接注意力,改用寄存器令牌分阶段隔离、收集、路由跨模态信息。在 5 个仿真任务和 3 个真机任务上,RRDF 与稠密融合基线相当或更好,在视觉外观变化和真机位置偏移下优势更明显。结果显示,控制紧凑信号进入视觉表示的路由有助于减少对本体感觉的捷径依赖。
预印本论文提出 RYOPO,一种端到端可训练的查询式 RGB-D 集合预测器,无需外部实例分割或显式 CAD 形状先验,同时完成检测、分割与 9 自由度姿态估计。在 NOCS 基准上大幅超越已发表的 RGB-D 联合检测与姿态估计方法,在 REAL275 与 HouseCat6D 上全物体评估中与两阶段方法相当,并在 RTX A6000 上实现 31.8 FPS 全帧姿态输出。该方法消除了按物体重复编码与额外分割阶段,为实时视觉伺服和机器人操作提供可能。
RoboChemGym是面向化学实验的生成式仿真框架,能将文本协议自动转化为高保真、长时程机器人操作演示。在20个真实化学协议上,生成管线成功率最高为89.2%,在真机Level-1任务上平均提升策略成功率23.3个百分点。本文为arXiv预印本,尚未经过同行评审。
MixVLA是arXiv预印本提出的模型无关训练框架,通过信息瓶颈提取不变表征,并用权重减法得到非不变分支,再对非不变嵌入做自适应混合后与不变表征融合。在LIBERO-Plus和RoboTwin等基准上,该方法提升了零样本分布外任务成功率,且在真实机器人光照扰动下优于π0.5。该框架无需额外数据或改动模型架构,但尚未经过同行评审。
这是预印本,未经同行评审。GeoScaffold 提出一种训练时几何监督框架,让端到端 VLN 策略从 RGB 和文本中学习几何隐表示,推理时不依赖深度传感器或 3D 编码器。在 R2R-CE 和 RxR-CE 上,4B 模型达到 64.8% SR 和 60.5% SPL,超过多个 7B 基线,同时每帧 81 ms。
BVER 是一个预印本方法,提出从目标状态和初始分布两端同时扩展中间起点与目标,训练单个目标条件策略。在仿真中,它在点质量迷宫、四足盒攀爬和机械臂套环转移任务上比所有无参考课程学习更快,攀爬 0.4 米盒时达到 95% 成功率的迭代数比最佳无参考基线少约 65%,并且是唯一能学会攀爬 0.7 米盒的无参考方法。该方法无需演示或奖励塑形,对稀疏奖励长程机器人任务训练具有实际价值。
SARI是一种相位分割的仿真-真实协同训练框架,利用仿真生成自由空间接近轨迹、真实数据教接触交互,在灯任务上实现未见放置位置27.5%的任务完成率,而所有全任务仿真-真实基线均为0%,同时减少真实数据采集时间34.3%。该论文为预印本,尚未经同行评审。
FUSEye 是 arXiv 预印本,提出训练轻量的鱼眼检测框架,将冻结主干的 COCO 预训练 YOLO26-x 适配到鱼眼图像。在 WoodScape MVR 验证分割上,FUSEye 将 mAP50 从 0.148 提升到 0.266,保留全量微调性能的 84.3%,且仅新增约 227k 参数;使用 25% 标签时保留 97.6% 性能。该框架无需相机标定或去畸变,对标签和算力受限的机器人感知部署有吸引力。
本文提出LOCUS,一种基于场景图和GNN的方法,用于更新CLIP嵌入以区分同一类别的多个容器实例,从而找到被遮挡物体。在iTHOR仿真中,LOCUS将ECO/N降至0.257,比TidyBot的0.338降低24%,并在RoboCasa和真机Stretch 3上验证了跨域迁移。该预印本尚未经过同行评审。
论文来自 arXiv 机器人领域。尚未生成摘要的论文,显示摘要开头部分。