感知、预测与规划合一:面向第一视角灵巧操作的统一世界动作模型P3-WAM
这篇预印本构建了单一视频模型P3-WAM,既能从第一视角视频中还原三维手部动作,也能预测给定手部动作后的场景,还能仅凭文字指令同时规划动作及其结果视频。三种能力联合训练后各自均有提升,并在四个公开数据集上超过专用模型,但机器人应用目前仅有两个开环演示。
机器人与具身智能领域的最新论文,以及每篇对产业的意义。
这篇预印本构建了单一视频模型P3-WAM,既能从第一视角视频中还原三维手部动作,也能预测给定手部动作后的场景,还能仅凭文字指令同时规划动作及其结果视频。三种能力联合训练后各自均有提升,并在四个公开数据集上超过专用模型,但机器人应用目前仅有两个开环演示。
这篇预印本把人们用胸前iPhone拍摄的视频转换成宇树G1人形机器人可学习的数据,并合成机器人自身相机应看到的画面。每个任务在50条机器人演示之外加入100条转换后的人类演示,在未见过的物体条件下成功率提高约45个百分点。
初创公司Dxtr AI的单作者预印本把手机拍摄的人类示范转化为只记录物体运动的数据,再在仿真中判定8种机器人中哪些能复现:157个机器人与示范组合中31.2%通过,52.2%失败,14.0%被事先拒绝。
康奈尔大学与Multiply Labs的预印本论文,让视频生成模型直接"想象"人形机器人自己完成任务,再把真实的机器人和物体模型拟合到视频上,得到训练用参考动作。基于这些动作训练的策略在仿真中成功率57%,高于基于人类视频的最佳方案的42%,四项任务已在真实宇树G1上运行。
Reliable recognition of accessibility-critical objects (e.g., audible pedestrian signals, door-activation buttons, and handrails) is essential for assistive navigation technologies that support safe, independent mobility for blind and low-vision (BLV) users. Yet these categories are underrepresented in existing large-scale vision datasets, and the few datasets that include them suffer from limited class coverage, inconsistent annotations, and poor diversity.
论文来自 arXiv 机器人领域。尚未生成摘要的论文,显示摘要开头部分。