EC-VLA与VA-VLA:用EMG和视觉标注替代语言,杂乱场景任务完成度大幅提升
这是一篇预印本,未经同行评审。作者将8通道EMG包络或视觉分割标注作为连续条件,替换VLA模型中固定的描述性语言提示,分别微调SmolVLA与π0.5。在SO-101真机方块抓取和RoboCasa仿真16项任务中,两种模型在杂乱分布外场景均显著超越语言基线,其中EC-VLA杂乱场景成功率从30%升至50%,VA-VLA从11%升至20%。结果表明非语言模态可作为VLA任务条件的有效补充。
机器人与具身智能领域的最新论文,以及每篇对产业的意义。
这是一篇预印本,未经同行评审。作者将8通道EMG包络或视觉分割标注作为连续条件,替换VLA模型中固定的描述性语言提示,分别微调SmolVLA与π0.5。在SO-101真机方块抓取和RoboCasa仿真16项任务中,两种模型在杂乱分布外场景均显著超越语言基线,其中EC-VLA杂乱场景成功率从30%升至50%,VA-VLA从11%升至20%。结果表明非语言模态可作为VLA任务条件的有效补充。
UniWAM是一个统一世界-动作模型,将物理推理、视觉生成和动作预测集成在单一混合Transformer架构中,并在约1万小时人类与机器人数据及829万VQA样本上预训练。该预印本在LIBERO、RoboTwin等基准上取得SOTA,真机实验指令跟随与长程任务也优于π0.5和Motus。其重要之处在于展示了人类-机器人联合预训练的对数线性扩展规律,为通用机器人模型提供数据与架构路径。
这篇预印本提出了一个与基准无关的行为鲁棒性评估框架,在LIBERO和LIBERO-Plus上补充任务成功率之外的轨迹行为指标。研究发现,输入扰动会改变成功轨迹的执行行为,即使不同模型的成功率相近,其行为退化程度也可能差异很大。因此仅用任务成功率评估鲁棒性会掩盖部署相关的行为变化。
本文为预印本。DynaHarness通过动态物理执行合同连接慢速语义推理和快速物理治理,在LIBERO-Pro新增800个状态上取得75.2%成功率,冻结π0.5策略仅17.5%。同一技能库下,完整动态执行74.0%,对比一次性重规划63.9%,显示对已有能力进行实时监控、替换和恢复的价值。
这是一篇预印本。研究者为预训练 VLA 策略加装无需训练的多连杆安全过滤,用五个椭球覆盖夹爪、手腕和前臂,并通过稀疏光流追踪移动障碍物。在六个仿真移动障碍条件下,碰撞率从 65.62% 降到 27.27%,安全成功率从 29.35% 升到 50.43%;边缘 CPU 上屏障求解 p99 仅 2.2 毫秒,真机测试触碰次数从 11/16 降至 3/16。
FailBank 是一个四阶段自进化框架,将运行时 CBF 屏蔽的修正建议转化为学习记录,用于持续更新视觉-语言-动作模型,而无需在部署时使用屏蔽。在 VLA-Arena 静态障碍套件上,FailBank 在两个骨干模型上分别将任务成功率提高 8.5 和 6.9 个百分点,同时将策略诱导累积成本降低 35.6% 和 23.8%。与运行时屏蔽 AEGIS 相比,成功率分别提高 25.4 和 9.5 个百分点。本文为预印本,尚未经过同行评审。
本文提出预印本方法Optimus-R,一个记忆中心的视觉语言动作模型框架,将机器人适应任务转化为显式的查询技能记忆调优,而非反复更新模型参数。在LIBERO、CALVIN、RoboTwin 2.0仿真基准及真实机器人上,Optimus-R在低数据适应、跨域迁移和终身学习中均优于基线π0.5,显著缓解灾难性遗忘。该框架通过内联记忆接口、查询技能记忆库和轻量桥接适配机制,为机器人持续学习提供了高效路径。
这篇预印本论文诊断了视觉-语言-动作(VLA)模型的一种特定失败模式:指令-动作绑定,即模型能对语言和视觉作出反应,却无法将二者结合起来选择当前任务所需动作。作者提出 Equivariant Counterfactual Training(ECT),通过补充同指令、不同场景、不同动作的成对演示并按对训练,在 LIBERO-PRO 上将 π0.5 的平均 Swap 成功率从 36% 提升至 59%,在真实 UR5e 上将未见位置成功率从 3/40 提高到 35/40。该工作解释了现有数据为何允许这种捷径,并为改进机器人指令跟随提供了训练原则。
机器人企业MagicLab发布预印本,介绍34亿参数的机器人模型Magic-W0,它在决定动作的同时预测场景三维结构会如何运动、动作结束后场景应呈现什么状态。在10月3日的修订版中,它以平均36.75分登上RoboDojo-Sim榜首,但仅领先第二名0.48分;在五项真机任务上以94.6%对91.8%胜过Physical Intelligence的π0.5。
这是一篇预印本论文。作者提出 GroundingPI,一个基于点和边界框等视觉基元的 4B 参数接地基础模型,在 34 个接地基准上达到 73.68% 平均得分,超过更大的 GPT-6 Astra(71.54%)。该模型作为视觉骨干用于机器人操作和自动驾驶时,在 RoboTwin 2.0 全部四个分布外设置中优于所有主流骨干,相对最强基线最高提升 24.8%,并在 RoboCasa-GR1 上以 50% 演示数据超过其他基线用 75% 数据的表现。这项工作表明专门的接地预训练可成为物理智能的感知基础,尤其适合系统1的快速执行。
该预印本提出统一框架,将局部全身VLA行为组合为场景级空中操作。在仿真中完成21/50个跨站点任务(42.0%),物理平台验证了2/5次取水浇花任务。关键贡献包括无需真实平台演示的合成训练、MPAR对齐异步动作块,以及场景图引导的可行交接与拓扑转移。
这篇arXiv预印本提出了PrefPI,一种仅用相对偏好反馈、迭代式引导预训练生成式机器人策略移出其初始有效支持范围的框架。它通过偏好条件生成建模与分类器无关引导(CFG)放大偏好信号,在真机上仅用150条偏好标注轨迹就将物体搬运高度从10.7厘米提升到19.8厘米。该方法为机器人行为对齐用户偏好提供了轻量级路径。
机器人AI模型每次预测一段未来动作,执行多少步之后再重新观察环境,过去大多由工程师手动设为固定值。清华大学、北京智源人工智能研究院(BAAI)等机构发布的这篇预印本提出一个即插即用模块,在运行中自动决定这一步数,无需重新训练,就提升了Physical Intelligence和英伟达现有模型在仿真和真实双臂机器人上的成功率。
这是一篇arXiv预印本,尚未经过同行评审。作者以π0.5为基线,在双臂真机上测量了从相机、本体感知到命令响应的端到端延迟,并提出两阶段非均匀Flow Matching去噪,把推理步数从10步减到2步,模型推理时间从61.557毫秒降到21.956毫秒。在30次叠衣真机试验中,训练型方法Legato和免训练方法Temporal Smoothing表现最好;把两阶段去噪与这两种方法结合,推理成本大幅下降,但任务成功率有小幅回落。
EWAM是一种以动作流为核心的一体化具身模型,通过非对称联合注意力让动作token在每层读取语义、当前视觉、预测未来和动作信息。在RoboTwin clean-to-random测试中达到72.1%,LIBERO平均98.8%,并在多个真实机器人上超过VLA、WAM和混合基线。该预印本显示统一训练可诱导从语义理解、视觉预测到动作生成的内部有序计算,且人类自我中心数据可提升跨具身迁移和真实场景鲁棒性。
Vision-language-action (VLA) models have advanced robotic manipulation, but their zero-shot generalization in new tasks and environments remains limited, and their reliance on specialized training keeps them from benefiting directly from rapidly advancing general-purpose vision-language models (VLMs). In parallel, recent agentic robotic systems leverage VLMs for high-level reasoning or coding agents for robot control, but often depend on extensive external models and tools, introducing additional complexity and cost.
Visual Language Action (VLA) models offer unprecedented generalization for autonomous robots; however, their real-world deployment is frequently bottlenecked by unreliable execution and the prohibitive computational cost of fine-tuning for specific robot embodiments and tasks. To bridge this gap, we propose WayFinder, an end-to-end, closed-loop hierarchical VLA framework that circumvents the need for fine-tuning by decoupling high-level task reasoning from low-level kinematic control.
这篇预印本提出自补偿VLA,在部署时利用指令与实际运动残差在线微调LoRA,让策略预补偿机器人执行误差。在RoboStress仿真基准和两台Piper机械臂上,该方法平均任务成功率相比基线提升超过30个百分点(真机),并在未见物体上保持提升。这为提升VLA在真实机器人上的长期可靠性提供了不依赖任务奖励的部署期适应方案。
Diffusion and flow-matching Vision-Language-Action (VLA) policies generate action chunks through iterative denoising, incurring substantial inference latency that severely limits real-time robotic control. Existing acceleration methods treat an action chunk as a monolithic computational unit, ignoring a crucial physical reality of receding-horizon control: actions are generated jointly but consumed sequentially, resulting in inherently heterogeneous execution urgencies.
Simulated manipulation benchmarks are the standard tool for evaluating vision-language-action (VLA) policies and the acceleration methods that reduce their inference latency for on-robot deployment. On these benchmarks, we observe that some training-free acceleration methods, which approximate the baseline policy's computation, achieve higher measured success rates than the baseline itself.
论文来自 arXiv 机器人领域。尚未生成摘要的论文,显示摘要开头部分。