EC-VLA与VA-VLA：用EMG和视觉标注替代语言，杂乱场景任务完成度大幅提升
这是一篇预印本，未经同行评审。作者将8通道EMG包络或视觉分割标注作为连续条件，替换VLA模型中固定的描述性语言提示，分别微调SmolVLA与π0.5。在SO-101真机方块抓取和RoboCasa仿真16项任务中，两种模型在杂乱分布外场景均显著超越语言基线，其中EC-VLA杂乱场景成功率从30%升至50%，VA-VLA从11%升至20%。结果表明非语言模态可作为VLA任务条件的有效补充。
在视觉语言动作模型中，除语言外，来自本体感觉向量或图像的连续条件信号能否替代或补充语言任务描述，尤其在杂乱场景中提升策略性能？
VLA模型通常依赖固定的语言提示定义任务，但在杂乱或模糊场景中，语言难以精确、实时地描述目标物体和位置。固定文本无法随执行过程更新，对相似物体的区分能力有限，导致分布外场景下失败率较高。
此前VLA微调多使用描述性文本提示作为任务条件，例如“拿起左边第二个方块放入盒子”。也有工作使用EEG、眼动或视觉提示，但大多将信号转化为离散指令或高层面板，未直接作为连续状态输入。RT-Trajectory、MOKA等工作虽使用视觉提示，但通常与完整语言指令结合，且提示多为静态或粗略轨迹，未直接以连续状态信号微调VLA。文本条件在分布外杂乱场景中效果较差。
作者提出EC-VLA和VA-VLA两种微调方法。EC-VLA在SmolVLA基础上，将8通道EMG包络拼接在6维本体感觉向量后，形成q_EC输入，由人类参与者通过手腕手势实时提供左、右、选择方块的意图，语言提示固定为“拿起方块并放入盒子”。VA-VLA在π0.5基础上，将左右相机图像中目标物体以绿色高亮、放置位置以蓝色高亮，语言提示固定为“Pick the object and place it.”，并在仿真中利用分割掩码动态更新标注。两种模型分别用对应增强数据集微调，训练目标为流匹配损失。EC-VLA部署在SO-101机械臂上，VA-VLA使用RoboCasa仿真中的Franka Panda臂。
实验1：在SO-101真机方块选择任务上，三名参与者模型平均，EC-VLA在无杂乱分布内条件下完成度0.94，基线SmolVLA为0.91，成功率均为0.80；在杂乱分布外条件下，EC-VLA完成度0.82，基线0.43，成功率0.50对0.30，完全失败率从50%降至6%。实验2：在RoboCasa仿真16项抓取放置任务上，VA-VLA总体完成度0.66，π0.5基线0.62，成功率0.31对0.27；在8项可添加杂物的任务上，VA-VLA杂乱完成度0.51，基线0.35，成功率0.20对0.11，完全失败率从47%降至25%。评估规模：EC-VLA每个模型30次试验，其中20次分布内、10次杂乱；VA-VLA每任务50次随机试验，16项任务共800次，另在8项杂乱任务上评估。
作者承认，EMG实验仅覆盖三名参与者，模型为参与者特定，未测试新用户迁移；持续EMG监督依赖人类实时输入，未来需考察所需指导量。VA-VLA仅在RoboCasa仿真中验证，视觉标注依赖仿真器的物体分割，真实部署需要额外目标跟踪与分割系统。此外，EC-VLA每模型仅30次试验，样本量较小；论文未报告跨机器人、跨用户的大规模真机实验，也未报告计算成本或代码开源情况。
共享控制、辅助机器人、人机协作、仓储分拣和家用服务机器人可能受益。EC-VLA的EMG连续条件适合需要人类实时意图修正的远程操作、假肢或协作机器人；VA-VLA的视觉标注适合已知物体分割的工业抓取或仿真到现实迁移流程。1至3年内，若能在真实硬件上实现可靠EMG采集和实时分割，可集成到现有VLA微调流程；3年以上，可能出现多模态连续条件的通用机器人策略。前提是解决新用户迁移、实时感知延迟和数据集规模问题。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。