PhysCanvas视触觉世界模型将pi0.5真机成功率从59.1%提升至70.8%
中国科学院自动化研究所与Anyverse Robotics等团队在预印本中报告，在同时预测相机画面和指尖触觉的世界模型PhysCanvas中对机器人策略pi0.5进行强化学习后，其在四项接触密集型真实任务上的平均成功率从59.1%升至70.8%。世界模型内成功率与真实成功率的平均相关系数也从0.602提高到0.885。
同时预测视觉与触觉的学习型世界模型，能否在评测和改进操作策略时替代真实机器人，并且其判断与真机结果一致？
在真机上评测和微调策略既慢又贵，因此实验室转向以动作为条件的世界模型充当模拟器。但视频模型可能生成看似合理却接触关系错误的画面，使其在拧瓶盖等任务上的成败判断不可靠。
包括论文对比的WoVR在内，以往的机器人世界模型多由动作预测相机视频，触觉或任务状态往往交给额外网络处理。画面质量高并不保证预测结果与真实结果一致。
PhysCanvas把多视角RGB、触觉图像、触觉标记点位移、任务状态和动作统一放到同一张图像画布上，所有模态共用一个视频自编码器和预训练视频底座（Wan 2.2）。动作通过正向运动学和相机投影转成运动图像作为条件。模型先用ARX AC One双臂机器人（三台相机、四个Xense指尖触觉传感器）的3805条真实策略轨迹训练，再用三个冻结的奖励模型做一致性后训练，分别检查场景保持、视触觉一致和与真实任务结果的一致。得到的模拟器可做闭环评测，并为GRPO策略更新提供想象交互与奖励。
在试管放置、拧瓶盖、积木搬运和魔方操作四项任务上（每项80条留出测试轨迹），状态奖励后训练使世界模型与真实成功率之间的皮尔逊相关系数均值从0.602升至0.885，且每项任务都有改善。在基础世界模型中做GRPO，pi0.5真实平均成功率从59.1%升至67.5%，在后训练模型中进一步升至70.8%，提高11.7个百分点（MEKAWIRE计算）；流匹配策略从11.2%升至16.6%，再到19.1%。对pi0.5而言，后训练模拟器带来的额外提升在积木（6.6个百分点）和魔方（10.0个百分点）上最大。
该预印本仅基于一种双臂机器人、一种触觉传感器和四项任务。效果因任务而异：pi0.5拧瓶盖成功率从90.0%降至86.6%，流匹配策略在试管和魔方任务上仍为零。ACT因不属于扩散或流匹配策略而未参加强化学习实验。相关系数基于有限的评测批次，奖励模型也在同类任务上训练，对新任务的迁移尚未验证。
如果世界模型能可靠地为策略排序，机器人企业就能减少评测和微调所需的真机时间，这是所有训练pi0.5等VLA模型的人形与双臂项目的成本项。加入触觉对装配、实验室自动化和家务等视觉难以判断接触的场景尤为重要。论文使用的是现成的ARX双臂平台和Xense触觉传感器；未来一到两年的看点是这类模拟器能否成为VLA后训练的标准环节。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。