MEKAWIRE
进阶arXiv

SARI相位分割仿真-真实协同训练:灯任务未见位置成功率27.5%,真实数据采集时间减少34.3%

Xingxin He, Yuxuan Jiang, Haonan Zhang, Chuhan Cui, Kaile Li, Zhongxing Zheng, Caihao Xu, Ziqi Wang
30 秒速读

SARI是一种相位分割的仿真-真实协同训练框架,利用仿真生成自由空间接近轨迹、真实数据教接触交互,在灯任务上实现未见放置位置27.5%的任务完成率,而所有全任务仿真-真实基线均为0%,同时减少真实数据采集时间34.3%。该论文为预印本,尚未经同行评审。

研究问题

能否通过将接触丰富操作分解为仿真负责自由空间接近、真实数据负责接触交互的相位分割训练,使单一策略在未见过物体放置位置实现泛化并减少真实数据采集?

问题

接触丰富操作任务需要大量真实演示来实现空间泛化,但现有全任务仿真-真实协同训练会浪费真实数据在自由空间接近上,或者让策略过拟合于狭窄的真实数据空间分布;仿真接触动力学不可靠,导致合成接触数据难以使用。预训练VLA模型在未见放置位置缺乏零样本空间泛化能力。

既有方法

此前方法通常假设仿真在整个任务中可靠,或需要全任务真实与仿真演示进行混合训练,如MimicGen、DemoGen、Real2Render2Real等合成数据管线,以及全任务sim-real协同训练。它们要么在接触阶段仿真失败,要么让狭窄的真实数据分布压制仿真提供的空间覆盖,导致未见位置完全失败。

新方法

SARI将任务分为自由空间接近阶段(由仿真覆盖,在Gaussian Splatting数字孪生中生成跨所有放置位置的多样化接近轨迹,并进行高阶球谐渲染和逐相机光度校准)与接触交互阶段(仅在两三个放置位置采集真实接触数据,从传递的预接触位姿开始)。通过共享相机相对动作表示(动作块表达为相对于腕部相机姿态的平移和Rot6D旋转,维度10),单一π0.5策略在无阶段标签或切换逻辑的情况下,在仿真接近和真实接触的并集上后期训练。

结果

在灯任务上,SARI在6个放置位置(P1-P6,真实接触数据仅限P1/P3)各评估10次,成功完成率:可见位置50%,未见位置27.5%(P2 40%, P4 20%, P5 30%, P6 20%),而全任务协同训练、全真实、全仿真在未见位置均为0%。真实数据采集时间从28.03分钟降至18.42分钟(减少34.3%)。在5个真实任务上(开书、按按钮、拉纸巾、开灯、开抽屉),未见位置成功率分别为81.25%、75.0%、43.75%、27.5%、25.0%(每位置评估4次,灯任务10次)。外观消融显示,高保真渲染+颜色校正+完整场景下π0.5总体成功率35.0%(60次试验),低保真为8.3%,损坏GS为18.3%。动作表示消融中,相机相对π0.5达到50%可见/27.5%未见,优于EEF相对GR00T N1.7的35%/20%,关节空间均为0%。均为真机Franka Research 3实验。

局限

作者承认:仅适用于固定桌面场景、单臂Franka机器人、两阶段接近-交互任务;需要人工场景重建、相机标定、预接触位姿选择、光度参考选择。动态场景、移动物体、多阶段交互、其他机器人本体、自动化准备尚未解决。明显的局限还包括:非灯任务仅每位置4次试验(灯任务10次),未见位置成功率仍较低(最低25%);仅两个真实接触放置位置;论文未报告代码是否开源;训练需要4块H800 GPU(后期训练1万步,另有10万步中间训练)。

产业影响

可用于机器人制造、物流、服务场景中的接触丰富操作任务部署,特别是需要高空间泛化但接触动力学难以仿真的按钮、抽屉、夹取等。时间尺度:1-3年,前提是数字孪生构建和相机标定自动化、预接触位姿定义可扩展,且整合到现有VLA训练管线中。对汽车制造(如BYD)等对数据效率敏感的行业有吸引力。

受许可协议限制,本站不转载该论文全文,仅提供摘要和原文链接。