AutoRSR：扫描真实工作空间自动生成仿真训练数据的实到虚到实框架

能否几乎不靠人工，把扫描得到的真实工作空间变成尺度准确的仿真环境和大规模操作数据集，并让据此训练的策略在真机上奏效？

遥操作示教质量高，但耗费操作员和机器人时间。仿真单条成本低，但把真实工位搬进仿真仍要人工抠出物体模型、清理网格、把场景标定到机器人基座坐标并编写轨迹。

Real2Render2Real、GASE等实到虚系统用高斯泼溅等方法重建场景，但据作者对比，分割、导入仿真资产和与机器人对齐仍需人工。

AutoRSR把手机扫描与两台位姿可由机器人状态获知的腕部相机结合，用开放词汇文本查询逐一分割物体，自动以真实尺度把重建结果配准到机器人基座坐标系，在仿真中回放每项任务的一段参考动作，再通过轨迹插值和视觉域随机化扩增为每项任务1000条。

在PiperX机械臂的三项任务（倒入碗中、把玩具鸭放上盒子、合上笔记本，每项15次）中，用1000条生成数据微调的pi0.5成功率为73.3%、80%和86.7%，用150条遥操作示教训练则为73.3%、86.7%和86.7%。两者混合训练使倒水任务升至86.7%。场景与机器人对齐误差从原始重建的3.81至8.62厘米降至0.61至0.91厘米。单张GPU生成1000条耗时25至28分钟，采集150条示教需操作员52至73分钟；前期扫描与处理约35分钟。

本文为预印本。每种条件仅15次真机试验，6.7个百分点的差距只相当于一次。摘要称人工时间减少一个数量级，但表格显示生成耗时约快2.2至2.6倍，更大的节省来自几乎无需人工参与。任务均为简单刚体搬运，柔性物体、精密插装和多步骤作业未经验证。关闭轨迹增强后成功率跌至13.3%，方法高度依赖这一步。