主动生成式仿真:用元学习决定仿真与真实协同训练该生成哪些数据
佐治亚理工学院研究人员在预印本中报告,由学习得到的评分网络决定生成哪些仿真场景后,真实Franka机械臂完整抓放任务成功次数从均匀生成仿真数据时的23/80提升到58/80,相对提升150%,与专家手工对齐数据的57/80相当。同一批数据还使Physical Intelligence的pi0.5从30/80提升到52/80。
在少量真实示教中混入仿真数据协同训练时,应生成哪些仿真场景才能让策略在真机上表现最好?这一选择能否自动完成?
仿真与真实协同训练用廉价合成数据弥补稀缺的真实示教,但相机角度、桌面外观、物体布局或任务不匹配的数据帮助有限,甚至会拖累性能。目前工程师需要手工对齐生成参数,既依赖经验,又在仿真器无法复现目标任务时失效。
常见做法是均匀随机化生成参数、按真实工位手工调参,或用STRAP、IWR等方法从现有仿真数据集中检索相似样本。检索方法无法产生固定数据集里本来没有的数据。
MetaGenSim先在参数空间内均匀生成一个小规模探测数据集,参数包括任务类型、相机偏航角、桌面颜色三个值和物体摆放四个值。随后用元学习训练评分网络,使按其评分加权样本后,轻量BC-RNN策略在留出的真实示教上的误差下降。评分被映射回生成参数,经任务级温度系数和加权核密度估计转换为采样分布,再由MimicGen生成定向数据用于最终协同训练。
每项任务仅用10条真实示教,在Franka Panda上测试四项真实任务(叠方块、把杯子放进箱子、把碗放到托盘、挂杯子,每项20次,扩散策略),MetaGenSim完整任务成功58/80(72.5%),均匀生成为23/80(28.75%),仅用真实数据26/80,检索方法STRAP与IWR分别为27/80和33/80,专家手工对齐57/80。用同一数据微调pi0.5得到52/80,均匀生成30/80,仅真实数据19/80,专家对齐56/80。在八项仿真目标任务中,相比均匀生成,BC-RNN平均成功率提高18.6个百分点,扩散策略提高13.3个百分点。均匀数据从1600条增至8000条时性能停滞甚至下降,而800条定向数据效果更好。
方法只能在用户给定的参数空间内搜索,真实实验中的背景和光照仍未对齐。探测数据只做一轮均匀采样,可能漏掉较小的高价值区域;维度升高后核密度估计可靠性下降,带宽过小或温度过高都会损害效果。真机实验仅覆盖一台机械臂上的四项桌面任务、每项20次。本文为预印本。
合成数据是机器人学习企业降低真实示教成本的主要手段,瓶颈在于判断哪些合成数据真正有用。每项任务10条真实示教即可达到专家对齐水平,且产出数据对pi0.5这类大型VLA同样有效,这对正在建设大规模数据采集场和仿真平台的国内具身智能企业具有直接参考价值。该方法需要参数化的生成管线和元学习算力,预计一到两年内先在研究机构和数据平台团队中应用。
受许可协议限制,本站不转载该论文全文,仅提供摘要和原文链接。