微分同胚隐状态引导（DHS）：利用专家示范的隐状态几何提升模仿学习机器人策略的鲁棒性
韩国科学技术院（KAIST）研究者在预印本中报告，一种只复用训练示范数据的推理时引导方法，使冻结的模仿学习机器人策略在传感器噪声下的成功率在全部4项仿真操作任务中提升3.7至12.0个百分点（Square由39.7%升至51.7%），无需新增示范或重新训练。按MEKAWIRE计算，4项任务平均噪声成功率由49.8%升至56.9%。
在不增加示范、不使用奖励信号、不改动策略权重的前提下，仅凭原有专家示范能否让已训练的模仿学习策略在闭环执行中更鲁棒？
观测或动作上的微小误差会把模仿学习策略推入示范从未覆盖的状态，误差不断累积直至任务失败。DAgger式专家重新标注、恢复示范或强化学习微调等常见办法，都需要原始数据之外的信息，在产线上代价高昂。
以往的隐状态校正要么把校正模块与策略一同训练，要么根据成功与失败的执行轨迹拟合引导滤波器。另一种简单做法是对专家隐状态拟合线性滤波（PCA）并压制低方差方向，但一组固定方向无法跟随在不同区域朝向不断变化的结构。指数加权移动平均等动作平滑能减轻抖动，却不修正内部状态。
DHS把示范重新输入冻结的策略，记录某一层的隐状态。作者发现专家变化集中在少数维度（Square任务中29个主成分解释90%的方差），但不同簇的方向不同。因此DHS从这些隐状态学习一个可逆的非线性坐标映射（图卡）。运行时把当前隐状态映射到图卡坐标，对专家方差小的坐标施加更强的收缩、保留全部坐标，再映射回原空间，由后续网络层生成动作。引导强度由一个参数控制。
在Robomimic的Square、Transport、Can和MimicGen的Coffee-D1上，每项任务使用同一个冻结的BC-Transformer，每个条件运行300回合（3个随机种子各100回合）。DHS把噪声下的成功率从39.7%提至51.7%（Square）、37.3%提至41.0%（Transport）、55.3%提至61.7%（Can）、67.0%提至73.0%（Coffee-D1）。与动作平滑结合后，Square由57.7%升至61.7%，Transport由56.3%升至62.0%。在同样保留29个坐标时，学习得到的图卡在噪声下达到48.7%，PCA仅21.7%；保留全部512个坐标时，DHS为50.3%，基于PCA的滤波为44.0%。Square噪声运行中，低方差部分的中位范数由8.49降至0.95，高方差部分几乎不变（余弦相似度0.9989）。引导强度在0.1至1.0之间时，成功率保持在48.0%至53.3%。
所有实验均在仿真中完成，限于低维状态输入、单一策略结构和单一干预层。无噪声时Transport成功率由45.0%降至36.0%；DHS叠加平滑后，Can和Coffee-D1的噪声成功率反而下降，强度需逐任务调参，且强度由超参数搜索确定。该方法只刻画专家状态的分布，不刻画状态随时间的演化，某个状态可能看似专家却不适合当前任务阶段。这是单一作者的预印本，没有实机验证。
对用模仿学习搭建工位的中国系统集成商和3C、汽车零部件产线而言，吸引力在于成本：只需已有的示范数据和推理时的小型附加模块，不必新增遥操作示范或重新训练，适合按工位分别训练策略的团队。提升幅度因任务而异，近期更适合作为与动作平滑并用的鲁棒性选项；若出现基于相机输入的实机验证，未来一到两年内即可进入产线试点评估。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。