InterEvolve：测试时演化奖励程序让 Unitree G1 完成未训练任务
本文是预印本，未经同行评审。InterEvolve 用大语言模型在测试时反复修改分阶段奖励程序，配合物体感知的 forward-backward 行为基础模型，使固定的 Unitree G1 控制器无需重新训练即可完成训练中未见过的新移动操作任务。在八个任务族上，完整系统成功率 86.5%，高于最佳校准固定程序的 34.6%，并能在真实机器人上自主执行踢箱和推箱。
如何在不重新训练控制器的条件下，通过测试时演化奖励程序来复用现有人形机器人的技能，完成训练中未见过的新任务？
人形机器人在开放环境中会遇到训练时未枚举的任务和场景。现有控制器可能已经具备所需动作，但没有对应演示或参考。手工设计的奖励常常效果差，而传统上每修改一次奖励就需要重新训练一个策略，迭代成本过高。
此前方法依赖运动参考、目标状态、技能标签或语言条件，把新任务翻译成参考动作、目标状态或新技能；奖励设计方法通常每个候选奖励都要训练一个策略，无法快速迭代。现有的 body-only forward-backward 模型只观察身体，忽略物体目标差异，导致物体相关奖励可能退化为同一种行为。
InterEvolve 将任务表示为分阶段奖励程序，每阶段包含奖励和完成条件及可调常数。LLM agent 根据执行反馈和技能库修改程序结构，CMA-ES 调优常数，并在并行仿真中验证。执行由物体感知的 forward-backward 行为基础模型完成：在冻结的身体先验上添加物体残差，使用 OMOMO 和 GRAB 人机交互数据训练残差分支。验证后的奖励程序存入技能库，供后续任务复用。
在参考跟踪基准上，带演化奖励的 InterEvolve 成功率 72%，高于专用跟踪器 ULTRA 的 66%；物体表面误差 24.92 cm，身体关节误差 19.80 cm。在八个目标条件任务族上，InterEvolve 成功率 86.5%，达标率 95.6%，而最佳校准固定程序成功率 34.6%，达标率 82.5%。消融显示去掉多阶段结构使成功率降至 44.7%，去掉 CMA-ES 调优降至 51.6%。演化第 1 轮成功率从初始的 32.2% 升至 75.0%，第 4 轮最终达到 86.5%。在三个未见过的复合任务上，完整技能库解决 8/10 的 Relocate、4/10 的 Stack、5/10 的 Carry-place-kick，而无技能库分别为 0/10、0/10、1/10。真机 Unitree G1 使用机载相机和 FoundationPose 自主执行踢箱和推箱。
作者未明确列出局限。明显局限包括：仅在单一型号 Unitree G1 上验证，真机只展示两个任务且未报告重复次数或成功率；仿真评估每轮使用 192 个调优 rollout 和 192 个确认 rollout，GPU 小时和 token 成本较高；技能库为文本形式，跨机器人和场景泛化未充分测试；论文未报告是否开源代码或数据；使用 Isaac Lab 仿真，sim-to-real 差距未量化。
人形机器人整机与操作系统公司、仓储物流和家庭服务机器人企业可能受益。1至3年内，可用于仿真中快速为新任务生成和验证奖励程序，减少策略训练次数；3年以上，若真机验证充分并结合更快的仿真器和更丰富的技能库，可能让同一控制器通过测试时搜索适应现场新任务，无需重新训练。前提是控制器具备足够的移动操作先验，且奖励程序和验证器能在真实环境中可靠获取。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。