KinoGen：用机器人自身视频生成人形机器人全身操作参考动作
康奈尔大学与Multiply Labs发布预印本，用生成的机器人自身视频重建人形机器人全身、手和物体轨迹。由此训练的跟踪策略成功率57%，此前最佳方法为42%。
能否不经过人体动作和重定向，直接用预训练视频生成模型为特定人形机器人、在精确任务布局中生成全身、手部和物体参考动作，并允许用户指定精确目标姿态？
人形机器人通过强化学习跟踪参考轨迹来学习移动操作，但每条参考都要针对一种机型和一个场景同步身体、手指和物体。人类示范需要重建和重定向，会带来形体误差；遥操作覆盖不同物体、布局和目标的成本很高。
现有方法或生成人与物体交互视频再把人体动作重定向到机器人（GenMimic、GRAIL），或生成机器人视频但仍借助人体姿态估计恢复动作（GenHOI）。机器人运动学约束都只能在生成之后满足，表现为穿模、脚部滑动和接触丢失，也无法指定物体的精确终点位置。
KinoGen用真实机器人和物体模型，从两台标定相机视角渲染仿真任务场景，以此作为视频生成条件；再把同一套机器人、手和物体模型拟合到生成的双视角视频上，并用身体、手部和物体先验初始化，结合掩码、点跟踪和深度优化，使结果天然位于机器人构型空间内。用户在仿真器中编辑关键帧后，系统围绕该帧重新生成视频，并以约束重建精确满足指定姿态。
在配备两只6自由度灵巧手的宇树G1上测试八项任务：穿模2.30厘米（基线3.06至10.55厘米），脚部滑动每秒4.09厘米（基线5.11至9.95），接触保留率91.16%（GRAIL为69.40%、GenHOI为43.91%、GenMimic为13.57%）。由此训练的跟踪策略成功率57%，对应基线为42%、11%和31%。在30个目标的放瓶任务中，KinoGen全部精确命中，桌面最大穿透2.7至21.0毫米；直接末端插值虽命中目标，手却穿入桌面约139至147毫米。四项任务在实体机器人上运行，但论文未给出实机成功率。
该研究为预印本。作者承认严重遮挡会导致重建失败，参考动作质量和多样性受限于视频生成模型，关键帧约束只保证姿态而不保证物理可执行性。仿真成功率57%距离部署仍远，实机部分只有演示没有量化结果。
全身操作数据是宇树、智元、优必选等国内人形机器人企业的共同瓶颈，目前多依赖动作捕捉和遥操作数据工厂。若能在客户现场的精确布局中直接为机器人本体生成参考动作，新增任务的成本将从数天遥操作变成算力开支。未来一至两年最先受益的是仿真与数据工具厂商以及使用G1的研究团队，工厂落地需要成功率大幅提升。
受许可协议限制，本站不转载该论文全文，仅提供摘要和原文链接。