谷歌DeepMind发布Gemini Robotics,把Gemini 2.0变成机器人控制器,并携手Apptronik开发人形机器人

谷歌DeepMind于2025年3月12日发布两款基于Gemini 2.0系列的机器人模型。这是迄今为止前沿AI实验室把通用多模态大模型直接改造成物理机器控制器的最明确尝试。Gemini Robotics是一个视觉语言动作(VLA)模型,把物理动作作为新的输出模态,读取摄像头画面和语音指令的同一个网络也直接驱动机械臂。Gemini Robotics-ER中的ER意为具身推理,这是一个专攻空间理解的视觉语言模型,供机器人厂商接入自有控制系统。

公司给出两个核心数字。在由Carolina Parada署名的发布博文中,谷歌DeepMind称,在一项综合泛化基准上,Gemini Robotics的表现比其他最先进VLA模型高出一倍以上。公司还称,把Gemini Robotics-ER用于从感知、规划到生成机器人代码的端到端流程时,成功率是Gemini 2.0的2至3倍。随模型发布的技术报告显示,动作系统的有效控制频率为50Hz,部署在云端的主干模型响应时间低于160毫秒,从原始观测到输出一段低层动作的端到端延迟约为250毫秒。

训练所用的机器人数据主要来自谷歌DeepMind自有的ALOHA 2双臂机器人集群。报告称,遥操作人员在12个月里围绕数千种任务采集了数千小时的专家示范数据,并与网页文档、代码、图像、音频和视频数据混合训练。演示中,模型完成了折纸狐狸,并把零食装进密封袋。报告称,模型只需最少100次示范即可学会新的短程任务;每项任务用2000至5000条示范数据专门训练后,装午餐盒任务在20次试验中成功率达到100%。模型还被迁移到双臂Franka平台和Apptronik的Apollo人形机器人上。

为评估推理模型,DeepMind新建了开放基准ERQA,包含400道关于物理世界的视觉选择题,以CC BY 4.0许可在GitHub公开。报告中的基线成绩为:Gemini 2.0 Flash 46.3%,Gemini 2.0 Pro实验版48.3%,OpenAI的GPT-4o 47.0%,Anthropic的Claude 3.5 Sonnet 35.5%;使用思维链提示后,Gemini 2.0 Pro实验版升至54.8%。在决定机器人“抓哪里”的指点能力上,Gemini Robotics-ER在Paco-LVIS上得分71.3,高于Gemini 2.0 Flash的46.1和GPT-4o的16.2;在SUN-RGBD三维检测上达到48.3 AP@15。

商业化采用的是合作伙伴模式而非产品销售。谷歌DeepMind表示正与美国人形机器人公司Apptronik合作,基于Gemini 2.0打造下一代人形机器人。Apptronik于2025年2月13日完成3.5亿美元A轮融资,由B Capital和Capital Factory领投,谷歌参投,并宣布与谷歌DeepMind机器人团队建立战略合作。Gemini Robotics-ER先向一批受信任测试方开放,包括德国Agile Robots、Agility Robotics、波士顿动力和法国Enchanted Tools。VLA模型本身没有对外开放,也未公布价格。

谷歌DeepMind是Alphabet旗下总部位于伦敦的AI实验室,此次模型的机器人数据来自其自有的ALOHA 2双臂机器人。2025年3月的变化在于起点不同。过去的路线是先训练机器人策略,再接上语言能力;这次DeepMind从已经知道密封袋是什么、午餐盒怎么合上的Gemini 2.0出发,再教它动手。

竞争已十分激烈。Figure AI于2025年2月20日发布Helix,采用双系统架构:70亿参数的视觉语言模型以7至9Hz进行理解,8000万参数的策略网络以200Hz控制上半身35个自由度,使用约500小时遥操作数据训练,完全运行在机器人内置的嵌入式GPU上。Physical Intelligence通过开源代码库openpi发布π0模型,基础检查点在1万小时以上的机器人数据上预训练;Gemini Robotics技术报告把π0的复现版本作为对比基线之一。谷歌发布六天后,英伟达于3月18日在GTC上推出开放、可定制的人形机器人模型Isaac GR00T N1,称用11小时生成了78万条合成轨迹,与真实数据结合后性能提升40%。

通俗地说,厂商有两种用法。一是把整件事交给Gemini Robotics,输入画面和语言,输出关节指令。二是保留自己的运动控制,只把传统软件难以回答的问题交给Gemini Robotics-ER,例如杯子该抓哪个位置、抽屉朝哪边拉开、走哪条轨迹,模型返回坐标点、边界框和轨迹。谷歌率先向外部企业开放的是第二种用法,说明DeepMind在交出电机直接控制权上相当谨慎。

对中国产业而言,这意味着中美在机器人“大脑”上的路线分野更加清晰。宇树科技、智元机器人、优必选等国内厂商在整机制造和供应链成本上具备优势,但谷歌的Gemini服务并未在中国大陆正式提供,国内厂商难以直接接入这套模型,只能依靠自研模型或国内大模型厂商的方案。另一方面,英伟达GR00T N1和openpi这样的开放模型可在本地部署和修改,对国内整机厂的吸引力可能高于封闭的云端方案。谷歌把ER模型交给多家相互竞争的海外整机厂,也意味着海外竞争对手可能更快获得通用感知和规划能力。

风险同样明显。泛化成绩是相对值,测试基准由谷歌设计,对比基线由作者选定,其中还包括作者自行复现的竞争对手模型。云端加本地的拆分架构依赖主干模型和网络连接,工厂和家庭并不总能保证稳定的低延迟链路。谷歌也并非在所有基准上领先。在Where2Place指点测试中,开源模型Molmo 72B得分63.8,高于Gemini Robotics-ER的45.0。DeepMind同时发布了用于评估语义安全的ASIMOV数据集和所谓数据驱动的“机器人宪法”框架,但这些都不能替代真实机器上经过认证的底层安全控制器。