Gemini Robotics ER 2 谷歌云公共预览上线

Google DeepMind 今天宣布,Gemini Robotics Embodied Reasoning 2(ER 2)已在 Gemini 平台进入公共预览。这是今年早些时候发布的 Gemini Robotics 2 系列中的核心具身推理模型,定位为机器人的“高层大脑”。ER 2 可以跨不同机器人生理形态工作,从固定机械臂到完整人形机器人,结合空间与时间视频理解、长时程规划和内置安全护栏,让机器人能与人类自然对话、编排底层动作模型与硬件 API、执行涉及数百次决策的多分钟任务,并支持多机器人协作。

对企业来说,这次公开预览意味着可以在 Google Cloud 的企业级安全、多智能体编排和端到端生命周期管理环境中,直接使用 DeepMind 的具身推理模型来模拟、评估和部署物理 AI。开发者可以把低层控制接口(如 Vision-Language-Action (VLA) 模型、导航 API)声明为工具,并将多模态视频、音频或文本流直接输入模型。

在具体能力上,第一,物理任务验证与自我纠错:模型根据连续视频流实时判断任务进度,将任务状态分类为二值、离散类别或连续分数;在关键事件定位上,找到关键帧的准确率达 91.3%,平均绝对帧距离 0.96 秒,执行速度为许多更大模型类别的 4 倍,且计算成本更低。它还支持视觉问答和仪表读数,能从视觉输入直接读取 10+ 类仪表,包括圆形刻度盘、视镜、数字显示、线性刻度、直尺、液体温度计等。第二,一个智能层覆盖任意形态:模型可协调固定臂、轮式机器人、四足机器人等多种形态,并支持多机器人协作,让不同类型机器人共享工作区语义理解、分工和任务交接。第三,智能体工具编排与自然语言交互:开发者可以在仿真、真实机器人控制或遥操作中,把 VLA 模型、导航 API 或自定义函数声明为工具;机器人能用自然语言解释行动步骤,操作员无需技术语言即可改派任务。第四,在 Google Cloud 构建安全自适应的物理智能体:工作流分为 Simulate fast、Train smart、Operate easily 三个环节,先在 MuJoCo-Warp 和 NVIDIA Isaac Sim 中快速仿真,用多模态模型生成合成场景并自动标注;再利用 ER 2 的空间指向、时刻查找和进度分类能力在 Cloud Storage 和 BigQuery 中整理标注演示视频,通过 Gemini 平台、GKE 或 Cluster Director 训练自定义 VLA 模型;部署时使用企业 IAM、安全控制和内置函数调用,并用 Google Distributed Cloud 将 SLAM、路径规划等时延敏感负载卸载到工厂本地,车队遥测数据则流入 BigQuery。

Boston Dynamics、DeepReach AI、Arm、新加坡 ASTAR IMRE 等机构在文章中给出了使用或合作评价,主要涉及视频质检、技能数据采集、机器人计算平台和实验室自动化等方向。开发者现在可以通过 Gemini 平台中的 Model Garden 开始使用 ER 2,官方还提供了文档、定价、示例代码、双向流式传输指南,以及论文基准和安全技术报告。

Gemini Robotics Embodied Reasoning 2 is now available on Google Cloud

查看原文