Google for Developers
大模型通过融合开放词汇空间推理、视频时序监督与端到端动作映射,取代传统碎片化视觉脚本,推动机器人从数字聊天工具跨入具备物理常识与安全防线的自主实体。
AI-assisted summary of Power the future of robotics with Gemini — original source. Check the original for full context.
Source published:
Key ideas
- Google DeepMind 正式推出 Gemini Robotics Embodied Reasoning(ER 1.6)模型,专门强化空间推理与环境结构理解,充当机器人的中央逻辑单元以实现开放词汇目标定位与抓取点识别。 (1:33)
- Gemini Robotics ER 1.6 基于 Gemini 3 Flash 构建,原生支持连续视频序列输入,可充当时序监督员全天候自动验证物理任务是否成功完成。 (6:06)
- 新架构引入 Agentic Vision 机制,允许模型自主编写图像处理代码完成局部裁切与视角旋转矫正,以精准读取工业芯片与模拟仪表读数。 (7:23)
- Google 结合高级推理的 ER 模型与底层反应控制的视觉-语言-动作(VLA)模型,并发布基于真实伤害数据和 ISO 标准的 Asimov 安全基准,全面打通具身智能闭环。 (9:52)
Detailed notes
## Background 本内容由 Google for Developers 官方频道于 2026 年 5 月 21 日在 YouTube 平台发布,记录了 Google I/O 2026 大会上的技术分享。视频简介指出,本场演讲探讨了 Google 的多模态 AI 如何连接云端与物理世界,重点介绍最新的 Gemini 模型如何利用高阶空间感知协助机器人理解复杂环境,并展示了通过 Gemini Live API 实现低延迟人机交互,以及由仿真、安全基准和动作模型构建的完整机器人开发生态。
## TL;DR Google DeepMind 机器人开发者关系主管 Paul Ruiz 详细介绍了如何借助 Gemini 突破传统 AI 局限,打造能感知、推理并行动的具身物理智能体。核心发布的 Gemini Robotics ER 1.6 具身推理模型通过开放词汇目标定位、物理常识推理与 Agentic Vision 图像自操作,承担起宏观任务编排与微观轨迹规划的逻辑大脑角色;结合直接将像素与自然语言映射为电机指令的 VLA 视觉-语言-动作模型,补全了端到端执行闭环。此外,演讲还展示了支持低延迟双向人机交互的 Gemini Live API、集成 MuJoCo 的浏览器仿真原型开发环境,以及融合真实伤害数据与 ISO 工业标准的 Asimov 多层安全防御基准。
## Atmosphere & style 整场演讲洋溢着硬核工程极客与动手创造者兼备的热情,主讲人以“创客”自居的平实开场迅速拉近了与观众的距离。叙述节奏清晰利落、环环相扣,从攻克具体物理感知痛点层层递进到完整的软硬件协同与安全架构。现场既有面对复杂物理世界挑战时的严谨敬畏,又充满对智能机器人未来走向现实生活的兴奋与期待,整体观感既务实接地气又极具前瞻启发性。
## Bulletin - [01:33](https://www.youtube.com/watch?v=kCXQce1dtNE&t=93s) Google DeepMind 正式推出 Gemini Robotics Embodied Reasoning(ER 1.6)模型,专门强化空间推理与环境结构理解,充当机器人的中央逻辑单元以实现开放词汇目标定位与抓取点识别。 - [06:06](https://www.youtube.com/watch?v=kCXQce1dtNE&t=366s) Gemini Robotics ER 1.6 基于 Gemini 3 Flash 构建,原生支持连续视频序列输入,可充当时序监督员全天候自动验证物理任务是否成功完成。 - [07:23](https://www.youtube.com/watch?v=kCXQce1dtNE&t=443s) 新架构引入 Agentic Vision 机制,允许模型自主编写图像处理代码完成局部裁切与视角旋转矫正,以精准读取工业芯片与模拟仪表读数。 - [09:52](https://www.youtube.com/watch?v=kCXQce1dtNE&t=592s) Google 结合高级推理的 ER 模型与底层反应控制的视觉-语言-动作(VLA)模型,并发布基于真实伤害数据和 ISO 标准的 Asimov 安全基准,全面打通具身智能闭环。
## Key takeaways - [00:01](https://www.youtube.com/watch?v=kCXQce1dtNE&t=1s) DeepMind 的核心目标是依托 Gemini 打破数字世界与物理世界的壁垒,将屏幕上的静态聊天机器人转变为具备高级空间感知与行动力的物理智能体。 - [01:33](https://www.youtube.com/watch?v=kCXQce1dtNE&t=93s) Gemini Robotics ER 1.6 基于大量机器人数据专项微调,在经典控制管线中扮演“感知”与“规划”的中央逻辑单元角色。 - [01:33](https://www.youtube.com/watch?v=kCXQce1dtNE&t=93s) 传统计算机视觉受限于封闭词汇数据集,而 Gemini ER 通过跨模态语义对齐实现开放词汇目标定位,摆脱了为每个新环境重新标注训练专用视觉模型的繁重流程。 - [04:13](https://www.youtube.com/watch?v=kCXQce1dtNE&t=253s) 模型内建直觉式物理常识,理解重量分布、结构完整性与物体脆性,避免了传统机器人依赖脆弱硬编码规则可能导致的超载或碰撞事故。 - [04:13](https://www.youtube.com/watch?v=kCXQce1dtNE&t=253s) 面对“把这东西收起来”等人类模糊指令,Gemini ER 能够结合当前视觉上下文推断代词指向与目标位置,无需编写层层嵌套的防御性 if-else 代码。 - [06:06](https://www.youtube.com/watch?v=kCXQce1dtNE&t=366s) 借助长时程时序推理能力,模型可以直接分析多帧视频序列中的运动矢量与状态增量,以极高鲁棒性复核物理现实是否发生预期改变。 - [07:23](https://www.youtube.com/watch?v=kCXQce1dtNE&t=443s) 在开启代码执行工具后,Agentic Vision 允许模型自主生成代码对倾斜或倒置图像执行裁切、旋转与缩放,有效攻克严苛工业现场的微小字符与仪表读数难题。 - [07:23](https://www.youtube.com/watch?v=kCXQce1dtNE&t=443s) 在任务编排阶段,开发者仅需向模型注册底层原子操作工具箱,Gemini ER 便能自动将宏观任务分解为串行化的微动作执行链路。 - [09:52](https://www.youtube.com/watch?v=kCXQce1dtNE&t=592s) 模型不仅能做宏观任务调度,还能进行微观轨迹规划,自主生成包含避障路径在内的一连串中间航路点。 - [09:52](https://www.youtube.com/watch?v=kCXQce1dtNE&t=592s) 视觉-语言-动作(VLA)模型将实时像素信息与语言指令直接映射为底层电机控制数值,具备跨硬件形态的开箱即用常识泛化能力与精细物理交互水平。 - [14:09](https://www.youtube.com/watch?v=kCXQce1dtNE&t=849s) Gemini Live API 提供毫秒级低延迟双向语音与持续视频流输入,配合函数调用功能,使人机自然对话能够直接动态转化为真实物理动作。 - [15:06](https://www.youtube.com/watch?v=kCXQce1dtNE&t=906s) Google AI Studio 提供了集成本地物理仿真引擎 MuJoCo 的 Web 模板,开发者无需烧录实体硬件即可在纯虚拟环境中快速试错和验证抓取效果。 - [15:06](https://www.youtube.com/watch?v=kCXQce1dtNE&t=906s) DeepMind 构建了多层防御机制并推出 Asimov 安全基准,紧密对齐 NEISS 真实事故致伤数据与 ISO 工业操作标准,严防物理世界的执行风险。
## Detailed walkthrough ### [00:01](https://www.youtube.com/watch?v=kCXQce1dtNE&t=1s) 从数字世界走向物理智能体:Gemini 驱动的具身智能
Google DeepMind 机器人技术开发者关系主管(Developer Relations Lead)Paul Ruiz 以轻松自如的语调登台,向观众介绍自己本质上是一个不折不扣的“创客(maker)”。他坦言,无论是摆弄园艺、木工等低技术门槛的手艺,还是涉足物联网(IoT)与复杂机械这类高阶工程,他骨子里始终热爱在物理现实中动手创造。正是这种对真实世界的热情,让他格外兴奋能够向大家分享 DeepMind 正在机器人领域推进的核心突破。
长期以来,人工智能主要生存在纯粹的数字世界中。在处理文本编辑、海量数据集分析或编写代码方面,AI 已经展现出惊人的生产力,但物理现实却是一个完全不同的野兽。对于机器人而言,地面上一处细微的反光与变色究竟是普通水渍还是倾倒的危险液体,亦或是机器人在繁忙拥挤的工厂车间穿行时如何计算出精确的导航轨迹,在历史上始终是巨大的工程挑战。DeepMind 的目标正是打破数字世界与物理世界的壁垒,依托 Gemini 模型将原本屏幕中静态的聊天机器人蜕变为具备现实行动力的物理智能体(Physical Agents)。
这种演进并非单纯教会机器“看见”周围环境,而是让它们具备高阶的空间感知与环境理解力。Paul Ruiz 强调,团队期待打造的机器人不仅能在井然有序、高度可控的预设场景中运作,更要能够自由穿梭于杂乱无章、非结构化的复杂现场,自然地与人类协同交互,并自主执行各类高难度任务。正如 Paul Ruiz 所言:“We aren't just teaching machines to see the world, but we're enabling them to perceive it with advanced spatial awareness and understanding.”
[01:33](https://www.youtube.com/watch?v=kCXQce1dtNE&t=93s) Gemini Robotics ER 1.6 与开放词汇目标定位
在机器人工程中,经典的控制管线通常遵循“感知(Perceive)- 规划(Plan)- 执行(Actuate)”三步工作流。Google 的视觉语言模型(VLM)与前两阶段高度契合,其中最具代表性的成果便是最新发布的 Gemini Robotics Embodied Reasoning(具身推理模型,简称 ER 1.6)。与通用大语言模型截然不同,ER 模型在大量机器人专用数据上进行了专项微调,专门强化了空间推理与环境结构理解,实质上充当了整个机器人系统的中央“逻辑单元(Logic Unit)”。
在具体感知能力上,该模型首先展现出卓越的 2D 瞄准(Pointing)与目标定位能力。它不仅能指出物体的几何中心点,还能准确标记可供夹爪抓取的最佳接触部位,并支持基于物体状态进行目标检索,例如精准定位“处于关闭状态的抽屉”或“桌子表面的零件”。开发者通过简洁的 Python SDK 即可快速接入:初始化客户端后,传入 Gemini Robotics ER 模型 ID、自然语言提示词(Prompt,既可以是具体物品,也可以是诸如“找到适合拧这种特制螺丝的螺丝刀”等抽象诉求),并按需调整 Temperature 或思考深度(Thinking Level),即可在机器人应用中即刻获取高精度定位数据。
```mermaid flowchart LR accTitle: 传统计算机视觉与 Gemini 具身推理模型对比 accDescr: 展现封闭词汇传统 CV 流程与基于语义对齐的开放词汇 VLM 流程差异。
subgraph Traditional["传统 CV 路线 (YOLO 等)"] A["预设训练集 (COCO/ImageNet)"] --> B["分类与检测脚本"] B --> C["封闭词汇输出 (仅限固定标签)"] end
subgraph GeminiER["Gemini Robotics ER 1.6 路线"] D["自然语言抽象提示"] --> E["跨模态空间语义对齐"] E --> F["开放词汇定位与物理抓取点"] end ```
剖析其底层机制,传统基于固定数据集(如 COCO 或 ImageNet)训练的计算机视觉模型(如 YOLO)属于“封闭词汇(Closed Vocabulary)”体系,只能识别预先标注好的类别列表。一旦机器人需要去木工台上寻找一把未在训练集中出现过的、用于切割鸠尾榫的专用工具,传统模型就会彻底束手无策。而 Gemini Robotics ER 采用多模态视觉语言架构,在调用 SDK 的 `generateContent` 方法时,底层通过语义接地(Semantic Grounding)将自然语言与视觉感知投射到同一表征空间,实现了真正的“开放词汇目标检测(Open Vocabulary Object Detection)”。开发者可以随性地要求机器人寻找“磨损最严重的工具”或“表面明显过热的部件”,模型便能跨越抽象概念,将其转化为精确的几何坐标。针对这一范式跃升带来的开发红利,Paul Ruiz 评价道:“For developers, this is a massive win, as it eliminates the need to build, label, and maintain custom vision models for every unique environment.”
- **开放词汇优势**:摆脱了为每个新仓库、新工厂反复采集标注数据并重新训练专用检测模型的沉重负担。 - **状态感知标记**:能结合目标实时物理状态(如开合、倾倒、附着)进行精细化语义过滤与定位。
[04:13](https://www.youtube.com/watch?v=kCXQce1dtNE&t=253s) 物理常识与语义推理:化解人类模糊指令
该模型之所以被冠以“具身推理(Embodied Reasoning)”而非普通视觉模型之名,关键在于它理解的是场景背后的物理定律,而非冷冰冰的像素网格。在传统机器人方案中,如果指令要求“清理餐桌”,机器人很可能会不顾自身载荷盲目尝试抓取装满食物的超重餐盘,进而引发齿轮滑丝损坏或盘子失手摔碎的事故,原因在于它对重力、重量分布和结构完整性毫无认知。Gemini Robotics ER 则具备了所谓的“物理常识(Physical Common Sense)”。面对同样的餐桌场景,它不仅能识别盘子和食物,还能洞悉两者间的从属关系与力学约束——明白必须先将食物分装到较小的容器内减重分批转移,或者在超载时主动向人类发出求助信号;它同样天然懂得玻璃瓶脆弱易碎而塑料瓶抗摔,也懂得绝不该尝试去生硬搬起一张明显用螺栓固定在水泥地面上的工作台。这种直觉式的物理理解能力,彻底打破了过去依靠繁琐手工规则硬编码的僵局,正如 Paul Ruiz 所指出的:“It's this kind of practical intuition that has historically been a nightmare to script manually.”
除了对物理特性的敏锐感知,模型在“语义推理(Semantic Reasoning)”上也实现了长足进步。在日常人机协作中,最令 AI 困惑的往往不是杂乱恶劣的视觉背景,而是人类脱口而出的极其模糊的口语化指令,比如随手一指说一句:“嘿,把这东西收起来(Hey, put this away)。”机器人往往完全无法解析“这东西”具体指什么,而“收起来”的目的地又在何方。
面对此类信息严重缺失的指令,Gemini Robotics ER 1.6 依靠其视觉上下文与内置的思考能力进行合理推断。当摄像头捕捉到操作者手里正攥着一把螺丝刀,而近处工作台上恰好摊开着一个工具箱时,模型就会自主推导出:“这东西”就是手中的螺丝刀,而“收起来”即意味着将螺丝刀平整放回工具箱内对应的专用凹槽托盘中。这种深度的情境推理使开发者不再需要针对可能遇到的每一种边缘边界条件(Edge Cases)编写层层嵌套且脆弱不堪的 if-else 防御代码,而能将研发精力真正聚焦于定义机器人的宏观全局目标。
[06:06](https://www.youtube.com/watch?v=kCXQce1dtNE&t=366s) 基于视频的长时程时序推理与成功检测
在过往的视觉大模型调用中,开发者习惯了离散的单帧“快照思维”——向接口发送单张图像,获取一次解析响应。然而,机器人学在物理本质上是一个强时间相关性问题(Temporal Problem),执行当下的动作往往必须追溯和依赖过去数秒至数十秒内所发生的物理演变。Gemini Robotics ER 1.6 以性能强劲的 Gemini 3 Flash 为底层主干模型,从底层原生支持连续视频流与多图像序列输入,从而解锁了长时程时序推理(Long Horizon Temporal Reasoning)。
系统无需再孤立地询问“门当前是否开着”,而是可以直接将机器人移动巡检路径上抓取的一整组连续视频帧喂给模型。由于模型能够按时间先后顺序对视频帧进行时序分词(Tokenize),它便能清晰理解整个场景的状态变迁。例如,在机械臂作业中,开发者可直接发出时序提问:“观察过去 30 秒的视频,夹爪是成功牢固夹取了目标零件,还是在提升过程中发生了打滑?”
此时模型并非仅仅审查视频末尾的最后一帧静态画面,而是深度分析整个动作流以及帧与帧之间的运动矢量和状态增量(Delta)。在以往,要可靠判定一项物理任务是否圆满完成,算法工程师必须编写大量基于力矩传感器、接近开关等复杂多变的启发式检测代码。而如今,Gemini 模型直接化身为一位可靠的“时序监督员(Temporal Supervisor)”,全天候审视机械动作全程,以极高鲁棒性复核现实世界的物理形态是否确实按照既定预期发生了改变。谈及这项能力对任务成功率检测的颠覆,Paul Ruiz 评价道:“Now, you can simply use the model as a temporal supervisor that watches the robot's work and confirms that the physical state of the world has actually changed in the way that you intended.”
[07:23](https://www.youtube.com/watch?v=kCXQce1dtNE&t=443s) Agentic Vision 图像自操作与任务规划编排
即便推理模型本身实力出众,现实工况中摄取的原始图像质量依然可能对识别构成巨大阻碍。在工业一线,工业相机拍摄到的镜头往往饱受拍摄角度倾斜、画面严重倒置、微小字符分辨率过低或周围环境杂物干扰等问题困扰。为了攻克这一瓶颈,Gemini Robotics ER 1.6 正式引入了 Agentic Vision(代理视觉 / 智能体视觉)机制。在开启 Python SDK 中的代码执行工具(Code Execution Tool)后,ER 模型便能够自主生成用于中间处理步骤的可执行代码,通过对输入图像进行裁切、旋转、缩放等主动操纵手段来增强自身对图像内容的理解。
以电子制造产线为例,一道典型工序要求机器人读取电路板上特定芯片(如 ESMT 存储芯片)的唯一识别编码。传统多模态模型面对整板密集分布的字符时,常常难以看清微小文字,或容易将其与其他器件的丝印字符混淆。启用代码执行工具后,Gemini 会自主编写代码先在全局画面中定位该芯片所在的局部边界,继而对图像实施精准裁切;若检测到芯片朝向与文字处于倒立状态,模型还会进一步自动执行旋转代码,将芯片局部图像修正为正向水平视角,随后以极高准确率提取出一清二楚的芯片批号。这种主动视觉探查能力不仅局限于文字读取,更针对工厂和工业园区常见的指针式模拟仪表(Analog Gauges)读数以及跑冒滴漏、异常积雪、安全门未闭等异常检测场景进行了专项调优。
```mermaid flowchart TD accTitle: 从感知到任务编排规划工作流 accDescr: 展现视觉输入经过 Agentic Vision 处理后,由 Gemini ER 进行多步骤任务编排分解的过程。
subgraph Perception["Agentic Vision 增强感知"] P1["原始图像 (含倾斜/倒置)"] --> P2["自主生成图像处理代码"] P2 --> P3["局部裁切与方向旋转矫正"] P3 --> P4["精准视觉状态识别"] end
subgraph Orchestration["任务规划编排 (Task Orchestration)"] O1["开发者底层工具箱: open_gripper, move_to, return_home..."] O2["宏观高阶指令 (如: 将蓝色积木放入橙色碗中)"] P4 --> O3["Gemini ER 分解规划"] O1 --> O3 O2 --> O3 O3 --> O4["串行化微动作步骤执行"] end ```
当机器人精准感知并确认了周围世界的状态后,系统便顺理成章地推进至规划阶段——即任务编排(Task Orchestration)。开发者只需在代码中向模型注册一组机器人底层可执行的原子操作函数列表(即“函数工具箱”),涵盖张开夹爪(open gripper)、移动到三维坐标(move to coordinate)、检测物体(detect objects)、原点复位(return to home)等基本动作。随后,开发者向系统下达日常的高阶抽象任务命令,Gemini ER 便能自动充当宏观调度大脑,将宏大目标拆解为严密的微动作链路。正如 Paul Ruiz 描绘这一编排流程时所总结的那样:“When you give the robot a high-level task, like put the blue block in the orange bowl, the Gemini ER model will break that task into a series of smaller task to plan out the entire operation.”
[09:52](https://www.youtube.com/watch?v=kCXQce1dtNE&t=592s) 闭环中的执行层与视觉-语言-动作(VLA)模型
在完成了场景中蓝色积木与橙色碗的识别后,模型便会开始推导函数调用的逻辑序列:先张开夹爪、移向积木、闭合夹爪,再将积木平移到放置区,最后松开夹爪并回归到中立姿态。不仅能够承担这种高层级的宏观任务编排,Gemini Robotics ER 模型同样能胜任微观规划,例如直接生成机器人应当遵循的运动轨迹;它不再局限于单纯输出起点和终点,而是能够规划出一连串中间航路点(waypoints),并主动标示出避障路径。这构成了“感知、规划、执行”(Perceive, Plan, Actuate)闭环的最后一步——执行。执行本质上就是硬件层面的动作落地,即向驱动器、电机以及各关节发送具体的数值指令,驱动机器人真正动起来。
```mermaid flowchart TD accTitle: Gemini 驱动的自主机器人感知执行闭环 accDescr: 展示从环境感知与宏观微观规划,到结合 VLA 底层驱动及硬件自适应执行的完整控制流。
subgraph SensePlan["感知与规划 (Gemini Robotics ER)"] A["多模态环境感知<br/>(视觉与空间定位)"] --> B["宏观任务编排<br/>(函数调用序列)"] B --> C["微观轨迹规划<br/>(生成航路点与避障)"] end
subgraph ActuateControl["执行控制 (VLA 模型)"] C --> D["端到端动作映射<br/>(像素 + 语言转电机数值)"] E["实时相机帧流输入"] --> D end
subgraph Embodiments["硬件自适应执行"] D --> F1["双足/人形机器人"] D --> F2["四足机器狗"] D --> F3["机械臂/工作台"] end ```
在传统的工业自动化场景中,固定设备日复一日重复上万次相同的标准轨迹,经典控制理论足以应付。然而,当机器人走出结构化的工厂车间、步入真实的非结构化现实环境时,情况就变得极度复杂——随处可见的是杂乱无章的布局、未曾见过的物品以及训练集从未涵盖的突发状况。例如送餐机器人在人行道上穿行,可能会迎面撞上一张被丢弃在路中央的旧沙发,甚至遭遇一群固执暴躁的加拿大鹅。
为了攻克这些现实难题,Google 引入了“视觉-语言-动作”(Vision, Language, Action,简称 VLA)模型。作为主力模型的 Gemini 机器人模型目前已面向可信测试者计划(Trusted Tester Program)开放。该模型能够将摄像头拍摄的像素信息与自然语言指令直接映射为底层的电机控制指令块。开发者只需输入类似“清理桌面”的指令,VLA 模型便会结合实时串流的相机画面,精确算出各执行机构的转动数值。
- **复杂任务拆解**:VLA 可以与 Gemini Robotics ER 协同运行,针对一段记录宏观任务的长视频进行细化切分,化整为零分步执行。 - **强大的常识泛化**:得益于底层的 Gemini 主干网络,机器人具备开箱即用的常识理解。例如在面对此前从未训练过的小型篮球和球网玩具时,听到“来个暴扣”(slam dunk)的指令,模型能自发理解语境,抓起篮球并准确将其扣入篮框。 - **精密灵巧操作(Dexterity)**:超越基础的抓取放置,模型进一步拓展到了插拔线缆、工作台精细组装等高难度物理交互。 - **形态无关设计(Embodiment-agnostic)**:该架构并不绑定特定硬件,不论是人形机器人、四足机械狗还是台面机械臂,都能直接以通用模型作为统揽全局的大脑。
正如 Paul Ruiz 所强调的:“By combining the high-level reasoning of the ER model with the reactive, real-time control of the VLA, we're closing the loop on truly autonomous physical agents.”
---
[14:09](https://www.youtube.com/watch?v=kCXQce1dtNE&t=849s) Gemini Live API:低延迟双向人机交互与物理功能调用
搞定底层的感知、规划与执行只是基础,机器人走向现实的另一个关键命题是人机交互:用户如何与机器人自然对话,机器人又如何把状态同步给人类。面对人形机器人,人们的打招呼或致谢方式五花八门;如果单纯依赖硬编码的规则去匹配这些表达差异,一旦遇上未覆盖的分支,机器人就会陷入呆滞僵硬的尴尬境地。
为了破除这种机械感,Gemini Live API 成为了打通人机自然交互的核心工具。借助它,机器人得以从一台预先编程的冷冰冰机器进化为真正互动的伙伴。该 API 提供了人类与 Gemini 模型之间的低延迟、双向语音对话能力,人类可以用非常口语化的方式发出请求,比如随口提醒它“那颗螺丝看起来有点松,能帮忙拧紧一下吗?”
更关键的是,Gemini Live API 不仅处理音频流,还能让机器人将实时捕捉到的摄像头画面不间断地推送到云端模型,提供持续的视觉上下文反馈。这种端到端的感知闭环甚至支持在机器人运行中途动态修改已制定的执行计划。当模型的视听感知与系统预设的函数调用(Function Calling)打通时,机器人便能将一句看似随意的自然语言对话,直接转换成毫秒级的真实物理操作,带来极为顺畅的交互体验。
Paul Ruiz 总结道:“This is the bridge that allows a natural conversation to turn into precise physical action, opening the door to incredibly fluid human robot interactions.”
---
[15:06](https://www.youtube.com/watch?v=kCXQce1dtNE&t=906s) Google AI Studio 快速原型、MuJoCo 仿真与 Asimov 安全基准
在机器人开发的全流程中,高效的调试环境与安全保障不可或缺。传统开发往往面临反复编译、向实体机器人硬件烧录或重载脚本的低效循环,而 Google AI Studio 为开发者提供了一个轻量级的实验环境,可以直接测试提示词效果,并验证特定硬件镜头采集图像后的模型识别表现。
AI Studio 内置的构建(Build)板块还推出了多个 Web 应用程序模板。其中一项典型展示是将物理仿真引擎 MuJoCo 直接集成到浏览器环境。开发者可以在浏览器中运行一条虚拟机械臂,利用 Gemini Robotics ER 模型检测方块的空间坐标,并在纯虚拟环境中完成抓取与放置任务。这种“在仿真中快速试错、保全实体硬件”(Fail-fast, fail-safe)的路径,极大地降低了前期的研发风险。
谈及机器人技术的落地,安全规范始终处于首位。在虚拟数字世界中,大语言模型发生幻觉最多只是输出一段荒谬的食谱或者带有 Bug 的代码,后果尚在可控范围内;但在物理世界里,机器人往往拥有可观的自重,并且在与人类共享的同一物理空间内运动,任何控制失误都潜藏着伤害风险,必须如同对待高速运转的台锯一样对物理风险保持敬畏。
针对这种物理安全性,Google DeepMind 团队构建了一套类似于“瑞士奶酪模型”(Swiss cheese model)的多层防御机制。没有任何单一屏障能保证百分之百的安全,但通过将语义层(Semantic)、物理层(Physical)和操作层(Operational)的多维防线层层叠加,可以最大程度化解潜在威胁。
团队由此推出了 Asimov 安全基准(Asimov Safety Benchmarks)。这一基准并非悬浮于纯理论推导,而是紧密锚定在现实世界的数据与行业准则之上:
- **引入真实致伤数据(NEISS)**:依托美国国家电子伤害监测系统(National Electronic Injury Surveillance System,NEISS)的医院真实事故与伤情报告,训练并校准模型对物理世界常识性危险的认知与判断力。 - **融合既有工业标准(ISO)**:对齐目前全球现代工厂车间通行的 ISO 工业操作安全标准,确保自主机器人的物理边界评估完全符合现实制造业的操作红线。
在演讲的最后,Paul Ruiz 邀请开发者共同参与建设,并指出相关资源均已开放:包括详细的开发者文档、GitHub 上的代码示例(Cookbooks),以及在 Gemini 机器人官方页面上报名的可信测试者计划。
## Notable quotes > [00:01](https://www.youtube.com/watch?v=kCXQce1dtNE&t=1s) We aren't just teaching machines to see the world, but we're enabling them to perceive it with advanced spatial awareness and understanding. — Paul Ruiz
> [09:52](https://www.youtube.com/watch?v=kCXQce1dtNE&t=592s) By combining the high-level reasoning of the ER model with the reactive, real-time control of the VLA, we're closing the loop on truly autonomous physical agents. — Paul Ruiz
## Mentioned Google, Google DeepMind, Google for Developers, Paul Ruiz, Gemini, Gemini Robotics ER 1.6, Gemini 3 Flash, Gemini Live API, Google AI Studio, MuJoCo, Asimov Safety Benchmarks, NEISS, ISO, YOLO, COCO, ImageNet, VLA
## Video description Discover how Google’s multimodal AI bridges the cloud and physical worlds. Explore how the latest Gemini models utilize advanced spatial awareness to help robots perceive complex environments. Learn about the Live API's capabilities for natural, low-latency human-robot interaction, and explore the essential ecosystem for simulation, safety, and action models.
Resources: Gemini Robotics code samples → https://goo.gle/3PnFTOX Gemini Robotics overview docs → https://goo.gle/4tmD52H Gemini Live API overview → https://goo.gle/4tjVLjz MuJoCo website → https://goo.gle/42ghv4U AI Studio Bundled Robotics → https://goo.gle/4tfdR68
Speakers: Paul Ruiz
Watch the AI sessions from Google I/O 2026 → https://goo.gle/AI-at-IO26
Subscribe to Google for Developers → https://goo.gle/developers
#GoogleIO
Event: Google I/O 2026
Products Mentioned: AI/Machine Learning
[Source](https://www.youtube.com/watch?v=kCXQce1dtNE)