Chrome for Developers
大模型与Web演进脱节正迫使浏览器重构底层能力,通过将表单和函数直接转化为安全Agent工具以终结脆弱的页面爬取模式。
AI-assisted summary of What's new in Chrome — original source. Check the original for full context.
Source published:
Key ideas
- Chrome 推出 WebMCP 开放草案,将 HTML 表单与 JavaScript 函数直接转为可供 AI Agent 调用的工具,Origin Trial 将随 Chrome 149(预计 2026 年 6 月初)正式开放测试。 (9:42)
- Chrome 推出突破性的 HTML-in-Canvas API,允许将语义化真实 DOM 渲染至 2D/3D Canvas 画布中,并完整保留文本选择、原生翻译、屏幕阅读器支持及 DOM 操作能力。 (37:37)
- 针对 AI 训练数据与浏览器双周迭代周期的知识脱节问题,Google 推出 Modern Web Guidance 技能包,并发布 DevTools for Agents 赋能 AI 直接进行堆快照和性能排错闭环。 (16:06)
- Chrome 148 引入被称为“十年来 HTML 最大变革”的声明式局部更新与流式 HTML 注入(streamHTML),支持零 JavaScript 实现服务端驱动的乱序 DOM 补丁渲染。 (33:38)
Detailed notes
## Background 该内容由 Chrome for Developers 于 2026 年 5 月 21 日在 YouTube 平台上发布,属于 Google I/O 2026 大会官方专题演讲。视频简介指出,演讲聚焦于 Web 开发的最前沿探索,全面展现了 Chrome 浏览器在 2026 年如何通过一系列全新底层能力,推动 Web 生态迈向更强大、可靠与智能化的新阶段。
## TL;DR Chrome 开发者关系负责人 Paul Kinlan 深入探讨了 Web 从移动优先向“智能体优先(Agent-first)”范式演进的未来蓝图。核心技术发布涵盖了将传统 HTML 语义直接转变为智能体工具的 WebMCP 标准,以及赋予 AI 编程智能体深度运行时调试感知力的 Chrome DevTools for Agents。此外,演讲还重磅展示了打破 3D 图形与真实 DOM 隔离壁垒的 HTML-in-Canvas、端侧多模态 Prompt API,以及包含声明式局部更新与流式 HTML 注入在内的现代 Web 标记革新,全方位推动现代 Web 成为 AI 时代的一等公民。
## Atmosphere & style 整场演讲洋溢着浓郁的极客热情与轻松幽默的互动氛围。Paul Kinlan 操着辨识度极高的利物浦口音,开场便以童年 3D 卧室演示和早年自学编程的自嘲趣事带动全场欢笑,让硬核规范与架构演示变得亲切生动。演讲情绪层层递进,既有对平台与大语言模型演进脱节的深刻技术洞见,也有对 Web 表现力跃升的由衷自豪,结尾与台下观众齐声数出提到“62 次 Agent”的默契互动更是将现场感染力推向高潮。
## Bulletin - [09:42](https://www.youtube.com/watch?v=YuMdsHIXatY&t=582s) Chrome 推出 WebMCP 开放草案,将 HTML 表单与 JavaScript 函数直接转为可供 AI Agent 调用的工具,Origin Trial 将随 Chrome 149(预计 2026 年 6 月初)正式开放测试。 - [37:37](https://www.youtube.com/watch?v=YuMdsHIXatY&t=2257s) Chrome 推出突破性的 HTML-in-Canvas API,允许将语义化真实 DOM 渲染至 2D/3D Canvas 画布中,并完整保留文本选择、原生翻译、屏幕阅读器支持及 DOM 操作能力。 - [16:06](https://www.youtube.com/watch?v=YuMdsHIXatY&t=966s) 针对 AI 训练数据与浏览器双周迭代周期的知识脱节问题,Google 推出 Modern Web Guidance 技能包,并发布 DevTools for Agents 赋能 AI 直接进行堆快照和性能排错闭环。 - [33:38](https://www.youtube.com/watch?v=YuMdsHIXatY&t=2018s) Chrome 148 引入被称为“十年来 HTML 最大变革”的声明式局部更新与流式 HTML 注入(streamHTML),支持零 JavaScript 实现服务端驱动的乱序 DOM 补丁渲染。
## Key takeaways - [00:00](https://www.youtube.com/watch?v=YuMdsHIXatY&t=0s) HTML-in-Canvas 彻底打破了绘图与文档模型的界限,允许在 Three.js、PlayCanvas 等图形引擎中将真实、具备完整无障碍与翻译特性的 DOM 映射为 3D 材质。 - [05:11](https://www.youtube.com/watch?v=YuMdsHIXatY&t=311s) 计算范式正经历从“移动优先”到“Agent 优先”的剧烈转变,Agent 革命在短短半年内就改变了开发形态,促使网页从“人工浏览”演进为“由 Agent 委托执行任务”。 - [07:48](https://www.youtube.com/watch?v=YuMdsHIXatY&t=468s) 面对 AI Agent 依赖粗暴解析 DOM 或网页截图带来的脆弱性,WebMCP 旨在赋予开发者掌控力,将原生网页语义直接转化为规范且安全的 Agent 工具通道。 - [09:42](https://www.youtube.com/watch?v=YuMdsHIXatY&t=582s) WebMCP 原生复用当前标签页上下文,不仅支持声明式(HTML 属性)和命令式(navigator.modelContext)两种注册方式,更天然继承 Cookie 与登录态。 - [16:06](https://www.youtube.com/watch?v=YuMdsHIXatY&t=966s) 针对浏览器高频发布与 LLM 训练数据滞后的平台脱节矛盾,Google 推出 Modern Web Guidance 技能包,帮助开发工具掌握最新现代 Web 标准与降级策略。 - [19:15](https://www.youtube.com/watch?v=YuMdsHIXatY&t=1155s) 新发布的 Baseline Checker 深度集成 Google Analytics,能够根据站点的真实访客分布与浏览器矩阵,精准计算出针对性的 Baseline 目标版本。 - [21:16](https://www.youtube.com/watch?v=YuMdsHIXatY&t=1276s) Chrome DevTools for Agents 作为一个标准 MCP 服务器,让 AI Agent 能自主获取控制台、网络流量、无障碍树和堆快照,实现性能与内存排障的闭环自动修复。 - [23:02](https://www.youtube.com/watch?v=YuMdsHIXatY&t=1382s) DevTools for Agents 扩展了 CLI、TypeScript CI/CD 接入、挂载现有 Chrome 实例以及多 Agent 并发拓扑控制等高级工程化能力。 - [25:20](https://www.youtube.com/watch?v=YuMdsHIXatY&t=1520s) 过去一年内有 55 项特性迈入 Baseline 广泛可用,而 View Transitions API、Navigation API 以及全平台 Core Web Vitals 也已达成跨浏览器新晋可用(Newly Available)。 - [28:30](https://www.youtube.com/watch?v=YuMdsHIXatY&t=1710s) 通过在 webstatus.dev 推出 Baseline Alerts,开发者可通过邮件、RSS 或 Webhook 精准跟踪前沿特性的标准化生命周期,降低破坏性变更风险。 - [30:09](https://www.youtube.com/watch?v=YuMdsHIXatY&t=1809s) 端侧 Prompt API 在 Chrome 148 中支持多模态输入与 JSON 结构化输出,未来计划接入 Gemma 模型家族以在本地提供免 API 成本、保护隐私的原生函数调用能力。 - [33:38](https://www.youtube.com/watch?v=YuMdsHIXatY&t=2018s) 软导航(Soft Navigations)机制正式落地,精准填补了单页应用(SPA)多年来无法准确测量路由切换性能和 Core Web Vitals 的监控空白。 - [33:38](https://www.youtube.com/watch?v=YuMdsHIXatY&t=2018s) Chrome 148 引入的声明式局部更新打破了流式解析的顺序限制,使页面无需任何客户端 JavaScript 即可实现服务端推送的乱序 DOM 局部刷新。 - [35:49](https://www.youtube.com/watch?v=YuMdsHIXatY&t=2149s) 全新的 `streamHTML` 和 `streamHTMLUnsafe` API 推动“HTML 成为新的 JSON”,开发者可以直接将 ReadableStream 管道化写入 DOM,摆脱繁琐的 JSON 解析中间层。 - [40:49](https://www.youtube.com/watch?v=YuMdsHIXatY&t=2449s) Chrome 的演进战略呈现“富有表现力的 UI 原语”与“深度融入 Agent 智能体生态”双轨并行,旨在让 Web 始终作为第一梯队平台健康发展。
## Detailed walkthrough ### [00:00](https://www.youtube.com/watch?v=YuMdsHIXatY&t=0s) 开场与全新技术演示:HTML-in-Canvas 与 WebMCP
Paul Kinlan 以一贯幽默的口吻向观众问好,甚至拿自己在主题演讲里的利物浦口音(Scouse/Liverpudlian accent)开玩笑,提醒大家接下来要听整整 45 分钟这样的发音。作为 Chrome 开发者关系团队(Developer Relations)的负责人,他非常兴奋能重返现场。为了直奔主题,他首先展示了一个集成了两项重磅全新 API 的实际演示:**HTML-in-Canvas** 与 **WebMCP**。
```mermaid flowchart LR accTitle: HTML-in-Canvas 与 WebMCP 架构示意 accDescr: 演示 3D Canvas 场景中嵌入标准 DOM 内容,并由 WebMCP 向外部 Agent 暴露操作工具
subgraph CanvasScene["3D Canvas 虚拟空间"] Scene["三维卧室环境"] DOMInCanvas["嵌入式真实 DOM (HTML-in-Canvas)<br/>· 可交互文本 / 翻译 / DOM 访问"] Scene --- DOMInCanvas end
subgraph AgentControl["Agent 自动化交互"] Tools["WebMCP 暴露工具<br/>(关灯、重启设备等)"] Agent["智能体 (Agent)<br/>自然语言指令调度"] Agent -->|"调用工具"| Tools end
Tools -->|"控制场景状态"| CanvasScene ```
在演示中,Paul Kinlan 展示了一个复刻他 30 年前刚学编程时的童年卧室 3D 场景。他在场景的书架前开玩笑说自己当年其实没有那些书,因为那时候只有 HTML 存在,而他最初其实是个 Perl 程序员(引来台下观众的欢呼)。场景中的电脑屏幕正是利用了 **HTML-in-Canvas** 技术: - 它不是静态的贴图,而是一个真正的浏览器上下文,不仅能在 3D 场景中玩游戏、浏览网页、高亮选择文本,还可以直接对内容进行即时翻译(例如现场翻译为威尔士语),甚至支持直接运行 WebGPU 并访问底层的 DOM。 - 随后,他切换到 **WebMCP** 的能力演示。页面向智能体暴露了一系列工具,Kinlan 通过简单的自然语言指令(例如通过快捷键呼出命令并输入“turn off the lights”)驱动 Agent 关掉了房间的灯;接着他又模拟了小时候为了防备母亲查房而设计的场景——先关闭电脑,等母亲离开后再重新开机,Agent 顺利执行了这一跨阶段的多步流程(multi-step flow)。
Kinlan 总结道,HTML-in-Canvas 彻底打破了过去 Canvas 绘图与 DOM 隔离的壁垒,让富三维交互场景能够原生享有网页的可访问性与动态能力。
---
[03:28](https://www.youtube.com/watch?v=YuMdsHIXatY&t=208s) 开发环境的演进与 Chrome 的三大核心目标
Kinlan 回顾了自己最初的开发环境——QBasic。当时的编程环境既没有现代 IDE、语言服务器(Language Server),也没有语法高亮或行内调试。他还分享了一则趣事:“There's a fun fact. I actually nearly quit programming before I even started because I didn't realize American English was a thing and that you spelt color incorrectly without a U.” 当年他花了一整周调试才明白什么是 syntax error。
尽管 30 年后的今天,开发者的界面很多时候依然是基于文本的代码编辑器,但开发工具与开发流程在过去半年内取得了前所未有的飞跃。Kinlan 指出,Chrome 团队目前最核心的使命就是帮助大家为下一代 Web 开发做好充分准备。他将这一目标拆解为三大支柱:
1. **让网站融入 Agent 生态**:确保开发者的站点能够原生参与到由智能体驱动的未来体验中,让 Web 成为一等公民(first-class experience)。 2. **赋能开发工具理解现代 Web**:即使开发者使用的模型或自动化工具本身尚未内置最新的 Web Baseline 规范知识,也要让这些工具能够掌握现代 Web 的最新能力并据此进行构建。 3. **为未来几年的演进布局**:Chrome 正在推出一系列实验性特性并广泛收集社区反馈,帮助开发者看清平台演进的方向并提前做好架构规划。
---
[05:11](https://www.youtube.com/watch?v=YuMdsHIXatY&t=311s) 从 Mobile 时代到 Agent 时代:人机交互范式的巨大跃迁
Kinlan 强调,随着人们开始普遍通过语音和自然语言来完成任务,“This, to me, marks one of the most significant shifts in computing since the invention of the web.”
与移动互联网的普及过程相比,这场变革的节奏截然不同。Kinlan 回顾道,从 iPhone 问世到业界真正从“桌面优先(Desktop-first)”转向“移动优先(Mobile-first)”,整个行业花费了将近十年的时间;尽管浏览器很早就具备了移动端渲染能力,但开发者重构业务逻辑和交互界面却历经了极其漫长而艰辛的拉锯。
然而,当前的 Agent 革命在过去短短六个月内就对开发者的角色带来了颠覆性的改变,其演进速度将远远超越当年的移动化浪潮。Web 正在经历深刻的形态转变: - **模式升级**:由过去“用户浏览并亲自操作”的媒介,演进为“由 Agent 代替用户委托执行并完成任务”的平台。 - **当前现状**:正如最初网页能在 iPhone 上运行但并未针对移动端做优化一样,“Today's web works for agent flows, but it's not yet optimized.” - **研发要求**:当前许多 Agent 依赖网页截图或粗暴解析 DOM 来理解内容,但这并不理想。面对这一变革,开发者其实只需要重新回归基础——坚守语义化 HTML(semantic HTML)、保障无障碍访问(accessibility),遵循现代 Web 开发的核心准则即可。
用户的意图也从单点交互转变为极其复杂的跨页面、跨站点工作流。例如用户不再只是搜索一家酒店,而是希望 Agent 能直接为即将到来的技术会议规划住宿,同时结合同事推荐去寻找附近的餐馆或小众特色店(Kinlan 幽默地提到自己本周才刚听说什么是康普茶 kombucha bar,并调侃北威尔士人可不喝这个)。这种高复杂度的任务规划,迫切需要浏览器底层机制与网站架构同步进化。
---
[07:48](https://www.youtube.com/watch?v=YuMdsHIXatY&t=468s) Chrome 内置 Gemini、Skills 与 WebMCP 的控制权回归
为了应对这种 Agent 交互范式,Chrome 浏览器本身正在经历重要进化: - **Gemini in Chrome**:今年早些时候推出的 Gemini 能力让用户无需频繁切换标签页即可进行多任务聊天与操作。浏览器助手能够自动导航站点、总结长内容、生成测试题目甚至协助筛选露营睡袋等商品。它能做到这一点,正是因为结构良好的网页清晰地表达了自身的属性与功能。 - **Skills in Chrome**:Kinlan 将其比作当年电子表格(Excel)的出现让所有人一夜之间都具备了编程思维一样,Chrome 中的 Skills 赋予了普通用户直接指导浏览器的能力。 - 用户可以使用现成的技能库,一键提取商品规格、分析长文档; - 用户还可以把日常对话与操作流程沉淀为可复用、可混配(remixable)的“Skills”,并在不同的网站上直接运行,从而让大众在更高抽象层次上扮演开发者的角色。
然而,从专业开发者的角度来看,单纯依靠大语言模型通过爬取页面截图、抓取 DOM 结构或猜测点击位置来推断意图,不仅底层运行黑盒化,而且非常脆弱。Kinlan 直言,开发者需要的是确定性与掌控力:“And as developers, we really do like a lot more control. We like to be able to guide our tools around our sites. And this is where WebMCP comes in.” 这正是 Chrome 推出 WebMCP(Web Model Context Protocol)的核心初衷——为 Web 应用提供一套规范化向智能体暴露工具与能力的标准化通道。
[09:42](https://www.youtube.com/watch?v=YuMdsHIXatY&t=582s) WebMCP:将现有 Web 语义转化为 Agent 工具
在 WebMCP 出现之前,开发者面临着极其繁琐的困境:网页 UI 通常受制于品牌规范、设计标准以及监管政策等多种人为约束,而自动化工具往往并不需要经历普通用户浏览网页时的那套复杂视觉体验。为了让网站接入 Agent 生态,开发者以往必须架设专属的 MCP 服务器或命令行工具(CLI),并耗费大量心力将其与既有业务整合。WebMCP 提议草案正是为了解决这一痛点,它旨在将现有的 HTML 表单和 JavaScript 函数直接转化为 Agent 可调用的工具。正如 Paul Kinlan 所指出的:
> “And the goal is to transform HTML forms and JavaScript functions into tools that your agents can use and then make it a lot easier for you to participate in this agentic ecosystem.”
WebMCP 吸收了 Model Context Protocol 的核心经验,但重点收敛在 MCP 的工具(Tools)部分。与外部独立服务器不同,WebMCP 让当前打开的浏览器标签页直接对外暴露一组可交互的工具。例如在电商场景中,如果用户想要购买一双 10 码的棕色鞋子,网站无需重构庞大架构,只需将“搜索(Search)”、“加入购物车(Add to Cart)”或“结账(Checkout)”等核心动作暴露出来,Agent 就能自主判断调用时机与传参,替用户达成目标。
```mermaid flowchart TD accTitle: WebMCP 浏览器内工具交互架构 accDescr: 展示浏览器标签页如何将 HTML 表单与 JS 注册工具暴露给 Agent 并直接复用会话状态
subgraph BrowserTab["浏览器标签页上下文 (WebMCP)"] HTMLForm["声明式工具: HTML 表单<br/>(tool description & parameters)"] JSReg["命令式工具: JS 注册<br/>(navigator.modelContext.registerTool)"] UserContext["用户原生会话状态<br/>(Cookies / LocalStorage / 登录态)"] end
subgraph AgentAction["AI Agent 执行流程"] Agent["Gemini / AI Agent"] Intent["匹配用户意图 & 生成计划"] Execute["选择工具并调用执行"] end
Agent --> Intent Intent --> Execute HTMLForm -.->|"暴露工具元数据"| Agent JSReg -.->|"暴露工具元数据"| Agent Execute -->|"安全作用域内执行"| BrowserTab ```
WebMCP 最显著的优势在于能够复用现代 Web 开发的原生语义: - **声明式(HTML 属性)**:在传统的 HTML 表单上直接附加特定属性,例如用工具描述(Tool Description)阐释表单功能,用参数描述(Tool Parameter Descriptions)指引 Agent 如何填充星级评分、评论文本等字段。 - **命令式(JavaScript API)**:通过 `navigator.modelContext.registerTool` 进行注册,开发者提供工具名称(Name)、意图描述(Description)以及定义入参形状的输入模式(Input Schema)。当 Agent 判定意图匹配时,便会自动传入结构化数据并执行绑定的函数。 - **天然的浏览器上下文**:由于工具运行在当前页面作用域内,它天然继承了用户的 Cookie、LocalStorage 和登录身份状态,直接受浏览器安全沙箱的管控,免去了外部工具系统在认证与状态同步上的重重困难。
---
[13:49](https://www.youtube.com/watch?v=YuMdsHIXatY&t=829s) Expedia 原型演示与 Chrome 149 Origin Trial
为了验证 WebMCP 的实际应用潜力,Google 与 Expedia 展开了早期概念验证实验。在现场展示的流程中,用户输入一条模糊指令:“在 7 月 4 日找一家离姥姥家近的酒店(find a hotel close to Grandma on the 4th of July)”。背后的 Gemini 模型随即拆解任务并生成执行计划。当用户点击确认后,浏览器便与页面暴露的 `Search Lodging`(搜索住宿)、`Update Lodging Filters`(更新住宿筛选条件)和 `Navigate to Property`(跳转至房源)等工具展开联动。
在实际执行中,如果网站尚未为某些操作(例如修改日期)提供专门的 WebMCP 工具,Agent 还能结合传统页面操作(Actuation)来填补空白,顺利推进预订流程并呈现目标酒店。Paul Kinlan 强调这仍属实验阶段,旨在让业界提前预览未来的人机协作方式,团队正持续攻关性能和安全基语(Security Primitives)。
- **标准化与行业协作**:WebMCP 定位为开放规范,正在联合各大行业标准组织共同推进,并收集了众多早期合作伙伴的反馈。 - **测试时间表**:WebMCP Origin Trial 预计将随 Chrome 149 正式落地,时间大约在 2026 年 6 月 2 日左右。 - **反馈闭环**:官方呼吁开发者注册 Origin Trial,在实际业务用例中验证该 API 的合理性,为最终的 Web 标准奠定架构基础。
---
[16:06](https://www.youtube.com/watch?v=YuMdsHIXatY&t=966s) 开发者范式转移与平台的更新脱节问题
话题从用户端的 Agent 浏览体验转向了工程研发流程的剧烈震荡。Paul Kinlan 以自身经历为例,说明了 AI 对日常编码的颠覆:作为团队管理者,过去他只能在业余时间写代码,而如今借助 Agent 工具,他每天都在进行软件开发。他甚至常态化地使用麦克风直接与大语言模型对话,讨论开发目标、推演实现方案和边界条件,随后才交由工具自动编码。GitHub 上的统计数据也印证了这一爆发趋势,每天有数以百万计的开发者借助 Agent 工具提交海量 Pull Request。
然而,这种急速迭代带来了平台层面的深层冲突:大语言模型的训练数据与 Web 平台的演进节奏存在严重脱离。关于这一矛盾,Paul Kinlan 尖锐地总结道:
> “If you take one example of a browser, so Chrome, it updates once every four weeks. I think in a couple of months, it's going to update once every two weeks. But the models are trained on a version of the web from a year ago, in some cases. And so how do we deal with that tension?”
对于普通业务开发者而言,紧跟 Web 最新规范极为困难。以往要在 Agent 辅助下使用前沿技术(如 HTML-in-Canvas),开发者必须手动将最新规范、代码用例、解释文档和单元测试塞入 Prompt 上下文,AI 才能写出合规代码。为了消除这一门槛,让开发者能真正为“当下的 Web”而不是“过时的 Web”构建应用,Google 推出了 **Modern Web Guidance**。该项目是一个经过官方验证且持续更新的技能包(Skills Pack),旨在向 Agent 工具注入现代 Web 平台的最佳实践与兼容性指导。开发者只需运行通用安装脚本:
```bash npz modern-web-guidance install ```
即可无缝集成至支持技能扩展的各类 IDE 或 CLI 工具中,直接赋能 Web 性能(Web Performance)、身份认证(Identity)以及安全(Security)等多项关键领域。
[19:15](https://www.youtube.com/watch?v=YuMdsHIXatY&t=1155s) Modern Web Guidance 与 Baseline 目标检测
在开发工具与大语言模型融合的背景下,开发者每天都需要在自己的网站中实现大量常见场景。Chrome 团队为此构建了围绕专业技能的指引,覆盖了超过 100 种常见开发用例,并将这些用例与 Web 平台现有的现代化能力一一匹配。这项指引的核心特性在于它对 Baseline(基线)标准具备非常深刻的理解:即使用户尝试使用的某项功能尚未达到“Baseline 广泛可用”(Baseline Widely Available),系统依然能够为开发者提供明确的指导、完备的降级兜底方案(fallbacks)以及渐进增强(progressive enhancement)策略,从而让开发者能够满怀信心地将这些技能包生成的代码直接交付给最终用户。
然而,运用现代特性的前提是必须清晰了解用户群体的实际情况。为此,团队推出了一款与 Google Analytics(分析)深度整合的全新工具——Baseline Checker(可通过 baseline-checker.chrome.dev 访问)。通过这项工具,开发者可以直接基于实际线上页面的用户访问与交互数据,精准计算并制定出适合自身站点的 Baseline 目标版本。Paul Kinlan 对这项倡议表达了极高的期待:“Now, for me, I'm actually very excited about this because LLMs are going to give us, or are giving us, a way to experiment at scales that we've never been able to.” 但他也强调,团队必须确保开发者在借助 AI 大规模实验的同时,构建出的体验依然是高质量、安全且不以牺牲跨浏览器兼容性为代价的。
- **覆盖广度**:整理了超过 100 种开发者日常必须实现的通用业务与技术用例。 - **Baseline 智能感知**:对非广泛可用的现代特性自动生成降级方案与渐进增强代码。 - **Google Analytics 集成**:通过真实用户访问分布分析站点的浏览器支持矩阵,测算 Baseline 达标率。 - **后续议程**:现场由 Phil 带来的下一场演讲将对 Modern Web Guidance 的底层机制与落地实践展开深度剖析。
---
[21:16](https://www.youtube.com/watch?v=YuMdsHIXatY&t=1276s) Chrome DevTools for Agents:让 AI Agent 获得深度检查页面的超能力
回顾与大语言模型协同编写代码的日常,开发者并非只是简单地把任务派发出去,而是在一个极其紧密的反馈循环(tight loop)中与 Agent 并肩工作。现有的 AI 编程工具虽然能够生成代码并在测试套件中运行验证,但它们对代码在浏览器内部的实际运行状况一无所知——Agent 无法感知页面到底渲染了什么内容、内部状态如何扭转,以及各项机制在浏览器底层究竟怎样工作。深入检查页面运行时一直是人类开发者的“超级英雄能力”,人人都会使用 Chrome DevTools 或 Safari DevTools 等工具。
为了赋予 AI Agent 同样的深度感知能力,Chrome 团队正式推出了 Chrome DevTools for Agents。它本质上是一个标准的 MCP(Model Context Protocol)服务器,能够无缝接入开发者现有的各类 Agent 环境中。通过它,Agent 可以直接获取控制台日志(Console Logs)、网络流量(Network Traffic)、内存追踪轨迹(Memory Traces)以及无障碍树(Accessibility Tree)等关键运行时数据。借助这些真实运行状态,Agent 能够自主完成极具复杂度的诊断任务,例如生成性能剖面分析(Performance Profiles)、执行堆快照分析(Heap Snapshots)、调试内存泄漏,以及自动化运行 Lighthouse 审计,并随后根据审计结果直接定位并修复问题。
```mermaid flowchart LR accTitle: DevTools for Agents 工作流示意图 accDescr: 展示 AI Agent 与 Chrome 浏览器通过 MCP 协议形成闭环调试的完整链路
subgraph AgentEnv["Agent 编程环境"] Agent["AI Coding Agent"] MCPClient["MCP 客户端"] end
subgraph ChromeRuntime["Chrome 运行时"] DevToolsMCP["DevTools for Agents\n(MCP 服务器)"] BrowserData["运行时数据\n(Console / Network / Heap / a11y)"] Lighthouse["自动化 Lighthouse 审计"] end
Agent -->|"发送诊断指令"| MCPClient MCPClient --> DevToolsMCP DevToolsMCP -->|"捕获运行时状态"| BrowserData DevToolsMCP -->|"触发评测"| Lighthouse BrowserData --> DevToolsMCP Lighthouse --> DevToolsMCP DevToolsMCP -->|"结构化诊断报告"| MCPClient MCPClient -->|"反馈问题"| Agent Agent -.->|"自动生成并应用修复代码"| ChromeRuntime ```
- **MCP 标准原生支持**:作为 MCP Server 运作,安装和配置方式与常规 MCP 服务器完全一致。 - **自动化闭环修复**:支持直接向 Agent 发送提示词(如对 `developer.chrome.com` 进行全面性能分析),Agent 不仅能发现性能瓶颈,还能自动执行后续的代码修复。 - **双翼协同架构**:一侧由 Modern Web Guidance 提供最佳实践与现代 Web 规范指导,另一侧由 DevTools for Agents 提供深度运行时感知与排错能力,构成强大的工具辅助开发闭环。
---
[23:02](https://www.youtube.com/watch?v=YuMdsHIXatY&t=1382s) DevTools for Agents 的功能升级:从 CLI 到扩展调试
虽然最初在版本发布时 Paul Kinlan 曾一度觉得“这已经完工了,不需要再更新了”,但工程团队很快涌现出大量新想法,并迅速为 DevTools for Agents 交付了一整套核心功能的重大升级。首先是引入了技能系统(Skills),使 Agent 能够执行更为复杂的专项任务;例如面对内存排障时,Agent 不仅能自动抓取堆快照,还能真正“理解”并推导快照中各类对象与引用的关系。
``` DevTools for Agents 进阶能力矩阵: ├── 技能体系 (Skills) ── 堆快照自主分析、内存泄露精准定位 ├── 命令行工具 (CLI) ── 面向终端开发,显著降低 Token 消耗 ├── TypeScript API ── 原生接入持续集成 (CI) 流水线 ├── 现存实例挂载 ── 连接当前运行中的 Chrome,无缝接续人类进度 (支持 OpenClaw) ├── 多 Agent 并发拓扑 ── 同时控制 2-4 个 Chrome 实例,验证多角色/多用户交互 ├── Network 面板联动 ── 开发者在面板选中请求,直接交由 Agent 针对性剖析 └── 扩展全自动排错 ── 自动安装 Chrome 扩展并调试 Service Worker、侧边栏与弹窗 ```
为了兼顾不同开发者的使用场景,团队推出了命令行版本(CLI),不仅适合习惯终端操作的用户,在与 Agent 交互时也更加节省 Token;同时还提供了官方 TypeScript API,方便将其无缝嵌入到 CI/CD 自动化流水线之中。在交互体验方面,系统现在支持直接挂载到用户正在运行的 Chrome 实例上,让 Agent 顺着开发者停下的地方继续推进。此外,它还支持多 Agent 工作流,可同时连接两到四个独立的 Chrome 实例,极大便利了多用户系统和基于角色的权限系统的端到端测试。在 DevTools 交互上,开发者在 Network 面板选定特定请求后,可直接让 Agent 对其进行专项剖析。最后,团队还新增了对 Chrome 扩展(Chrome Extensions)的自动化安装与全面调试支持,包括深入检查扩展的 Service Worker、侧边栏(Side Panels)以及弹出窗口(Pop-ups)。
---
[25:20](https://www.youtube.com/watch?v=YuMdsHIXatY&t=1520s) Web 平台与 Baseline 新特性:View Transitions、Navigation API 与 Core Web Vitals
在开发工具不断演进的同时,底层 Web 平台的增强同样是构建高质量体验的基石。在跨浏览器协同推进的标准中,“Baseline”扮演着不可替代的角色。Paul Kinlan 强调了它的核心价值:“This is a really important component for us because baseline is the cross-browser-- all the features that every browser supports, so it's what you as developers can really, really rely on.” 自去年 I/O 大会以来的过去一年里,已有 55 项新功能正式步入“Baseline 广泛可用”(Baseline Widely Available)状态,开发者可以彻底放下兼容性包袱大胆使用。
与广泛可用相对应的是“Baseline 新晋可用”(Baseline Newly Available)——即各大浏览器引擎近期已全部支持、开发者已可开始规划采纳的技术。截至演讲当天早晨的最新统计,新晋可用特性的总数已迅速攀升至 52 项。其中最引人瞩目的是能够彻底改变 Web 质感的 View Transitions(视图过渡)API,它无需庞大复杂的 JavaScript 动画库,即可原生实现页面内部状态切换乃至跨页面导航的高性能平滑过渡。与之强力互补的 Navigation API 也在近期达成了新晋可用,旨在彻底取代老旧的 History API,通过单一统一事件处理所有的应用状态与页面导航(包括监听前进、后退操作),并能与 View Transitions 原生联动。此外,在核心体验指标方面,Core Web Vitals 的两大支柱——最大内容绘制(LCP)与交互到下一次绘制(INP)——如今也全面跨浏览器可用,这意味着即使用户使用的是 iOS 平台,开发者也能跨浏览器统一采集这些关键的性能与响应度数据。
| 发展阶段 | 特性名称 | 核心开发价值与应用场景 | |:--- |:--- |:--- | | **广泛可用** (Widely Available) | `<search>` 标签、OPFS、Subgrid、OffscreenCanvas、MathML 等 55+ 项 | 所有主流浏览器均已长期支持,无需任何 Polyfill 即可面向全体用户放心投产。 | | **新晋可用** (Newly Available) | **View Transitions API** | 原生驱动单页与跨页视图间的丝滑过渡动效,大幅改善感知性能,摆脱重型动画库。 | | **新晋可用** (Newly Available) | **Navigation API** | 现代化重塑浏览历史管理,集中化单一事件拦截与分发,完美联动 View Transitions。 | | **新晋可用** (Newly Available) | **跨浏览器 Core Web Vitals (LCP & INP)** | 在所有平台(包括 iOS)上获得统一的加载与交互响应指标监测能力,打破浏览器壁垒。 |
[28:30](https://www.youtube.com/watch?v=YuMdsHIXatY&t=1710s) Baseline Alerts 与平台演进规划
随着 Web 平台的飞速演进,当前已有 44 项(准确来说是 52 项)功能达到了 Baseline“新可用”(Newly Available)状态。为了应对如此庞大的技术更新体量,Chrome 团队在 webstatus.dev 上推出了名为 Baseline Alerts 的全新追踪工具。该功能旨在帮助开发者精准追踪某项特性何时登陆特定浏览器、何时成为 Newly Available 状态,以及何时迈入 Widely Available(广泛可用)阶段。开发者可以通过电子邮件、RSS 订阅乃至 Webhook 接收动态提醒,从而摆脱被动追赶特性的局面,更加胸有成竹地规划业务架构与站点未来。
Paul Kinlan 提到,他在日常工作中除了能动手捣鼓最前沿的 Chrome 开发技术之外,每天还会深入接触大量一线开发者。从开发者的反馈中,他提炼出了两大核心诉求:第一是更稳定、更高效地交付,即“平台必须更具可预测性,别老是破坏现有的 Web 生态”;第二则是清晰看清 Web 未来一到两年的演进方向,以便提前做好业务布局。Baseline 与 Modern Web Guidance 正是为了解决首要的稳定交付问题,而接下来的内容则重点转向 Chrome 正在引入的全新技术浪潮。正如 Paul Kinlan 所说:“And the goal is just to make it easier for you to understand how the platform is evolving so that you can just plan your business and your sites way more effectively into the future.”
- **Baseline Alerts 订阅渠道**:支持 Email、RSS 源以及 Webhook 集成。 - **状态追踪维度**:浏览器单平台支持节点、Baseline Newly Available、Baseline Widely Available。 - **开发者两大诉求**:依托 Baseline 和 Modern Web Guidance 提升发布确定性;紧随 Chrome 前沿路线做好长远技术规划。
---
[30:09](https://www.youtube.com/watch?v=YuMdsHIXatY&t=1809s) 端侧智能落地:Prompt API 与内置 AI 生态
面对大语言模型(LLM)从文本补全、语义数据提取、摘要生成一路演进到面向 Agent 场景的函数调用(Function Calling),Chrome 的目标是将高可用、高质量的端侧智能直接赋予用户。这种端侧能力的核心诉求在于普惠:无论网络连接状态如何、不产生调用成本,并且能以原生隐私安全的方式运行。Chrome 148 正式为 Prompt API 带来了多模态(Multimodal)支持,开发者不仅能让模型理解文本,还能直接对图片内容进行视觉解析。
尽管 Prompt API 目前属于 Chrome 原生提供的能力,团队鼓励大家以渐进增强(Progressive Enhancement)的方式将其引入生产环境。例如 Trip.com、Drupal 和 Temu 已经率先落地并上线到真实用户环境。在 Trip.com 的航线预订页面中,左侧的辅助交互组件即基于 Prompt API 构建——若用户浏览器不支持该 API,界面就会平滑降级而不影响主流程。此外,Prompt API 还支持结构化输出(Structured Output),允许直接输出符合约束的 JSON 格式,彻底免去了脆弱的字符串解析逻辑。在语言支持上,模型已从纯英文拓展到法语、德语、西班牙语和日语;更重要的是,Chrome 接下来将引入 Gemma 系列模型家族,在端侧提供原生函数调用(Function Calling)能力,推动完全在客户端运行的自主 Agent 成为现实。关于端侧内置 AI 的更详尽内容,还可参考 Thomas Steiner 带来的专题演讲。
```mermaid flowchart TD accTitle: Chrome Prompt API 运行架构与演进 accDescr: 展现从 Chrome 148 端侧 Prompt API 输入到未来引入 Gemma 实现原生函数调用的流程
subgraph InputStage["输入与多模态解析"] TextIn["文本提示词"] ImageIn["图像数据"] end
subgraph ChromeRuntime["Chrome 148 内置 AI 运行时"] PromptEngine["Prompt API (端侧执行)"] OutputFilter["结构化输出约束 (JSON)"] end
subgraph FutureEvolution["未来规划演进"] GemmaModel["Gemma 系列模型集成"] NativeFC["原生 Function Calling"] WebAgent["客户端自主 Agent"] end
TextIn --> PromptEngine ImageIn --> PromptEngine PromptEngine --> OutputFilter PromptEngine -.->|"演进路线"| GemmaModel GemmaModel --> NativeFC NativeFC --> WebAgent ```
- **离线与零成本**:本地运行模型免除了高昂的 API 调用开销与云端传输隐私顾虑。 - **结构化输出**:直接生成原生 JSON 约束数据,便于应用业务逻辑无缝消费。 - **多语言扩展**:除英语外,现已支持法语、德语、日语和西班牙语(Paul Kinlan 还在现场打趣询问坐在后排的技术专家 Ken G 是否在推进威尔士语支持)。 - **早期预览计划(Early Preview Program)**:官方开放申请通道,邀请开发者共同参与 API 性能、质量与安全规范的打磨。
在阐述端侧能力愿景时,Paul Kinlan 特别强调:“Now, the way I look at this is that we do want to make sure that everyone should have access to these tools, irrespective of internet connection. And they should be able to run them privately and then also at no cost in the context of large language models.”
---
[33:38](https://www.youtube.com/watch?v=YuMdsHIXatY&t=2018s) HTML 十年最大变革:软导航与声明式局部更新
在改善 Web 基础交互与页面性能方面,Chrome 过去一年取得了突破性进展。针对单页应用(SPA)多年来无法准确测量路由切换性能的痛点,Chrome 即将正式引入“软导航”(Soft Navigations)测量机制。实际监测数据显示,该机制能够精准捕获 SPA 路由间的核心网页指标(Core Web Vitals),帮助多数 SPA 应用显著提升指标通过率。
紧接着,Paul Kinlan 展示了被称为“十年来 HTML 领域最重大更新之一”的特性——声明式局部更新(Declarative Partial Updates)。在展示现场,Paul 展示了自己卧室电脑屏幕上的时钟示例:界面上的秒数每秒都在规律跳动更新,但整张页面完全没有运行任何一行 JavaScript 脚本。该技术打破了传统 HTML 解析必须依赖文档顺序的铁律,允许服务端发出的 HTML 片段在 DOM 中乱序渲染并打补丁。对于拥有复杂导航菜单的大型应用,开发者可以优先流式下发核心主体内容,最后再将体积庞大的菜单结构推送到客户端并原地打补丁;在慢速接口查询场景下,页面也可以先放置占位骨架,并在同一条 HTTP 请求结束时将真实数据流追加补齐,这一切都无需编写多余的异步 Fetch 脚本或客户端模板渲染逻辑。
Paul Kinlan 激动地指出:“And I think it's one of the biggest changes to HTML in a decade.”
- **Soft Navigations(软导航)**:让 SPA 在虚拟路由切换时能够正确度量 Core Web Vitals,全面提升性能监控真实度与指标通过率。 - **Declarative Partial Updates(声明式局部更新)**:在 Chrome 148 中推出,支持跳出流式传输顺序向 DOM 节点打补丁更新。 - **零 JavaScript 开销**:无需客户端框架调度或复杂事件轮询即可实现服务端流式驱动的 UI 定时/异步刷新。
---
[35:49](https://www.youtube.com/watch?v=YuMdsHIXatY&t=2149s) 让 HTML 成为新的 JSON:流式标记注入与现代 UX 体验
为了让“HTML 成为新的 JSON”,Chrome 引入了全新的动态标记流式注入 API,包括 `streamHTML` 和 `streamHTMLUnsafe` 等一系列底层方法。过去几年中,业界流行通过“孤岛架构”(Islands Architecture)来实现页面的渐进水合与局部动态交互;而现在,纯粹的原生 JavaScript 开发者也能轻而易举地获得类似体验。开发者可以直接拦截 Fetch 请求返回的 ReadableStream 响应体,并直接将其流式管道化(Pipe)注入到文档的 DOM 当中,彻底告别了“服务端转 JSON → 客户端请求 JSON → 客户端解析模板构建 DOM”的繁琐转换链路。
这项原生流式标记能力自 Chrome 148 起已可使用,正从根本上重塑现代 Web 界面的构建方式。在视觉和交互体验维度,浏览器不仅提供了大批崭新的 CSS 与 JavaScript API,更关注用户体验的本质升华——让页面滚动更顺滑、视图过渡更自然,让触摸与手势交互呈现出更具物理规律和直觉反馈的质感。关于界面的体验变革,团队成员 Yuna 和 Bramus 总结提炼出了彻底颠覆当前开发认知的“五大核心 UX 原则”,开发者可深入学习相关专项演讲以掌握未来 Web 交互的设计规范。
Paul Kinlan 总结道:“Now, I want to show you one other thing where I think I would like to make HTML the new JSON, and we have a new API that's going to help with that.”
| 技术方案 | 传统流程(JSON Transform) | 现代方案(HTML as the New JSON) | |:--- |:--- |:--- | | **数据传递形式** | 结构化 JSON 文本 | 原生 HTML 标记流 | | **渲染处理链路** | Server 序列化 → Fetch JSON → Client JS 模板解析 → 生成 DOM 挂载 | Server 输出 HTML 流 → `streamHTML` 直接写入 DOM | | **客户端开销** | 占用大量 JS 运行耗时与内存模板映射 | 纯流式解析,零中间 JSON 解析负担 | | **支持版本** | 传统各浏览器标准能力 | Chrome 148+(支持 `streamHTML` / `streamHTMLUnsafe` 等) |
[37:37](https://www.youtube.com/watch?v=YuMdsHIXatY&t=2257s) HTML-in-Canvas:将真实 DOM 融入 3D 与画布世界
在众多新技术中,Paul Kinlan 特别强调了一项他认为将彻底改变 Web 构建方式的技术——HTML-in-Canvas。在演讲开头的演示中,团队展示了一个 3D 沉浸式体验,并成功将一个虚拟浏览器界面无缝嵌入到一台虚拟电脑中,其底层依托的核心技术正是 HTML-in-Canvas。这项能力允许开发者将标准的 DOM 结构直接渲染到 `<canvas>` 元素内部。无论是类似 Qt 这样的 2D 应用框架,还是各大 3D 图形引擎,都可以借此直接继承 Web 语义化 UI 层的全部优势。渲染在 Canvas 内的内容并非死板的像素贴图,而是具备原生 DOM 特性的真实节点,不仅可交互、支持辅助功能(Accessibility),还能直接被浏览器翻译和搜索。
为了展示该 API 的潜力,Paul Kinlan 演示了多层级的应用场景。最基础的用法是对单个 HTML 原生组件进行彻底重绘,例如对一个语义上完全标准的 `<input type="range">` 滑动条应用全新的富 UI 图层。尽管这种华丽效果若全盘应用在普通网站上可能会显得过于夸张,但对于需要突破常规 CSS 限制、实现特定设计语言的开发者而言,HTML-in-Canvas 提供了前所未有的自由度。更关键的是它具备优雅降级能力:当环境不支持该 API 时,页面会自动回退为标准的原生 Web 组件外观。在更高级的应用场景中,该技术可无缝接入 Three.js 或 PlayCanvas,让开发者能够极其轻松地构建诸如 3D 汽车数字仪表盘或交互式虚拟翻页书等体验,只需将其作为材质(Material)或纹理(Texture)挂载,复杂的底层渲染与事件分发全部由浏览器和引擎自动解决。
```mermaid flowchart TD accTitle: HTML-in-Canvas 架构流程 accDescr: 展示语义化 DOM 如何通过 HTML-in-Canvas 集成进图形引擎并保留原生浏览器能力
subgraph DOM_Layer ["语义化 DOM 层"] A["标准 HTML 元素<br>(如 input[type=range] / 完整文档)"] end
subgraph Canvas_Integration ["Canvas 集成与渲染"] B["HTML-in-Canvas API"] C["2D/3D 图形引擎<br>(Three.js / PlayCanvas / Qt)"] end
subgraph Browser_Features ["浏览器原生能力保留"] D["全文检索 (Search)"] E["多语言翻译 (Translate)"] F["无障碍访问 (Accessibility)"] G["完整用户交互 (Interaction)"] end
A --> B B --> C B --> D B --> E B --> F B --> G ```
Paul Kinlan 对这项突破性技术的未来充满信心,他在现场由衷感叹道:“I just think this is a game-changing API, and I think it's going to change the way that we experience the web.”社区的创新浪潮也早已展开,例如 Wes Bos 以及众多开发者在社交媒体 X 上分享的各种趣味实验,从撕裂网页到物理炸碎页面,充分展现了该 API 极高的表现力。为此,Chrome 团队正在搭建专门的“Awesome HTML-in-Canvas”聚合页面,收集并展示来自全球生态的优秀实验项目。
- **DOM 原生特性保全**:Canvas 内部渲染的内容依旧保留文本搜索、浏览器原生网页翻译、屏幕阅读器可访问性以及完整的点击/拖拽交互能力。 - **开发集成极简**:支持通过常规材质贴图的方式直接引入 Three.js 和 PlayCanvas,大幅降低了 3D 场景内构建复杂语义界面的门槛。 - **降级兼容友好**:在未适配该 API 的运行环境中自动保留标准 HTML 渲染,不破坏网站原有的可用性。
---
[40:49](https://www.youtube.com/watch?v=YuMdsHIXatY&t=2449s) 大会总结:富有表现力的原生能力与 AI 代理时代并进
在演讲的收尾环节,Paul Kinlan 与现场观众进行了一场轻松幽默的互动。他笑着向台下询问自己整场究竟提了多少次“Agent”(AI 代理),观众席随即响亮地回应“62 次”,引发全场一片欢笑。这不仅印证了 AI 已经成为本次演讲的核心主线,也体现出整个 Chrome 团队对于 Web 平台未来发展方向的高度兴奋。
Paul Kinlan 总结道,Web 平台的演进正双轨并行:一方面,面向终端用户和前端工程师,浏览器正不断涌现出像 HTML-in-Canvas 这样全新、富有表现力的 UI 原语,让网页变得前所未有的生动、有趣且多元;另一方面,平台正通过像 WebMCP 这样的协议与标准,促使 Web 成为各类新型平台生态的深度参与者,无缝接入开发者日常构建的 AI 代理和智能化工具,使 Web 成为跨平台体系中的一等公民体验。关于开发者关系团队的使命,Paul Kinlan 动情地表示:“And I think the real important thing for me and why I'm in developer relations is that we just want to help you do this as well.”为了帮助开发者在日新月异的技术生态中理清脉络,团队推出了 Modern Web Guidance,提供全方位的工具与架构指导,携手全球开发者共同构建现代化的 Web 未来。
## Notable quotes > [05:11](https://www.youtube.com/watch?v=YuMdsHIXatY&t=311s) Today's web works for agent flows, but it's not yet optimized. — Paul Kinlan
> [19:15](https://www.youtube.com/watch?v=YuMdsHIXatY&t=1155s) Now, for me, I'm actually very excited about this because LLMs are going to give us, or are giving us, a way to experiment at scales that we've never been able to. — Paul Kinlan
> [07:48](https://www.youtube.com/watch?v=YuMdsHIXatY&t=468s) And as developers, we really do like a lot more control. We like to be able to guide our tools around our sites. And this is where WebMCP comes in. — Paul Kinlan
## Mentioned Chrome, Google, Paul Kinlan, WebMCP, HTML-in-Canvas, Gemini, Prompt API, Baseline, Modern Web Guidance, Chrome DevTools for Agents, Google I/O 2026, Expedia, GitHub, Trip.com, Drupal, Temu, Gemma, Three.js, PlayCanvas, Qt, Phil, Thomas Steiner, Yuna, Bramus, Wes Bos, Ken G
## Video description Discover the cutting edge of web development and learn where Chrome is taking the browser in 2026. Explore new capabilities that make the web more capable, reliable, and intelligent.
Resources: 15 updates from Google I/O 2026: Blog Post → https://goo.gle/4dXodTO WebMCP → https://goo.gle/4uqYauc Modern Web Guidance → https://goo.gle/4dWeOf8 Chrome DevTools for agents → https://goo.gle/4fABEdz HTML-in-Canvas → https://goo.gle/3RnDLYj Prompt API → https://goo.gle/49b24ii Baseline → https://goo.gle/3ReWwgz
Speakers: Paul Kinlan
Watch the Chrome sessions from Google I/O 2026 → https://goo.gle/Chrome-at-IO2026
Subscribe to Chrome for Developers → https://goo.gle/ChromeDevs
#GoogleIO
Event: Google I/O 2026
Products Mentioned: Web, Chrome
[Source](https://www.youtube.com/watch?v=YuMdsHIXatY)