谷歌重构DevTools智能体接口 抛弃海量Trace改用语义摘要

Building Agent Interfaces: Lessons from Chrome DevTools (MCP) for Agents — Michael Hablich, Google — AI Engineer

AI Engineer

智能体需要专用界面而非原始底层数据,团队通过语义摘要与自愈报错降低Token消耗,并坚守安全摩擦以抵御提示词注入攻击。

AI-assisted summary of Building Agent Interfaces: Lessons from Chrome DevTools (MCP) for Agents — Michael Hablich, Google — original source. Check the original for full context.

Source published:

Key ideas

  • Chrome DevTools 团队推出面向智能体的 MCP 接口,通过将数万行原始 JSON 性能追踪数据提炼为高密度的 Markdown 语义摘要,有效避免智能体因上下文撑爆而丧失推理能力。 (2:44)
  • 团队提出以“每次成功结果消耗的 Token 数(TPSO)”作为衡量智能体接口“燃油效率”的核心度量标准,强调必须在任务成功的前提下评估接口的 Token 与轮次效率。 (8:09)
  • 将调试接口从单个万能工具解耦为 25 个细粒度工具后,引发了工具发现和选择歧义;团队指出高达 97% 的 MCP 工具描述存在质量缺陷,需精简并校准 Schema 提示词。 (15:26)
  • 针对自动连接(Autoconnect)功能,团队拒绝消除权限确认弹窗,明确指出在涉及真实配置文件与不可信网页的“致命三要素”威胁下,必须有意保留摩擦以防御提示词注入。 (18:33)

Detailed notes

## Background 该视频由 YouTube 频道 AI Engineer 于 2026 年 6 月 5 日发布,记录了 Google Chrome 开发者工具产品经理 Michael Hablich 的主题演讲。页面简介指出,演讲坦诚复盘了团队在打造面向 Agent 的 Chrome DevTools(MCP)过程中经历的三次试错迭代,重点探讨了语义摘要、报错自愈重写、评估接口燃油效率的 TPSO 指标,以及为了防御提示词注入而刻意保留交互摩擦的安全考量。

## TL;DR 演讲系统拆解了将传统面向人类的 Chrome DevTools 改造为面向 Agent 专用接口的工程实践与认知范式转变。团队摒弃了动辄 50,000 行撑爆模型上下文的原始 JSON 性能追踪数据,转而提供紧凑的 Markdown 语义摘要,并提出了“每次成功结果消耗的 Token 数(TPSO)”这一量化指标来衡量接口燃油效率。在工具架构上,团队经历了从单一全能工具到拆分为 25 个细粒度工具的权衡,通过重写自愈报错与优化工具描述来减少推理死锁。最后,演讲引入分级安全隔离模型,针对“致命三要素”带来的注入风险,明确提出在 Agent 接口设计中绝不能为了操作便利而牺牲信任边界。

## Atmosphere & style 整场演讲呈现出一种资深工程师兼产品经理特有的务实与坦率风格,没有虚浮的炒作,而是毫无保留地剖析自家团队“把同一个东西做错三次”的踩坑教训。开场通过与现场观众对 MCP 实践经验的举手互动迅速拉近距离,随后以清晰流畅的节奏在架构图表、代码命令行与反直觉结论之间从容切换。现场氛围既严谨又充满启发性,演讲者生动贴切的比喻与对“Agent 即新一代用户”的郑重呼吁,让整场分享兼具硬核技术深度与极富前瞻性的设计感召力。

## Bulletin - [02:44](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=164s) Chrome DevTools 团队推出面向智能体的 MCP 接口,通过将数万行原始 JSON 性能追踪数据提炼为高密度的 Markdown 语义摘要,有效避免智能体因上下文撑爆而丧失推理能力。 - [08:09](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=489s) 团队提出以“每次成功结果消耗的 Token 数(TPSO)”作为衡量智能体接口“燃油效率”的核心度量标准,强调必须在任务成功的前提下评估接口的 Token 与轮次效率。 - [15:26](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=926s) 将调试接口从单个万能工具解耦为 25 个细粒度工具后,引发了工具发现和选择歧义;团队指出高达 97% 的 MCP 工具描述存在质量缺陷,需精简并校准 Schema 提示词。 - [18:33](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=1113s) 针对自动连接(Autoconnect)功能,团队拒绝消除权限确认弹窗,明确指出在涉及真实配置文件与不可信网页的“致命三要素”威胁下,必须有意保留摩擦以防御提示词注入。

## Key takeaways - [02:44](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=164s) 人类与智能体共享排错和优化网页的目标,但认知机制截然不同:人类依赖视觉与布局过滤信息,而智能体的瓶颈在于文本上下文与信息密度。 - [02:44](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=164s) 直接向智能体喂送 50,000 行的原始 JSON 追踪文件会导致其进入无法推理的“垃圾区”,改用提炼关键 Web Vitals 的 Markdown 语义摘要能大幅提升执行精准度。 - [08:09](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=489s) 评估智能体接口应综合有效性与效率,以 TPSO(每次成功结果消耗的 Token 数)为指标衡量接口“燃油效率”,且该指标必须在同类具体任务内对比才具备参考价值。 - [11:07](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=667s) 通过工具分类隐藏边缘垂直功能,并在极简模式下仅暴露 3 个核心工具(select_page、navigate_page、evaluate_script),能够有效压缩上下文开销,但也带来了缺乏直接网络嗅探等专用能力的架构权衡。 - [12:43](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=763s) 利用管道命令(如通过 grep 过滤无障碍树 ID 并传递给 click 命令)将数据后处理留在本地机器运行,可大幅减少模型上下文处理冗余数据的开销。 - [13:14](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=794s) 重构报错信息使其具备自愈能力(如明确提示“未找到可供导航的历史记录条目”),能够让智能体无需人类介入即可自主重试并修复错误,减少无效 Token 浪费。 - [13:14](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=794s) 采用主动绕行机制(如纠正模型对 Lighthouse 的预训练偏见、引导其调用 start trace)和内置诊断技能,可构建多层次的错误恢复防御谱系。 - [15:26](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=926s) 单体式万能工具(如 debug_webpage)无法让智能体灵活组合复杂动作,而拆分成 25 个微工具后又带来了选错工具的新瓶颈,暴露出架构拆分只是转移了权衡重心。 - [15:26](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=926s) 模式定义(Schema)即智能体的用户界面,必须严格界定功能边界与激活准则,追求最小可行描述,以防小模型产生混淆或过度占用上下文空间。 - [18:33](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=1113s) 在本地开发环境中,智能体直接访问包含隐私数据的默认用户文件,构成了提示词注入的“致命三要素”,因此必须通过显式授权弹窗主动保留交互摩擦。 - [18:33](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=1113s) 浏览器智能体应建立三级安全隔离模型:一级本地环境保留人类在环与摩擦,二级 CI 沙箱采用独立配置与远程端口,三级全网漫游模式强制施加域名白名单与防注入拦截。 - [21:32](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=1292s) 软件工程正在经历向“智能体体验(AX)”的范式转移,智能体作为新一代用户,同样需要兼顾燃油效率、自愈容错、清晰模式与严格安全边界的设计。

## Detailed walkthrough ### [00:07](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=7s) 为 Agent 构建专用接口:来自 Chrome DevTools 团队的经验

演讲开场,主讲人向全场观众发起互动,询问谁已经在自己的 Agent 中使用过 MCP(Model Context Protocol)服务器或 CLI 工具。现场几乎所有人都举起了手,主讲人直言这完全在意料之中。随后他又询问有多少人已经真正构建并实际部署了 MCP 服务器,现场大约有一半的人举手。

主讲人指出,本次演讲的核心是分享 Google Chrome DevTools 团队在构建“面向 Agent 的 Chrome DevTools(Chrome DevTools for Agents)”过程中的四条核心工程经验,以及他们如何将其落地生效。面向人类的 Chrome DevTools 每天都有数百万 Web 开发者使用,直接内置于 Chrome 浏览器中,用来排查网页错误、执行审计、进行性能分析等。而如今团队打造的,则是一款专为 Agent 设计的 Chrome DevTools。

在现场演示视频中,左侧运行着 Gemini CLI 并输入 Prompt,由于配置了 DevTools MCP 服务器,系统自动在右侧启动了 Chrome 浏览器并展开调试。演示案例围绕性能追踪(Performance Tracing)展开:Agent 采集性能追踪数据,解析返回的追踪指标与见解,针对性修改代码优化页面速度,最后再次验证优化效果并完成任务。主讲人强调,该工具不仅支持 Gemini CLI,还能无缝接入任何具备 MCP 能力的客户端与 Harness,例如 Cloud Code、Codex、OpenClaw 等。

- 观众画像:全场几乎全部使用过 MCP 或 CLI 工具,约 50% 曾亲自构建并部署过 MCP 服务。 - 线下互动:现场约有 10% 的开发者已经尝试过面向 Agent 的 Chrome DevTools。

[02:44](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=164s) 认知错位:从 50,000 行 Trace 文件到语义摘要

主讲人自我介绍名为 Michael Hablich,是 Google Chrome 开发者工具的产品经理,同时也在居住地附近的大学担任客座讲师,拥有 20 年涵盖开发、测试、QA、项目经理和产品经理的丰富技术经历。他解释了团队最初启动该项目的初衷:大约一年半前,代码生成 Agent 虽然编写代码能力极强,但在执行验证时却如同“盲飞”(flying blind),完全无法核实自己的改动是否生效,这种体验非常糟糕。

团队最初想当然地认为 Agent 是机器,直接把海量底层数据甩给它们即可。然而事实证明这种直觉彻底错了。当时的性能追踪文件(Trace File)动辄数兆字节,包含多达 50,000 行原始 JSON 数据。直接将其投喂给模型,瞬间就撑爆了上下文窗口,让模型跌入了所谓的“垃圾区(dump zone)”,彻底丧失推理能力。团队意识到设计方向发生严重偏差,必须重构交互方案。现在的性能追踪端点虽然仍保留底层原始数据以供其他工具后处理,但面对 Agent 时,默认返回的是经过提炼的 Markdown 语义摘要(Semantic Summary)。摘要中只提炼关键的 Web Vitals 性能指标(如 Largest Contentful Paint、INP 等),不再强迫 Agent 去读完整本“大部头”,而是直接指向关键语句。

关于人类与 Agent 的认知差异,Michael Hablich 做了如下对比: “The thing is, agents and humans, they share the intent, they share the goal, right? In our case, for example, both want to identify errors in a page and want to fix those errors. But they think differently.”

人类受限于视觉复杂度,属于高度依赖布局、色彩来提取信号的生物;而 Agent 面临的瓶颈完全是文本上下文与信息密度的平衡。为此,DevTools MCP 改变了信息传递形态:

```mermaid flowchart TD accTitle: DevTools 信息传递形态重构 accDescr: 对比原始数据直接丢入上下文与经过语义摘要提取后的两套架构路径。

subgraph FailurePath["早期失败模式:原始数据轰炸"] A["Chrome Performance Trace"] -->|"产生 50,000 行 JSON"| B["Raw Trace File (数 MB)"] B -->|"撑爆上下文窗口"| C["Agent 进入 Dump Zone 无法推理"] end

subgraph SuccessPath["重构模式:语义摘要过滤"] D["Chrome Performance Trace"] -->|"指标抽取与提炼"| E["Semantic Summary (Markdown)"] E -->|"高密度语义指标 (LCP, INP)"| F["Agent 精准决策并执行修复"] end ```

[08:09](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=489s) 核心指标:每次成功结果的 Token 开销(TPSO)

在明确了 Agent 是全新用户群体之后,团队探索出了一套量化接口表现的指标体系:**每次成功结果消耗的 Token 数(Tokens Per Successful Outcome, TPSO)**。主讲人解释,评估 Agent 接口质量需要拆解为两个维度: 1. **有效性(Effectiveness)**:Agent 是否完整走通了用户旅程,功能目标最终是否达成。 2. **效率(Efficiency)**:完成任务所消耗的 Token 成本、工具调用次数(Tool Calls)以及执行耗时。

对于 TPSO 的本质,Michael Hablich 给出了一句极为精辟的比喻: “In the end, what tokens per successful outcome tell you is the fuel efficiency of your interface, right?”

但追求“燃油效率”存在重大陷阱:如果你连终点都开不到,燃油效率再高也毫无意义。这也是为什么该指标必须限定为“成功结果(Successful Outcome)”,而非单纯的“单次调用(Per Outcome)”,有效性始终是效率的前提。此外,该指标不能跨任务进行全局笼统对比。例如,网页抓取(Web Scraping)旅程逻辑简单,Token 消耗极低;而排查响应式布局失效的网页调试任务涉及反复的多轮交互推理,消耗的 Token 自然高得多。指标监控必须局限在具体的用户旅程与任务类别内部才有意义。

在团队内部的实际度量面板中,各种用例被量化展示为横向柱状图。柱条越长代表工具在该用例下的效率越高,柱条偏短的领域则是团队接下来需要介入重构、提升 TPSO 的重点对象。主讲人强调,尽管精准测量 TPSO 存在挑战,但哪怕是不完美的度量,也远好于仅凭拍脑袋做直觉决策。

[11:07](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=667s) 控制 Token 消耗的三种手段:分类、极简模式与 CLI

为了切实压低 Agent 的 Token 消耗并提升 TPSO,面向 Agent 的 Chrome DevTools 从三个工程层面提供了应对策略:

1. **工具分类(Tool Categorization)**:避免将所有 API 一股脑暴露在默认上下文菜单中。例如针对 Chrome 扩展调试(Extension Debugging)等小众垂直场景的工具,团队通过命令行参数将其隐藏,仅在用户有明确需求时才动态挂载。 2. **极简模式(Slim Mode)**:将工具分类推向极致。在此模式下,系统仅仅向 Agent 暴露三个最核心的工具:`select_page`、`navigate_page` 和 `evaluate_script`。这极大地节省了系统提示词与上下文开销,但背后也存在不可避免的技术权衡(Trade-off)。由于工具库被过度压缩,Agent 缺少直接获取网络请求(Network Requests)等专用接口的能力(此类功能无法直接通过 `evaluate_script` 优雅实现),往往需要绕弯执行额外的交互轮次(Extra Turns),甚至导致部分复杂任务无法完成。 3. **CLI 命令行接口(Command Line Interface)**:除了标准的 MCP Server 形式外,团队还提供了一套功能对等的命令行接口,允许 Agent 直接在 Shell 环境或代码模型体系中调用原生 DevTools 能力,从而在架构选择上给予开发者更大的灵活性。

- 极简模式暴露的 3 个核心工具: - `select_page` - `navigate_page` - `evaluate_script` - 架构权衡点:工具暴露过少虽然减少了初始上下文占用,但可能迫使 Agent 增加推理轮次或缺失关键调试能力(如网络流量嗅探)。

[12:43](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=763s) 命令链式调用与计算后置:减少模型上下文开销

在利用智能体执行复杂任务时,开发者可以通过让智能体将多条命令链式组合(chain commands)来完成数据后处理。Michael Hablich 展示了一个具体范例:由于幻灯片画面略显模糊,他解释道,智能体首先通过 `grep` 命令从无障碍树(Accessibility Tree)中过滤提取出目标控件的 ID,紧接着直接通过管道(pipe)将该 ID 输入给点击命令 `click`。

这种处理方式的核心价值在于大幅节省 Token。如果将完整的无障碍树或冗长的原始数据全部塞回大语言模型,模型必须消耗大量推理上下文去解析与定位目标。而通过在本地机器上直接运行管道命令,“Token 的后处理完全发生在你的计算机上”(The token post-processing is happening on your computer),从而将计算与过滤留在本地,大幅降低了接口的资源消耗与延迟。

[13:14](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=794s) 错误恢复谱系:从自愈报错到主动绕行与诊断技能

如果智能体在运行中频繁卡死,再高的运行效率也毫无意义。智能体每次遭遇报错,都会触发重试机制并试图理解失败原因,这不仅会导致 Token 浪费,也极大地损害了用户体验。针对这一问题,团队将错误恢复(Error Recovery)视作一个多层次的谱系来系统性推进。

最基础的一步是提供真正有用的错误信息。很多工具的报错设计往往忽略了这一点,Chrome DevTools 早期也是如此。团队通过多次迭代重写了报错文本。例如,工具原本的报错仅为冷冰冰的“在当前所选页面中无法后退”(unable to navigate back in the selected page),导致智能体陷入死锁;而修改后的错误明确补充了“未找到可供导航的历史记录条目”(history entry to navigate was not found)。正如 Michael Hablich 所说:“我们实际上加上了最后那句话,这让智能体能够实现自我修复,这非常有用,因为这样智能体就不需要人类介入来修复问题,而是能够自主解决问题。”(We actually added the last sentence, and that enabled the agent to self-heal, which is super useful because then the agent doesn't need a human to actually fix the problems, but the agent can, uh, self-fix the problems.)

```mermaid flowchart TD accTitle: 智能体错误恢复的三层防御体系 accDescr: 展示自愈错误信息、主动绕行以及诊断技能如何协同保障智能体韧性

subgraph ErrorHandling["错误恢复谱系 (Error Recovery)"] A["精准自愈报错<br/>(Self-Healing Error)"] -->|"消除歧义/补充上下文"| B["减少重试 Token 开销"] C["主动绕行<br/>(Proactive Detours)"] -->|"抵消模型预训练偏见"| D["重定向至正确工具链<br/>(Trace 代替 Lighthouse)"] E["诊断技能<br/>(Diagnostic Playbooks)"] -->|"开箱引导/环境排错"| F["排查 DevTools MCP 配置故障"] end ```

除了精准报错,更高级的防御手段还包括“主动绕行”(Proactive Detours)与“诊断技能”(Diagnostic Playbooks): - **主动绕行(Proactive Detours)**:底层模型受其预训练数据影响,往往具备特定的先验偏见。例如在遇到前端性能分析任务时,模型通常习惯性地想要调用 Lighthouse 审计。团队通过主动绕行机制对模型施加干预,引导其调用专门的启动性能追踪工具 `start performance trace`,以此矫正偏差。 - **诊断技能(Troubleshooting Skills)**:许多开发者在初次配置 Chrome DevTools MCP 服务器时会遇到连接故障。为此团队内置了故障排查技能,当配置异常时能够主动介入,协助人类与智能体共同修复环境问题,进一步提升系统的整体韧性。

[15:26](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=926s) 发现机制与工具描述:拆分 25 个工具后的认知权衡

在提升了恢复能力之后,接下来的核心命题是“可发现性”(Discoverability),即如何在事前阻止错误的发生。最初,Chrome DevTools MCP 采用单体架构,仅向智能体暴露了一个名为 `debug_webpage` 的万能工具。外部智能体只需传入一条提示词(如“请调试该网页的响应式布局故障”)。这一设计在工程实现上十分简洁优美,但在实际使用中却屡屡失效,智能体根本无法稳定组合复杂的调试动作。

为了解决这一问题,团队将这个单体工具解耦拆分成了 25 个细粒度工具。然而,“这并没有真正解决问题,我们只是把一个问题转移成了另一个问题”(we traded that problem off to another)。智能体瞬间拥有了 25 个独立工具,却陷入了不知道何时该选哪一个的迷茫之中。

Michael Hablich 引用学术论文指出,目前市面上高达 97% 的 MCP 工具描述都存在“质量异味”(Quality Smells)。在智能体架构中,“模式定义就是智能体的用户界面”(the schema is the UI for the agent)。优化这个界面需要细致的权衡: - **上下文窗口与精细度的博弈**:描述写得越详细,占用的上下文窗口就越大;此外,较小的模型面对冗长的描述时更容易产生混乱,甚至会误调用根本不相干的工具。 - **明确核心功能与激活条件**:工具描述必须清晰界定功能边界(Define Purpose)并提供明确的激活准则(Usage Guidelines)。例如在 `start trace` 工具的描述中,明确注明其用于排查前端性能问题以及 Core Web Vitals(如 LCP、INP、CLS)。智能体看到这些指标后,才能精准推断出该工具适用于页面加载优化场景。 - **技能(Skills)的引入与边界**:利用技能可以打包复杂的工作流,但同样不是免费的午餐。一旦加载过多技能,智能体会盲目误调,上下文窗口再次膨胀,“权衡只是发生了转移,并没有凭空消失”(The trade-off is shifting, it's not disappearing)。

[18:33](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=1113s) 信任边界与“致命三要素”:为什么自动连接必须保留摩擦

Chrome DevTools for Agents 配备了一项名为“自动连接”(Autoconnect)的核心功能,允许使用 Claude Code 等编程智能体的开发者与智能体共享屏幕,实时排查问题。不少用户向团队反馈体验痛点,抱怨每次都要弹窗点击“允许”极为繁琐,强烈要求引入“记住我的选择”以消除交互摩擦。在传统的用户体验(UX)设计中,干掉这种摩擦毫无疑问是标准且正确的选择。

然而在由智能体代理操作的现代体系中,信任边界(Trust Boundaries)高于单纯的操作便利。团队经过深思熟虑后,决定“故意保留这种摩擦”(friction is actually by design)。Michael Hablich 特别提到了 Simon Willison 关于“致命三要素”(Lethal Trifecta)的安全警示——当不可信输入、敏感数据访问与未经确认的外部操作三者交织在一起时,系统极易遭到提示词注入攻击。

```mermaid flowchart TD accTitle: 浏览器智能体三级安全隔离模型 accDescr: 展示从本地开发环境到持续集成再到全网访问环境的隔离与信任层级

subgraph Tier1["Tier 1: 本地开发环境 (Local Env)"] T1_Human["人类在环 (Human in the loop)"] T1_Profile["Chrome 默认配置文件 (含私人数据)"] T1_Sec["单次授权弹窗<br/>(保留摩擦 / 防注入)"] T1_Human -->|"显式授权"| T1_Sec end

subgraph Tier2["Tier 2: 持续集成测试 (CI / Sandbox)"] T2_Env["隔离受控容器 (Containers)"] T2_Profile["独立临时 Chrome 配置文件"] T2_Debug["远程调试端口 (Remote Debugging Port)"] T2_Env --- T2_Profile end

subgraph Tier3["Tier 3: 全网漫游智能体 (YOLO Mode)"] T3_Risk["完全互联网访问 / 任意不可信网页"] T3_Defense["域名白名单 + 严格提示词注入防御"] T3_Risk --> T3_Defense end ```

基于这一安全模型,Michael Hablich 梳理了浏览器智能体的三大层级架构: - **第一层:本地开发环境(Local Development Environment)**:人类完全处于控制环路中(Human in the loop)。此时智能体获得的是包含开发者真实隐私数据的默认 Chrome 配置文件权限。在此场景下,“致命三要素”汇聚一体,因此每次连接必须强制获得人类的显式许可。 - **第二层:持续集成受控环境(CI Environment)**:智能体在受控的隔离环境内运行,必须借助容器技术进行数据隔离,配置独立的 Chrome 临时用户文件,并通过远程调试端口(Remote Debugging Port)建立通信。 - **第三层:全网漫游智能体(Full Internet Access)**:这属于名副其实的“莽夫模式”(YOLO mode)。由于互联网上的任何未知网页都可能注入恶意提示词指令,系统除了要做到第二层的物理隔离外,还必须强制施加严格的域名白名单以及防注入拦截链。

Michael Hablich 严正总结道:“关键在于,第一层的本地智能体与第三层负责搜索调研的漫游智能体集群,可能共用了类似 Chrome DevTools for Agents 这样的基础工具,但除此之外,二者绝对不能共享你的任何安全体系设定。”(Key point being is a local agent, tier one, and a browsing agent fleet, tier three, where you're research agents maybe, might share a tool like Chrome DevTools for agents, but they shouldn't share nothing else else about your security model that you're having, right?)

[21:32](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=1292s) 总结与四个核心启示:智能体即新一代用户

在演讲的尾声,Michael Hablich 强调用户体验设计正在经历深刻的范式转移,必须将“智能体体验”(Agent Experience, AX)纳入核心考量。智能体本质上是软件系统面对的一类全新用户群体,同样具备效率、可发现性、安全性与稳定性等一系列非功能性需求。

针对 Chrome DevTools for Agents 的实战沉淀,他总结了四条不可违背的设计法则: 1. **衡量接口的“燃油效率”**:采用每次成功结果所消耗的 Token 数量(Tokens per successful outcome)作为核心效能指标。 2. **将错误提示改造成自愈指南**:不要输出含糊的失败描述,要提供包含修复上下文的恢复手册。 3. **针对意图严格审计工具描述**:精简并校准工具 schema,持续追求描述文本的“最小可行描述”(Minimum Viable Description)。 4. **绝不为了便利性牺牲信任**:坚守安全隔离分层,在关键权限节点上坚定地保留摩擦。

在演讲的最后,Michael Hablich 向全场工程技术人员呼吁:“智能体就是我们的下一代用户。让我们帮助它们,来更好地帮助我们。”(Agents are our next users. Let's help them help us.)现场随即爆发出热烈的掌声。

## Notable quotes > [08:09](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=489s) In the end, what tokens per successful outcome tell you is the fuel efficiency of your interface, right? — Michael Hablich

## Mentioned Michael Hablich, Simon Willison, Google, Chrome DevTools, Chrome DevTools for Agents, MCP, Gemini CLI, Claude Code, Cloud Code, Codex, OpenClaw, Web Vitals, Lighthouse

## Video description Chrome DevTools MCP shipped with one tool: debug_webpage. Agents failed silently because they couldn't compose behaviors. The team decomposed it into 25 focused tools and assumed the problem was solved. It wasn't — now agents had 25 tools and no reliable way to pick the right one. Michael Hablich's talk is an honest account of building the same thing wrong three times and what the fixes actually looked like.

The concrete lessons: semantic summaries instead of raw 50,000 line JSON trace files, error messages rewritten so agents can self heal without a human in the loop ("Cannot navigate back, no previous page in history" instead of "Unable to navigate back in currently selected page"), a metric called tokens per successful outcome to measure interface fuel efficiency, and a deliberate decision to keep the autoconnect friction rather than remove it once they thought through prompt injection and the lethal trifecta.

Speaker info: - https://x.com/MHablich - https://www.linkedin.com/in/michael-hablich/

---

Watch along with the corrected transcript, summary, timestamps and resources on this talk's official AIE page: https://ai.engineer/talks/_B4Pv9ttFgY-building-agent-interfaces-lessons-from-chrome-devtools-mcp-for-agents

Join our upcoming AI Engineer conferences (see https://ai.engineer landing page):

- AIEi Shanghai, November 5–6 — the first for meeting top Chinese labs and engineers - AIE CODE in SF, November 10–12 — the top AI Coding conference returns - AIEi Sydney, December 7–8 — the first AIEi run alongside NeurIPS 2026 in Sydney

---

[Source](https://www.youtube.com/watch?v=_B4Pv9ttFgY)

中文简报

谷歌重构 Chrome DevTools MCP 以遏制 AI Agent 的 Token 消耗 自主编程 Agent 需要精简的语义摘要而非原始运行时转储,同时需引入故意的“人机回环”阻尼,以防范利用“致命三元组”发起的提示词注入攻击。 Hablich 介绍了将 AI 编程 Agent 视为具有独特认知和上下文约束的特定用户群体后,所总结出的四项核心工程经验。DevTools 团队用精简的语义化 Markdown 摘要取代了庞大且长达 50,000 行的 JSON 跟踪记录,并建立起“每次成功产出所需 Token 数”指标来评估界面的资源使用效率。为帮助 Agent 实现自我修复,他们将晦涩的错误信息重写为确定性的恢复指令,并在包含 25 个工具的繁复界面与包含 3 个工具的激进“精简模式”之间平衡了工具的可发现性。最后,Hablich 概述了一个三层安全模型,主张刻意保留用户授权阻尼,以降低提示词注入风险并防范 Simon Willison 提出的“致命三元组”。 输入超过 50,000 行 JSON 的原始浏览器性能跟踪数据会使 Agent 的上下文窗口达到饱和并进入推理降级区,这促使谷歌 DevTools 团队用专注于核心网页指标(Core Web Vitals)的简短 Markdown 摘要替代了原始输出。 (3:31) Chrome DevTools MCP 团队将“每次成功产出所需 Token 数”确立为核心效率指标,在特定工作流类别内而非全局产品基准下来评估任务完成度与 Token 消耗的关系。 (8:09) 用 25 个细粒度端点取代单体调试工具后,故障模式从无法制定多步计划转变为工具选择歧义,这表明工具描述对语言模型起到了类似图形界面的作用。 (15:26) 为防范 Simon Willison 提出的“致命三元组”安全漏洞,DevTools 刻意保留了自动连接阻尼与显式的人工授权提示,而非自动对实时浏览器会话进行授权。 (18:33)

精炼阅读摘要

Google Chrome DevTools 产品经理 Michael Hablich 提出,软件团队必须将自主 AI Agent 视为一类具有独立认知与资源约束的全新终端用户;为此,构建 Agent 接口(如 MCP 服务)需在输出语义化、度量消耗效率、自愈型错误设计、工具模式发现以及防御性安全边界之间做出权衡。 重构输出层:从底层追踪数据转向语义摘要 (3:31) 在早期探索中,Chrome DevTools 团队曾直接将底层性能追踪(Performance Trace)文件喂给代码 Agent。由于单次运行导出的原始 JSON 文件常超过数兆字节且包含逾 50,000 行低层运行时事件,这种做法迅速填满了大语言模型的上下文窗口,使其陷入推理能力严重退化的“转储区”(Dump Zone)。Hablich 坦言,团队此前误认为机器可以无负担地消化任意量级的数据,而事实证明这种假设是错误的。 为消除这种失效模式,团队彻底重构了性能分析接口的输出层。面向外部后处理工具的原始 JSON 数据依然保留,但默认的 Agent 端点被替换为简洁的 Markdown 语义摘要。该接口直接向 Agent 呈现核心 Web 指标(Core Web Vitals),如最大内容绘制(LCP)与下次绘制交互(INP),不再强迫模型通读整本“原始追踪巨著”,而是精准指向关键结论以减少上下文污染。 度量接口质量:每次成功产出的 Token 消耗 (8:09) 为客观评估 Agent 接口的优劣,团队确立了有效性(Effectiveness)与效率(Efficiency)两个维度。有效性验证 Agent 是否能端到端完成用户意图,效率则衡量消耗的 Token 总量、工具调用次数及执行时间。Hablich 将两者综合为核心运营指标“每次成功产出所需 Token”(Tokens per Successful Outcome),即接口的“燃油效率”。他强调,孤立考量效率毫无意义,低成本但失败的调用并不能反映系统价值;同时,该指标不能作为产品全局的单一 KPI,因为抓取结构化文本与跨多个视口调试响应式布局的复杂度不可相提并论。 为抑制上下文损耗,团队实施了三项工程手段:一是工具分类(Tool Categorization),将调试 Chrome 扩展等低频工具隐藏在命令行标志后,保持默认提示词精简;二是激进的“精简模式”(Slim Mode),仅暴露 select_page、navigate_page 与 evaluate_script 三个基础指令,虽减少了上下文,但也牺牲了直接拦截网络请求等专门观测能力;三是提供命令行(CLI)界面作为 MCP 服务的并行选择,使 Agent 可在本地利用管道和 grep 过滤数据,避免将整个状态树反复传回模型。 自愈型错误设计与工具发现架构 (12:43) 当 Agent 在执行中受阻时,盲目重试与幻觉排查会迅速耗尽 Token。团队将错误恢复划分为三个层级:首先是提供可执行的错误信息,例如在页面后退失败时,将模棱两可的系统报错改为明确提示“当前无历史记录”,引导模型自行修正计划;其次是主动迂回引导,针对模型训练数据中根深蒂固的旧习惯(如性能分析总爱启动沉重的 Lighthouse 审计),在响应中主动建议改用 performance.start_trace;最后是内置诊断手册(Playbooks),在检测到 MCP 配置环境异常时自动排查障碍。 在架构设计上,团队最初试图提供名为 debug_webpage 的单一巨型工具,但模型无法在单次黑盒调用内可靠编排多步交互。随后团队将接口拆分为 25 个细粒度工具,却又引发了新的发现性危机。Hablich 引用研究指出,业内 97% 的 MCP 工具描述存在质量异味(Quality Smells)。过长冗密的 Schema 会产生沉重的上下文税并干扰小模型,因此团队要求必须锚定核心用途与明确的触发词(如 LCP、INP、CLS 等标准缩写),以便模型准确将“排查页面卡顿”映射到对应的分析工具。 信任边界与针对致命三元组的分级防护 (18:33) 针对用户希望移除反复授权弹窗、实现完全静默连接的反馈,Hablich 明确表示拒绝为便捷性妥协安全性。在自主操作环境中,私有数据访问、不可信外部输入与外部通信通道交汇时,极易引发安全专家 Simon Willison 所提出的“致命三元组”(Lethal Trifecta)漏洞。为此,团队保留了必要的人工阻尼,并针对不同使用场景划分出三级安全体系。 第一级为本地开发环境,Agent 直接连接包含用户敏感会话与 Cookie 的个人默认浏览器 Profile,必须实施有严格时效限制的单次显式人工确认;第二级为 CI 与自动化测试流水线,通过 Docker 容器、临时配置目录及独立远程调试端口实现网络与状态的完全隔离;第三级则是面向开放互联网的自主浏览(被戏称为“YOLO 模式”),面对复杂的间接提示词注入攻击(Indirect Prompt Injection),系统必须依赖强化的沙箱、严格的域名白名单与输入净化,绝不能与本地调试助手共用安全假设。 Hablich 总结指出,未来的用户体验(UX)已扩展至 Agent 体验(AX)。构建接口不仅要量化 Token 产出效率、将报错转化为排查手册并精简调用描述,更需在权限边界上保持审慎。然而,在极简工具模式导致能力受限与全量工具导致模型迷失之间,以及在保障安全性与降低人工介入成本之间,依然存在需要长期迭代权衡的工程挑战。

Detailed notes — zh

## Background 该视频由 YouTube 频道 AI Engineer 于 2026 年 6 月 5 日发布,记录了 Google Chrome 开发者工具产品经理 Michael Hablich 的主题演讲。页面简介指出,演讲坦诚复盘了团队在打造面向 Agent 的 Chrome DevTools(MCP)过程中经历的三次试错迭代,重点探讨了语义摘要、报错自愈重写、评估接口燃油效率的 TPSO 指标,以及为了防御提示词注入而刻意保留交互摩擦的安全考量。 ## TL;DR 演讲系统拆解了将传统面向人类的 Chrome DevTools 改造为面向 Agent 专用接口的工程实践与认知范式转变。团队摒弃了动辄 50,000 行撑爆模型上下文的原始 JSON 性能追踪数据,转而提供紧凑的 Markdown 语义摘要,并提出了“每次成功结果消耗的 Token 数(TPSO)”这一量化指标来衡量接口燃油效率。在工具架构上,团队经历了从单一全能工具到拆分为 25 个细粒度工具的权衡,通过重写自愈报错与优化工具描述来减少推理死锁。最后,演讲引入分级安全隔离模型,针对“致命三要素”带来的注入风险,明确提出在 Agent 接口设计中绝不能为了操作便利而牺牲信任边界。 ## Atmosphere & style 整场演讲呈现出一种资深工程师兼产品经理特有的务实与坦率风格,没有虚浮的炒作,而是毫无保留地剖析自家团队“把同一个东西做错三次”的踩坑教训。开场通过与现场观众对 MCP 实践经验的举手互动迅速拉近距离,随后以清晰流畅的节奏在架构图表、代码命令行与反直觉结论之间从容切换。现场氛围既严谨又充满启发性,演讲者生动贴切的比喻与对“Agent 即新一代用户”的郑重呼吁,让整场分享兼具硬核技术深度与极富前瞻性的设计感召力。 ## Bulletin - [02:44](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=164s) Chrome DevTools 团队推出面向智能体的 MCP 接口,通过将数万行原始 JSON 性能追踪数据提炼为高密度的 Markdown 语义摘要,有效避免智能体因上下文撑爆而丧失推理能力。 - [08:09](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=489s) 团队提出以“每次成功结果消耗的 Token 数(TPSO)”作为衡量智能体接口“燃油效率”的核心度量标准,强调必须在任务成功的前提下评估接口的 Token 与轮次效率。 - [15:26](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=926s) 将调试接口从单个万能工具解耦为 25 个细粒度工具后,引发了工具发现和选择歧义;团队指出高达 97% 的 MCP 工具描述存在质量缺陷,需精简并校准 Schema 提示词。 - [18:33](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=1113s) 针对自动连接(Autoconnect)功能,团队拒绝消除权限确认弹窗,明确指出在涉及真实配置文件与不可信网页的“致命三要素”威胁下,必须有意保留摩擦以防御提示词注入。 ## Key takeaways - [02:44](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=164s) 人类与智能体共享排错和优化网页的目标,但认知机制截然不同:人类依赖视觉与布局过滤信息,而智能体的瓶颈在于文本上下文与信息密度。 - [02:44](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=164s) 直接向智能体喂送 50,000 行的原始 JSON 追踪文件会导致其进入无法推理的“垃圾区”,改用提炼关键 Web Vitals 的 Markdown 语义摘要能大幅提升执行精准度。 - [08:09](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=489s) 评估智能体接口应综合有效性与效率,以 TPSO(每次成功结果消耗的 Token 数)为指标衡量接口“燃油效率”,且该指标必须在同类具体任务内对比才具备参考价值。 - [11:07](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=667s) 通过工具分类隐藏边缘垂直功能,并在极简模式下仅暴露 3 个核心工具(select_page、navigate_page、evaluate_script),能够有效压缩上下文开销,但也带来了缺乏直接网络嗅探等专用能力的架构权衡。 - [12:43](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=763s) 利用管道命令(如通过 grep 过滤无障碍树 ID 并传递给 click 命令)将数据后处理留在本地机器运行,可大幅减少模型上下文处理冗余数据的开销。 - [13:14](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=794s) 重构报错信息使其具备自愈能力(如明确提示“未找到可供导航的历史记录条目”),能够让智能体无需人类介入即可自主重试并修复错误,减少无效 Token 浪费。 - [13:14](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=794s) 采用主动绕行机制(如纠正模型对 Lighthouse 的预训练偏见、引导其调用 start trace)和内置诊断技能,可构建多层次的错误恢复防御谱系。 - [15:26](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=926s) 单体式万能工具(如 debug_webpage)无法让智能体灵活组合复杂动作,而拆分成 25 个微工具后又带来了选错工具的新瓶颈,暴露出架构拆分只是转移了权衡重心。 - [15:26](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=926s) 模式定义(Schema)即智能体的用户界面,必须严格界定功能边界与激活准则,追求最小可行描述,以防小模型产生混淆或过度占用上下文空间。 - [18:33](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=1113s) 在本地开发环境中,智能体直接访问包含隐私数据的默认用户文件,构成了提示词注入的“致命三要素”,因此必须通过显式授权弹窗主动保留交互摩擦。 - [18:33](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=1113s) 浏览器智能体应建立三级安全隔离模型:一级本地环境保留人类在环与摩擦,二级 CI 沙箱采用独立配置与远程端口,三级全网漫游模式强制施加域名白名单与防注入拦截。 - [21:32](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=1292s) 软件工程正在经历向“智能体体验(AX)”的范式转移,智能体作为新一代用户,同样需要兼顾燃油效率、自愈容错、清晰模式与严格安全边界的设计。 ## Detailed walkthrough ### [00:07](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=7s) 为 Agent 构建专用接口:来自 Chrome DevTools 团队的经验 演讲开场,主讲人向全场观众发起互动,询问谁已经在自己的 Agent 中使用过 MCP(Model Context Protocol)服务器或 CLI 工具。现场几乎所有人都举起了手,主讲人直言这完全在意料之中。随后他又询问有多少人已经真正构建并实际部署了 MCP 服务器,现场大约有一半的人举手。 主讲人指出,本次演讲的核心是分享 Google Chrome DevTools 团队在构建“面向 Agent 的 Chrome DevTools(Chrome DevTools for Agents)”过程中的四条核心工程经验,以及他们如何将其落地生效。面向人类的 Chrome DevTools 每天都有数百万 Web 开发者使用,直接内置于 Chrome 浏览器中,用来排查网页错误、执行审计、进行性能分析等。而如今团队打造的,则是一款专为 Agent 设计的 Chrome DevTools。 在现场演示视频中,左侧运行着 Gemini CLI 并输入 Prompt,由于配置了 DevTools MCP 服务器,系统自动在右侧启动了 Chrome 浏览器并展开调试。演示案例围绕性能追踪(Performance Tracing)展开:Agent 采集性能追踪数据,解析返回的追踪指标与见解,针对性修改代码优化页面速度,最后再次验证优化效果并完成任务。主讲人强调,该工具不仅支持 Gemini CLI,还能无缝接入任何具备 MCP 能力的客户端与 Harness,例如 Cloud Code、Codex、OpenClaw 等。 - 观众画像:全场几乎全部使用过 MCP 或 CLI 工具,约 50% 曾亲自构建并部署过 MCP 服务。 - 线下互动:现场约有 10% 的开发者已经尝试过面向 Agent 的 Chrome DevTools。 ### [02:44](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=164s) 认知错位:从 50,000 行 Trace 文件到语义摘要 主讲人自我介绍名为 Michael Hablich,是 Google Chrome 开发者工具的产品经理,同时也在居住地附近的大学担任客座讲师,拥有 20 年涵盖开发、测试、QA、项目经理和产品经理的丰富技术经历。他解释了团队最初启动该项目的初衷:大约一年半前,代码生成 Agent 虽然编写代码能力极强,但在执行验证时却如同“盲飞”(flying blind),完全无法核实自己的改动是否生效,这种体验非常糟糕。 团队最初想当然地认为 Agent 是机器,直接把海量底层数据甩给它们即可。然而事实证明这种直觉彻底错了。当时的性能追踪文件(Trace File)动辄数兆字节,包含多达 50,000 行原始 JSON 数据。直接将其投喂给模型,瞬间就撑爆了上下文窗口,让模型跌入了所谓的“垃圾区(dump zone)”,彻底丧失推理能力。团队意识到设计方向发生严重偏差,必须重构交互方案。现在的性能追踪端点虽然仍保留底层原始数据以供其他工具后处理,但面对 Agent 时,默认返回的是经过提炼的 Markdown 语义摘要(Semantic Summary)。摘要中只提炼关键的 Web Vitals 性能指标(如 Largest Contentful Paint、INP 等),不再强迫 Agent 去读完整本“大部头”,而是直接指向关键语句。 关于人类与 Agent 的认知差异,Michael Hablich 做了如下对比: “The thing is, agents and humans, they share the intent, they share the goal, right? In our case, for example, both want to identify errors in a page and want to fix those errors. But they think differently.” 人类受限于视觉复杂度,属于高度依赖布局、色彩来提取信号的生物;而 Agent 面临的瓶颈完全是文本上下文与信息密度的平衡。为此,DevTools MCP 改变了信息传递形态: ```mermaid flowchart TD accTitle: DevTools 信息传递形态重构 accDescr: 对比原始数据直接丢入上下文与经过语义摘要提取后的两套架构路径。 subgraph FailurePath["早期失败模式:原始数据轰炸"] A["Chrome Performance Trace"] -->|"产生 50,000 行 JSON"| B["Raw Trace File (数 MB)"] B -->|"撑爆上下文窗口"| C["Agent 进入 Dump Zone 无法推理"] end subgraph SuccessPath["重构模式:语义摘要过滤"] D["Chrome Performance Trace"] -->|"指标抽取与提炼"| E["Semantic Summary (Markdown)"] E -->|"高密度语义指标 (LCP, INP)"| F["Agent 精准决策并执行修复"] end ``` ### [08:09](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=489s) 核心指标:每次成功结果的 Token 开销(TPSO) 在明确了 Agent 是全新用户群体之后,团队探索出了一套量化接口表现的指标体系:**每次成功结果消耗的 Token 数(Tokens Per Successful Outcome, TPSO)**。主讲人解释,评估 Agent 接口质量需要拆解为两个维度: 1. **有效性(Effectiveness)**:Agent 是否完整走通了用户旅程,功能目标最终是否达成。 2. **效率(Efficiency)**:完成任务所消耗的 Token 成本、工具调用次数(Tool Calls)以及执行耗时。 对于 TPSO 的本质,Michael Hablich 给出了一句极为精辟的比喻: “In the end, what tokens per successful outcome tell you is the fuel efficiency of your interface, right?” 但追求“燃油效率”存在重大陷阱:如果你连终点都开不到,燃油效率再高也毫无意义。这也是为什么该指标必须限定为“成功结果(Successful Outcome)”,而非单纯的“单次调用(Per Outcome)”,有效性始终是效率的前提。此外,该指标不能跨任务进行全局笼统对比。例如,网页抓取(Web Scraping)旅程逻辑简单,Token 消耗极低;而排查响应式布局失效的网页调试任务涉及反复的多轮交互推理,消耗的 Token 自然高得多。指标监控必须局限在具体的用户旅程与任务类别内部才有意义。 在团队内部的实际度量面板中,各种用例被量化展示为横向柱状图。柱条越长代表工具在该用例下的效率越高,柱条偏短的领域则是团队接下来需要介入重构、提升 TPSO 的重点对象。主讲人强调,尽管精准测量 TPSO 存在挑战,但哪怕是不完美的度量,也远好于仅凭拍脑袋做直觉决策。 ### [11:07](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=667s) 控制 Token 消耗的三种手段:分类、极简模式与 CLI 为了切实压低 Agent 的 Token 消耗并提升 TPSO,面向 Agent 的 Chrome DevTools 从三个工程层面提供了应对策略: 1. **工具分类(Tool Categorization)**:避免将所有 API 一股脑暴露在默认上下文菜单中。例如针对 Chrome 扩展调试(Extension Debugging)等小众垂直场景的工具,团队通过命令行参数将其隐藏,仅在用户有明确需求时才动态挂载。 2. **极简模式(Slim Mode)**:将工具分类推向极致。在此模式下,系统仅仅向 Agent 暴露三个最核心的工具:`select_page`、`navigate_page` 和 `evaluate_script`。这极大地节省了系统提示词与上下文开销,但背后也存在不可避免的技术权衡(Trade-off)。由于工具库被过度压缩,Agent 缺少直接获取网络请求(Network Requests)等专用接口的能力(此类功能无法直接通过 `evaluate_script` 优雅实现),往往需要绕弯执行额外的交互轮次(Extra Turns),甚至导致部分复杂任务无法完成。 3. **CLI 命令行接口(Command Line Interface)**:除了标准的 MCP Server 形式外,团队还提供了一套功能对等的命令行接口,允许 Agent 直接在 Shell 环境或代码模型体系中调用原生 DevTools 能力,从而在架构选择上给予开发者更大的灵活性。 - 极简模式暴露的 3 个核心工具: - `select_page` - `navigate_page` - `evaluate_script` - 架构权衡点:工具暴露过少虽然减少了初始上下文占用,但可能迫使 Agent 增加推理轮次或缺失关键调试能力(如网络流量嗅探)。 ### [12:43](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=763s) 命令链式调用与计算后置:减少模型上下文开销 在利用智能体执行复杂任务时,开发者可以通过让智能体将多条命令链式组合(chain commands)来完成数据后处理。Michael Hablich 展示了一个具体范例:由于幻灯片画面略显模糊,他解释道,智能体首先通过 `grep` 命令从无障碍树(Accessibility Tree)中过滤提取出目标控件的 ID,紧接着直接通过管道(pipe)将该 ID 输入给点击命令 `click`。 这种处理方式的核心价值在于大幅节省 Token。如果将完整的无障碍树或冗长的原始数据全部塞回大语言模型,模型必须消耗大量推理上下文去解析与定位目标。而通过在本地机器上直接运行管道命令,“Token 的后处理完全发生在你的计算机上”(The token post-processing is happening on your computer),从而将计算与过滤留在本地,大幅降低了接口的资源消耗与延迟。 ### [13:14](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=794s) 错误恢复谱系:从自愈报错到主动绕行与诊断技能 如果智能体在运行中频繁卡死,再高的运行效率也毫无意义。智能体每次遭遇报错,都会触发重试机制并试图理解失败原因,这不仅会导致 Token 浪费,也极大地损害了用户体验。针对这一问题,团队将错误恢复(Error Recovery)视作一个多层次的谱系来系统性推进。 最基础的一步是提供真正有用的错误信息。很多工具的报错设计往往忽略了这一点,Chrome DevTools 早期也是如此。团队通过多次迭代重写了报错文本。例如,工具原本的报错仅为冷冰冰的“在当前所选页面中无法后退”(unable to navigate back in the selected page),导致智能体陷入死锁;而修改后的错误明确补充了“未找到可供导航的历史记录条目”(history entry to navigate was not found)。正如 Michael Hablich 所说:“我们实际上加上了最后那句话,这让智能体能够实现自我修复,这非常有用,因为这样智能体就不需要人类介入来修复问题,而是能够自主解决问题。”(We actually added the last sentence, and that enabled the agent to self-heal, which is super useful because then the agent doesn't need a human to actually fix the problems, but the agent can, uh, self-fix the problems.) ```mermaid flowchart TD accTitle: 智能体错误恢复的三层防御体系 accDescr: 展示自愈错误信息、主动绕行以及诊断技能如何协同保障智能体韧性 subgraph ErrorHandling["错误恢复谱系 (Error Recovery)"] A["精准自愈报错<br/>(Self-Healing Error)"] -->|"消除歧义/补充上下文"| B["减少重试 Token 开销"] C["主动绕行<br/>(Proactive Detours)"] -->|"抵消模型预训练偏见"| D["重定向至正确工具链<br/>(Trace 代替 Lighthouse)"] E["诊断技能<br/>(Diagnostic Playbooks)"] -->|"开箱引导/环境排错"| F["排查 DevTools MCP 配置故障"] end ``` 除了精准报错,更高级的防御手段还包括“主动绕行”(Proactive Detours)与“诊断技能”(Diagnostic Playbooks): - **主动绕行(Proactive Detours)**:底层模型受其预训练数据影响,往往具备特定的先验偏见。例如在遇到前端性能分析任务时,模型通常习惯性地想要调用 Lighthouse 审计。团队通过主动绕行机制对模型施加干预,引导其调用专门的启动性能追踪工具 `start performance trace`,以此矫正偏差。 - **诊断技能(Troubleshooting Skills)**:许多开发者在初次配置 Chrome DevTools MCP 服务器时会遇到连接故障。为此团队内置了故障排查技能,当配置异常时能够主动介入,协助人类与智能体共同修复环境问题,进一步提升系统的整体韧性。 ### [15:26](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=926s) 发现机制与工具描述:拆分 25 个工具后的认知权衡 在提升了恢复能力之后,接下来的核心命题是“可发现性”(Discoverability),即如何在事前阻止错误的发生。最初,Chrome DevTools MCP 采用单体架构,仅向智能体暴露了一个名为 `debug_webpage` 的万能工具。外部智能体只需传入一条提示词(如“请调试该网页的响应式布局故障”)。这一设计在工程实现上十分简洁优美,但在实际使用中却屡屡失效,智能体根本无法稳定组合复杂的调试动作。 为了解决这一问题,团队将这个单体工具解耦拆分成了 25 个细粒度工具。然而,“这并没有真正解决问题,我们只是把一个问题转移成了另一个问题”(we traded that problem off to another)。智能体瞬间拥有了 25 个独立工具,却陷入了不知道何时该选哪一个的迷茫之中。 Michael Hablich 引用学术论文指出,目前市面上高达 97% 的 MCP 工具描述都存在“质量异味”(Quality Smells)。在智能体架构中,“模式定义就是智能体的用户界面”(the schema is the UI for the agent)。优化这个界面需要细致的权衡: - **上下文窗口与精细度的博弈**:描述写得越详细,占用的上下文窗口就越大;此外,较小的模型面对冗长的描述时更容易产生混乱,甚至会误调用根本不相干的工具。 - **明确核心功能与激活条件**:工具描述必须清晰界定功能边界(Define Purpose)并提供明确的激活准则(Usage Guidelines)。例如在 `start trace` 工具的描述中,明确注明其用于排查前端性能问题以及 Core Web Vitals(如 LCP、INP、CLS)。智能体看到这些指标后,才能精准推断出该工具适用于页面加载优化场景。 - **技能(Skills)的引入与边界**:利用技能可以打包复杂的工作流,但同样不是免费的午餐。一旦加载过多技能,智能体会盲目误调,上下文窗口再次膨胀,“权衡只是发生了转移,并没有凭空消失”(The trade-off is shifting, it's not disappearing)。 ### [18:33](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=1113s) 信任边界与“致命三要素”:为什么自动连接必须保留摩擦 Chrome DevTools for Agents 配备了一项名为“自动连接”(Autoconnect)的核心功能,允许使用 Claude Code 等编程智能体的开发者与智能体共享屏幕,实时排查问题。不少用户向团队反馈体验痛点,抱怨每次都要弹窗点击“允许”极为繁琐,强烈要求引入“记住我的选择”以消除交互摩擦。在传统的用户体验(UX)设计中,干掉这种摩擦毫无疑问是标准且正确的选择。 然而在由智能体代理操作的现代体系中,信任边界(Trust Boundaries)高于单纯的操作便利。团队经过深思熟虑后,决定“故意保留这种摩擦”(friction is actually by design)。Michael Hablich 特别提到了 Simon Willison 关于“致命三要素”(Lethal Trifecta)的安全警示——当不可信输入、敏感数据访问与未经确认的外部操作三者交织在一起时,系统极易遭到提示词注入攻击。 ```mermaid flowchart TD accTitle: 浏览器智能体三级安全隔离模型 accDescr: 展示从本地开发环境到持续集成再到全网访问环境的隔离与信任层级 subgraph Tier1["Tier 1: 本地开发环境 (Local Env)"] T1_Human["人类在环 (Human in the loop)"] T1_Profile["Chrome 默认配置文件 (含私人数据)"] T1_Sec["单次授权弹窗<br/>(保留摩擦 / 防注入)"] T1_Human -->|"显式授权"| T1_Sec end subgraph Tier2["Tier 2: 持续集成测试 (CI / Sandbox)"] T2_Env["隔离受控容器 (Containers)"] T2_Profile["独立临时 Chrome 配置文件"] T2_Debug["远程调试端口 (Remote Debugging Port)"] T2_Env --- T2_Profile end subgraph Tier3["Tier 3: 全网漫游智能体 (YOLO Mode)"] T3_Risk["完全互联网访问 / 任意不可信网页"] T3_Defense["域名白名单 + 严格提示词注入防御"] T3_Risk --> T3_Defense end ``` 基于这一安全模型,Michael Hablich 梳理了浏览器智能体的三大层级架构: - **第一层:本地开发环境(Local Development Environment)**:人类完全处于控制环路中(Human in the loop)。此时智能体获得的是包含开发者真实隐私数据的默认 Chrome 配置文件权限。在此场景下,“致命三要素”汇聚一体,因此每次连接必须强制获得人类的显式许可。 - **第二层:持续集成受控环境(CI Environment)**:智能体在受控的隔离环境内运行,必须借助容器技术进行数据隔离,配置独立的 Chrome 临时用户文件,并通过远程调试端口(Remote Debugging Port)建立通信。 - **第三层:全网漫游智能体(Full Internet Access)**:这属于名副其实的“莽夫模式”(YOLO mode)。由于互联网上的任何未知网页都可能注入恶意提示词指令,系统除了要做到第二层的物理隔离外,还必须强制施加严格的域名白名单以及防注入拦截链。 Michael Hablich 严正总结道:“关键在于,第一层的本地智能体与第三层负责搜索调研的漫游智能体集群,可能共用了类似 Chrome DevTools for Agents 这样的基础工具,但除此之外,二者绝对不能共享你的任何安全体系设定。”(Key point being is a local agent, tier one, and a browsing agent fleet, tier three, where you're research agents maybe, might share a tool like Chrome DevTools for agents, but they shouldn't share nothing else else about your security model that you're having, right?) ### [21:32](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=1292s) 总结与四个核心启示:智能体即新一代用户 在演讲的尾声,Michael Hablich 强调用户体验设计正在经历深刻的范式转移,必须将“智能体体验”(Agent Experience, AX)纳入核心考量。智能体本质上是软件系统面对的一类全新用户群体,同样具备效率、可发现性、安全性与稳定性等一系列非功能性需求。 针对 Chrome DevTools for Agents 的实战沉淀,他总结了四条不可违背的设计法则: 1. **衡量接口的“燃油效率”**:采用每次成功结果所消耗的 Token 数量(Tokens per successful outcome)作为核心效能指标。 2. **将错误提示改造成自愈指南**:不要输出含糊的失败描述,要提供包含修复上下文的恢复手册。 3. **针对意图严格审计工具描述**:精简并校准工具 schema,持续追求描述文本的“最小可行描述”(Minimum Viable Description)。 4. **绝不为了便利性牺牲信任**:坚守安全隔离分层,在关键权限节点上坚定地保留摩擦。 在演讲的最后,Michael Hablich 向全场工程技术人员呼吁:“智能体就是我们的下一代用户。让我们帮助它们,来更好地帮助我们。”(Agents are our next users. Let's help them help us.)现场随即爆发出热烈的掌声。 ## Notable quotes > [08:09](https://www.youtube.com/watch?v=_B4Pv9ttFgY&t=489s) In the end, what tokens per successful outcome tell you is the fuel efficiency of your interface, right? — Michael Hablich ## Mentioned Michael Hablich, Simon Willison, Google, Chrome DevTools, Chrome DevTools for Agents, MCP, Gemini CLI, Claude Code, Cloud Code, Codex, OpenClaw, Web Vitals, Lighthouse ## Video description Chrome DevTools MCP shipped with one tool: debug_webpage. Agents failed silently because they couldn't compose behaviors. The team decomposed it into 25 focused tools and assumed the problem was solved. It wasn't — now agents had 25 tools and no reliable way to pick the right one. Michael Hablich's talk is an honest account of building the same thing wrong three times and what the fixes actually looked like. The concrete lessons: semantic summaries instead of raw 50,000 line JSON trace files, error messages rewritten so agents can self heal without a human in the loop ("Cannot navigate back, no previous page in history" instead of "Unable to navigate back in currently selected page"), a metric called tokens per successful outcome to measure interface fuel efficiency, and a deliberate decision to keep the autoconnect friction rather than remove it once they thought through prompt injection and the lethal trifecta. Speaker info: - https://x.com/MHablich - https://www.linkedin.com/in/michael-hablich/ --- Watch along with the corrected transcript, summary, timestamps and resources on this talk's official AIE page: https://ai.engineer/talks/_B4Pv9ttFgY-building-agent-interfaces-lessons-from-chrome-devtools-mcp-for-agents Join our upcoming AI Engineer conferences (see https://ai.engineer landing page): - AIEi Shanghai, November 5–6 — the first for meeting top Chinese labs and engineers - AIE CODE in SF, November 10–12 — the top AI Coding conference returns - AIEi Sydney, December 7–8 — the first AIEi run alongside NeurIPS 2026 in Sydney --- [Source](https://www.youtube.com/watch?v=_B4Pv9ttFgY)

Source quotes

[8:09] Michael Hablich: In the end, what tokens per successful outcome tell you is the fuel efficiency of your interface, right?