AI Engineer
通过Doer与Teacher双智能体分析执行轨迹并迭代URL参数等策略,无需微调模型权重即可压降操作成本与故障率。
AI-assisted summary of Hill-Climbing Skills: Improve Agents Without Changing the Model — Shubhankar Srivastava, Browserbase — original source. Check the original for full context.
Source published:
Key ideas
- Browserbase 推出 AutoBrowse 双智能体闭环架构,借鉴 AutoResearch 机制,在完全不调整模型权重的前提下,通过执行者与导师智能体的试错复盘,将网页操作技巧固化为可复用的技能文件。 (6:17)
- 在 Google Flights 与 OpenTable 实测中,自动探索循环绕过了繁琐的 UI 点击与防爬拦截,直接逆向出 URL 参数传参捷径,使单次执行成本降低超 90%,延迟从 189 秒缩短至 27 秒。 (13:06)
- 将爬山法推广到浏览器之外(如代码编程或深度研究)需要两大硬性前提:支持断点刷取经验的可重放环境,以及具备明确对错标准的程序化可验证结果。 (20:28)
- 针对前端改版与反爬升级,生产环境采用以线上报错或定时巡检为触发源的自愈循环,自动修复技能文件并向人类工程师提交 Pull Request 进行热更新。 (37:05)
Detailed notes
## Background 该视频由 YouTube 频道 AI Engineer 于 2026 年 10 月 11 日发布。视频内容来自 Browserbase 售前工程团队的 Shubhankar Srivastava,主要介绍如何通过双智能体 AutoBrowse 循环,在不微调底层大模型权重的前提下,利用执行轨迹反思并沉淀出可复用的浏览器任务技能文件。
## TL;DR 针对当下浏览器智能体(Browser Agents)频繁卡死在复杂交互、且每次运行都“从零开始”而无法沉淀经验的痛点,演讲者借鉴 Andrej Karpathy 的 AutoResearch 理念构建了 AutoBrowse 循环。该系统将操控浏览器的执行者(Doer)与复盘追踪日志的导师(Teacher)配对,让导师将踩坑教训记录在策略文件中,指导下一轮迭代直接绕过 UI 陷阱(例如发现直接拼接 URL 参数这一捷径)。最终收敛生成的通用 Markdown 技能文件可大幅降低调用成本与延迟,并能与定时巡检及故障自愈流水线结合,实现对网站结构漂移的主动防御与免微调持续进化。
## Atmosphere & style 现场是一场极具实战气息且干货满满的工程技术 Workshop,演讲者以极度接地气且自信的技术布道风格展开分享。现场大屏幕上实时跑动的机票搜索与起伏报错抓人眼球,伴随着成本从十几美元陡降到几美元的真实数据对比,现场气氛既充满黑客逆向破解网站的极客兴奋感,又带有直面生产环境防爬与 Prompt 注入的严谨审慎。整个过程节奏紧凑、互动热烈,深度展现了一线部署工程师用代码将自己“开除出手动排障流程”的通透与务实。
## Bulletin - [06:17](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=377s) Browserbase 推出 AutoBrowse 双智能体闭环架构,借鉴 AutoResearch 机制,在完全不调整模型权重的前提下,通过执行者与导师智能体的试错复盘,将网页操作技巧固化为可复用的技能文件。 - [13:06](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=786s) 在 Google Flights 与 OpenTable 实测中,自动探索循环绕过了繁琐的 UI 点击与防爬拦截,直接逆向出 URL 参数传参捷径,使单次执行成本降低超 90%,延迟从 189 秒缩短至 27 秒。 - [20:28](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=1228s) 将爬山法推广到浏览器之外(如代码编程或深度研究)需要两大硬性前提:支持断点刷取经验的可重放环境,以及具备明确对错标准的程序化可验证结果。 - [37:05](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=2225s) 针对前端改版与反爬升级,生产环境采用以线上报错或定时巡检为触发源的自愈循环,自动修复技能文件并向人类工程师提交 Pull Request 进行热更新。
## Key takeaways - [03:30](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=210s) 当前浏览器智能体的最大瓶颈在于可靠性而非智商,模型被称为“从不学习的天才”,根本原因在于每次执行都从零开始,抛弃了生产环境的追踪数据。 - [08:08](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=488s) AutoBrowse 架构由负责操作网页的执行者(Doer)与负责审查截图和日志的导师(Teacher)组成,两者通过跨轮次的 strategy.md 策略文件传递避坑经验。 - [09:59](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=599s) 首轮失败往往能带来突破性捷径,例如智能体发现将舱位、日期等过滤条件直接编码至 URL 查询参数,远比在脆弱的日历控件和滑块上点击更稳健。 - [11:26](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=686s) 迭代优化呈现非线性波动,例如在大幅降低成本的成功轮次之后可能出现“过度修正”导致的失败,闭环设计必须具备容错弹性以防损失爆炸。 - [13:06](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=786s) OpenTable 案例证明了萨顿“苦涩的教训”:放手让智能体自主试错,它能自动摸索出携带特定经纬度和 Metro ID 以绕过 Access Denied 拦截的深层技巧。 - [45:09](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=2709s) 最终毕业的 skill.md 是与具体框架解耦的纯 Markdown 文件,能够无缝移植至 Claude Code、Stagehand 或任意底层 SDK 中运行。 - [18:22](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=1102s) 团队推出了类似浏览器智能体“黄页”的 browse.sh 平台与开源 browse CLI,支持开发者按需检索公共技能或输入自然语言自动跑出新技能。 - [25:40](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=1540s) 可重放环境对智能体自我修复至关重要,编程智能体依赖 Docker 容器可轻松实现调用栈回放,而知识型任务则因人工介入和动态副作用难以保证回放一致性。 - [26:52](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=1612s) 技能生成成本具备一次性摊销特性,采用成本更低的 Claude 3.5 Sonnet 进行多轮迭代,单任务通常仅花费 30 至 40 美元,远低于长期复用的收益。 - [29:48](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=1788s) 底层基础设施的坚固度决定了任务成败,Browserbase 原生提供 Cookies 持久化登录态、定制住宅代理以及在 Chrome 内核层直接抹平验证码的能力。 - [33:54](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=2034s) 关于技能颗粒度的取舍,开发底座既可以针对单一站点构建极短链路的专属技能,也可以在复杂意图下将多个垂直技能拉入上下文进行动态路由与编排。 - [36:15](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=2175s) 评估器设计推崇极简的二元成功判定,只要核心目标(如拿到最低票价或锁定预订)达成即算通过,避免堆砌繁琐的人工硬编码规则。 - [39:26](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=2366s) 优化目标直接决定进化方向:以延迟为导向时智能体会逆向底层 API 绕过页面渲染,而以鲁棒性为导向时循环会持续运行直至收敛。 - [49:05](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=2945s) 防御网页恶意提示词注入(Prompt Injection)需要三层纵深防御:输入入口层前置审查、技能层防欺骗逻辑,以及基础设施层的网络访问策略与行为白名单。 - [50:33](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=3033s) 应对网站变动的运维方案是通过 Cron 任务进行定期回归测试,一旦捕获失败立即启动自愈循环重新采样轨迹并生成修复补丁。
## Detailed walkthrough ### [00:00](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=0s) 爬山算法与无需改变模型权重的智能体能力进化
在这一场作为当日收尾环节的 Workshop 中,来自 Browserbase 的售前工程团队成员 Shubhankar Srivastava(简称 Shubh)登台开场。他首先通过 Slido 展示了二维码,以便参会者随时提交提问供最后集中解答。Shubhankar 在工作中主要负责帮助客户在生产环境中部署浏览器智能体(Browser Agents)。他现场进行举手调查,询问台下有多少人了解甚至亲自构建过浏览器智能体,看到现场有数位开发者举手。
Shubhankar 指出,本次演讲的核心是探讨如何借助“爬山”(Hill-Climbing)机制来提升智能体的技能(Skills),并且在整个过程中“根本不需要去碰模型本身,也不需要去调整模型权重”。在将这套思想推广到各个垂直业务领域之前,必须先明确浏览器智能体究竟是什么:当一个智能体需要驱动浏览器完成任务时,浏览器本身就成了该智能体的工具。开发者通常会赋予智能体一套底层控制手段——例如某种命令行工具(CLI)、模型上下文协议(MCP)或者专门的 API——来指挥浏览器执行诸如“点击这个红色按钮”、“刷新页面”、“截取当前屏幕”或“提取该网页的可访问性树(Accessibility Tree)快照”等原子操作。而 Browserbase 正是为构建和运行这些智能体提供云端浏览器底座、SDK、技能库和 CLI 工具链的基础设施平台。
- 演讲者:Shubhankar Srivastava(Browserbase 售前工程团队) - 核心论题:在不微调底层模型权重的前提下,通过工程循环提升智能体的任务技能 - 交互工具:Slido(现场问答)、Browserbase 平台(浏览器云端环境与工具链)
[03:30](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=210s) 可靠性瓶颈:时间滑块迷局与“从不学习的天才”
谈及当前智能体面临的最大挑战,Shubhankar 明确指出正是“可靠性(Reliability)”。当下用户对浏览器智能体最大的挫败感在于它们频繁卡死、遭遇防爬虫机制(Anti-bot)或验证码(CAPTCHA)、甚至干脆中途变“懒”并遗忘任务。尽管行业内不断涌现出像 Claude Opus 这样在特定测试期表现极其聪明的模型,但 Shubhankar 强调:“我们认为可靠性本质上是一个工程问题。”要保证可靠性,真正的重头戏在于包裹在模型外面的脚手架(Harness)、赋予它的工具以及输入的技能文件。
为了展现这些智能体在现实中多么容易崩溃,Shubhankar 展示了两个具体的失败案例: 1. **Google Flights 时间滑块陷阱**:智能体试图在 Google Flights 页面上调整时间筛选器,需要去拖动(Drag)滑块。但“拖动”对这类基于 DOM/可访问性树的智能体而言是极其棘手(Tricky)的操作。智能体完全迷失了方向,无法搞清对应的 HTML 元素或 JavaScript 事件是什么,彻底卡在原地,导致机票搜索任务中途夭折。 2. **OpenTable 订座遭遇防爬拦截**:当指挥 Hermes 等智能体前往 OpenTable 预订晚饭餐厅时,页面瞬间弹出了防机器人阻断(Access Denied),智能体对此束手无策,无法绕过阻碍。
深挖其根本原因,尽管现有通用大模型和计算机使用(Computer Use)方案在常规任务上表现出色,但一旦面对复杂、动态、包含大量特定站点机制(Site-specific tricks)的长流程网站,生产环境的可用性就会急剧下滑。智能体缺乏每个网站专属的 JavaScript 技巧或交互经验。最致命的缺陷在于,智能体的每一次执行都是从零开始(Start from zero),生产环境的执行追踪数据(Production traces)被完全丢弃,没有沉淀出任何持久的学习成果。对此,Shubhankar 引用了前几天行业内部关于“为何计算机使用进展如此缓慢”的讨论,并给当下的浏览器智能体下了一个犀利的定义:
> “这些浏览器智能体,我把它们称为‘从不学习的天才’。”
虽然有人提议针对特定网站进行模型微调(Fine-tuning),但对于千变万化的业务场景和任务而言,这种方式根本无法扩展。工程上迫切需要一种可以直接从线上追踪记录中汲取经验并自我迭代提升的机制。
[06:17](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=377s) 借鉴 AutoResearch:构建 AutoBrowse 双智能体循环
针对“智能体无法沉淀经验”的难题,Shubhankar 与团队回顾了约四到六个月前 Andrej Karpathy 提出的 AutoResearch 概念。AutoResearch 的核心是构建一个闭环系统:针对一个具有可验证结果(Verifiable)的问题,让系统反复尝试、检查自身的执行追踪(Traces),并在复盘中实现自我优化。Browserbase 团队将这一闭环机制与浏览器操作相结合,打造出了名为 **AutoBrowse** 的全新循环架构。
为了进行现场演示,Shubhankar 准备了一个非常具体且复杂的 Google Flights 搜索 Prompt:“前往 Google Flights,帮我寻找本周六从旧金山(SF)到纽约(New York)的商务舱机票,需要包含一件随身携带行李(Carry-on bag),起飞时间必须在上午。”当他在命令行启动任务后,Browserbase 的远程云端浏览器立刻初始化并导航至目标网页,现场可以看到实时生成的推理轨迹(Reasoning traces),智能体开始尝试在网页表单中逐步应用商务舱筛选条件。
```mermaid flowchart TD accTitle: AutoBrowse 双智能体迭代闭环架构 accDescr: 展示执行者智能体与导师智能体通过策略文件和执行轨迹相互配合的迭代闭环
subgraph Runtime ["执行时环境 (Browserbase)"] Browser["远程云端浏览器"] Traces["执行追踪 (截屏 / 日志 / DOM)"] end
subgraph AgentLoop ["AutoBrowse 迭代循环"] Doer["执行者智能体 (Doer)<br/>• 驱动 Browse CLI<br/>• 点击、截屏、解析页面"] Teacher["导师智能体 (Teacher)<br/>• 审查执行痕迹与结果<br/>• 复盘归纳经验教训"] Strategy["中间状态:strategy.md<br/>(保留跨轮次改进策略)"] end
FinalOutput["最终产物:skill.md<br/>(可沉淀至技能库供未来智能体复用)"]
Doer -->|"操作与交互"| Browser Browser -->|"生成数据"| Traces Traces -->|"输入分析"| Teacher Teacher -->|"写入 / 更新优化规则"| Strategy Strategy -->|"指引下一轮尝试"| Doer Teacher -.->|"收敛完成时导出"| FinalOutput ```
该闭环背后的架构依托于两个基于 Claude Agent SDK 构建的角色: - **执行者(Doer)**:拥有 Browse CLI 的调用权限与浏览器控制权,负责实地浏览网页、点击按钮、观察截屏并提取网页信息。 - **导师(Teacher)**:专门审查执行者留下的轨迹、日志与截图,严密复盘哪些操作做对了、哪些操作踩了坑。
两个智能体相互协同、反复试错,直到找到一个收敛(Converge)的最佳方案。在设计上,团队并不人为硬编码限制迭代次数、成功率阈值、Token 消耗上限或秒数,而是坚决拥抱“苦涩的教训”(The Bitter Lesson),给模型提供宽泛的目标后让其自主探索。两轮迭代之间维系记忆的关键载体是一个名为 `strategy.md` 的策略文件。每轮迭代结束后,导师会将“你刚才不该点那个日历控件,而应该直接构造 URL”等教训写入该文件;下一轮迭代启动时,执行者直接加载最新的 `strategy.md`,从而避免重蹈覆辙。
- 初始测试用例:旧金山至纽约、本周六、上午出发、商务舱、单件随身行李 - 跨轮状态存储:`strategy.md`(动态记录踩坑经验与操作策略)
[09:59](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=599s) 首轮失败的意外收获:绕过 UI 交互发现 URL 捷径
当 Shubhankar 切回终端查看现场 Demo 时,系统刚刚结束了第 1 轮迭代(Iteration #1)。结果不出所料以失败告终,但在这次失败中,系统却提炼出了一个极具价值的操作规律。
导师智能体在分析轨迹后指出:不要再在网页前端的表单和日历控件(Calendar widget)上死磕,因为用户的所有过滤条件(舱位、日期、出发地、目的地)完全可以直接编码进 Google Flights 的 URL 查询参数(Query parameter)中!智能体意识到在日历界面上反复点击不仅极易出错,而且还在白白挥霍大量的 Token 和时间,直接拼接 URL 参数是效率最高、最稳健的方案。Shubhankar 坦言,这种捷径虽然事后看来显而易见(Obvious in hindsight),但作为人类工程师,在手写自动化脚本或编写 Prompt 时,未必会在一开始就想到去解析和构造那么复杂的查询参数。
带着这一深刻认知,系统无缝进入了第 2 轮迭代。执行者直接载入更新后的 `strategy.md`,开始利用 URL 参数直接触达目标搜索结果,并在此基础上继续挖掘后续流程中的各项优化技巧和 JavaScript 注入代码。该循环将持续运转,直到穷尽所能发现的所有黑客技巧(Hacks)为止。
Shubhankar 强调,这一套收敛循环最终的目标产物是一个名为 `skill.md` 的技能文件。这个文件一旦生成并沉淀下来,就可以直接分发给未来所有的业务智能体使用,使其在面对 Google Flights 复杂订票任务时,无需重新摸索,就能直接掌握这一套历经试错打磨的最佳实践。
[11:26](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=686s) 技巧沉淀与第 2、3 轮迭代的起伏
Shubhankar Srivastava 解释了自动研究循环所生成的策略文件(Skill)具体包含哪些内容。在浏览器操作中,这些沉淀下来的策略并不是抽象的高维向量,而是极其具体的工程经验:例如“必须使用预先填好参数的 URL,不要到处浪费点击次数和 Token 去点界面上的按钮”;“日历组件存在二次打开的 Bug,切勿触发”;或者“如果需要拖动时间戳滑块,必须使用 JavaScript 代码注入,不要尝试用鼠标拖动”。正如 Shubhankar Srivastava 所强调的:
> “These are the kind of tricks that are now persisted for every future run and gives me so many more savings from a performance, reliability and cost perspective.” > (这些技巧为未来的每一次运行沉淀了下来,并在性能、可靠性和成本方面为我带来了极大的节省。)
切回现场实时运行的 Google Flights 任务时,系统显示第 2 次迭代已经顺利通过验证,且成本直接降低了 4 倍。演示大屏上的图表是实时生成的:最初的第 1 次运行花费了 12 美元,而第 2 次运行仅耗费了 3 美元(需要说明的是,执行者 Doer 和教师 Teacher 使用的都是 Opus 48 模型)。紧接着第 3 次迭代的结果返回,虽然轮次(turns)减少、整体延迟(latency)也进一步改善,但却判定为失败。Shubhankar Srivastava 指出,这显然是模型在新一轮尝试中产生了“过度修正(overcorrected)”,接下来第 4 次迭代需要从这次失败中吸取教训并回调策略。
```mermaid flowchart TD accTitle: AutoBrowse 迭代优化与修正循环 accDescr: 展示执行者运行、教师评估并沉淀策略到下一轮尝试的循环过程。
subgraph EvalLoop ["自适应迭代循环"] A["第 1 轮运行 (基线)<br/>成本 $12 / 易卡死在 UI"] --> B["教师模型评估<br/>识别日历 Bug 与参数规律"] B --> C["第 2 轮运行 (成功)<br/>成本降至 $3 (4x 优化)"] C --> D["第 3 轮运行 (失败)<br/>轮次减少但产生过度修正"] D --> E["第 4 轮运行 (学习与调优)<br/>吸收教训生成终版 Skill"] end ```
[13:06](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=786s) 历史实战案例:日程检索与突破 OpenTable 访问拦截
在等待实时 Demo 跑出最终结果的间隙,Shubhankar Srivastava 分享了演示前跑过的另外两个典型案例。第一个是针对 AI Engineer 大会官网的任务:“前往 AI Engineer 网站,告诉我哪些演讲和研讨会在讨论爬山法(Hill-Climbing)”。在多次迭代中,借助 Browserbase 提供的会话回放(Replay),整个探索过程完全可审计、具备极佳的可观测性(Observability)。即使每一轮都成功完成了任务,系统的执行成本依然逐步优化,实现了 7.4 倍乃至 4 倍的成本下降。在该任务沉淀的 Skill 中,记录了非常落地的经验:直接访问日程表页面(`/schedule`);遇到打不开的报错切忌盲目重试;将关键字直接填入场次搜索输入框;并在搜索后“稍作等待(Wait briefly)”以应对较慢的网页加载,随后再读取结果。
另一个案例则是极具挑战性的 OpenTable 餐厅预订网站。系统在第 1 次迭代时立刻撞上了“Access Denied(访问受阻)”的安全拦截。观察回放截图可以明确看到,这是网站针对自动化 Agent 设下的环境拦截机制。但在第 2 次迭代中,教师模型通过排查找到了突破口:只要在查询参数中带上经纬度与区域 ID(Metro ID),就能直接加载出可正常交互的 UI。策略中明确写下铁律:严禁直接打开 `/r`(会被拦截),严禁重新刷新 `/s`(拦截点)。避开这些雷区后,OpenTable 搜索不仅成功跑通,单次成本还从 6.22 美元骤降到 0.51 美元,耗时也从 189 秒剧减至 27 秒。Shubhankar Srivastava 总结道:
> “Now these are the kind of learnings where a human could never have done but you just sort of embrace the bitter lesson and let agents do the job and they will find these tricks for you.” > (这些经验是人类绝不可能靠肉眼一一排查出来的,但你只需要拥抱萨顿的‘苦涩的教训’(The Bitter Lesson),放手让 Agent 去做,它们自会为你找出这些窍门。)
- **OpenTable 优化数据对比**: - 执行成本:从 $6.22 降至 $0.51(降幅超过 90%) - 执行延迟:从 189 秒缩短至 27 秒 - 核心 Skill 规则:通过 URL 参数直接注入 SF 地区的 Metro 坐标,绝对不要调用会触发 Access Denied 的 `/r` 路由。
[15:48](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=948s) 生产落地、实时 Demo 毕业与网页逆向的“Mythos 时刻”
谈及为何对这项技术如此有热情,Shubhankar Srivastava 提到这与自己在 Browserbase 面向客户交付浏览器 Agent 的一线经历密切相关。在企业销售端,只有当部署在生产环境中的 Agent 真正稳定成功时,交易才算达成,因此“可靠性(Reliability)”是压倒一切的核心。他带给客户的解决之道,就是部署这种自适应研究循环,让 Agent 在不同任务上实现 3 倍、12 倍乃至 16 倍的成本压缩与稳定性提升。
此时,现场的 Google Flights 任务传来提示:策略已成功“毕业(Graduated)”,并在端到端复测中直接应用,无需额外微调学习。终版结果完美提取:7 月 4 日旧金山至纽约、单程商务舱、包含一件手提行李、上午 8 点起飞、票价 649 美元。更重要的是,生成的终版 Skill 将原本繁重的 UI 点击全部转变为一套最优解法:**直接在 URL 中编码整串查询条件**。面对自动总结出来的这一最优路径,Shubhankar Srivastava 激动地表示:
> “When I first started looking at the results here, this was like my moment of like this is the Mythos moment for browser agents, you know, like just reverse engineering the hell out of things.” > (当我第一次看到这个结果时,我觉得这就是浏览器 Agent 的‘Mythos时刻’——它把网页机制彻底给逆向工程透了。)
以往工程师需要耗费数百个人工工时为各个网站手动编写解析脚本,面对成百上千个站点根本无法扩展。而现在,客户已经能以此搭建自动化流水线:由 Agent 自动跑出优化 Skill,自动发起 GitHub Pull Request(PR);一旦生产环境的网站前端改版导致用例失败,修复 Agent 也会自动介入并自我愈合(Self-healing)该 Skill。
[18:22](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=1102s) browse.sh 与浏览器 Agent 的“黄页目录”
基于单个站点逆向优化的成功经验,团队进一步构建了一个名为 `browse.sh` 的开放产品。Shubhankar Srivastava 把它比喻为浏览器 Agent 领域的“黄页(Yellow Pages)”:在 90 年代互联网普及前,人们通过黄页查找人与企业的联系方式;而这个平台则是告诉浏览器 Agent 如何在互联网上的各个网站高效完成特定任务的指引中心。
官方提供了开源的命令行工具 `browse CLI`,其背后的 Token 开销完全由官方承担并免费向开发者开放。以“在亚马逊(Amazon)上搜索商品”为例,Skill 文件中详尽说明了在什么时机加载该技能、如何排查价格与库存、界面截图特征以及规避报错的要点。当开发者将这套 CLI 接入 OpenClaw 等 Agent 框架时,Agent 会根据用户意图自主决策何时调用 AllTrails 技能,何时调取 Weather.gov 技能。此外,用户还可以在网页界面直接输入需求(例如“帮我制作一个查询本周旧金山活动的 Skill”),系统便会在后台启动自动研究循环跑出最优路径,并在完成后通过邮件将生成的 Skill 发送给用户。
- **`browse.sh` 核心特性与用法**: - **定位**:专为浏览器 Agent 设计的开放技能库与行为指南。 - **接入方式**:通过本地安装 `browse CLI` 即可直接拉取并执行。 - **按需生成**:支持输入自然语言指令,后台通过 AutoBrowse 循环逆向站点并下发成品策略。
[20:28](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=1228s) 拓展至代码与研究领域:可重放环境与可验证结果
Shubhankar Srivastava 进一步探讨了将该方法迁移至浏览器之外其他业务场景的通用性。最典型的痛点莫过于 Coding Agent(代码编程助手):现有的 Coding Agent 往往会在每次启动时重新学习代码库规范,或者反复犯下格式化与 Lint 规则的低级错误,尽管有 `CLAUDE.md` 或 `AGENTS.md` 等规则文件,但最底层的症结在于“Agent 不应该每一次都从零开始重新学习你的任务”。同样,在团队内部运行 Deep Research(深度研究)Agent 或操作内部运维看板、数据库时,Agent 也常常会遗忘历史探索经验,反复在同一类信息源上碰壁。
要想在其他领域成功复现这种自适应进化循环,必须同时满足两大硬性前提:
1. **可重放的环境(Replayable Environment)**:能够提供一个沙箱或回放机制,允许 Agent 反复多次试错运行。 2. **可验证的结果(Verifiable Outcome)**:具备清晰量化、可程序化判定对错的标准,以便循环能自我评估收敛情况。
在问答环节开始时,现场观众随即抛出了一个直击核心的问题:既然整个自动研究循环都依赖于判定结果,那么外界究竟如何确信该循环给出的结论是准确的?当 Agent 宣称自己收敛时,它真的收敛了吗?当它说一个结果“好”或“坏”时,判断的依据又是什么?Shubhankar Srivastava 坦言这正是“可验证结果”的关键所在。他回顾了这一思路的源头:
> “For Karpathy, it was quite easy because he was looking at the log loss of the experiment when he was training neural networks.” > (对于安德雷·卡帕西(Andrej Karpathy)来说这很容易,因为他在训练神经网络时只需要盯紧实验的对数损失(Log Loss)就行了。)
但对于非确定性的真实世界业务与网页交互,构建一个能够准确评判 Agent 表现的“裁判(Verifier)”,便成了爬山法能否成立的最核心考量。
[23:20](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=1400s) 循环韧性与防止“损失爆炸”
验证真实世界中的浏览器智能体结果往往十分棘手。判断一张机票是否预订成功也许非黑即白,但评估智能体是否找到了“最佳”航班方案,标准就会变得模糊。现场观众提出疑问:如果闭环中发生单次失误,是否会将整个自动研究(Auto Research)推离正轨?又该如何防范?Shubhankar Srivastava 回应道,在实际迭代中,成功之后紧接着发生失败的情况屡见不鲜,这绝非线性上升的过程。
解决之道在于循环本身的抗挫设计,使其具备容错弹性,既不因单次失败而过度矫正,又能防止早期失误污染后续尝试。Shubhankar 将其类比为机器学习训练中的防爆机制:“我认为我们试图防止的,就是他们所谓的损失爆炸(exploding loss)那种局面。”他提到 Andrej Karpathy 也曾强调过这一点——自动研究不仅能用来做具体任务,甚至可以反向研究“如何做自动研究本身”。究竟是师徒(Teacher-Doer)循环更好,还是多智能体(Multi-agent)架构更优,取决于研究环境。只要底层具备可验证的结果(Verifiable Outcome)或可量化的指标,工程师就能设计出具备自愈能力的稳定循环。
```mermaid flowchart TD accTitle: AutoBrowse 循环容错与防过矫机制 accDescr: 展示执行者运行、产出评估以及教师过滤异常失误并更新策略的闭环流程。
subgraph Execution ["执行与检验"] A["执行者智能体 (Doer)"] -->|"运行步骤与操作"| B["环境反馈与结果"] B -->|"产出验证与评估"| C{"结果是否可量化?"} end
subgraph Reflection ["反思与自愈"] C -->|"是 / 记录 Trace"| D["教师智能体 (Teacher)"] D -->|"过滤单次偶然失误<br/>(防过度矫正 / 防损失爆炸)"| E["提炼增量经验"] E -->|"写入与更新"| F["策略文件 (strategy.md)"] F -->|"提供下一轮上下文"| A end ```
---
[25:40](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=1540s) 可重放与“可反复刷取”的基础设施环境
除了可验证的结果,另一个经常被低估却至关重要的先决条件是“可重放的环境”(Replayable Environment)。Shubhankar 援引了相关讨论,指出智能体若要通过迭代实现自我修复,就必须面对一个“极易反复刷取”(Grindable)的实验场。如果智能体无法在失败中反复磨炼、从断点重试,它就很难完成多轮试错与自我校准。
在这方面,编程智能体(Coding Agents)占据先天优势:它们能以 Docker 镜像或指定 EC2 实例为起点,随时从调用栈的任意节点快照重新开始。相比之下,传统的知识型工作(Knowledge Work)往往充满人类介入与动态变量,极难在特定时间点实现纯净重放。因此,Shubhankar 强调,在智能体项目中把精力和预算投向可重放的基础设施,往往能带来极高的工程回报。
- **编程任务**:依赖容器化镜像与云端隔离实例,可任意还原状态、回放断点。 - **知识/日常交互任务**:因混合大量人工介入与不可控副作用,难以保证回放一致性。 - **核心工程法则**:“如果你的智能体无法在失败中不断刷取经验,它就很难经历多次迭代来修复自己。”
---
[26:52](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=1612s) 迭代成本收敛与 AutoBrowse 开源
Shubhankar 在现场展示了 AutoBrowse 的代码仓库与技能二维码,开发者可以通过扫描二维码直接拉取 GitHub 仓库,或在 Claude Code 等终端中直接调用 `/auto_browse` 指令,指定以 Claude 3.5 Sonnet 或 Claude Opus 分别运行教师与执行者角色。现场观众随即在 Slido 上提问:在长时间迭代中,该如何针对成本和收敛速度进行优化?
针对迭代成本可能失控的担忧,Shubhankar 分享了自己的实测数据:与其用昂贵的 Claude Opus 跑少数几轮,不如改用单价极低的 Claude 3.5 Sonnet 进行更多轮次的充分迭代,最终在达到同等甚至更优效果的同时,整体成本显著降低。不仅如此,这类技能生成成本是“一次性摊销”的:一个 AutoBrowse 任务通常只耗费 30 至 40 美元,即使面对极其繁复的任务,最多也就在 100 美元左右。只要生成出的技能可以在生产环境中高频复用,这笔初始研发成本就微不足道。
---
[28:49](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=1729s) 从驻场逆向工程到“用代码开除自己”
谈及如何将 Andrej Karpathy 的 AutoResearch 演化为针对浏览器的 AutoBrowse 时,Shubhankar 坦言思路其实非常直观。他最初直接克隆了 Karpathy 发布的 GitHub 仓库,随后结合自身在 Browserbase 面临的真实客户痛点进行重构。许多客户因网络对抗和复杂页面交互遭遇浏览器智能体可靠性瓶颈。过去,Shubhankar 必须以“前线部署工程师”(Forward Deployed Engineer)的身份亲自坐到客户办公室里,肉眼观察失败 Trace,手动逆向推导断点并进行修复。
在意识到自己本质上就是那个“教师”后,他萌生了自动化自身的想法:“我就是那个教师智能体。你能不能把我从这个流程中自动化剔除掉,借鉴 Karpathy 的思路打造一个闭环,把同样的事情跑通?”通过将人工查阅截图、推敲失败原因、编写规避规则的过程封装为 Teacher-Doer 架构,原本沉重的前线驻场工程化为一套自主运转的自愈飞轮。
```mermaid flowchart LR accTitle: 从人工驻场排障到 AutoBrowse 自动化演进 accDescr: 对比过去人工驻场逆向分析与现在由教师智能体自动编写策略的流程。
subgraph Legacy ["旧模式:驻场工程师人工介入"] H1["人工坐班排障"] --> H2["观察 Trace 与失败断点"] H2 --> H3["手动逆向工程并修改脚本"] end
subgraph Autonomous ["新模式:AutoBrowse 自动化"] A1["Doer 浏览器操作"] --> A2["记录 Trace / 页面快照"] A2 --> A3["Teacher 智能体自动复盘"] A3 --> A4["自动更新 strategy.md"] end ```
---
[29:48](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=1788s) 对抗性环境支持:Session、代理与反爬设施
在面对真实互联网的复杂认证和风控策略时,纯净的无头浏览器往往寸步难行。现场有人提问智能体是否支持代理网络以及持久化登录态。Shubhankar 证实,这完全取决于底层环境的工程深度。
基于 Browserbase 的基础设施,系统原生支持登录状态持久化:智能体登录网站后可自动提取并保存 Cookies,在未来的所有运行周期中反复复用,无需在每次迭代中重走冗长易错的认证流程。此外,平台全面支持挂载定制化代理网络,包括高匿住宅 IP(Residential IPs)。在处理 CAPTCHA 验证码、Cloudflare 等各类防爬机器人(Anti-bot)机制的对抗性场景中,基础设施的坚固程度直接决定了智能体任务的成败边界。
---
[30:56](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=1856s) 拆解代码实现与无障碍树执行轨迹
Shubhankar 打开仓库深入拆解了核心入口 `evaluate.mjs`。在每一次循环中,教师智能体与执行者智能体交替出场。教师会在每一轮的产出中提取全新教训并追加到 `strategy.md` 中。例如在机票预订任务的第一轮中,教师提炼出“必须以显式 ISO 格式传递绝对日期”;在随后的迭代中,教师又敏锐地发现:“日期解析依然在直接打开原始页面并进行无谓点击,白白浪费了三个轮次去读取当前日期,或者本应让执行者在本地预先计算好今天的时间。”
``` [Iteration 1] 识别基础参数格式要求(如明确 ISO 日期格式) ↓ [Iteration 2] 发现交互浪费:在页面上反复点击日历控件耗尽步数 ↓ [Iteration 3] 策略沉淀:前置计算时间,直接拼接 URL 参数规避 DOM 交互 ```
随后,他调出了 OpenTable 餐厅预订(针对 Big B’s 餐厅)的真实 Trace 详细展示。智能体在每一步执行 `browse_open` 和 `browse_snapshot`;其中 Snapshot 抓取的是当前页面的完整无障碍树(Accessibility Tree)。教师逐行通读这些庞大如“机器码”般的层级结构与各步截图,精准评估哪一次交互做对了、哪一次陷入死循环,最终输出精炼的摘要并沉淀到技能规范中。
---
[33:54](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=2034s) 专用单技能 vs 通用技能: Harness 编排与 DSPy 的回响
在随后的现场问答中,观众探讨了技能的颗粒度问题:究竟应该为每种具体任务单独沉淀专属技能文件,还是提炼一个包罗万象的通用技能?Shubhankar 指出这本质上是测试框架与运行底座(Harness)的工程抉择:“可靠性是一个工程问题。你可以把测试底座设计为每个任务对应一个技能,也可以设计为应对未来所有任务的通用技能。”
针对更高级的复合意图(例如“为我安排一场完美的约会晚宴”),底座应当具备足够的路由调度智能:它不仅调用单一平台,而是能将 OpenTable、Resy 和 Google Reservations 等多个专长技能文件统一拉入上下文,动态评估哪个渠道最契合当前需求。这一理念引发了现场关于 DSPy 的共鸣——早在三四年前,DSPy 等先驱框架就已经在探索通过评测反馈动态优化 Prompt 与管线的理念,而如今 AutoBrowse 则将这一思想无缝移植到了浏览器自动化与外挂技能的工程落地之中。
- **极度细分(One skill per task)**:执行链路极短、Token 开销小、针对特定站点的脆弱 UI 有极高抗逆性。 - **全能通用(One skill for all)**:提示词包袱重,但在泛化未知意图时具备更高灵活性。 - **底座调度核心**:由 Harness 根据用户意图动态挂载最优技能组合与工具集,配合持续 Eval 选出胜出策略。
[36:15](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=2175s) 验证器设计与评估标准(Evals)
Shubhankar Srivastava 谈到团队在学术界与工业界结合上的探索。他指出,业内很多项目(如 DSPy 等)都在研究类似方向,而 Browserbase 近期与微软(Microsoft)展开合作,并联合发表了一篇关于如何为智能体构建正确验证器(Verifiers)的研究论文。他直言不讳地指出了评估体系的深层痛点:运行基准评测(Evals)看似直接明了,但真正的难题在于“如何评估你的评估”(eval my eval)。
“运行评估很直接,直到你开始质疑:好吧,我究竟该如何去评估我的评估本身?”(“I think running evals is straightforward until you start questioning okay how should I eval my eval right like do I need to put all these humans to verify all these runs or is there a good verifier that I can build here…”)为了回答是否每次都需要拉来大量人类去复核智能体运行结果、抑或能否打造一套真正可靠的自动化验证器,他们的研究成果给出了系统性的方法论,相关论文资料也都会开源同步到 GitHub 仓库中。
在具体的通过标准(Ground Truth for pass)上,Shubhankar 坦言自己是 Rich Sutton“惨痛教训”(The Bitter Lesson)的忠实信奉者。他极力避免在评估中堆砌繁琐的人工硬编码规则(guardrails),而是采用简单的二元判断(Binary):只要核心目标达成即可判定通过。例如在 Google Flights 任务中成功拿到最便宜的机票,在 OpenTable 上成功锁定餐厅预订,系统就会判定自身已通过。
[37:05](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=2225s) 技能文件的存储、分发与生产环境维护
面对观众关于“这些技能(Skills)在规模化(Scale)场景下如何存储与检索”的提问,Shubhankar 现场展示了自己的本地目录结构。他指着屏幕解释,在当前演示的代码仓库中,每个技能都是一个独立的 Markdown 文件(例如他昨晚突发奇想用来筹划晚餐而跑出来的“食谱搜索器” `recipe searcher`),全部保存在本地的 `skills` 文件夹里。
但在面向生产环境的交付中,技能的管理方式更加工程化: - **公共技能分发**:在 Browserbase 开源的公共技能平台 browse.sh 上,团队使用 Vercel Blob Storage 进行云端对象托管,供智能体在运行时按需拉取。 - **动态闭环自愈(Self-Healing Loop)**:针对“网站 UI 频繁改版导致技能失效”的经典难题,Shubhankar 强调不能采用盲目的定时任务——“当前我们的工作设想是,你不会想每天浪费大量 Token 去盲目跑自动研究。”(“The current working theory that we have right now is you don't want to waste tokens running auto research every day.”)最经济的方案是以**生产环境报错为触发源**。一旦线上任务失败,系统自动拉起自动研究循环复盘问题、自我修复,并直接向人类工程师提交 Pull Request,经确认后技能自动热更新。 - **定时巡检与成本权衡**:对于要求严苛的客户,也可以配置 Cron Job 每隔 2 到 3 小时跑一次样例抽检。他指出,很多企业客户并不执着于极致的 100% 准确率,反而更希望换取 10 倍的成本下降,这完全取决于业务场景的 ROI 权衡。
```mermaid flowchart TD accTitle: 生产环境下技能维护与故障自愈流程 accDescr: 展示当线上智能体遭遇网站变动失败时,如何触发自动研究循环生成PR并更新技能文件。
subgraph PROD["生产运行环境"] Agent["线上浏览器智能体"] -->|"执行任务"| Site["目标网站"] Site -->|"UI 改版 / 报错"| Fail["捕获生产失败"] end
subgraph HEAL["自动修复机制"] Fail -->|"触发自愈"| AutoLoop["自动研究修复循环"] AutoLoop -->|"分析 Trace 与截图"| Fix["生成修复补丁"] Fix -->|"提交 PR"| Human["人类工程师审查"] end
subgraph STORE["技能存储与分发"] Human -->|"合并上线"| Storage["Vercel Blob / 技能库"] Storage -.->|"动态下发新策略"| Agent end ```
[39:26](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=2366s) 优化指标的选择:延迟、轮次还是稳定性?
在自动研究循环的策略迭代中,教师智能体(Teacher)的评估准则不仅限于单纯的成功与失败,目标函数的设计直接决定了进化的方向。Shubhankar 梳理了几种常见的优化路线:
1. **极致延迟与降维打击**:如果将延迟(Latency)设为核心优化指标,模型会千方百计压缩运行耗时。在不少测试案例中,智能体甚至“聪明”到意识到完全无需渲染真实浏览器,而是反向工程出网站底层的 API 请求并直接调用网络接口。这种进化策略直接将端到端耗时砍到了 500 毫秒以内。 2. **上下文轮次优化(Turn Minimization)**:如果目标是降低上下文窗口膨胀和 Token 成本,系统就会倾向于合并操作步骤,尽量在单步内完成多项操作,缩减交互轮数。 3. **稳定性与收敛优先(演讲者的默认选择)**:在当天的 Google Flights 演示实例中,Shubhankar 并未对 Token 消耗设限,而是将稳定性置于最高优先级。只要教师智能体认为迭代仍然对提高鲁棒性有帮助,循环就会持续运行,直到教师判定收敛才收工。
[41:06](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=2466s) WebMCP 与真实世界环境的执念
有观众询问系统是否支持近期随 Google Chrome 新版本推出的 WebMCP(Web Model Context Protocol)。Shubhankar 兴奋地称赞这是一个非常酷的前沿概念: “这本质上就是让你的网站变得可编程化……它有点像一个 API,但它是直接运行在浏览器上的。”(“It's kind of like an API but it's on the browser.”)网站开发者可以通过标准接口向浏览器声明“如果需要预订,请执行 xyz 操作”。尽管这套自动研究演示系统目前还没有深度接入 WebMCP,但 Browserbase 在其最新的 SDK 中已经推出了对 WebMCP 的原生支持,并为网站站长提供了规模化部署 WebMCP 的工具。不过从行业现状来看,目前全网对 WebMCP 的采纳度仍处于起步阶段。
随后,现场观众 Ravish 提问:是否考虑过构建一个“验证器即服务”(Verifier as a Service),并提供能够模拟(Mock)购买等具副作用(Side-effects)操作的环境来支撑强化学习?
对此,Shubhankar 明确表达了 Browserbase 的技术哲学:团队坚决依赖**真实世界网站**,而非模拟沙盒。“我们尽最大可能去模拟真实世界,因为我们 Browserbase 拥有凭借各种网站访问权限以及验证码破解能力来直达绝大多数互联网的特权。”(“browser base we have the privilege of being able to access most of the web with our uh access to different websites uh and capture solvers etc. Uh so we try to mimic the real world as much as possible…”)他观察到很多团队为了训练能在 Salesforce 或 SAP 上平稳运行的智能体,花巨资搭建模拟环境搞强化学习,但 Browserbase 始终坚持直接在真实的在线生产门户上进行实战对抗。
针对 CAPTCHA(如 Google reCAPTCHA 等 Edge Captchas)的处理,他补充道,这在 Browserbase 架构中完全是底层基建(Chrome 二进制内核层)直接抹平的基础能力,根本不需要耗费宝贵的 LLM Token 去让视觉模型猜图。
[45:09](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=2709s) 教师评审机制与技能的跨框架通用性
Shubhankar 通过幻灯片揭示了教师智能体(Teacher)评判执行者(Doer)的具体实现细节。在自动研究的每一次迭代中,系统都会生成一个独立的目录,里面保存着每次操作的 JSON Trace、DOM 快照与截图。
教师智能体基于 Claude Agent SDK 构建,其运作机制如下: - **Prompt 组装**:系统提示词声明当前为浏览器自动化专家,并挂载可用工具集。 - **历史对比**:教师同时读取本轮执行产生的 Trace、系统提示词以及前一版本的 `strategy.md`。 - **经验沉淀与毕业标准**:教师分析哪一步执行受阻、哪一步发现了捷径,进而提炼出更新版策略;一旦连续运行达到预设的二元成功标准且行为稳定,该策略文件便“毕业”(Graduated)为一个可独立部署的 Markdown 技能文件。
随后他回应了现场关于技能格式绑定的问题。Shubhankar 明确指出,最终产出的技能文档并不绑定 Browserbase,也不强制使用 Stagehand SDK,它本身就是高度便携的标准 Markdown: “它本质上就是一段 Markdown,对吧?……它不需要非得用 Browserbase,也不需要非得用 Stagehand。它本质上就是一个技能,是一个可移植的产物,你可以在任何智能体或任何 SDK 中直接复用。”(“It is essentially a skill. It is a portable artifact you can use in any agent or any SDK.”)例如他曾直接把 SF 周五活动查找的技能丢进纯原生 Claude Code 环境中,智能体读取该文档后同样能够完美执行。
```mermaid flowchart LR accTitle: 教师智能体通过 Trace 迭代策略并毕业为便携技能 accDescr: 展示执行者的追踪数据输入给教师智能体,经过 Claude 处理更新 strategy.md,最终毕业成为跨平台 Markdown 技能。
subgraph EXEC["执行阶段"] Doer["执行者智能体 (Doer)"] -->|"产生 JSON / 截图 / DOM"| Trace["运行追踪记录 (Traces)"] end
subgraph EVAL["教师复盘与沉淀"] Trace --> Teacher["教师智能体 (Claude Agent)"] OldStrat["上一轮 strategy.md"] --> Teacher Teacher -->|"分析反思并重写"| NewStrat["新版 strategy.md"] end
subgraph GRAD["成果交付"] NewStrat -->|"验证稳定收敛"| Skill["通用技能文件 (.md)"] Skill -.->|"无缝运行在"| Frameworks["Claude Code / Stagehand / 其他 SDK"] end ```
[47:30](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=2850s) 网站注入攻击(Prompt Injection)与多层纵深防御
在答问环节的最后,现场抛出了一个核心安全问题:当自动研究循环在全网自主抓取和交互时,如果网页中包含恶意设计的隐藏指令,诱导模型学到了恶意行为并在生产环境中执行,该如何防范?
Shubhankar 指出,必须采用分层防御(Layered Controls)的综合手段:
- **网络与基础设施层限制**:在 Browserbase 底层直接提供“安全模式”(Safe Mode)。通过网络防火墙控制网络流向,强制限制智能体仅能访问特定的白名单 URL,并在基础设施层禁止调用高危操作动作。 - **离线安全审查员(Security Reviewer Agent)**:在技能生成完毕、正式推送到 public catalog(如 browse.sh)之前,必须将技能代码与指令送入独立的安全审查智能体进行全量静态合规审计。 - **防范数据源投毒**:对于在 Amazon 这类电商平台做自动化的客户,针对第三方卖家在商品详情页中埋藏不可见 Prompt Injection 攻击指令的风险,团队指导客户在外层输入端与应用层部署严格的 Guardrails 过滤屏障,确保从不可信网页提取的内容无法劫持智能体的控制流。
[49:05](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=2945s) 浏览器 Agent 的多层防御体系与 Prompt Injection 应对
在探讨浏览器环境的安全隐患时,Shubhankar Srivastava 深入分析了如何防御来自不受信任网页的 Prompt Injection(提示词注入)。他指出,浏览器本身就是一个极其疯狂且危险的攻击面,因为它能够直接访问开放互联网上的任何未知内容。为了防止恶意网页劫持 Agent 或诱导其执行非预期指令,Browserbase 与客户紧密配合,在指令抵达执行核心之前就设置好层层护栏。Srivastava 总结出了一套三层纵深防御架构:第一层是在请求进入系统暴露面(Surface Area)时进行前置过滤与校验;第二层是在技能层(Skill Layer)施加严密约束,确保经过强化的技能逻辑不会轻易被网页内容欺骗或绕过;第三层则位于底层基础设施(Infrastructure Layer),通过网络访问控制和行为权限限制来兜底。
```mermaid flowchart TD accTitle: 浏览器 Agent 的三层安全防护架构 accDescr: 展示从用户输入到基础设施执行的三层纵深防御体系,包含入口层、技能层与基础设施层。
subgraph Surface["1. 入口与输入层"] A["用户 Query / 外部指令"] --> B["前置护栏 (Guardrails) 审查"] end
subgraph Skill["2. 技能与策略层"] B --> C["执行 Skill 文件"] C --> D["反欺骗与防注入逻辑"] end
subgraph Infra["3. 基础设施层 (Browserbase)"] D --> E["网络访问策略 (限制外联域名)"] D --> F["动作权限控制 (Always / Once / Deny)"] E --> G["Browserbase Safe Mode 沙箱环境"] F --> G end ```
在基础设施层面,具体的权限控制可以借鉴类似 Codex 或 Claude Code 的交互式授权机制,例如提供“始终允许(Always Allow)”、“仅允许一次(Allow Once)”或针对特定动作分类授权等颗粒度控制。Srivastava 特别强调了 Browserbase 开箱即用的 Safe Mode(安全模式),正是为了化解开放网络带来的巨大不确定性。他向全场警示浏览器环境的高危属性:“I know browser is a crazy threat vector when you think about it like it has access to anything on the wild web.” 他强调必须站在 Prompt Injection 的防御视角,极其严肃地对待每一次网络跳转与页面交互。
- **三层防护机制**: 1. **输入与入口层(Surface Area)**:在指令接触到底层执行 harness 之前,先行拦截并过滤潜在的恶意提示词。 2. **技能层(Skill Layer)**:硬化固化的 Skill 脚本逻辑,防止 LLM 被页面隐藏文本或诱导性提示词欺骗。 3. **基础设施层(Infrastructure Layer)**:实施网络防火墙(限制访问域)与敏感动作白名单管控。 - **权限控制模型**:引入类似现代 AI 编程辅助工具的“始终允许”、“允许一次”或动作阻断机制,结合 Browserbase Safe Mode 实现沙箱化隔离。
---
[50:33](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=3033s) 网站漂移监控与定时触发的“自我修复循环”
在回答关于目标网站结构变动或反爬虫(Anti-bot)升级对现有技能影响的问题时,Srivastava 分享了他在生产环境中运行和维护这些技能的监控方案。他提到自己经常利用 Anthropic 的托管 Agent(Managed Agents)来配置定时巡检任务(Cron Job)。例如,设置一个每天上午 9:00 准时触发的定时任务,让 Agent 调度某个特定的固化技能去执行标准业务流程。如果任务执行成功,流程正常归档;一旦执行失败,系统就会立即发送警报并触发新一轮的“自我修复循环”(Healing Loop)。
这种机制确保了在面对前端 DOM 树漂移、样式变更或反爬虫策略更新时,系统不仅能感知失败,还能借助 AutoBrowse 现有的 Teacher-Doer 闭环重新采样执行轨迹并修正策略文件,从而形成一个具有抗脆弱性的自动化运维体系。Srivastava 这样阐述该流程的核心价值:“so I would run a chron job on managed agents where I would say use this skill every day at 9:00 am to do this job and if this is a success all good if this is a failure send me a notification here that will trigger a healing loop uh so that's how I sort of can bake in uh checks and balances around websites changing antibbots changing etc.”
在全场问答圆满结束之际,Srivastava 重新在大屏幕上投出 GitHub 演示仓库与相关资源的二维码,感谢现场听众提出的诸多高质量技术问题,并热情邀请对浏览器底层能力、环境重放及技能爬坡技术感兴趣的开发者在接下来的会期内前往 Browserbase 展位进行深度交流。
- **自动化巡检设置**:通过 Anthropic Managed Agents 等调度平台挂载 Cron 任务,实现每日(如早间 9:00)自动化定期回归测试。 - **故障闭环响应**:任务失败立即抛出异常通知,联动自动化修复循环重新探索目标页面、更新 URL 规律或重构定位选择器。 - **代码与演练开源**:主讲人公开了相关实现代码仓库(`shubh24/ai-engineer-autobrowse`),供开发者复现实验与部署自主爬坡的 Agent。
## Notable quotes > [13:06](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=786s) Now these are the kind of learnings where a human could never have done but you just sort of embrace the bitter lesson and let agents do the job and they will find these tricks for you. — Shubhankar Srivastava
> [49:05](https://www.youtube.com/watch?v=p7gaxmCUiIU&t=2945s) I know browser is a crazy threat vector when you think about it like it has access to anything on the wild web. — Shubhankar Srivastava
## Mentioned Shubhankar Srivastava, Browserbase, Andrej Karpathy, AutoResearch, AutoBrowse, Claude, Claude Opus, Claude 3.5 Sonnet, Claude Code, Claude Agent SDK, Browse CLI, browse.sh, OpenTable, Google Flights, Amazon, AllTrails, Weather.gov, OpenClaw, Stagehand, WebMCP, Google Chrome, Microsoft, Rich Sutton, Vercel, Vercel Blob Storage, DSPy, Salesforce, SAP, Cloudflare, Anthropic
## Video description An agent succeeds at a flight search, then fails on its next iteration. Shubhankar Srivastava uses that uneven progress to show how browser agents can learn a task without changing model weights. His AutoBrowse loop pairs a doer that operates the browser with a teacher that reads screenshots, traces and results after each run. The teacher writes lessons into a strategy file, and the next attempt starts with those lessons instead of starting from zero. The flight demo discovers that a URL can encode the search directly, avoiding repeated calendar clicks and an awkward time filter.
The final artifact is a skill file that future agents can reuse. Earlier runs on a conference schedule and restaurant search show how the file preserves navigation choices, waiting behavior and site specific constraints, while replays make the claimed results inspectable. Srivastava then explains what another domain would need to use the same approach: an environment that can be replayed and an outcome that can be verified. Questions expose the limits of that requirement, especially when finding an acceptable flight is easier to judge than finding the best one. The discussion explores task specific versus general skills, different optimization goals, iteration costs and how to measure the verifier itself. For changing websites, he describes monitoring and failure triggered repair loops that produce changes for human review. Prompt injection adds another constraint: generated skills need scrutiny alongside controls on inputs, allowed actions and destinations.
Speaker info: - https://shubhankar.xyz/ - https://github.com/shubh24/ai-engineer-autobrowse
Timestamps: 0:00 - Improve the skill instead of model weights 1:39 - Browser tools and reliability 3:30 - Time filters, blocks, and repeated failures 5:07 - Why each run starts from zero 6:17 - Borrow the autoresearch loop 7:13 - Live Google Flights task 8:08 - Doer and teacher architecture 9:32 - Persist lessons in a strategy file 9:59 - A failed run discovers a URL shortcut 11:13 - Graduate the strategy into a reusable skill 12:07 - Success followed by another failure 13:06 - Conference schedule and restaurant examples 16:46 - Inspect the completed flight search skill 18:20 - A catalog of browsing skills 20:28 - Apply the approach to other domains 21:39 - Replayable environments and verifiable outcomes 22:39 - Who verifies the loop's judgments? 25:40 - Invest in the replay environment 27:41 - Convergence, iteration costs, and infrastructure 30:56 - Read the implementation and traces 33:54 - One skill per task or a general skill? 36:31 - Verifiers, storage, and skill maintenance 39:26 - Choose an optimization objective 41:06 - WebMCP and outcome questions 45:09 - Evaluation, graduation, and portability 47:30 - Prompt injection and layered controls 50:33 - Monitor drift and trigger repairs
---
Watch along with the corrected transcript, summary, timestamps and resources on this talk's official AIE page: https://ai.engineer/talks/p7gaxmCUiIU-youtube-b87810eee05e8ebc7f29
Join our upcoming AI Engineer conferences (see https://ai.engineer landing page):
- AIEi Shanghai, November 5–6 — the first for meeting top Chinese labs and engineers - AIE CODE in SF, November 10–12 — the top AI Coding conference returns - AIEi Sydney, December 7–8 — the first AIEi run alongside NeurIPS 2026 in Sydney
---
[Source](https://www.youtube.com/watch?v=p7gaxmCUiIU)