Bright Data推Web MCP服务 助AI代理绕过反爬拦截

Beyond Google: Enabling AI Agents to Discover the Web in Real-time With Bright Data — Ai4

Ai4

传统网站反爬机制正导致AI智能体在量产环境中陷入瘫痪,必须依托底层代理与动态解封协议重构公开数据的访问基础设施。

AI-assisted summary of Beyond Google: Enabling AI Agents to Discover the Web in Real-time With Bright Data — original source. Check the original for full context.

Source published:

Detailed notes

## Background 本视频由 Ai4 于 2025 年 8 月 26 日发布在 YouTube 平台,记录了 Bright Data 首席产品官 Ariel Shulman 的主题演讲。演讲聚焦于如何为自主 AI Agent 赋予实时网络发现与深度交互能力,帮助开发者突破传统搜索引擎限制并获取精准、及时的结构化公开数据。

## TL;DR 演讲指出 AI Agent 虽承载人类意图,但在访问电商、职场等真实网站时极易遭遇反爬机制和验证码拦截,导致生产环境崩溃。Bright Data 结合其在 Meta 和 X 诉讼中捍卫公开数据访问权的法律判例,推出了基于 1 亿+ 全球代理、Web Unlocker 验证码主动规避以及结构化解析的解决方案。现场通过 Claude Desktop 接入 Bright Data MCP 的实机演示,证明了其攻克 Cloudflare Turnstile 拦截与执行动态交互的能力,并正式发布了每月提供 5,000 次免费请求的 Web MCP Server。

## Atmosphere & style 演讲以《银翼杀手》中复制人命运的哲学隐喻破题,迅速调动起全场对人机边界与数据博弈的思考。随后画风切换至极具说服力的工程实战,通过现场双屏录屏直观呈现‘原生报错’与‘MCP 解锁’的鲜明反差,整体节奏紧凑、观点犀利,兼具前瞻思辨与硬核技术底气。

## Key takeaways - [00:04](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=4s) Bright Data 专注于公开网络数据(Public Web Data)访问权,并在与 Meta、X 等科技巨头的法律诉讼中接连胜诉,确立了抓取公开网络数据的合法判例。 - [00:04](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=4s) Bright Data 每天为数据归档新增多达 2.5 PB 的公开多模态数据,为各大科技公司的多模态 AI 模型训练提供底层数据支持。 - [02:29](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=149s) AI Agent 本质上承载着人类意志,但在现实网络交互中常被当作恶意 Bot,频繁遭遇各类网站反爬防护的拦截与封锁。 - [02:29](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=149s) 网络访问存在“规模效应临界点”:在开发或小规模测试阶段正常的 Agent,一旦推向生产环境并发调用,反爬阻断率会呈指数级爆发。 - [06:13](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=373s) 稳定网络交互的第一核心是地理定位:依托全球超 1 亿 IP 代理池,支持精准至邮政编码级别的调度,确保获取本地化真实数据。 - [06:13](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=373s) Web Unlocker 的核心策略是主动规避验证码,利用指纹伪装、自适应降速与底层协议拟人化,在源头避免触发 CAPTCHA 拦截。 - [06:13](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=373s) 相比直接抓取大体积 HTML,将网页解析为精简 Markdown 或结构化 JSON/CSV 能大幅节约 Agent 的 Token 消耗并提高推理效率。 - [11:02](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=662s) 通过接入 MCP(模型上下文协议),AI Agent 能够实现复杂页面的动态渲染交互,包括自动模拟点击、输入表单与底层解密绕过。 - [11:02](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=662s) 实测对比显示,原生 Claude Desktop 访问 Glassdoor 会被 Cloudflare Turnstile 阻断,而挂载 Bright Data MCP 则能顺利完成绕过并生成分析报告。 - [14:09](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=849s) 现代互联网形成了“Agent 化互联网”与“传统万维网”的断层,Bright Data 旨在通过抓取、搜索与爬取端点充当两者的衔接桥梁。 - [14:09](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=849s) Bright Data 推出免费版 Web MCP Server,为开发者提供每月 5,000 次免费请求额度,支持搜索引擎聚合、页面解锁与整站爬取功能。

## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=4s) 公开网络数据之争与 Bright Data 的法律战役

演讲者 Ariel Shulman(Bright Data 首席产品官)开场时表示,本次演讲会稍微偏向宏观,甚至带有一点“哲学思考”。他首先向现场观众提问,有多少人了解过去一年媒体上关于 Perplexity 与 Cloudflare 之间的争端。Cloudflare 致力于保护网站免受恶意 Bot 攻击,而 Perplexity 则致力于抓取信息,两者在媒体上爆发了激烈的交锋。Shulman 指出,Bright Data 正好处于这场博弈的风暴中心。

Bright Data 是全球领先的公开网络数据(Public Web Data)平台,也是全球规模最大的网页抓取服务商。Shulman 提到自己已在公司工作超过 10 年,见证了它从 20 人的初创团队成长为约 400 人的成熟企业。在这一过程中,Bright Data 始终站在争取“公开网络数据自由访问权”的最前沿——所谓的公开数据,是指互联网上无需账号密码、任何人均可访问的内容。为了捍卫这一原则,Bright Data 曾遭遇巨头的法律围剿: - **Meta / Mark Zuckerberg 诉讼案**:讽刺的是,Facebook 本身就是 Bright Data 的客户(用于抓取其他平台数据),却认为外界不该抓取 Meta 的网站。加州联邦法院最终裁定 Bright Data 胜诉。 - **X (Twitter) / Elon Musk 诉讼案**:Twitter 同样试图阻止抓取公开数据,Bright Data 再次赢得了诉讼。

Shulman 强调,公司在这些诉讼中投入了数百万美元,因为技术的发展往往超前于法律法规,这些胜诉为整个公开网络数据行业确立了至关重要的法律判例。目前,Bright Data 每天为数据归档新增多达 2.5 PB 的公开数据(涵盖商品价格、用户评论、音频、视频及图片等海量 URL),为各大科技公司训练图像生成、音乐生成和语音克隆等 AI 模型提供源动力。

```mermaid flowchart TD accTitle: Public Web Data Access Flow subgraph DataSources["公开网络数据源"] A["电商价格 / 评价"] B["社交媒体公开动态"] C["新闻 / 音视频资源"] end

subgraph BrightDataEngine["Bright Data 基础设施与合规层"] D["全球代理网络 (1亿+ IP)"] E["法律与合规防线 (胜诉判例背书)"] F["Web Unlocker & 解析引擎"] end

subgraph AIApplications["下游 AI 应用生态"] G["LLM 预训练与多模态生成"] H["AI Agents 实时网络搜索"] end

DataSources --> BrightDataEngine BrightDataEngine --> AIApplications ```

---

[02:29](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=149s) AI Agent 到底是人还是机器?来自《银翼杀手》的哲学拷问

Shulman 抛出了一个引人深思的核心议题:**AI Agent 究竟是机器还是人?** 他引用了经典科幻电影《银翼杀手》(*Blade Runner*)中哈里森·福特(Harrison Ford)奉命追杀那些渴望延长寿命的复制人(Bot)的桥段,提出他的观点:从某种意义上说,AI Agent 就是人类,因为它们是在承载人类的意志、执行人类交付的任务。

然而,现今的互联网基础设施并不把 AI Agent 当人看——它们在访问网站时频繁遭到封锁。Shulman 现场展示了一个在 Mac 上录制的真实案例,测试对象为结合了 Deep Research 与 Operator 能力的 ChatGPT Agent(OpenAI 刚发布不久的功能)。当 Shulman 发送指令让 Agent 调研“适合贝斯手的高品质耳机”时,Agent 尝试访问电商平台: - 首先打开 Amazon 获取报价,页面瞬间提示被拦截(Blocked); - Agent 随后转向乐器垂直电商 Sweetwater(乐器界的 Amazon),结果同样遭到无情阻拦。

这种在开发测试阶段看似偶发的封锁,一旦推向生产环境就会呈指数级放大。Shulman 借用量子力学做了生动的比喻:量子力学中物体微缩到极致时物理定律会崩溃,而网络访问则恰恰相反——在办公室小规模做 MVP、几个同事内部测试时一切正常;但只要业务规模跨过某个阈值进入量产,网络反爬机制就会全面爆发,让系统彻底陷入瘫痪。无论是面向公众的 C 端 Agent,还是仅需查询外部天气以规划外勤日程的企业内部 Agent,都会在极小规模的外部访问中迅速撞墙。

---

[06:13](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=373s) 攻克网络封锁的关键:地理定位、智能绕过与数据结构化

为了让 AI Agent 能够稳定、可靠地与外部网络交互,Shulman 拆解了三大技术关键点:

1. **精准控制地理位置(IP 代理)**: 如果开发一个用自然语言订披萨的 Agent,纽约的用户和阿姆斯特丹的用户必须获得截然不同的推荐结果。网站对访问者的 IP 地址极为敏感,错误的地理位置会导致异常数据或直接触发封禁。Bright Data 依托覆盖全球的 1 亿多个 IP 代理网络,支持开发者按国家、省州、城市乃至邮政编码(ZIP code)进行精细调度(如现场展示的荷兰北荷兰省 Vodafone 代理请求)。

2. **主动规避而非硬解验证码(Web Unlocker)**: 验证码防护正变得越来越严密。最佳的解决策略不是等验证码跳出来再去破解,而是通过多类型代理轮换、指纹伪装、自定义 Header 以及自适应退避降速等低层协议技术,让目标网站判定请求来自合法的正常人类,从而根本不触发验证码(CAPTCHA)。Bright Data 的 **Web Unlocker** 将这一切封装在底层:开发者只需输入目标 URL,底层自动完成重试与解封,确保 100% 吐出可用的 HTML 或 Markdown。

3. **数据解析与结构化提取(Web Scraper)**: 对于 Agent 而言,直接塞入动辄 1 MB 的原始 HTML 页面不仅浪费宝贵的上下文 Token,还会降低模型推理质量。通过预置的爬虫解析器,传入 Amazon 商品链接后,系统能直接返回包含 30 多个字段的清晰 CSV 或 JSON 结构化表格,大幅缩减 Token 消耗并提升 Agent 执行效率。

```mermaid flowchart LR accTitle: AI Agent Web Access Architecture subgraph AgentLayer["Agent 端"] Req["Agent 发起 URL 请求"] MCP["Bright Data MCP Server"] end

subgraph CoreEngine["底层处理引擎 (Web Unlocker)"] Geo["Geo/IP 智能调度"] FP["指纹伪装 / 头部管理"] Render["浏览器渲染 & 模拟交互 (点击/输入)"] AntiBlock["自适应降速 / 验证码绕过"] end

subgraph OutputLayer["交付终端"] Parsed["结构化数据 (JSON/CSV)"] CleanMD["精简 Markdown"] end

Req --> MCP MCP --> Geo Geo --> FP --> AntiBlock --> Render Render --> Parsed & CleanMD Parsed & CleanMD --> Req ```

---

[11:02](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=662s) 实机对比演示:Claude Desktop 接入 MCP 后的质变

谈及 AI Agent 的落地标准,模型上下文协议(Model Context Protocol, MCP)已成为全行业不可忽视的基础协议。Shulman 解释了通过 Bright Data MCP 连接网站的完整技术流转: - Agent 经由 MCP 发起请求; - 服务端自动匹配最优地理位置、配置专属 Cookie 与 Header、自动规避或化解验证码,遇到拦截自动在底层执行 IP 轮换重试; - **动态交互支持**:针对需要渲染的复杂页面,系统可模拟真人进行网页点击(例如选购服装时切换尺码按钮)或在输入框填入文本,最终提取数据并结构化输出。

为了直观证明差异,Shulman 现场进行了双屏实机对比测试(使用 Claude Desktop): - **左侧(原生 Web 搜索)**:让 Claude Desktop 直接使用内置网页工具访问 Glassdoor 上关于“旧金山软件工程师薪资”的页面。结果屏幕立刻报错,底层被 Cloudflare Turnstile 验证码完全阻拦,任务失败。 - **右侧(挂载 Bright Data MCP)**:执行相同请求,虽然因底层经历了解密、绕过与渲染而耗时略长,但 MCP 成功获取页面并将清洗后的 Markdown 提供给 Claude,后者顺畅地为用户生成了详尽的薪资分析报告。

| 对比维度 | Claude Desktop 原生网络访问 | Claude Desktop + Bright Data MCP | |:--- |:--- |:--- | | **反爬对抗** | 遭遇 Cloudflare Turnstile 立即被阻断 | 自动完成底层绕过与验证码规避 | | **交互能力** | 仅限静态页面基础抓取 | 支持动态渲染、按钮点击与表单输入 | | **数据交付** | 易因格式冗余或失败导致空回复 | 交付低 Token 消耗的 Markdown / 结构化 JSON | | **运行稳定性** | 极易在生产环境出现偶发性中断 | 具备自动重试与代理池容灾保障 |

---

[14:09](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=849s) 免费发布 Web MCP Server 与行业展望

Shulman 总结道,当下的互联网正处于分裂状态:上层是由 AI 驱动的“Agent 化互联网”(Agentic Web),而下层则是专为人类浏览器设计的传统“万维网”(World Wide Web)。两者的交互天然存在摩擦与封锁,而 Bright Data 的使命就是充当两者之间的无缝桥梁,通过提供抓取(scrape)、搜索(search)、深度爬取(crawl)等端点,保障 Agent 对旧网数据的顺畅访问。

在演讲尾声,Shulman 正式宣布推出**免费版 Web MCP Server**: - **核心功能**:支持多搜索引擎聚合搜索、利用 Unlocker 解锁任意受阻页面、整站爬取、提取结构化数据(非单纯 HTML/Markdown),以及驱动 Claude 针对网页进行复杂的动态交互点击。 - **生态集成与额度**:该能力已深度预集成至主流 Agent 开发工具中,免费版每月提供 **5,000 次请求额度**,超出后支持灵活的按量付费(Pay-as-you-go)。

最后,Shulman 热情邀请参会者前往展览区 2011 号展位参加 MCP Server 的发布庆祝派对,与团队进一步交流技术细节。

## Notable quotes > [02:29](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=149s) 从某种意义上说,AI Agent 就是人类,因为它们是在承载人类的意志、执行人类交付的任务。 — Ariel Shulman

> [02:29](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=149s) 量子力学中物体微缩到极致时物理定律会崩溃,而网络访问则恰恰相反——在办公室小规模做 MVP、几个同事内部测试时一切正常;但只要业务规模跨过某个阈值进入量产,网络反爬机制就会全面爆发,让系统彻底陷入瘫痪。 — Ariel Shulman

> [00:04](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=4s) 所谓的公开数据,是指互联网上无需账号密码、任何人均可访问的内容。 — Ariel Shulman

> [00:04](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=4s) 技术的发展往往超前于法律法规,这些胜诉为整个公开网络数据行业确立了至关重要的法律判例。 — Ariel Shulman

> [06:13](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=373s) 最佳的解决策略不是等验证码跳出来再去破解,而是通过多类型代理轮换、指纹伪装、自定义 Header 以及自适应退避降速等低层协议技术,让目标网站判定请求来自合法的正常人类,从而根本不触发验证码(CAPTCHA)。 — Ariel Shulman

> [06:13](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=373s) 直接塞入动辄 1 MB 的原始 HTML 页面不仅浪费宝贵的上下文 Token,还会降低模型推理质量。 — Ariel Shulman

> [14:09](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=849s) 当下的互联网正处于分裂状态:上层是由 AI 驱动的“Agent 化互联网”(Agentic Web),而下层则是专为人类浏览器设计的传统“万维网”(World Wide Web)。 — Ariel Shulman

> [14:09](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=849s) Bright Data 的使命就是充当两者之间的无缝桥梁,通过提供抓取(scrape)、搜索(search)、深度爬取(crawl)等端点,保障 Agent 对旧网数据的顺畅访问。 — Ariel Shulman

## Mentioned Ariel Shulman, Bright Data, Cloudflare, Perplexity, Meta, Mark Zuckerberg, X (Twitter), Elon Musk, 《银翼杀手》(Blade Runner), Harrison Ford, ChatGPT, OpenAI, Deep Research, Operator, Amazon, Sweetwater, Vodafone, Web Unlocker, Web Scraper, Model Context Protocol (MCP), Claude Desktop, Glassdoor, Cloudflare Turnstile

## Video description Ariel Shulman, Chief Product Officer, Bright Data

Abstracts

Your AI agents are only as intelligent as their data allows them to be. Explore how innovative organizations equip autonomous AI agents with real-time web capabilities, transcending traditional search engine limitations. In this session, you'll discover how to integrate advanced search techniques, intelligent crawling, sophisticated navigation, LLMs, social media, news and web archives. Learn to build AI agents that deliver accurate, timely, and contextually nuanced results - all while upholding rigorous ethical standards.

[Source](https://www.youtube.com/watch?v=7XsvnR8R2jE)

中文简报

胜诉Meta后,Bright Data发布免费AI Agent代理工具 反爬虫防御系统在大规模场景下会系统性拦截自主AI Agent,需要专用代理与解锁中间件以维持实时公开网络访问。 Ariel Shulman探讨了AI Agent在访问公开网页数据时面临的法律与技术障碍,指出Agent实质上是人类意图的代理执行者,却普遍遭到反爬虫保护机制的拦截。他概述了Bright Data如何通过与Meta和X等科技巨头进行具有里程碑意义的法律诉讼,以捍卫公开网络数据抓取的合法权利。演讲详细介绍了Bright Data的基础设施,包括其拥有超1亿IP的代理网络、Web Unlocker、动态验证码(CAPTCHA)绕过技术,以及将原始HTML转换为节省Token的结构化数据的自动化网页抓取工具。最后,Shulman使用Claude Desktop与Bright Data的模型上下文协议(MCP)服务器进行了实时对比演示,并宣布推出免费层级,方便开发者将Agent直接接入实时网络能力。 Bright Data 在与 Meta 和 X 的关键联邦诉讼中接连胜诉,确立了抓取公开网络数据的合法权利,目前每日向数据归档摄取超过 2.5 PB 数据以支持前沿 AI 系统。 (0:04) AI Agent 本质上是人类意图的执行代理,但开放网络的反爬虫与安全验证系统普遍将其判定为未授权 Bot,导致其在进入生产流量规模后频繁遭遇拦截。 (0:29) 依托拥有逾 1 亿节点的全球代理网络与 Web Unlocker 技术,Bright Data 能够精确模拟本地请求并自动化解验证码阻拦,同时将网页转换为结构化数据以节省 LLM Token 消耗。 (8:55) Bright Data 宣布推出面向开发者的 Web MCP Server 并提供每月 5,000 次免费请求,可直接通过 Model Context Protocol 为 AI Agent 赋予网页搜索、解锁、抓取及交互能力。 (14:09)

精炼阅读摘要

Bright Data首席产品官Ariel Shulman提出,AI智能体(Agent)作为人类意图的执行代理,在访问公开网络时普遍遭遇反爬虫机制的大规模阻断;该公司正通过法律抗辩与中间件技术体系,帮助智能体突破封锁并实时获取公开网络数据。 公开网络数据权的法律确立与AI基建 (0:04) Ariel Shulman指出,Bright Data在过去十年间从20人团队发展为拥有400名员工的企业,核心业务建立在对公开网络数据(即无需用户名或密码即可访问的互联网内容)的获取之上。针对科技巨头设立的抓取限制,Bright Data投入数百万美元进行法律诉讼,在加州联邦法院赢得了对Meta的诉讼裁决,并在与马斯克旗下X平台的诉讼中胜诉,确立了合法收集公开网络数据的司法先例。Shulman同时披露,Meta此前曾作为其商业客户利用该网络抓取其他平台数据。 Shulman强调技术创新通常先于现行法律框架,因此这些裁决对整体AI行业至关重要。目前Bright Data的归档系统每日摄取超过2.5 PB的数据,为现代AI系统生成合成语音、音乐和图像提供数以百万计的视频、音频与图像URL资源支持。 智能体的身份困境与规模化瓶颈 (0:29) Shulman以科幻电影《银翼杀手》作比,探讨AI智能体应被视作恶意机器人(Bot)还是人类意志的延伸。他主张智能体代表人类意图并严格执行具体指令,实质是人类在数字世界的代理人。然而,现有的公开网络防护体系普遍将智能体发起的自动化请求判定为未授权Bot并予以拦截。在现场演示中,集成Deep Research与Operator能力的ChatGPT智能体在尝试为贝斯乐手查询耳机价格时,接连被Amazon和乐器电商Sweetwater的反爬虫防御完全阻断。 Shulman进一步指出,智能体抓取存在反向的规模化瓶颈:在开发初期或小规模MVP内部测试阶段,系统几乎不会触发封控;但一旦推向生产环境并承载真实流量,反Bot系统便会高频触发,破坏既有工作流。这种结构性阻碍不仅波及面向消费者的工具,同样影响需要抓取外部公开数据(例如技术员排程需要获取实时天气信息)的企业内部智能体。 地理代理网络与验证码绕过技术 (6:13) 为确保智能体稳定交互,网络请求必须具备准确的地理定位与拟人化特征。例如纽约与阿姆斯特丹的用户让智能体订购披萨时,若请求源自错配的云服务商IP,目标网站将返回无关的本地结果或直接阻断连接。Bright Data依托涵盖全球超1亿个住宅与商业IP的代理池,支持精准路由至指定国家、城市乃至邮政编码级别。 针对动态指纹追踪与防范拒绝服务(DoS)的速率限制,Bright Data的Web Unlocker架构通过实时测量站点延迟、调控请求速率、动态管理HTTP标头和伪装浏览器环境,绕过CAPTCHA挑战与错误拦截页面(如Amazon的阻止页面),向客户端返回干净的HTML或Markdown源码。 MCP集成与低Token消耗数据解析 (11:02) 为避免原始网页高达1兆字节的未精简代码过度占用大语言模型的上下文窗口与Token额度,Bright Data的Web Scrapers将目标页面直接解析为包含30余项结构化字段的JSON或CSV格式,以降低下游模型的Token消耗并提升响应准确性。 在架构对接方面,Bright Data引入模型上下文协议(MCP)作为连接智能体与底层采集设施的抽象层,自动化接管代理调度、验证码破解、Cookie与渲染管理以及点击选择框、填写表单等页面交互操作。在现场对比测试中,未配置该协议的Claude Desktop在访问Glassdoor旧金山软件工程师薪资时被Cloudflare Turnstile直接拦截,而挂载Bright Data MCP服务器的实例则顺利穿透验证并提取出完整Markdown薪资数据。Bright Data同时发布了每月提供5000次免费调用的Web MCP Server,提供搜索、爬取与交互工具支持。 Shulman指出,当前“智能体网络”(Agentic Web)的根本症结在于让新兴自动化智能体去适配专为人类浏览器设计的既有网络环境;Bright Data试图通过API中间层弥补这一代沟。然而,面对日益严苛的商业反爬机制与动态对抗策略,第三方代理访问体系在更大业务规模下的长期稳定性与合规博弈仍是行业面临的持续课题。

Detailed notes — zh

## Background 本视频由 Ai4 于 2025 年 8 月 26 日发布在 YouTube 平台,记录了 Bright Data 首席产品官 Ariel Shulman 的主题演讲。演讲聚焦于如何为自主 AI Agent 赋予实时网络发现与深度交互能力,帮助开发者突破传统搜索引擎限制并获取精准、及时的结构化公开数据。 ## TL;DR 演讲指出 AI Agent 虽承载人类意图,但在访问电商、职场等真实网站时极易遭遇反爬机制和验证码拦截,导致生产环境崩溃。Bright Data 结合其在 Meta 和 X 诉讼中捍卫公开数据访问权的法律判例,推出了基于 1 亿+ 全球代理、Web Unlocker 验证码主动规避以及结构化解析的解决方案。现场通过 Claude Desktop 接入 Bright Data MCP 的实机演示,证明了其攻克 Cloudflare Turnstile 拦截与执行动态交互的能力,并正式发布了每月提供 5,000 次免费请求的 Web MCP Server。 ## Atmosphere & style 演讲以《银翼杀手》中复制人命运的哲学隐喻破题,迅速调动起全场对人机边界与数据博弈的思考。随后画风切换至极具说服力的工程实战,通过现场双屏录屏直观呈现‘原生报错’与‘MCP 解锁’的鲜明反差,整体节奏紧凑、观点犀利,兼具前瞻思辨与硬核技术底气。 ## Key takeaways - [00:04](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=4s) Bright Data 专注于公开网络数据(Public Web Data)访问权,并在与 Meta、X 等科技巨头的法律诉讼中接连胜诉,确立了抓取公开网络数据的合法判例。 - [00:04](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=4s) Bright Data 每天为数据归档新增多达 2.5 PB 的公开多模态数据,为各大科技公司的多模态 AI 模型训练提供底层数据支持。 - [02:29](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=149s) AI Agent 本质上承载着人类意志,但在现实网络交互中常被当作恶意 Bot,频繁遭遇各类网站反爬防护的拦截与封锁。 - [02:29](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=149s) 网络访问存在“规模效应临界点”:在开发或小规模测试阶段正常的 Agent,一旦推向生产环境并发调用,反爬阻断率会呈指数级爆发。 - [06:13](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=373s) 稳定网络交互的第一核心是地理定位:依托全球超 1 亿 IP 代理池,支持精准至邮政编码级别的调度,确保获取本地化真实数据。 - [06:13](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=373s) Web Unlocker 的核心策略是主动规避验证码,利用指纹伪装、自适应降速与底层协议拟人化,在源头避免触发 CAPTCHA 拦截。 - [06:13](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=373s) 相比直接抓取大体积 HTML,将网页解析为精简 Markdown 或结构化 JSON/CSV 能大幅节约 Agent 的 Token 消耗并提高推理效率。 - [11:02](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=662s) 通过接入 MCP(模型上下文协议),AI Agent 能够实现复杂页面的动态渲染交互,包括自动模拟点击、输入表单与底层解密绕过。 - [11:02](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=662s) 实测对比显示,原生 Claude Desktop 访问 Glassdoor 会被 Cloudflare Turnstile 阻断,而挂载 Bright Data MCP 则能顺利完成绕过并生成分析报告。 - [14:09](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=849s) 现代互联网形成了“Agent 化互联网”与“传统万维网”的断层,Bright Data 旨在通过抓取、搜索与爬取端点充当两者的衔接桥梁。 - [14:09](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=849s) Bright Data 推出免费版 Web MCP Server,为开发者提供每月 5,000 次免费请求额度,支持搜索引擎聚合、页面解锁与整站爬取功能。 ## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=4s) 公开网络数据之争与 Bright Data 的法律战役 演讲者 Ariel Shulman(Bright Data 首席产品官)开场时表示,本次演讲会稍微偏向宏观,甚至带有一点“哲学思考”。他首先向现场观众提问,有多少人了解过去一年媒体上关于 Perplexity 与 Cloudflare 之间的争端。Cloudflare 致力于保护网站免受恶意 Bot 攻击,而 Perplexity 则致力于抓取信息,两者在媒体上爆发了激烈的交锋。Shulman 指出,Bright Data 正好处于这场博弈的风暴中心。 Bright Data 是全球领先的公开网络数据(Public Web Data)平台,也是全球规模最大的网页抓取服务商。Shulman 提到自己已在公司工作超过 10 年,见证了它从 20 人的初创团队成长为约 400 人的成熟企业。在这一过程中,Bright Data 始终站在争取“公开网络数据自由访问权”的最前沿——所谓的公开数据,是指互联网上无需账号密码、任何人均可访问的内容。为了捍卫这一原则,Bright Data 曾遭遇巨头的法律围剿: - **Meta / Mark Zuckerberg 诉讼案**:讽刺的是,Facebook 本身就是 Bright Data 的客户(用于抓取其他平台数据),却认为外界不该抓取 Meta 的网站。加州联邦法院最终裁定 Bright Data 胜诉。 - **X (Twitter) / Elon Musk 诉讼案**:Twitter 同样试图阻止抓取公开数据,Bright Data 再次赢得了诉讼。 Shulman 强调,公司在这些诉讼中投入了数百万美元,因为技术的发展往往超前于法律法规,这些胜诉为整个公开网络数据行业确立了至关重要的法律判例。目前,Bright Data 每天为数据归档新增多达 2.5 PB 的公开数据(涵盖商品价格、用户评论、音频、视频及图片等海量 URL),为各大科技公司训练图像生成、音乐生成和语音克隆等 AI 模型提供源动力。 ```mermaid flowchart TD accTitle: Public Web Data Access Flow subgraph DataSources["公开网络数据源"] A["电商价格 / 评价"] B["社交媒体公开动态"] C["新闻 / 音视频资源"] end subgraph BrightDataEngine["Bright Data 基础设施与合规层"] D["全球代理网络 (1亿+ IP)"] E["法律与合规防线 (胜诉判例背书)"] F["Web Unlocker & 解析引擎"] end subgraph AIApplications["下游 AI 应用生态"] G["LLM 预训练与多模态生成"] H["AI Agents 实时网络搜索"] end DataSources --> BrightDataEngine BrightDataEngine --> AIApplications ``` --- ### [02:29](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=149s) AI Agent 到底是人还是机器?来自《银翼杀手》的哲学拷问 Shulman 抛出了一个引人深思的核心议题:**AI Agent 究竟是机器还是人?** 他引用了经典科幻电影《银翼杀手》(*Blade Runner*)中哈里森·福特(Harrison Ford)奉命追杀那些渴望延长寿命的复制人(Bot)的桥段,提出他的观点:从某种意义上说,AI Agent 就是人类,因为它们是在承载人类的意志、执行人类交付的任务。 然而,现今的互联网基础设施并不把 AI Agent 当人看——它们在访问网站时频繁遭到封锁。Shulman 现场展示了一个在 Mac 上录制的真实案例,测试对象为结合了 Deep Research 与 Operator 能力的 ChatGPT Agent(OpenAI 刚发布不久的功能)。当 Shulman 发送指令让 Agent 调研“适合贝斯手的高品质耳机”时,Agent 尝试访问电商平台: - 首先打开 Amazon 获取报价,页面瞬间提示被拦截(Blocked); - Agent 随后转向乐器垂直电商 Sweetwater(乐器界的 Amazon),结果同样遭到无情阻拦。 这种在开发测试阶段看似偶发的封锁,一旦推向生产环境就会呈指数级放大。Shulman 借用量子力学做了生动的比喻:量子力学中物体微缩到极致时物理定律会崩溃,而网络访问则恰恰相反——在办公室小规模做 MVP、几个同事内部测试时一切正常;但只要业务规模跨过某个阈值进入量产,网络反爬机制就会全面爆发,让系统彻底陷入瘫痪。无论是面向公众的 C 端 Agent,还是仅需查询外部天气以规划外勤日程的企业内部 Agent,都会在极小规模的外部访问中迅速撞墙。 --- ### [06:13](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=373s) 攻克网络封锁的关键:地理定位、智能绕过与数据结构化 为了让 AI Agent 能够稳定、可靠地与外部网络交互,Shulman 拆解了三大技术关键点: 1. **精准控制地理位置(IP 代理)**: 如果开发一个用自然语言订披萨的 Agent,纽约的用户和阿姆斯特丹的用户必须获得截然不同的推荐结果。网站对访问者的 IP 地址极为敏感,错误的地理位置会导致异常数据或直接触发封禁。Bright Data 依托覆盖全球的 1 亿多个 IP 代理网络,支持开发者按国家、省州、城市乃至邮政编码(ZIP code)进行精细调度(如现场展示的荷兰北荷兰省 Vodafone 代理请求)。 2. **主动规避而非硬解验证码(Web Unlocker)**: 验证码防护正变得越来越严密。最佳的解决策略不是等验证码跳出来再去破解,而是通过多类型代理轮换、指纹伪装、自定义 Header 以及自适应退避降速等低层协议技术,让目标网站判定请求来自合法的正常人类,从而根本不触发验证码(CAPTCHA)。Bright Data 的 **Web Unlocker** 将这一切封装在底层:开发者只需输入目标 URL,底层自动完成重试与解封,确保 100% 吐出可用的 HTML 或 Markdown。 3. **数据解析与结构化提取(Web Scraper)**: 对于 Agent 而言,直接塞入动辄 1 MB 的原始 HTML 页面不仅浪费宝贵的上下文 Token,还会降低模型推理质量。通过预置的爬虫解析器,传入 Amazon 商品链接后,系统能直接返回包含 30 多个字段的清晰 CSV 或 JSON 结构化表格,大幅缩减 Token 消耗并提升 Agent 执行效率。 ```mermaid flowchart LR accTitle: AI Agent Web Access Architecture subgraph AgentLayer["Agent 端"] Req["Agent 发起 URL 请求"] MCP["Bright Data MCP Server"] end subgraph CoreEngine["底层处理引擎 (Web Unlocker)"] Geo["Geo/IP 智能调度"] FP["指纹伪装 / 头部管理"] Render["浏览器渲染 & 模拟交互 (点击/输入)"] AntiBlock["自适应降速 / 验证码绕过"] end subgraph OutputLayer["交付终端"] Parsed["结构化数据 (JSON/CSV)"] CleanMD["精简 Markdown"] end Req --> MCP MCP --> Geo Geo --> FP --> AntiBlock --> Render Render --> Parsed & CleanMD Parsed & CleanMD --> Req ``` --- ### [11:02](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=662s) 实机对比演示:Claude Desktop 接入 MCP 后的质变 谈及 AI Agent 的落地标准,模型上下文协议(Model Context Protocol, MCP)已成为全行业不可忽视的基础协议。Shulman 解释了通过 Bright Data MCP 连接网站的完整技术流转: - Agent 经由 MCP 发起请求; - 服务端自动匹配最优地理位置、配置专属 Cookie 与 Header、自动规避或化解验证码,遇到拦截自动在底层执行 IP 轮换重试; - **动态交互支持**:针对需要渲染的复杂页面,系统可模拟真人进行网页点击(例如选购服装时切换尺码按钮)或在输入框填入文本,最终提取数据并结构化输出。 为了直观证明差异,Shulman 现场进行了双屏实机对比测试(使用 Claude Desktop): - **左侧(原生 Web 搜索)**:让 Claude Desktop 直接使用内置网页工具访问 Glassdoor 上关于“旧金山软件工程师薪资”的页面。结果屏幕立刻报错,底层被 Cloudflare Turnstile 验证码完全阻拦,任务失败。 - **右侧(挂载 Bright Data MCP)**:执行相同请求,虽然因底层经历了解密、绕过与渲染而耗时略长,但 MCP 成功获取页面并将清洗后的 Markdown 提供给 Claude,后者顺畅地为用户生成了详尽的薪资分析报告。 | 对比维度 | Claude Desktop 原生网络访问 | Claude Desktop + Bright Data MCP | |:--- |:--- |:--- | | **反爬对抗** | 遭遇 Cloudflare Turnstile 立即被阻断 | 自动完成底层绕过与验证码规避 | | **交互能力** | 仅限静态页面基础抓取 | 支持动态渲染、按钮点击与表单输入 | | **数据交付** | 易因格式冗余或失败导致空回复 | 交付低 Token 消耗的 Markdown / 结构化 JSON | | **运行稳定性** | 极易在生产环境出现偶发性中断 | 具备自动重试与代理池容灾保障 | --- ### [14:09](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=849s) 免费发布 Web MCP Server 与行业展望 Shulman 总结道,当下的互联网正处于分裂状态:上层是由 AI 驱动的“Agent 化互联网”(Agentic Web),而下层则是专为人类浏览器设计的传统“万维网”(World Wide Web)。两者的交互天然存在摩擦与封锁,而 Bright Data 的使命就是充当两者之间的无缝桥梁,通过提供抓取(scrape)、搜索(search)、深度爬取(crawl)等端点,保障 Agent 对旧网数据的顺畅访问。 在演讲尾声,Shulman 正式宣布推出**免费版 Web MCP Server**: - **核心功能**:支持多搜索引擎聚合搜索、利用 Unlocker 解锁任意受阻页面、整站爬取、提取结构化数据(非单纯 HTML/Markdown),以及驱动 Claude 针对网页进行复杂的动态交互点击。 - **生态集成与额度**:该能力已深度预集成至主流 Agent 开发工具中,免费版每月提供 **5,000 次请求额度**,超出后支持灵活的按量付费(Pay-as-you-go)。 最后,Shulman 热情邀请参会者前往展览区 2011 号展位参加 MCP Server 的发布庆祝派对,与团队进一步交流技术细节。 ## Notable quotes > [02:29](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=149s) 从某种意义上说,AI Agent 就是人类,因为它们是在承载人类的意志、执行人类交付的任务。 — Ariel Shulman > [02:29](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=149s) 量子力学中物体微缩到极致时物理定律会崩溃,而网络访问则恰恰相反——在办公室小规模做 MVP、几个同事内部测试时一切正常;但只要业务规模跨过某个阈值进入量产,网络反爬机制就会全面爆发,让系统彻底陷入瘫痪。 — Ariel Shulman > [00:04](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=4s) 所谓的公开数据,是指互联网上无需账号密码、任何人均可访问的内容。 — Ariel Shulman > [00:04](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=4s) 技术的发展往往超前于法律法规,这些胜诉为整个公开网络数据行业确立了至关重要的法律判例。 — Ariel Shulman > [06:13](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=373s) 最佳的解决策略不是等验证码跳出来再去破解,而是通过多类型代理轮换、指纹伪装、自定义 Header 以及自适应退避降速等低层协议技术,让目标网站判定请求来自合法的正常人类,从而根本不触发验证码(CAPTCHA)。 — Ariel Shulman > [06:13](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=373s) 直接塞入动辄 1 MB 的原始 HTML 页面不仅浪费宝贵的上下文 Token,还会降低模型推理质量。 — Ariel Shulman > [14:09](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=849s) 当下的互联网正处于分裂状态:上层是由 AI 驱动的“Agent 化互联网”(Agentic Web),而下层则是专为人类浏览器设计的传统“万维网”(World Wide Web)。 — Ariel Shulman > [14:09](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=849s) Bright Data 的使命就是充当两者之间的无缝桥梁,通过提供抓取(scrape)、搜索(search)、深度爬取(crawl)等端点,保障 Agent 对旧网数据的顺畅访问。 — Ariel Shulman ## Mentioned Ariel Shulman, Bright Data, Cloudflare, Perplexity, Meta, Mark Zuckerberg, X (Twitter), Elon Musk, 《银翼杀手》(Blade Runner), Harrison Ford, ChatGPT, OpenAI, Deep Research, Operator, Amazon, Sweetwater, Vodafone, Web Unlocker, Web Scraper, Model Context Protocol (MCP), Claude Desktop, Glassdoor, Cloudflare Turnstile ## Video description Ariel Shulman, Chief Product Officer, Bright Data Abstracts Your AI agents are only as intelligent as their data allows them to be. Explore how innovative organizations equip autonomous AI agents with real-time web capabilities, transcending traditional search engine limitations. In this session, you'll discover how to integrate advanced search techniques, intelligent crawling, sophisticated navigation, LLMs, social media, news and web archives. Learn to build AI agents that deliver accurate, timely, and contextually nuanced results - all while upholding rigorous ethical standards. [Source](https://www.youtube.com/watch?v=7XsvnR8R2jE)

Source quotes

[2:29] Ariel Shulman: 从某种意义上说,AI Agent 就是人类,因为它们是在承载人类的意志、执行人类交付的任务。 [2:29] Ariel Shulman: 量子力学中物体微缩到极致时物理定律会崩溃,而网络访问则恰恰相反——在办公室小规模做 MVP、几个同事内部测试时一切正常;但只要业务规模跨过某个阈值进入量产,网络反爬机制就会全面爆发,让系统彻底陷入瘫痪。 [0:04] Ariel Shulman: 所谓的公开数据,是指互联网上无需账号密码、任何人均可访问的内容。 [0:04] Ariel Shulman: 技术的发展往往超前于法律法规,这些胜诉为整个公开网络数据行业确立了至关重要的法律判例。 [6:13] Ariel Shulman: 最佳的解决策略不是等验证码跳出来再去破解,而是通过多类型代理轮换、指纹伪装、自定义 Header 以及自适应退避降速等低层协议技术,让目标网站判定请求来自合法的正常人类,从而根本不触发验证码(CAPTCHA)。 [6:13] Ariel Shulman: 直接塞入动辄 1 MB 的原始 HTML 页面不仅浪费宝贵的上下文 Token,还会降低模型推理质量。 [14:09] Ariel Shulman: 当下的互联网正处于分裂状态:上层是由 AI 驱动的“Agent 化互联网”(Agentic Web),而下层则是专为人类浏览器设计的传统“万维网”(World Wide Web)。 [14:09] Ariel Shulman: Bright Data 的使命就是充当两者之间的无缝桥梁,通过提供抓取(scrape)、搜索(search)、深度爬取(crawl)等端点,保障 Agent 对旧网数据的顺畅访问。