Ai4
传统网站反爬机制正导致AI智能体在量产环境中陷入瘫痪,必须依托底层代理与动态解封协议重构公开数据的访问基础设施。
AI-assisted summary of Beyond Google: Enabling AI Agents to Discover the Web in Real-time With Bright Data — original source. Check the original for full context.
Source published:
Detailed notes
## Background 本视频由 Ai4 于 2025 年 8 月 26 日发布在 YouTube 平台,记录了 Bright Data 首席产品官 Ariel Shulman 的主题演讲。演讲聚焦于如何为自主 AI Agent 赋予实时网络发现与深度交互能力,帮助开发者突破传统搜索引擎限制并获取精准、及时的结构化公开数据。
## TL;DR 演讲指出 AI Agent 虽承载人类意图,但在访问电商、职场等真实网站时极易遭遇反爬机制和验证码拦截,导致生产环境崩溃。Bright Data 结合其在 Meta 和 X 诉讼中捍卫公开数据访问权的法律判例,推出了基于 1 亿+ 全球代理、Web Unlocker 验证码主动规避以及结构化解析的解决方案。现场通过 Claude Desktop 接入 Bright Data MCP 的实机演示,证明了其攻克 Cloudflare Turnstile 拦截与执行动态交互的能力,并正式发布了每月提供 5,000 次免费请求的 Web MCP Server。
## Atmosphere & style 演讲以《银翼杀手》中复制人命运的哲学隐喻破题,迅速调动起全场对人机边界与数据博弈的思考。随后画风切换至极具说服力的工程实战,通过现场双屏录屏直观呈现‘原生报错’与‘MCP 解锁’的鲜明反差,整体节奏紧凑、观点犀利,兼具前瞻思辨与硬核技术底气。
## Key takeaways - [00:04](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=4s) Bright Data 专注于公开网络数据(Public Web Data)访问权,并在与 Meta、X 等科技巨头的法律诉讼中接连胜诉,确立了抓取公开网络数据的合法判例。 - [00:04](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=4s) Bright Data 每天为数据归档新增多达 2.5 PB 的公开多模态数据,为各大科技公司的多模态 AI 模型训练提供底层数据支持。 - [02:29](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=149s) AI Agent 本质上承载着人类意志,但在现实网络交互中常被当作恶意 Bot,频繁遭遇各类网站反爬防护的拦截与封锁。 - [02:29](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=149s) 网络访问存在“规模效应临界点”:在开发或小规模测试阶段正常的 Agent,一旦推向生产环境并发调用,反爬阻断率会呈指数级爆发。 - [06:13](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=373s) 稳定网络交互的第一核心是地理定位:依托全球超 1 亿 IP 代理池,支持精准至邮政编码级别的调度,确保获取本地化真实数据。 - [06:13](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=373s) Web Unlocker 的核心策略是主动规避验证码,利用指纹伪装、自适应降速与底层协议拟人化,在源头避免触发 CAPTCHA 拦截。 - [06:13](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=373s) 相比直接抓取大体积 HTML,将网页解析为精简 Markdown 或结构化 JSON/CSV 能大幅节约 Agent 的 Token 消耗并提高推理效率。 - [11:02](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=662s) 通过接入 MCP(模型上下文协议),AI Agent 能够实现复杂页面的动态渲染交互,包括自动模拟点击、输入表单与底层解密绕过。 - [11:02](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=662s) 实测对比显示,原生 Claude Desktop 访问 Glassdoor 会被 Cloudflare Turnstile 阻断,而挂载 Bright Data MCP 则能顺利完成绕过并生成分析报告。 - [14:09](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=849s) 现代互联网形成了“Agent 化互联网”与“传统万维网”的断层,Bright Data 旨在通过抓取、搜索与爬取端点充当两者的衔接桥梁。 - [14:09](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=849s) Bright Data 推出免费版 Web MCP Server,为开发者提供每月 5,000 次免费请求额度,支持搜索引擎聚合、页面解锁与整站爬取功能。
## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=4s) 公开网络数据之争与 Bright Data 的法律战役
演讲者 Ariel Shulman(Bright Data 首席产品官)开场时表示,本次演讲会稍微偏向宏观,甚至带有一点“哲学思考”。他首先向现场观众提问,有多少人了解过去一年媒体上关于 Perplexity 与 Cloudflare 之间的争端。Cloudflare 致力于保护网站免受恶意 Bot 攻击,而 Perplexity 则致力于抓取信息,两者在媒体上爆发了激烈的交锋。Shulman 指出,Bright Data 正好处于这场博弈的风暴中心。
Bright Data 是全球领先的公开网络数据(Public Web Data)平台,也是全球规模最大的网页抓取服务商。Shulman 提到自己已在公司工作超过 10 年,见证了它从 20 人的初创团队成长为约 400 人的成熟企业。在这一过程中,Bright Data 始终站在争取“公开网络数据自由访问权”的最前沿——所谓的公开数据,是指互联网上无需账号密码、任何人均可访问的内容。为了捍卫这一原则,Bright Data 曾遭遇巨头的法律围剿: - **Meta / Mark Zuckerberg 诉讼案**:讽刺的是,Facebook 本身就是 Bright Data 的客户(用于抓取其他平台数据),却认为外界不该抓取 Meta 的网站。加州联邦法院最终裁定 Bright Data 胜诉。 - **X (Twitter) / Elon Musk 诉讼案**:Twitter 同样试图阻止抓取公开数据,Bright Data 再次赢得了诉讼。
Shulman 强调,公司在这些诉讼中投入了数百万美元,因为技术的发展往往超前于法律法规,这些胜诉为整个公开网络数据行业确立了至关重要的法律判例。目前,Bright Data 每天为数据归档新增多达 2.5 PB 的公开数据(涵盖商品价格、用户评论、音频、视频及图片等海量 URL),为各大科技公司训练图像生成、音乐生成和语音克隆等 AI 模型提供源动力。
```mermaid flowchart TD accTitle: Public Web Data Access Flow subgraph DataSources["公开网络数据源"] A["电商价格 / 评价"] B["社交媒体公开动态"] C["新闻 / 音视频资源"] end
subgraph BrightDataEngine["Bright Data 基础设施与合规层"] D["全球代理网络 (1亿+ IP)"] E["法律与合规防线 (胜诉判例背书)"] F["Web Unlocker & 解析引擎"] end
subgraph AIApplications["下游 AI 应用生态"] G["LLM 预训练与多模态生成"] H["AI Agents 实时网络搜索"] end
DataSources --> BrightDataEngine BrightDataEngine --> AIApplications ```
---
[02:29](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=149s) AI Agent 到底是人还是机器?来自《银翼杀手》的哲学拷问
Shulman 抛出了一个引人深思的核心议题:**AI Agent 究竟是机器还是人?** 他引用了经典科幻电影《银翼杀手》(*Blade Runner*)中哈里森·福特(Harrison Ford)奉命追杀那些渴望延长寿命的复制人(Bot)的桥段,提出他的观点:从某种意义上说,AI Agent 就是人类,因为它们是在承载人类的意志、执行人类交付的任务。
然而,现今的互联网基础设施并不把 AI Agent 当人看——它们在访问网站时频繁遭到封锁。Shulman 现场展示了一个在 Mac 上录制的真实案例,测试对象为结合了 Deep Research 与 Operator 能力的 ChatGPT Agent(OpenAI 刚发布不久的功能)。当 Shulman 发送指令让 Agent 调研“适合贝斯手的高品质耳机”时,Agent 尝试访问电商平台: - 首先打开 Amazon 获取报价,页面瞬间提示被拦截(Blocked); - Agent 随后转向乐器垂直电商 Sweetwater(乐器界的 Amazon),结果同样遭到无情阻拦。
这种在开发测试阶段看似偶发的封锁,一旦推向生产环境就会呈指数级放大。Shulman 借用量子力学做了生动的比喻:量子力学中物体微缩到极致时物理定律会崩溃,而网络访问则恰恰相反——在办公室小规模做 MVP、几个同事内部测试时一切正常;但只要业务规模跨过某个阈值进入量产,网络反爬机制就会全面爆发,让系统彻底陷入瘫痪。无论是面向公众的 C 端 Agent,还是仅需查询外部天气以规划外勤日程的企业内部 Agent,都会在极小规模的外部访问中迅速撞墙。
---
[06:13](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=373s) 攻克网络封锁的关键:地理定位、智能绕过与数据结构化
为了让 AI Agent 能够稳定、可靠地与外部网络交互,Shulman 拆解了三大技术关键点:
1. **精准控制地理位置(IP 代理)**: 如果开发一个用自然语言订披萨的 Agent,纽约的用户和阿姆斯特丹的用户必须获得截然不同的推荐结果。网站对访问者的 IP 地址极为敏感,错误的地理位置会导致异常数据或直接触发封禁。Bright Data 依托覆盖全球的 1 亿多个 IP 代理网络,支持开发者按国家、省州、城市乃至邮政编码(ZIP code)进行精细调度(如现场展示的荷兰北荷兰省 Vodafone 代理请求)。
2. **主动规避而非硬解验证码(Web Unlocker)**: 验证码防护正变得越来越严密。最佳的解决策略不是等验证码跳出来再去破解,而是通过多类型代理轮换、指纹伪装、自定义 Header 以及自适应退避降速等低层协议技术,让目标网站判定请求来自合法的正常人类,从而根本不触发验证码(CAPTCHA)。Bright Data 的 **Web Unlocker** 将这一切封装在底层:开发者只需输入目标 URL,底层自动完成重试与解封,确保 100% 吐出可用的 HTML 或 Markdown。
3. **数据解析与结构化提取(Web Scraper)**: 对于 Agent 而言,直接塞入动辄 1 MB 的原始 HTML 页面不仅浪费宝贵的上下文 Token,还会降低模型推理质量。通过预置的爬虫解析器,传入 Amazon 商品链接后,系统能直接返回包含 30 多个字段的清晰 CSV 或 JSON 结构化表格,大幅缩减 Token 消耗并提升 Agent 执行效率。
```mermaid flowchart LR accTitle: AI Agent Web Access Architecture subgraph AgentLayer["Agent 端"] Req["Agent 发起 URL 请求"] MCP["Bright Data MCP Server"] end
subgraph CoreEngine["底层处理引擎 (Web Unlocker)"] Geo["Geo/IP 智能调度"] FP["指纹伪装 / 头部管理"] Render["浏览器渲染 & 模拟交互 (点击/输入)"] AntiBlock["自适应降速 / 验证码绕过"] end
subgraph OutputLayer["交付终端"] Parsed["结构化数据 (JSON/CSV)"] CleanMD["精简 Markdown"] end
Req --> MCP MCP --> Geo Geo --> FP --> AntiBlock --> Render Render --> Parsed & CleanMD Parsed & CleanMD --> Req ```
---
[11:02](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=662s) 实机对比演示:Claude Desktop 接入 MCP 后的质变
谈及 AI Agent 的落地标准,模型上下文协议(Model Context Protocol, MCP)已成为全行业不可忽视的基础协议。Shulman 解释了通过 Bright Data MCP 连接网站的完整技术流转: - Agent 经由 MCP 发起请求; - 服务端自动匹配最优地理位置、配置专属 Cookie 与 Header、自动规避或化解验证码,遇到拦截自动在底层执行 IP 轮换重试; - **动态交互支持**:针对需要渲染的复杂页面,系统可模拟真人进行网页点击(例如选购服装时切换尺码按钮)或在输入框填入文本,最终提取数据并结构化输出。
为了直观证明差异,Shulman 现场进行了双屏实机对比测试(使用 Claude Desktop): - **左侧(原生 Web 搜索)**:让 Claude Desktop 直接使用内置网页工具访问 Glassdoor 上关于“旧金山软件工程师薪资”的页面。结果屏幕立刻报错,底层被 Cloudflare Turnstile 验证码完全阻拦,任务失败。 - **右侧(挂载 Bright Data MCP)**:执行相同请求,虽然因底层经历了解密、绕过与渲染而耗时略长,但 MCP 成功获取页面并将清洗后的 Markdown 提供给 Claude,后者顺畅地为用户生成了详尽的薪资分析报告。
| 对比维度 | Claude Desktop 原生网络访问 | Claude Desktop + Bright Data MCP | |:--- |:--- |:--- | | **反爬对抗** | 遭遇 Cloudflare Turnstile 立即被阻断 | 自动完成底层绕过与验证码规避 | | **交互能力** | 仅限静态页面基础抓取 | 支持动态渲染、按钮点击与表单输入 | | **数据交付** | 易因格式冗余或失败导致空回复 | 交付低 Token 消耗的 Markdown / 结构化 JSON | | **运行稳定性** | 极易在生产环境出现偶发性中断 | 具备自动重试与代理池容灾保障 |
---
[14:09](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=849s) 免费发布 Web MCP Server 与行业展望
Shulman 总结道,当下的互联网正处于分裂状态:上层是由 AI 驱动的“Agent 化互联网”(Agentic Web),而下层则是专为人类浏览器设计的传统“万维网”(World Wide Web)。两者的交互天然存在摩擦与封锁,而 Bright Data 的使命就是充当两者之间的无缝桥梁,通过提供抓取(scrape)、搜索(search)、深度爬取(crawl)等端点,保障 Agent 对旧网数据的顺畅访问。
在演讲尾声,Shulman 正式宣布推出**免费版 Web MCP Server**: - **核心功能**:支持多搜索引擎聚合搜索、利用 Unlocker 解锁任意受阻页面、整站爬取、提取结构化数据(非单纯 HTML/Markdown),以及驱动 Claude 针对网页进行复杂的动态交互点击。 - **生态集成与额度**:该能力已深度预集成至主流 Agent 开发工具中,免费版每月提供 **5,000 次请求额度**,超出后支持灵活的按量付费(Pay-as-you-go)。
最后,Shulman 热情邀请参会者前往展览区 2011 号展位参加 MCP Server 的发布庆祝派对,与团队进一步交流技术细节。
## Notable quotes > [02:29](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=149s) 从某种意义上说,AI Agent 就是人类,因为它们是在承载人类的意志、执行人类交付的任务。 — Ariel Shulman
> [02:29](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=149s) 量子力学中物体微缩到极致时物理定律会崩溃,而网络访问则恰恰相反——在办公室小规模做 MVP、几个同事内部测试时一切正常;但只要业务规模跨过某个阈值进入量产,网络反爬机制就会全面爆发,让系统彻底陷入瘫痪。 — Ariel Shulman
> [00:04](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=4s) 所谓的公开数据,是指互联网上无需账号密码、任何人均可访问的内容。 — Ariel Shulman
> [00:04](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=4s) 技术的发展往往超前于法律法规,这些胜诉为整个公开网络数据行业确立了至关重要的法律判例。 — Ariel Shulman
> [06:13](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=373s) 最佳的解决策略不是等验证码跳出来再去破解,而是通过多类型代理轮换、指纹伪装、自定义 Header 以及自适应退避降速等低层协议技术,让目标网站判定请求来自合法的正常人类,从而根本不触发验证码(CAPTCHA)。 — Ariel Shulman
> [06:13](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=373s) 直接塞入动辄 1 MB 的原始 HTML 页面不仅浪费宝贵的上下文 Token,还会降低模型推理质量。 — Ariel Shulman
> [14:09](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=849s) 当下的互联网正处于分裂状态:上层是由 AI 驱动的“Agent 化互联网”(Agentic Web),而下层则是专为人类浏览器设计的传统“万维网”(World Wide Web)。 — Ariel Shulman
> [14:09](https://www.youtube.com/watch?v=7XsvnR8R2jE&t=849s) Bright Data 的使命就是充当两者之间的无缝桥梁,通过提供抓取(scrape)、搜索(search)、深度爬取(crawl)等端点,保障 Agent 对旧网数据的顺畅访问。 — Ariel Shulman
## Mentioned Ariel Shulman, Bright Data, Cloudflare, Perplexity, Meta, Mark Zuckerberg, X (Twitter), Elon Musk, 《银翼杀手》(Blade Runner), Harrison Ford, ChatGPT, OpenAI, Deep Research, Operator, Amazon, Sweetwater, Vodafone, Web Unlocker, Web Scraper, Model Context Protocol (MCP), Claude Desktop, Glassdoor, Cloudflare Turnstile
## Video description Ariel Shulman, Chief Product Officer, Bright Data
Abstracts
Your AI agents are only as intelligent as their data allows them to be. Explore how innovative organizations equip autonomous AI agents with real-time web capabilities, transcending traditional search engine limitations. In this session, you'll discover how to integrate advanced search techniques, intelligent crawling, sophisticated navigation, LLMs, social media, news and web archives. Learn to build AI agents that deliver accurate, timely, and contextually nuanced results - all while upholding rigorous ethical standards.
[Source](https://www.youtube.com/watch?v=7XsvnR8R2jE)