Ai4
目标网站正从单纯阻断转向主动向爬虫喂送虚假数据,缺乏常识直觉的AI智能体读取错误输入后会引发高速且规模化的决策灾难。
AI-assisted summary of Presentation By Bright Data — original source. Check the original for full context.
Source published:
Detailed notes
## Background 本内容由 YouTube 频道 Ai4 于 2026 年 8 月 18 日发布,主讲人为 Bright Data 首席产品官(CPO)Ariel Shulman。视频主要探讨在 AI 智能体时代,网络反爬机制与虚假数据如何导致 Agent 做出错误决策,并介绍了 Bright Data 如何通过构建实时、可靠的 Web 数据基础设施为 AI 赋能。
## TL;DR 演讲回顾了互联网从早期门户到谷歌数据垄断的演进历程,指出当前 AI 智能体在规模化联网访问时面临着严峻的反爬阻断、时效性衰减以及网站主动投毒(喂送虚假数据)等挑战。Ariel Shulman 详细阐述了 Bright Data 依托全球分布式代理网络、无头浏览器集群以及自底向上的垂直技术栈,为市面上多数前沿大模型提供实时数据支撑。最后,演讲介绍了 AI 驱动的 Scraper Studio 与代码自愈技术,并结合多维交叉验证与负责任采集机制,确保为智能体生态输送真实可信的结构化数据。
## Atmosphere & style 整场演讲风格兼具极客硬核与轻松幽默,讲者语言干练自信且直击技术痛点,从经典的广播剧恶作剧讲到现代网络反爬对抗,叙事生动且富有张力。现场氛围务实而开放,问答环节展现了极高的工程专业度与严谨的伦理思考,穿插的 BattleBots 展位花絮更是为硬核的技术分享增添了趣味与互动感。
## Key takeaways - [00:04](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=4s) 从早年广播剧误导大众到如今 AI 智能体受骗,现代 AI Agent 高度依赖外部网络数据,却面临被虚假与陈旧数据误导的严重困境。 - [02:05](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=125s) 谷歌凭借全方位生态构建了庞大的数据垄断;司法裁决明确表明,竞争对手不能直接依赖谷歌红利,必须自建爬虫与数据提取能力来构建产品。 - [04:48](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=288s) 网络数据抓取存在“量子力学效应”,在本地或低并发下运行顺畅的原型代码,推向生产环境大规模并发时会立刻遭遇 WAF 与反爬机制的全面阻断。 - [04:48](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=288s) AI 智能体访问流量已正式超越人类流量,为人类设计的传统万维网正通过频繁触发 CAPTCHA 验证码和限流反击自动化工具。 - [08:09](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=489s) 目标网站开始主动向机器人“喂送虚假数据”(如虚高价格或伪造售罄),而 AI 智能体缺乏常识直觉,会高速且规模化地将错误结果分发给终端用户。 - [11:41](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=701s) 各类网络数据存在明确的时效性半衰期(如电商价格与社媒动态极速衰减),不具备实时更新能力的应用会因陈旧数据迅速破坏用户体验。 - [14:33](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=873s) Bright Data 拥有超 2 亿代理 IP 与 25 万台在线无头浏览器,每日抓取约 500 亿个 URL,为市面上 75% 的前沿大模型提供联网搜索底层支撑。 - [14:33](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=873s) Bright Data 践行无会议制度、零专职 QA 的极客工程文化,依靠全自动化系统支撑 SaaS 平台实现每日约 100 次的高频线上发布。 - [16:32](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=992s) Bright Data 在针对 Meta 和马斯克旗下公司的诉讼中取得完全胜诉,从法律判例上确立了公开网络数据采集的合法性。 - [20:04](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=1204s) 通过跨国家、IP 和浏览器指纹的多维交叉验证,系统能有效识别局部异常与数据造假,并在采集导致目标网站响应变慢时主动降速以确保合规。 - [21:43](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=1303s) 产品提供从底层网络代理、自动解封(Web Unlocking)到结构化数据交付(API / CSV / JSON)的自底向上全栈垂直整合服务。 - [23:17](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=1397s) 借助 Scraper Studio 对话式 AI 工具与代码自愈(Self-Healing)技术,开发者可零代码快速生成爬虫,并在目标网站前端改版时自动适应而无需手动维护。
## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=4s) 从火星人入侵到 AI 智能体受骗:万维网的演进与信息索引的起源
1938 年,在没有互联网和电视的时代,大众唯一的实时信息渠道是收音机。奥森·威尔斯(Orson Welles)通过一场广播剧让全美民众误以为火星人正在入侵地球,引发了全社会的恐慌。近九十年后的今天,被虚假信息愚弄的对象变成了 AI 智能体(AI Agents)。为了理解智能体现今面临的困境,需要回顾互联网构建的起源。蒂姆·伯纳斯-李(Tim Berners-Lee)一手发明了 URL、HTTP、HTML、首个网页浏览器以及首台 Web 服务器,并在 1993 年将整套技术开源,奠定了现代互联网的基础。
随后自 1994 年起,互联网进入了爆炸式增长与信息索引的早期探索阶段。斯坦福大学的两名学生创立了 Yahoo!,最初依靠纯人工逐个网站审核,整理出包含 23,000 个站点的分类目录。接着出现了 Ask.com(近期已宣布停止运营)以及如今看来界面繁杂得让人尴尬的门户网站(Portal)时代。在那个纳斯达克指数还在 1,940 点(如今已攀升至约 26,000 点)的时代,MSN 成为每台个人电脑开机默认的主页,门户页面塞满了搜索框、资讯模块以及好莱坞影星本·阿弗莱克(Ben Affleck)灿烂的微笑。这些早期尝试虽然简陋,却拉开了人类组织网络信息的序幕。
[02:05](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=125s) 谷歌的数据垄断、反垄断诉讼与开发者面临的挑战
互联网信息组织的真正飞跃来自谷歌。无论是 YouTube、Android、Google 地图还是 Gmail,谷歌构建了极其庞大的数据帝国。它拥有全网索引文本、Google 相册的图像、YouTube 的音视频、电商与 Google 地图的本地商户数据,以及来自 Android 传感器、健康监测乃至 Alphabet 旗下 Waymo 自动驾驶汽车的物理世界数据。谷歌正利用这些海量专有数据训练 Gemini 模型,并发布了名为“Spark”、可代表用户自主执行复杂任务的操作智能体。
这种对信息的高密度垄断引起了监管层面的震动。美国司法部(DOJ)对谷歌发起了反垄断诉讼,2025 年公布的司法裁决认定谷歌拥有过多信息优势。然而判决仅要求谷歌单次共享部分数据,其核心竞争优势(如 PageRank 排序算法等商业机密)依然完全保留。法官在裁决中明确指出:"竞争对手必须自行构建爬虫、抓取网页并提取信息,必须通过自身的投资与创新来与谷歌竞争。" 对于构建产品的开发者而言,脱离了实时互联网访问的应用就像一本静态的书;要让产品具备实用价值,所获取的网络数据必须具备可靠性、高时效性与弹性扩展能力。
- **谷歌数据广度**:涵盖网页文本、多媒体(YouTube/相册)、地理与商户(Google Maps)、移动端行为传感器(Android)与物理世界动态(Waymo)。 - **司法裁决核心影响**:竞争者无法直接继承谷歌的基础设施红利,必须自建网页采集与数据抽取能力。 - **产品核心诉求**:AI 应用必须具备实时联网能力,且要求输入数据保持极高新鲜度与稳定性。
[04:48](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=288s) 规模化访问的量子力学效应与反爬阻断机制
获取网络数据在概念上看似简单,但其底层逻辑存在类似于量子力学的规模化效应:在微观尺度下物理定律会失常,而网络数据抓取则会在大规模并发(生产环境)下彻底失效。很多开发者在本地或针对少数用户进行“氛围编码(vibe coding)”测试时运行顺畅,例如周末快速写出一个抓取希尔顿等各大酒店价格的比价智能体,逻辑与界面看似完美无缺,但一旦推向生产环境就会立刻遭遇大规模封禁与请求崩溃。
```mermaid flowchart TD accTitle: 目标网站区分人类与智能体访问的处理逻辑 subgraph ClientLayer["客户端访问请求"] Human["人类用户访问"] Agent["AI 智能体访问 (大规模并发)"] end
subgraph DefenseLayer["目标网站防御与识别系统"] WAF{"访问特征检测 (WAF / 反爬)"} end
subgraph ResultLayer["网站返回结果"] NormalView["返回真实正常数据\n(如: 门票充足 / 房价 $199)"] DeceptionView["阻断或反制响应\n(CAPTCHA / 限流 / 注入假数据 $399)"] end
Human --> WAF Agent --> WAF WAF -- "判断为人类" --> NormalView WAF -- "判定为自动化机器人" --> DeceptionView ```
科幻电影《银翼杀手》(Blade Runner)曾探讨智能仿生人与人类的界限,如今的互联网正在经历类似的演变。互联网最初完全是为人类设计的,但如今自动化系统与 AI 智能体的访问量已出现爆发式增长。Cloudflare 首席执行官曾公开证实,来自智能体系统的流量已经正式超过了人类流量。人类购买相机通常只会浏览几个页面,而一个代表用户决策的 AI 智能体可能会瞬间并发访问 100 个网站并触发大量操作。面对这种冲击,旧有的“人类互联网”开始全力反击,频繁触发 CAPTCHA 验证码与流量限制(throttling)。虽然这些防御最初是为了抵御黑客批量注册等恶意攻击,但如今却将作为人类延伸工具的正常 AI 智能体阻绝在外。
[08:09](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=489s) 网站开始“说谎”:虚假数据污染与 AI 智能体的高速规模化失败
相比传统的阻断或限流,过去几个月到几年间出现了一种更隐蔽且危险的新趋势——网站开始主动向机器人“喂送虚假数据”(Disinformation)。当目标网站通过行为特征判定访问者并非人类时,它不再直接返回错误码,而是返回排版工整但数值完全错误的垃圾数据,即“互联网学会了说谎”。
* **门票聚合场景**:真实人类访问票务网站(如 tickets.com)能看到余票充足;而比价智能体访问时,网站会伪造“已售罄”的信息,导致聚合平台向用户误报无票。 * **酒店比价场景**:酒店为了鼓励用户直接在其官网预订以节省渠道佣金,人类访问官网能看到 $199 的真实优惠价;而第三方比价智能体抓取时,网站故意返回 $399 的虚高价格,导致用户比对后对比价产品产生信任危机并彻底流失。
这种虚假数据之所以极具破坏性,是因为 AI 智能体与人类的失败机制截然不同。人类员工如果看到离谱的数据会有直觉并停下来核实,但 AI 智能体缺乏这种常识直觉,它只会高速且大规模地犯错("Fail fast and at scale")。智能体在读取到错误的 $399 价格后,可能会在几秒内自动向 5,000 名客户群发降价/调价通知邮件,引发极其严重的“垃圾进,垃圾出”(Garbage In, Garbage Out)连锁灾难。
[11:41](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=701s) 数据腐化与时效性衰减:陈旧数据如何摧毁用户体验
即使抓取到的数据真实无误,如果缺乏持续的实时更新,陈旧的数据(Stale Data)同样会迅速毁掉智能体产品的用户体验。例如,购物比价智能体如果保存着过时数据,向用户展示某款耳机售价为 $29.99,当用户点击跳转到零售商实际页面时发现已涨至 $44.99,或者智能体推荐了一家在 Google 地图上已标记为“暂时歇业”的餐厅,用户到店后面对紧闭的大门,都会对产品产生极大的挫败感。
```mermaid flowchart LR accTitle: 各类网络数据半衰期与时效性衰减速度对比 subgraph FastDecay["极速衰减区 (1 - 2 天内失效)"] Social["社交媒体动态"] Ecom["电商价格与库存"] News["新闻时事资讯"] end subgraph MidDecay["中速衰减区 (5 - 7 天)"] Finance["金融市场信息"] RetailDesc["产品规格与评价"] end subgraph SlowDecay["慢速衰减区 (长周期变化)"] GeneralWeb["通用网页 / 博客文章"] end
FastDecay --> MidDecay --> SlowDecay ```
数据衰减(Data Decay)是客观存在的规律。Bright Data 每日抓取约 500 亿个 URL,这一吞吐量约为谷歌全球公开搜索量的三倍,对应着每分钟处理约 3500 万个 URL,这使得公司能够精确量化不同数据类型的时效性半衰期(Time to Staleness):
- **社交媒体与电商价格/库存**:更新极快,在极短时间内(甚至 1 天内)就会失效并沦为误导信息。 - **新闻资讯**:生命周期通常维持在 1 到 2 天。 - **金融市场信息**:有效周期通常在 5 到 7 天左右。 - **零售产品描述与用户评论**:变动相对平缓,衰减周期较长。 - **通用网络内容(博客等)**:更新频率极低,衰减速度最慢。
[14:33](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=873s) Bright Data 的基础设施底座与极客公司文化
为了解决网络阻断、数据造假及数据老化问题,必须建立专业的 Web 数据基础设施(Web Data Infrastructure)。Bright Data 构建了涵盖全球超过 2 亿个住宅与数据中心 IP 的网络,并且在任意时间点都有超过 250,000 台无头浏览器在线运行,模拟真实人类点击网页组件、输入文本框等交互行为,从而确保目标站点将请求识别为合法的人类操作。
在组织运作上,Bright Data 展现出高度工程驱动的极客文化: - **无会议制度**:全公司约 500 名员工,仅设有一间会议室,且该会议室仅限接待外部供应商,所有内部协作均通过临时自发沟通完成。 - **零 QA 团队**:全公司没有任何专职 QA(测试)人员,测试流程全部由自动化系统接管,团队坚信传统 QA 会大幅拉低研发迭代速度。 - **极高发布频率**:SaaS 平台每天进行约 100 次线上生产代码发布。 - **核心模型支撑**:目前市面上 75% 的前沿大模型与主流 AI 聊天机器人,在执行“正在搜索网络(searching the web...)”指令时,底层均通过 Bright Data 的数据基础设施进行实时检索与内容抓取。
[16:32](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=992s) 法律诉讼胜利与新一代 Agent 基础设施架构
在高速创新的过程中,数据采集技术往往会走在现有法律框架之前。Bright Data 曾先后遭到 Facebook(Meta)和埃隆·马斯克(Elon Musk)旗下公司的起诉,指控其抓取公开网络信息。公司投入数百万美元应诉,最终在两起诉讼中均取得了毫无争议的完全胜诉(非庭外和解)。这一系列司法判例在法律层面上明确确立了“抓取网络公开数据属于合法行为”的行业准则,成为当前诸多 AI 企业在公开数据采集诉讼中引用的判例基石。
面对上层激增的 AI 智能体生态与底层旧有人类万维网之间的摩擦,Bright Data 将自身定位为承上启下的结构化数据中间层。该系统提供高并发 API 端点(支持从单秒 1 次到 1,000 次请求),能够将目标网页转换为结构化数据输出,支持实时网络搜索、全网爬取、深层网络归档库调用,并全面适配 MCP(Model Context Protocol)与各类主流开发 SDK,使开发者无需深陷反爬对抗,专注于智能体本身的业务逻辑构建。
[19:02](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=1142s) 演讲总结与 BattleBots 展区邀请
演讲者在总结时指出,当今的 AI Agent 已经具备了极强的行动能力,底层模型本身非常优秀,但痛点在于“如今的网络环境已经学会了撒谎”。为了构建一个可扩展且值得信赖的可靠系统,必须为其注入经过验证的真实数据,而这正是 Bright Data 所扮演的核心角色。在进入问答环节之前,演讲者分享了一个轻松的花絮:Bright Data 是 BattleBots(博茨大战 / 机器人格斗联盟)的赞助商。
演讲者热情邀请在场观众前往 813 号展位体验操控真实的格斗机器人,打趣道大家可以“在不伤害任何人的情况下宣泄一下暴力情绪”。此外,Bright Data 当晚还将在 BattleBots 竞技场举办专属活动,若有剩余名额欢迎大家报名参与。
- **核心观点**:AI Agent 自身执行能力极强,但受制于网络虚假信息的干扰,必须依赖可信数据源保障决策准确性。 - **展位互动**:813 号展位提供 BattleBots 实体机器人操控体验,当晚在 BattleBots Arena 举办专场活动。
---
[20:04](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=1204s) 问答环节:大规模数据验证与合规伦理机制
现场观众提出的第一个问题聚焦于数据质量评估:“网络上充斥着虚假新闻和伪造数据,对于使用者而言,数据的可靠性与实时性同等重要,Bright Data 是如何评估并确保抓取数据的真实可靠?”演讲者解释称,大规模数据采集最大的优势在于能够“在多个时间点、从多个维度交叉观察同一事物”。当系统检测到异常情况时,会自动触发警报机制,并立即切换不同的国家来源、IP 地址、浏览器代理或设备指纹进行多重交叉验证,以判断数据突变仅仅是瞬时抖动还是真实的全局变化。
```mermaid flowchart TD accTitle: Bright Data 数据异常验证与合规采集流程 subgraph S1["数据采集与监测"] A["多维度实时数据抓取"] --> B{"检测到数据异常/价格突变?"} end
subgraph S2["多维交叉验证"] B -- "是" --> C["切换 IP / 国家地区"] B -- "是" --> D["更换浏览器指纹与 Agent"] C --> E["确认是否为局部限制或真实变更"] D --> E end
subgraph S3["伦理与合规控制"] F["实时监测目标网站响应延迟"] --> G{"网站是否变慢?"} G -- "是" --> H["主动降速 / 暂停采集"] G -- "否" --> I["维持正常采集节奏"] end ```
针对数据变动场景,演讲者举例说明,如果监控到某电商站点上某个特定数据点的价格发生了剧烈变动,系统有能力验证这一变化是仅针对特定国家用户的定向策略,还是面向所有用户的普遍调整。此外,演讲者强调了底层技术基础设施在避免被识别为 Bot 方面的关键作用,并特别指出了大规模采集中的伦理与合规边界:系统会实时监测目标网站的响应时间,一旦发现采集行为导致目标站点访问变慢,系统会主动退让(Back off)甚至完全暂停采集,以确保“绝对不干扰目标网站的真实正常用户”。
- **多维交叉验证**:利用全球分布式网络,从不同国家、IP 与指纹环境对比同一数据点,有效识别地域性差异与虚假信息。 - **负责任的数据采集(Ethical Scraping)**:根据目标服务器负载与响应时间动态调整并发速率,保障目标站点的稳定性与合规性。
---
[21:43](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=1303s) 问答环节:全栈垂直整合的产品架构
第二位观众询问了 Bright Data 的核心产品形态:究竟是直接向客户交付抓取好的特定网站数据,还是重点提供轮换住宅代理(Rotating Residential Proxies)等底层工具供客户自行开发爬虫?演讲者回答道,Bright Data 构建了一整套自底向上的垂直整合技术栈,能够根据客户需求提供不同层级的接入方式。
```mermaid flowchart TD accTitle: Bright Data 垂直整合技术栈架构 subgraph Infrastructure["底层网络基础设施"] A["全球代理网络\n(住宅代理 / 机房代理 / ISP)"] end
subgraph Unlocking["网络解封层"] B["自动化网站解封算法\n(绕过反爬机制 / 提取 HTML)"] end
subgraph Processing["解析与交付层"] C["数据解析与结构化引擎"] D["交付模式\n(原始代理通道 / API / CSV / JSON)"] end
A --> B B --> C C --> D ```
演讲者阐明,对于只需要网络通道的开发者,平台可以仅提供最基础的代理 IP,由客户自行编写并维护后续的所有逻辑;而对于只关注最终业务结果的企业,平台可以直接通过 API 或以 CSV/JSON 文件的形式交付清洗后的结构化数据,客户完全无需关心底层使用了何种代理或解封技术。这种自底向上的垂直整合能力是 Bright Data 的核心优势,业界诸多知名的搜索引擎公司正是依托其底层基础设施来实现对网络数据的实时访问。
- **代理层(Proxy Tier)**:覆盖全球多类型 IP(住宅、数据中心等),提供纯粹的网络传输管道。 - **解封层(Web Unlocking Tier)**:内置算法自动处理目标站点的反爬防御与验证机制,稳定获取完整 HTML 页面。 - **数据交付层(Data Tier)**:将网页内容自动解析为结构化字段,通过标准化 API 或文件格式无缝输出。
---
[23:17](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=1397s) 问答环节:AI 驱动的 Scraper Studio 与代码自愈功能
针对观众关于大型主流网站(如房产平台 Zillow)爬虫支持及未知冷门网站采集的提问,演讲者表示,公司拥有庞大的预构建爬虫库,覆盖了市面上几乎所有主流网站。而当面对从未收录过的未知网站时,用户可以使用控制台内的 AI 工具——**Scraper Studio**。
用户只需在 Scraper Studio 中输入目标域名,系统便会自动访问该网页、抓取 HTML 并开启交互式对话。系统会自动分析页面结构并向用户展示拆解后的数据 Schema(例如将页面划分为价格、评论、商品描述等字段),用户只需通过几轮简单的自然语言确认,系统即可在“零代码开发门槛”的情况下自动生成专属爬虫代码,其运行效果与官方维护的爬虫完全一致。
更关键的是,针对网页结构频繁改版导致爬虫失效的行业难题,平台引入了**代码自愈(Self-Healing)**技术。当目标网站的前端架构发生变化时,背后的 AI 引擎会自动调整抓取规则与解析代码,用户侧无需进行任何手动维护,即可持续稳定地接收格式一致的结构化数据。
- **预置爬虫库**:开箱即用,全面覆盖包括 Zillow 在内的主流行业网站。 - **Scraper Studio**:AI 驱动的低代码/零代码开发环境,通过对话式交互自动推断 Schema 并生成爬虫脚本。 - **自愈机制(Self-Healing)**:网页前端改版时底层解析逻辑自动动态调整,确保对外数据格式和输出流的连续性与稳定性。
## Notable quotes > [02:05](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=125s) 竞争对手必须自行构建爬虫、抓取网页并提取信息,必须通过自身的投资与创新来与谷歌竞争。 — 美国司法部反垄断诉讼法官
> [02:05](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=125s) 脱离了实时互联网访问的应用就像一本静态的书 — Ariel Shulman
> [04:48](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=288s) 在微观尺度下物理定律会失常,而网络数据抓取则会在大规模并发(生产环境)下彻底失效。 — Ariel Shulman
> [08:09](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=489s) 互联网学会了说谎 — Ariel Shulman
> [08:09](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=489s) AI 智能体缺乏这种常识直觉,它只会高速且大规模地犯错(Fail fast and at scale)。 — Ariel Shulman
> [14:33](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=873s) 全公司没有任何专职 QA(测试)人员,测试流程全部由自动化系统接管,团队坚信传统 QA 会大幅拉低研发迭代速度。 — Ariel Shulman
> [19:02](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=1142s) 当今的 AI Agent 已经具备了极强的行动能力,底层模型本身非常优秀,但痛点在于“如今的网络环境已经学会了撒谎”。 — Ariel Shulman
> [20:04](https://www.youtube.com/watch?v=dVZVCk8TZPU&t=1204s) 在大规模采集中的伦理与合规边界:系统会实时监测目标网站的响应时间,一旦发现采集行为导致目标站点访问变慢,系统会主动退让(Back off)甚至完全暂停采集,以确保“绝对不干扰目标网站的真实正常用户”。 — Ariel Shulman
## Mentioned Bright Data, Ariel Shulman, Google, Gemini, Spark, Waymo, Tim Berners-Lee, Orson Welles, Yahoo!, Ask.com, MSN, Ben Affleck, Cloudflare, Meta, Elon Musk, BattleBots, Zillow, Scraper Studio, Model Context Protocol (MCP)
## Video description Ariel Shulman - Chief Product Officer, Bright Data
For decades, the web was Google's domain, organizing the chaos for humans. Now AI agents are taking over - but they're only as good as what they can see, and they often get blocked or work off stale data. They then make confidently wrong decisions, faster than any human could. This session is about fixing that - giving agents real-time, reliable eyes on the world, so they stop automating mistakes and start delivering results you can actually trust.
[Source](https://www.youtube.com/watch?v=dVZVCk8TZPU)