Databricks
AI-assisted summary of Data + AI Summit Keynote 2026 | Day 1 — original source. Check the original for full context.
Source published:
Detailed notes
## Detailed walkthrough ### [00:08](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=8s) 开场视频:给隔离的人工智能注入“现实”与上下文
大会在一段富有哲思与视觉冲击力的开场视频中拉开帷幕。旁白描述道,人类亲手创造了一个前所未有的人工智能“超级大脑”,然而却又把它牢牢锁在一间孤立的房间里。这个大脑几乎能解答世间所有的提问,却彻底脱离了现实世界的企业运营、商业流程与业务脉搏。它掌握了思考的方式,但接下来人类必须向它展示“何为真实”。
视频强调,所谓的“真实”并不是空洞的概念,而是企业发生的每一次决策、每一笔业务交易、接收到的每一个外部信号、每一项科学探索、兑现的每一句承诺以及被技术改变的每一条生命。要让这个超级大脑真正产生力量,核心在于利用企业所有的专有数据为其注入“上下文(Context)”。更关键的是,控制权始终掌握在企业自己手中——由企业决定 AI 应该知晓什么、能够访问哪些资产、由谁来操作以及它获准执行哪些任务,并且可以跨越任何基础设施任意运行。视频最后宣告,打造出终极大脑仅仅是一个序幕,真正的技术飞跃在于人们用它构建出了什么,在于它重塑了哪些系统、解锁了哪些新发现,以及改变了多少人的生活。
```mermaid flowchart TD accTitle: AI超级大脑与企业上下文融合架构 accDescr: 展示孤立的AI大脑如何通过企业专有数据注入业务上下文,并在受控治理下驱动实际业务变革
subgraph Brain ["孤立的智能体"] A["超级大脑<br/>具备通用思考与推理能力"] end
subgraph Context ["业务上下文 (Context)"] B["决策与业务交易"] C["数据信号与科学发现"] D["全量企业专有数据"] end
subgraph Governance ["企业治理与控制"] E["访问权限控制"] F["行为边界监管"] G["跨混合云/任意环境运行"] end
subgraph Impact ["真实业务突破"] H["系统流程重构"] I["创新发现与业务价值"] end
Brain --> Governance Context --> Governance Governance --> Impact ```
[01:42](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=102s) 史上规模最大的 Data + AI Summit:破纪录的全球生态盛会
在全场热烈的欢呼声中,Databricks 联合创始人兼首席执行官 Ali Ghodsi 登台。他开场便赞叹开场视频非常精彩,并揭秘视频中闪过的许多画面其实全部取材于 Databricks 真实客户的具体业务场景。Ali 兴奋地宣布,本次大会是他们有史以来举办的规模最大的一届 Data + AI Summit。
随后,Ali 分享了一组令人惊叹的参会统计数据。就在大会开幕前几天,线上注册人数还停留在 97,000 人,而此时此刻注册总人数已正式突破 100,000 大关。更让他自豪的是全球化覆盖程度——本次盛会有来自全球 174 个国家和地区的人士参会,各种语言汇聚一堂,成千上万的人从世界各个角落亲自飞往现场。在现场实际签到参会的人数更是精确到了具体个位:整整 31,309 人。这一庞大的线下聚集规模,使其无可争议地成为当今全球规模最大的数据与人工智能盛会。
- 线上注册参会人数突破 100,000 人。 - 全球共有 174 个国家和地区代表参会。 - 现场物理参会者达到创纪录的 31,309 人。
[03:06](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=186s) 从 Spark Summit 到全面拥抱 Postgres 与开源生态
Ali 回顾了大会的起源。他表示,Data + AI Summit 本质上是一场植根于开源文化的社区盛会。回顾 2013 年,大会最初名为“Spark Summit”,起点仅仅是 Apache Spark 这一开源项目,而如今 Spark 的全球年下载量已经突破了惊人的 30 亿次。多年来,Databricks 持续孵化并捐赠开源基础设施,涵盖 Delta Lake、Apache Iceberg 兼容、MLflow 以及近期完全开源的 Unity Catalog。
不仅如此,Ali 特别指出 Databricks 目前正在全面深度拥抱 Postgres 开源生态,这也是数据库领域的未来方向。如今,Postgres 核心管理委员会中七分之一的成员均任职于 Databricks,并且该项目超过 6% 的核心代码提交者(committers)也来自 Databricks。就在刚刚过去的周末,联合创始人 Matei Zaharia 还开源了一个名为 Omnigent 的全新 AI Agent 元测试评估框架(Meta-harness)。
除了技术项目,Ali 还向整个生态系统致谢。大会邀请了大量行业顶级领袖登台,包括 OpenAI 联合创始人兼 CTO Greg Brockman、微软董事长兼 CEO Satya Nadella,以及来自 Anthropic、Cognition、Glean、Decagon、Agno、LlamaIndex、CrewAI 等前沿 AI 公司的创始人与高管,并诚挚感谢了所有系统集成商和数据共享合作伙伴。
[05:07](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=307s) 三大标杆客户案例:以数据与 AI 改变人类生命与体验
为了让大家具象感知数据和 AI 的实际改变,Ali 从平台上多达两万余个客户应用案例中精心挑选了三家具有高度启发性的企业进行了详细拆解:
首先是医疗器械公司 Insulet 及其核心产品 Omnipod。该设备专为糖尿病患者设计,搭载了高精度的连续血糖监测仪(CGM)。系统通过在 Databricks 平台上利用海量数据与机器学习算法,对患者个体的血糖波动轨迹进行精准建模,从而实现全自动、高度个性化的胰岛素脉冲注射,从根本上改变了全球大量糖尿病患者的日常健康管理体验。
其次是智能健身品牌 Tonal。作为许多 Databricks 早期员工家中必备的健身神器,这个挂在墙上的紧凑型设备能够生成极高强度的电磁阻力。Tonal 每年在 Databricks 平台上收集并分析高达 1000 亿秒的用户运动数据,据此为每位锻炼者动态定制类似于专属私人教练的抗阻计划与膳食建议。
最后,Ali 隆重介绍了制药巨头默克(Merck)的重大突破。默克联合 Databricks 研究团队,在平台上训练了一个基于 Transformer 架构的大模型 Teddy(即 Transformer-Enabled Drug Discovery,Transformer 赋能药物发现)。Ali 解释道,虽然 Teddy 也是类似 LLM 的下一个标记预测架构,但它处理的并非自然语言词汇,而是基因调控网络。该模型基于超过 1 亿个细胞的数据进行训练,能够直接预测体内哪些基因是导致疾病的因果根源,精确判断细胞变化之间的因果链条,从而使新药研发的周期和效率得到了质的飞跃。
[07:47](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=467s) 现场互动之问:AGI 真的已经到来了吗?
介绍完前沿应用后,Ali 将话题切入到了本届峰会的核心命题:通用人工智能(AGI)。他发起了一场全场观众互动投票,要求认为“AGI 今天其实已经到来”的人举手。
环顾全场后,Ali 给出了粗略的现场统计:“我粗略估计这一片大概只有 5% 的人举手认同 AGI 已经到来,而现场 90% 到 95% 的人都认为 AGI 还没有实现。”随后,他在大屏幕上展示了一道极为高深的理论数学难题: > “计算李群 G2 的分类空间的约化 12 维自旋配边群(Compute the reduced 12-dimensional spin bordism of the classifying space of the Lie group G2)。”
Ali 现场打趣让能解出这道题的观众大声喊出答案或者直接上台分享,台下数万人中仅有一人举手引发现场哄堂大笑。然而,Ali 严肃地指出,这道对绝大多数顶尖人类来说如同天书的难题,对当下的各大前沿模型(Frontier Agents/AIs)而言却轻而易举。这是全球前沿测试基准“人类最后大考(Humanity's Last Exam)”中的 2500 道测试题之一,如今的前沿 AI 模型已经能独立解出其中半数以上的题目。
Ali 由此给出了颠覆性的论断。他回忆道,2009 年自己来到加利福尼亚大学伯克利分校(UC Berkeley)的 AMPLab 做科研时,当时团队对 AGI 的技术定义标准,放到今天其实早已经被远远超越。虽然外界总在不断挪动 AGI 的评判终点线,但他坚信按照当年的学术衡量标准,AGI 确实已经降临。
面对现实与行业预期的巨大落差,Ali 抛出了震撼全场的核心观点: > “AI does not have an intelligence problem right now.”(人工智能当下根本不存在智力问题,Ali Ghodsi 强调道。)
他指出,现有的 AI 模型已经足够聪明,企业在实际经营中遭遇的重重阻碍,根本不是因为模型智商不够用,而是因为现有的 AGI 完全没有深度渗透进实际组织之中——在绝大多数企业内部,根本还没有数百个自主 Agent 真正替人类承担起复杂业务工作。
[10:37](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=637s) 智能并非瓶颈:企业 AI 的真正症结在于上下文
大众对智能体(Agent)的理想化设想是:一群自主协同的 AI 彼此沟通、起草提案、相互谈判,人类只需在顶层运筹帷幄。然而现实情况是,绝大多数人依然停留在基础的对话式 Chatbot,或者顶多依靠编程辅助工具自动生成代码。这正是许多人在面对“通用人工智能(AGI)是否已然降临”这一问题时未曾举手的原因——那个被描绘得无比宏大的愿景尚未在现实工作中完全兑现。
Ali Ghodsi 直言,当下的基础模型并不缺乏智力,真正缺失的是让其施展才华的企业上下文(Context): > “If we just give the context to these very smart models that can solve those super hard problems, they’ll be able to do amazing things inside of our companies.”
在企业日常运营中,绝大多数业务工作并不需要 AI 去推演十二维空间理论或解决深奥的物理拓扑难题,而是需要它精准地从 Salesforce 抽取信息、提炼摘要、流转到其他系统并做好清洗整理。如果能把企业所有的沉淀数据、业务流程规范以及深藏在员工脑海中的业务认知,作为完备的上下文全量注入给 AI,现有的前沿模型和开源模型已经足以胜任绝大部分高价值任务。然而,构建这种“完美的企业上下文”,其复杂程度和难度远超普遍预期。
---
[12:10](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=730s) 企业级 AI 落地必须攻克的四大核心屏障
要让上下文真正为企业所用,必须系统性越过四道难关:数据连通、安全控制、成本失控与厂商锁定。
```mermaid flowchart LR accTitle: Enterprise AI Challenges accDescr: Four sequential hurdles in deploying enterprise AI effectively. subgraph DataPrep ["1. 数据就绪"] A["打破数据孤岛与会议纪要"] end subgraph Governance ["2. 安全与治理"] B["审计与合规控制"] end subgraph Economics ["3. 成本控制"] C["避免无限轮询与预算透支"] end subgraph Openness ["4. 开放选择权"] D["摆脱数据与模型的厂商锁定"] end A --> B B --> C C --> D ```
第一道屏障是**数据的接入与就绪(AI-ready data)**。企业的信息散落在各个角落:每一场会议的录音与文字纪要必须被系统化沉淀,原本由于安全审批或组织壁垒而被锁死在数据孤岛里的库表必须被唤醒。为此,Databricks 甚至派出“前线部署工程师(Forward Deployed Engineers)”深入客户业务现场,协助企业重组流程与治理架构。
第二道屏障是**安全性与行为控制(Security and Control)**。即使打通了所有数据链路,也不能盲目将未加约束的智能体直接放行到私有资产上。Ali Ghodsi 以 OpenClaw 为例警示: > “When OpenClaw was released, over 10% of the skills in it were actually malicious.”
如果任由智能体在内网自由穿梭,必须有一套兼具安全审计与合规策略的防线,确保其行为轨迹完全处于受控状态。
第三道屏障是**成本控制(Cost Control)**。如果任凭多智能体在内部无休止地进行循环遍历(for-looping)与实时交叉校验,调用开销将呈指数级爆炸。成本失控正在各家客户中蔓延,Ali Ghodsi 引用了业界的真实案例: > “Uber CEO said that in one quarter they blew through the whole year’s annual AI budget.”
如果 AI 支出彻底甩开企业营收增长,任何理性的公司管理层都会选择踩下刹车甚至彻底关停项目。
第四道屏障则是重中之重的**选择权与消除锁定(Choice and No Lock-in)**。绝大多数参会企业不是成立不到十年的初创团队,而是拥有数十年乃至百年积淀的大型企业。这类组织在漫长的演进中不断采购和叠加软件,技术栈极其复杂臃肿,软件供应商来来去去,留下的专有技术栈却极难剥离。企业不能在刚经历数据厂商绑定的痛苦后,又在数据上下文以及特定大模型供应商上重蹈覆辙,必须拥有随时切换底层模型的自由度与主动权。
---
[16:09](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=969s) 践行选择权:Lakeflow 与湖仓数据就绪体系
为了从源头上规避厂商锁定,首要任务是在多云架构之上建立开放的 Lakehouse,将企业各类数据以标准、开放的形态转化为 AI Ready 资产。这正是 Lakeflow 承担的核心使命。两年前 Lakeflow 几乎没有成型的连接器,而如今其生态已囊括超过 100 款原生连接器,不仅覆盖 Salesforce、Workday、NetSuite 等核心 ERP 与 CRM 软件,也能顺畅拉取 Meta、Google Analytics 的外部运营数据以及各类文档语料库。
在数据摄取与处理层面,Ali Ghodsi 宣布了三项已全面达到通用可用(GA)状态的核心能力:
- **ZeroBus**:彻底革新了实时数据总线架构。企业不再必须维护沉重的 Apache Kafka 集群,客户端只需调用 ZeroBus 的 API,即可应对高频突发流量或极小的数据行(tiny rows)。无需用户操纵文件切分或缓冲策略,ZeroBus 自动在高吞吐并发下将数据持久化到开放湖仓中,保证数据的可检索性、扩展性与易维护性。 - **Spark Real-Time Mode (RTM)**:作为开源框架的突破性升级,Spark RTM 将传统 Spark 流处理的秒级微批次(micro-batch)延迟大幅压缩至数十毫秒量级。在过去,追求极低延迟的实时流计算场景往往只能选择 Apache Flink,而如今用户可以直接在开源 Apache Spark 上原生承载此类极低延迟负载。 - **Lakeflow Designer**:一款对标 Alteryx 体验的可视化交互式数据工程套件。业务人员与工程师无需手写底层代码,只需用自然语言向内置的 Genie 助手下达诸如“执行某项清洗转换”或“关联这两张表”的指令,系统便会自动可视化呈现管线图谱。尽管操作完全图形化且支持自然语言编排,其底层运行的依然是标准的开源 Spark 代码,支持完整的代码审查、Git 版本控制与生产级部署。
[19:23](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=1163s) 终结格式之争:Delta Lake 与 Apache Iceberg 的底层统一
企业究竟应该选择 Delta Lake 还是 Apache Iceberg?面对这一长期困扰数据工程团队的核心抉择,Databricks 首席执行官兼联合创始人 Ali Ghodsi 邀请了 Apache Iceberg 的原始缔造者、去年被 Databricks 收购的 Tabular 前首席执行官兼联合创始人 Ryan Blue 登台。Ali 现场播放了一段 Ryan 几年前带有调侃性质的演讲视频,当时的标题正是《为什么你不应该在乎 Apache Iceberg》(Why You Shouldn't Care About Apache Iceberg),视频中的 Ryan 直言:“你根本不该在乎 Apache Iceberg。”在台上,Ali 对此表示完全赞同,认为大家同样不该纠结于 Delta Lake。Ryan Blue 解释了他发表这番言论的初衷,他强调用户不应受制于底层存储协议:“没有任何人应该去操心数据格式。你应该能够对所有数据使用任何你想用的工具。”这也正是他们当年打造这些格式的根本目的——让合适的工作负载匹配最合适的工具。
Ali 笑着回忆起几年前在客户会议上的尴尬场景:客户常常拉着他们深究两者的微观实现细节,反复盘问两者的删除向量(Deletion Vectors)究竟有何差异,这在 Ali 看来完全偏离了行业发展的正确方向。针对格式统一的技术现状,Ryan 宣布在 Databricks 运行时(DBR)中对托管 Iceberg 表的 Iceberg V3 支持已正式进入通用可用(GA)阶段,其核心突破是实现了统一数据层(Unified Data Layer),用户在 Delta 与 Iceberg 之间共享数据时再也不需要重写任何数据文件。紧接着在今年晚些时候,双方将在 Delta 5 与 Iceberg V4 中进一步推出统一元数据层(Unified Metadata Layer),目标是在今年第四季度左右完成规范定义,从而彻底实现开放表格式的全面大一统。随着文件存储在磁盘上完全一致,Ali 如释重负地询问是不是可以彻底停止这场无休止的争论了,Ryan 则幽默地回应:“是的,如果说完了,我可要回去干活了。”
- **Iceberg V3 支持与统一数据层**:已在 DBR 中正式 GA,磁盘上的数据布局对于 Delta Lake 和 Apache Iceberg 完全相同,跨格式访问无需重新写入任何物理数据文件。 - **Delta 5 与 Iceberg V4 路线图**:计划于 2026 年下半年(预期在第四季度定稿规范)推出统一元数据层,彻底填补格式之间最后的元数据差异。
---
[22:22](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=1342s) Lakehouse 演进:SQL AI 函数、极速迁移与全新引擎 Reyden
随着数据能够通过基于 Spark 的开放格式无缝写入,Ali 将话题转向了如何对数据进行分析处理。Databricks 在数年前提出了“湖仓一体”(Lakehouse)概念,其核心理念在于“最好的数据仓库就是湖仓一体”,因为它既保持了开源开放性并赋予客户完全的数据所有权,又天然契合机器学习与 AI 工作负载。自上一届 Data + AI 峰会以来,Databricks 在 Lakehouse 上取得了长足进展,针对传统旧式数据仓库新增了超过 110 项对齐功能,大幅降低了企业迁移门槛;同时过去一年内,其数据仓库产品的用量实现了翻倍以上的增长。
在诸多新增能力中,企业客户反响最为热烈的是各类内置的 SQL AI 函数。分析师在编写常规 SQL 查询时,可以直接调用这些 AI 函数执行端到端的高阶任务:例如在单元格级别批量执行情感分析、快速抽取文本中出现的企业名称,或直接在大规模数据集上进行数值预测。针对传统上云和本地旧系统的迁移痛点,Databricks 升级了名为 Lakebridge 的自动化转换工具,能够高质量、快速地将现有的传统数据仓库资产转换迁移至 Lakehouse 架构。此外,Ali 还为联合创始人 Reynold Xin 的后续演讲做了铺垫,剧透了即将亮相的全新自研引擎“Reyden”——该引擎在各项基准测试中展现出了极致性能,成功将查询延迟压缩到了数十毫秒级。
- **核心里程碑与用量**:湖仓一体平台在过去一年新增 110 多项功能以平替传统数仓,数据仓库业务的总消费量同比实现超 100% 增长。 - **SQL AI 函数典型应用**:支持在常规 SQL 查询中直接调用大模型,针对表格字段进行大规模情感分析、实体抽取(如公司名称)及数值预测。 - **全自动迁移工具 Lakebridge**:支持自动将企业本地部署或公有云上的遗留数据仓库无缝迁移重构至 Lakehouse。 - **全新高性能引擎 Reyden**:打破业内现有性能天花板,在极致优化下将分析查询延迟大幅降低至数十毫秒(Tens of milliseconds)级别。
---
[24:26](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=1466s) 面向智能体的 Lakebase Postgres:秒级分支与零存储浪费
在谈及联机事务处理(OLTP)时,Ali 指出当前的大语言模型和智能体在被问及推荐何种数据库时,压倒性地偏好开源 Postgres。为此,Databricks 推出了名为 Lakebase 的全新架构,将 Postgres 的计算引擎与存储彻底解耦,使其所有底层存储直接沉淀在廉价的开放数据湖上。基于这种存储与计算分离的架构,Lakebase Postgres 具备了真正的无服务器弹性自动伸缩(Serverless Auto-scaling)能力,计算实例能够在 1 秒以内完成扩容或缩容,甚至在深夜无人访问时缩容至零,企业只需为数据湖底层的廉价对象存储付费,显著降低了系统的总体拥有成本(TCO)。
```mermaid flowchart TD accTitle: Lakebase Postgres 写入时复制分支架构 accDescr: 展示 Lakebase 基于数据湖单一底座秒级分支出开发、测试与智能体沙箱环境,替代传统全量数据复制。
subgraph Storage ["统一低成本数据湖底座 (Lakebase Storage)"] SharedData["PB级共享真实数据源 (Single Source of Truth)"] end
subgraph Branching ["秒级分支与写入时复制 (Copy-on-Write)"] direction LR Prod["主生产分支 (Production)"] UAT["UAT / 暂存分支 (Staging)"] AgentSandbox["AI 智能体分支 (Agent Sandbox)"] end
SharedData --- Prod SharedData --- UAT SharedData --- AgentSandbox
AgentSandbox -->|"出错秒级回滚"| SharedData ```
对于 AI 智能体而言,Lakebase 最具变革性的功能当属“秒级数据库分支”(Branching)。过去企业为了运行用户验收测试(UAT)、多套生产环境、暂存(Staging)以及研发系统,通常需要由数据库管理员(DBA)维护数千个相互孤立的数据库副本;而 Lakebase 通过“写入时复制”(Copy-on-Write)机制,允许系统在不到 1 秒的时间内从数 PB 的庞大数据库中直接派生出逻辑克隆分支,而无需真实复制物理数据。Ali 强调,智能体进行自主实验和数据探索时容忍不了长达 10 分钟的数据库冷启动,这种 1 秒级的快速分支与一旦出错即可回滚到早期快照的能力,是智能体原生软件栈的基石。在预告后续 Reynold Xin 将深度解析湖仓事务与分析统一处理(LTAP)架构时,Ali 对未来的软件开发浪潮做出了断言:“在未来的 12 个月内,我们将见证人类历史上被编写出来的软件总量超过以往任何时期。”
- **弹性伸缩至零**:计算节点能够在不到 1 秒的时间内根据负载动态扩缩容,闲置时完全停机缩容到零,避免闲置计算成本。 - **秒级写入时复制分支**:面对 PB 级数据库,可在 1 秒内完成快照分支创建,无需复制底层物理数据,仅记录修改增量。 - **DBA 运维与架构简化**:用单一实例的多逻辑分支模式彻底替代企业内部因 UAT、测试、开发等原因复制出的成千上万个数据孤岛。 - **智能体沙箱实验机制**:AI 智能体可随时独立拉出专属分支进行破坏性调试或数据探索,发生逻辑偏差或数据污染时可直接丢弃分支或一键回滚。 - **LTAP 统一架构伏笔**:打通 Lakebase(事务)与 Lakehouse(分析),即将由 Reynold Xin 带来进一步的技术解密。
[28:11](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=1691s) 打造面向智能体的数据底座与统一治理
Ali Ghodsi 回顾了整个数据基础设施的布局:通过 Lakeflow 将数据高效摄入,利用 Lakehouse 数据仓库进行分析,并借助 Lakebase 处理事务型负载。他强调,底层数据层已经为 AI 准备就绪,使得智能体(Agents)能够以极快的速度无缝消费数据并进行实验。然而,光有高效的数据层还远远不够,企业绝不能在缺乏管控的情况下直接将智能体释放到所有数据上。“我们必须弄清楚如何进行控制,”Ali 解释道,这就是 Databricks 多年前启动 Unity Catalog 项目的核心初衷。
```mermaid flowchart TD accTitle: Agentic Data Foundation Architecture accDescr: 展现从数据准备、统一治理到共享与多智能体消费的整体架构流程。
subgraph DataLayer["底层数据层 (Data Foundation)"] LF["Lakeflow (数据摄入)"] LH["Lakehouse (分析数仓)"] LB["Lakebase (事务处理)"] end
subgraph GovernanceLayer["统一治理层 (Unity Catalog)"] UC["Unity Catalog (免费/开源)<br>• 结构化与非结构化资产<br>• 权限、血缘、成本与数据质量"] OS["Open Sharing<br>(Delta + Iceberg + AI 模型/技能/智能体)"] end
subgraph ConsumptionLayer["消费层 (Consumption)"] Agents["AI 智能体 / 开发人员 / 业务应用"] end
LF --> UC LH --> UC LB --> UC UC --> OS OS --> Agents ```
早期的行业目录主要针对数据仓库中的结构化表,对特定的行或包含薪资等敏感信息的列做简单的访问限制。但 Databricks 将其命名为 Unity(统一),是因为治理必须覆盖企业内部的所有资产,包括非结构化文件、PDF、AI 模型以及过去几年陆续新增的 50 多种资产类型。更重要的是,治理不能仅仅停留在“把一切都锁死”的权限控制层面,还必须涵盖数据资产的发现与民主化、端到端的数据血缘追踪与图谱可视化、全方位的成本监控以及数据质量保证。正因为其对企业极其关键,Databricks 始终坚持 Unity Catalog 完全免费,并在多年前予以开源,近期更是持续加大开源力度。
- **多资产统一纳管**:涵盖结构化表格、PDF 及非结构化文档、AI 模型等 50 多种资产类型。 - **治理维度扩展**:集成访问权限控制、数据发现、血缘可视化、质量监控与成本防暴涨机制。 - **全开放生态战略**:Unity Catalog 平台完全免费且保持开源,吸引广泛生态伙伴持续贡献代码。
---
[30:19](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=1819s) 从 Delta Sharing 到 Open Sharing:跨生态共享数据与 AI 资产
在数据共享方面,以往软件行业普遍存在壁垒森严的商业绑架(Vendor Lock-in)模式——供应商通常要求数据共享的双方都必须购买其专有软件。为了打破这一垄断局面,Databricks 多年前便将 Delta Sharing 作为 Delta Lake 的一部分予以开源,允许用户自由将数据资产分享给生态系统中的任何人。
而在本届峰会上,Ali 宣布开源 Delta Sharing 的超集项目——**Open Sharing**。由于 Delta 与 Iceberg 在格式上已实现统一,Open Sharing 不仅支持同时共享 Delta 和 Apache Iceberg 格式的数据,还将共享范围彻底扩展至 AI 资产领域。企业现可直接在本地部署(On-premise)或跨云环境中,自由分发和共享自主开发的智能体(Agents)、技能(Skills)以及 AI 模型。
> “在软件行业,其他人都在做那种绑架式的共享,他们说:‘买我的软件,如果你想和别人共享,他们也必须买我的软件,然后双方才能共享数据集。’这就是为什么我们在多年前把 Delta Sharing 作为 Delta Lake 项目的一部分开源了。” —— Ali Ghodsi
- **全面格式兼顾**:原生支持 Delta 与 Iceberg 统一表格式跨平台无缝流转。 - **资产范围跃迁**:跨越传统静态数据集界限,深度支持智能体、Skill 文件与大模型权重的安全共享。 - **多环境支持**:支持跨云环境以及企业本地数据中心(On-premise)的高性能共享。
---
[31:21](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=1881s) 智能体时代的治理困局:成本失控、权限缺失与供应商锁定
伴随生成式 AI 演进,企业内部的 AI 治理在过去一年中演变成难以收拾的僵局。开发者们利用 LlamaIndex 或 LangChain 疯狂构建智能体;各大 SaaS 软件厂商纷纷推出专有 Agent Builder,并兜售各自的 MCP(Model Context Protocol)服务器与技能包;企业工程师也在自行搭建内部 MCP 服务器并编写各类 Skill 文件。市面上模型层出不穷、版本快速迭代、各种 Vibe Coding(氛围编程)工具和数字员工类 Agent 充斥于企业网络中。
Ali 剖析了这种繁荣背后隐藏的三大致命危机: 1. **成本严重失控(Cost Running Away)**:企业内部发生着严重的“Token 狂刷(Token Maxing)”现象,没有统一的限流或配额手段,管理层根本无法得知究竟是哪个部门的哪个 Agent 在调用什么模型,账单飞涨却毫无端到端可见性。 2. **缺乏针对智能体的行为管控**:无法确保 Agent 仅访问合规数据,输入与输出缺乏安全护栏(Guardrails),且无法追踪身份认证(Agent 究竟代表哪位员工在执行操作)以及完整的调用审计日志。 3. **技术锁定带来的沉没风险**:最前沿模型的生命周期已被压缩至一个月左右。去年 11 月 Google 发布 Gemini 时大家惊呼它是最强模型并迅速迁移;1、2 月间 Anthropic 的 Claude 3 Opus 登顶;紧接着 OpenAI 推出 GPT-5.5 再次刷新纪录;上周大家又因 Mythos 或 Fable 动摇。如果企业无法保持自由选择(Choice),就会在技术迭代中陷入被动。
---
[33:49](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=2029s) 发布 Unity AI Gateway:多 AI 统一管控与成本治理平台
为了彻底解决上述痛点,Ali 在全场欢呼中正式发布 **Unity AI Gateway**。作为 Unity Catalog 框架下的独立核心组件(同时也是 MLflow 的开源组成部分,完全免费开放),Unity AI Gateway 为企业内部所有的 Agent、大模型调用和执行框架(Harnesses)提供了统一的管控入口与单一控制台(Single Pane of Glass)。
```mermaid flowchart LR accTitle: Unity AI Gateway Architecture accDescr: 展示所有多源 AI 智能体与工具如何通过 Unity AI Gateway 统一连接至异构模型底座与云环境。
subgraph Ingress["接入层 (Agents & Harnesses)"] A1["自定义 Agents<br>(LangChain / LlamaIndex)"] A2["SaaS 智能体 & 外部工具"] A3["企业自建 MCP 服务器"] end
subgraph Gateway["统一管控层 (Unity AI Gateway)"] GW["Unity AI Gateway<br>(开源、免费、单点登录认证)<br>• 预算控制 & Rate Limiting<br>• 护栏过滤 & 安全审计<br>• 身份与凭证托管"] end
subgraph Providers["算力与模型底座 (Multi-Cloud / Multi-Model)"] M1["OpenAI (GPT 系列)"] M2["Anthropic (Claude 系列)"] M3["Google (Gemini 系列)"] Cloud["跨云统一结算 (AWS / Azure / GCP)"] end
A1 --> GW A2 --> GW A3 --> GW GW --> M1 GW --> M2 GW --> M3 M1 -.-> Cloud M2 -.-> Cloud M3 -.-> Cloud ```
Unity AI Gateway 提供了一系列强大的企业级能力: - **模型算力统一采购与承诺抵扣**:即使企业向 Databricks 签署了平台承诺消费协议(例如 10 万美元额度),该额度除了用于 Lakeflow 或 Lakehouse,也可以直接在任何主流公有云(AWS、Azure、GCP)上无缝兑换 OpenAI、Anthropic、Gemini 等顶尖前沿模型的 Token 算力。 - **全方位消耗监控与预算硬上限**:提供多维度的可视化看板,可细化至团队、子项目乃至员工个人来设定预算阈值。一旦额度耗尽,系统可立即发出告警、自动触发限流(Rate Limit)甚至强制停机,并每日自动发送消费对账邮件。 - **安全防护与统一 MCP 身份托管**:支持注册企业内部所有供应商的 MCP 服务器与 Agent 工具,全局跟踪所有调用行为。其独创的单点认证能力,允许用户仅需登录认证一次即可通行所有纳管的 MCP 工具,免去在多个系统间重复鉴权的繁琐流程。
> “你可以获得关于整个组织内部所有支出的绝佳可观测性,通过仪表盘直观掌握各项支出是如何产生的,并且你可以设定限额和预算。” —— Ali Ghodsi
[36:44](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=2204s) 当前 AI 智能体的“上下文困境”:慢、贵且不准
Ali Ghodsi 直截了当地指出,当前的 AI 模型在智力层面已经极其强大,瓶颈根本不在于模型能力:“AI 没有智力问题,它面临的是上下文问题(AI doesn't have an intelligence problem, it has a context problem)。”当前的尖端智能体(Frontier Agents,包括各类编程智能体)在企业内部检索数据时,普遍采用一种低效的运行方式:企业内部存在一个由海量文档、会议、活动构成的庞大图谱,当用户抛出一个具体的业务问题(例如:“过去两周我的产品在欧洲的收入表现如何?”)时,智能体便开始像陷入一个实时遍历(For-loop)循环一样运作。它先查阅一份文档,提取其中的线索或链接,再通过 MCP(Model Context Protocol)服务器调取另一个文档逐步深入。
```mermaid flowchart TD accTitle: 当前前沿智能体在线检索方式的弊端 accDescr: 展示现有智能体通过MCP实时循环遍历企业海量文档所导致的延迟、成本与准确度问题。
UserReq["用户提问<br/>(如:过去两周欧洲产品收入)"] --> AgentLoop
subgraph LiveLoop ["低效的实时在线循环遍历 (Live Loop)"] AgentLoop["智能体在线检索"] --> DocA["读取文档 A"] DocA -->|"通过 MCP 服务器追踪链接"| DocB["读取文档 B"] DocB -->|"进一步随机游走"| DocN["读取文档 N..."] end
LiveLoop --> Flaw1["痛点 1: 极度耗时<br/>(无预先上下文,需 10-15 分钟)"] LiveLoop --> Flaw2["痛点 2: 成本高昂<br/>(改个文件名消耗大量 Token,花费 5 美元)"] LiveLoop --> Flaw3["痛点 3: 准确率堪忧<br/>(在庞大语料库中做局部随机游走)"] ```
这种实时盲搜的方法暴露出三大致命缺陷: - **耗时极长**:由于智能体缺乏全局上下文,不知道真正有效的信息藏在何处,即便是回答一个相对简单的问题,也往往需要现场实时调用 MCP 翻找 10 到 15 分钟。 - **成本高昂**:在持续搜索和多轮读取过程中消耗了海量的上下文 Token。Ali Ghodsi 开玩笑说:“现在的笑话是,你对它说‘请帮我重命名这个文件’,它花上 10 分钟,然后向你收费 5 美元。” - **准确度大打折扣**:这是最严重的硬伤。面对企业内部庞大到不可思议的文档和数据资产,智能体在线发起的检索本质上只是一次局部的“随机游走(Random Walk)”。尽管返回的结果在形式上令人惊艳,但实际业务准确率漏洞百出,无法满足严肃的企业级场景。
[38:50](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=2330s) 重磅发布 Genie Ontology:基于 OntoRank 的企业活体上下文图谱
为了彻底解决上下文获取难题,Ali Ghodsi 隆重宣布推出 **Genie Ontology**。它的核心逻辑在于:将过去由智能体在接收提问时在线执行的盲目检索,转变为**在后台持续自主运行的知识图谱构建过程**。Genie Ontology 会全天候自动连接并解析企业内部的全部资产,无论这些资产是存储在 Databricks 湖仓(Lakehouse)之中,还是分散在外部的 Google Drive、SharePoint、工作邮箱或是 Google Calendar 中,它都能统一编排,提前提炼出企业中最关键的业务知识网络,供各类智能体随时调用。
```mermaid flowchart LR accTitle: Genie Ontology 知识构建与服务架构 accDescr: 展示 Genie Ontology 整合多源数据、利用 OntoRank 算法并结合人工语义构建企业图谱,最终向多类智能体提供上下文服务。
subgraph Sources ["多源企业数据与资产"] L["Lakehouse / Databricks"] G["Google Drive / SharePoint"] E["邮件 / 日历 / 源码"] end
subgraph CoreEngine ["Genie Ontology 核心"] OntoRank["OntoRank 核心算法<br/>(分析多资产类型 + 组织架构与访问频次)"] Semantic["Unity Catalog Semantics<br/>(集成 Atlan / AtScale / 业务词表)"] end
subgraph Downstream ["消费层 / 智能体"] G1["Genie 1 全员助手"] GA["Genie Agents"] GC["Genie Code"] MCP["外部 Agent (通过 MCP)"] end
Sources --> OntoRank Semantic --> OntoRank OntoRank -->|"高速、低成本、高精度上下文"| G1 OntoRank -->|"高速、低成本、高精度上下文"| GA OntoRank -->|"高速、低成本、高精度上下文"| GC OntoRank -->|"开放语义标准"| MCP ```
Genie Ontology 的底层驱动力来自 Databricks 研究团队研发的全新算法 **OntoRank**。Ali Ghodsi 拿它与二十多年前 Google 改变互联网搜索的 PageRank 进行了对比: - 传统的 AltaVista、Yahoo 等早期搜索引擎仅依赖关键字出现频次对网页排序,导致了充斥着虚假关键词堆砌的 SEO 现象;而 PageRank 则通过网页之间的链接图谱直接识别出哪些页面最为关键。 - OntoRank 的任务比 PageRank 更加艰巨:企业内部资产并非千篇一律的超链接网页,它涵盖了代码、设计文档、Google Docs 等完全不同的资产类别。更为关键的是,企业环境具有**组织架构(Org Chart)**与真实的**用户访问频次行为数据**。OntoRank 能够将资产类型、人员职能及交互模式深度融合,精准判定企业内部核心知识的权重。
对于已经建立好自身语义层或业务词表(Business Glossary)的企业,Databricks 保持全面开放与兼容。通过 Unity Catalog Semantics,用户既能引入来自 Atlan、AtScale 等生态合作伙伴或已有 BI 工具中的业务定义,也可以由业务人员手动梳理精炼。无论企业倾向于全自动算法沉淀,还是结合人工专家精修,这套架构皆能顺畅支持。外部智能体甚至可以通过标准 MCP 协议将 Genie 视作语义服务器,直接拉取其知识网络。Ali Ghodsi 在现场展示了 Databricks 内部实际运行的图谱实例:仅 Databricks 自身日常使用的单个工作区中,Genie Ontology 就已在后台自动收集并构建了超过 450 万个本体数据切片(Ontology Data Snippets),这种海量规模是任何智能体在线实时查找所绝不可能完成的。
[43:16](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=2596s) 发布 Genie 1 与 Genie Agents:让每位员工拥有懂数据的全能 AI 协作者
在完备的上下文底座之上,Ali Ghodsi 接下来介绍了下游消费该能力的具体产品形态,其中最核心的发布即是 **Genie 1**。他特意澄清:虽然 Databricks 过去三年一直提供名为 Genie 的分析功能,但 Genie 1 是一次脱胎换骨的跃迁。过去的产品往往局限在单一业务领域或专门划分的“房间”(例如仅供市场部查询市场数据);而 Genie 1 则是面向全公司每一位员工的统一数据入口。
企业只需为其配置自动身份管理(Automatic Identity Management),哪怕是拥有 10 万名员工的超大型企业,每位普通业务人员在登录后也能直接进入极简的交互界面。他们不会接触到底层复杂昂贵的数仓基础设施,因而没有任何误操作造成资源暴涨的风险。除了具备常规智能体的各类技能定义、任务调度与协作(Co-work)功能外,Genie 1 最决定性的优势在于它能够立足于 Genie Ontology,穿透访问全公司的数据孤岛。该界面针对移动端(iOS 与 Android)进行了深度优化,原生集成 Databricks AI/BI 仪表板,能将复杂的数据分析直接渲染为可视化的业务图表。
此外,演讲还简要公布了 **Genie Agents**:业务人员在与 Genie 1 的任何一段日常对话分析中,只要觉得这套分析流程具备通用价值,都可以一键将其包装成可复用的独立智能体(Agent),并直接发布给全公司使用,让业务沉淀出的最佳实践能够即时转化为企业内部的自动化数字资产。
- **Genie 1 核心定位**:全员统一使用的懂数据的 AI 协作者,直接连通底层 Genie Ontology。 - **权限与风控设计**:普通业务用户免去接触底层数仓资源(如 SQL Warehouse),极大降低运维成本与误用风险。 - **跨平台体验**:全面支持移动端(iPhone 及 Android)访问,内置可视化图表与企业级 AI/BI 协同。 - **Genie Agents 机制**:支持将单次对话直接沉淀固化为可在企业全员范围流转复用的专属智能体。
[45:16](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=2716s) Genie Agents 与 Genie App Builder:自主工作流与 Vibe Coding
Ali Ghodsi 进一步阐述了企业如何轻松定制并共享各类专属智能体。例如,用户只需接入自身的人力资源文档,就能创建一个专属智能体,并通过对话核实其准确回答 HR 相关问题的能力。随后,该智能体可以立即向全公司开放,并无缝集成至员工日常使用的沟通平台中:
> “Anyone can ask any HR questions they have from that agent. You can put it in Slack, you can put it in Teams, any modality they want.”
除了回答问题,Genie Agents 还具备自主执行任务的能力。例如,它每天能够自动从 Salesforce 获取最新业务信息,进行整理清洗后写入 Workday,生成汇总报告并发送给责任人,甚至跨系统与其他智能体协同作业。
在应用开发层面,Databricks 致力于让整个组织的业务与技术人员都能平等获得构建能力。企业不仅可以结合市面上现有的工具(如 Lovable、Replit、Vercel 等),更可以直接利用全新推出的 Genie App Builder,以自然的“Vibe Code”方式快速搭建企业级业务应用。所有这些功能的核心基础在于 Databricks 自动构建的 Genie Ontology(企业本体论知识图谱),它不仅统一了 Lakehouse 内部的数据,更能穿透并连接企业散落在各个业务系统中的所有资产。
- **多渠道接入**:智能体可一键嵌入 Slack、Microsoft Teams 等企业内部即时通讯工具。 - **跨系统自主编排**:支持在 Salesforce、Workday 等异构 SaaS 之间自动完成数据抽取、转换、回写与报告生成。 - **低门槛构建**:借助 Genie App Builder,业务人员可依托统一的本体论上下文直接通过自然语言生成应用。
---
[45:48](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=2748s) Genie Code 与 Genie ZeroOps:从管道研发到运维自治
针对技术研发与数据运维,Databricks 分别推出了 Genie Code 与 Genie ZeroOps。Genie Code 融合了 Databricks 13 年在数据工程领域的积累,专注于两大核心优势能力:一是高效编写与优化数据管道;二是全流程支持机器学习和数据科学工作流,涵盖在 GPU 上训练模型、验证模型精度以及降低全员使用 AI 的门槛。
紧随其后亮相的 Genie ZeroOps 被 Ali Ghodsi 誉为对大多数企业而言“最具变革意义”的产品。它专为解决运维人员半夜被报警唤醒的痛点而设计。该智能体在后台静默运行,持续监控所有数据管道及机器学习模型;一旦生产管道在凌晨发生异常中断,它能自动诊断失败诱因(例如遭遇此前未识别的新增数据列),并在隔离的测试环境中实验性地自动编写修复代码,随后向工程师的移动端发送修复方案审查推送,等待人工审核:
> “It'll actually experiment with writing the code in a separate environment without affecting your production pipeline. And once it's ready, it'll prepare it for you, and you'll send you a notification on your phone, and you can see and you can review it.”
```mermaid flowchart TD accTitle: Genie ZeroOps 故障自治修复架构 accDescr: 展示 Genie ZeroOps 在监控到流水线异常后进行隔离修复并提交人工审批的流程
subgraph Monitoring ["后台持续监控"] A["生产数据 / ML 管道"] -->|"凌晨 2:00 发生中断"| B["Genie ZeroOps 实时告警捕获"] end
subgraph SelfHealing ["隔离环境自治诊断与修复"] B --> C["根因诊断 (如发现未知新增数据列)"] C --> D["隔离测试环境"] D --> E["自动编写并测试修复代码"] end
subgraph HumanInTheLoop ["人机协同决策"] E --> F["向手机端发送审查通知"] F --> G{"人工一键点击 Accept 确认"} G -->|"批准生效"| H["自动恢复生产管道"] end ```
Ali Ghodsi 风趣地补充道,系统虽然允许开启全自动合流,但他强烈建议保持“人机协同(Human-in-the-loop)”机制,避免完全无人监管直接介入生产。这一设计彻底改写了传统数据工程人员通宵排障的被动局面。
- **Genie Code 核心强项**:专注针对湖仓架构编写高质量 ETL 管道,并在 GPU 集群上自动化构建、评估与调优机器学习模型。 - **零中断沙盒验证**:Genie ZeroOps 在独立隔离环境中验证补丁,完全不影响主生产链路的正常运行。 - **告别通宵值班**:针对数据 schema 漂移与运行时错误,系统自动生成解决方案并推送到移动端供一键合入。
---
[48:27](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=2907s) 面向底层的 Agent Bricks 与元框架 Omnigent
针对追求更底层控制力的硬核软件工程师,Databricks 扩展了针对开发者的专属平台 Agent Bricks。该平台内置秒级拉起、强隔离的高性能沙盒环境(Sandboxes),并原生配备了跨会话的智能体长期记忆模块(Agent Memory)。
此外,Ali Ghodsi 重点介绍了 Databricks 联合创始人 Matei Zaharia 刚刚公布的全新元框架——Omnigent。面对市场上林林总总的开发脚手架与 Agent 编排框架(如 Claude Code、OpenAI Codex、OpenCode 等),Omnigent 并不是另一个简单的替代品,而是一个“框架之上的元框架(Meta-harness of harnesses)”。它能够调度并对齐不同的智能体底座,让它们在任务中互相竞争与博弈,从而输出超越单一模型底座的更优代码质量:
> “It can leverage all the existing harnesses and it can actually have them play against each other. It can have Claude Code fight Codex and actually get a much better result than either of them.”
- **极速沙盒运行环境**:支持短生命周期、强安全隔离的代码执行沙盒,保障智能体任意探索与执行的安全性。 - **原生智能体记忆层**:提供跨交互周期的统一状态维护与上下文召回基础设施。 - **Omnigent 竞争性协同**:通过元编排框架协调多款主流编码智能体交叉互验与攻防博弈,突破单一 Agent 的准确率瓶颈。
---
[49:43](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=2983s) 软件架构演进:从经典 SaaS 到智能体记录系统
回顾过去二三十年的企业软件历程,Ali Ghodsi 拆解了经典 SaaS 架构的局限性:底层是作为记录系统(System of Record)的关系型数据库(如 HR、CRM 数据库);中间是固化、需耗费大量外包成本才能定制的业务工作流;顶层则是体验欠佳却因使用习惯难以替代的专用前端界面。销售、运营、财务等不同部门各自维护着互不连通的系统孤岛。
当下,各类 SaaS 供应商纷纷为自己的孤岛系统套上专属的 Agent 外壳,宣称可以无头访问数据。然而,企业真实的业务决策绝不可能局限于单个 SaaS 系统内部,任何现实问题都需要跨系统串联多方数据。不同供应商之间的商业壁垒,导致此类跨系统查询变得极其繁琐与昂贵。为此,Ali Ghodsi 提出了新一代软件技术栈的终极形态——**智能体记录系统(Agentic System of Record)**:
> “We think that the new system of record is actually the data and AI platform that we've been talking about all along.”
```mermaid flowchart TD accTitle: 智能体记录系统架构与企业应用层 accDescr: 展示以开放格式数据湖仓为底座、配备统一治理与上下文层,向上支撑智能体与 Databricks Apps 的未来架构
subgraph Presentation ["顶层交付:Agentic Apps"] APP1["定制企业业务应用"] APP2["Vibe Coded 自建应用"] APP3["Genie 智能体群"] end
subgraph AgenticSoR ["智能体记录系统 (Agentic System of Record)"] CTX["企业本体论与全局上下文 (Genie Ontology)"] GOV["统一治理、安全与成本控制 (Unity AI Gateway)"] DATA["开放格式全量企业数据 (Open Format Data Lakehouse)"]
CTX --- GOV GOV --- DATA end
Presentation --> AgenticSoR ```
未来的核心不是直连风险极高的底层生产数据库,也不是在各个 SaaS Agent 之间做复杂的链路转发,而是依靠一个统一的平台: 1. **开放格式数据湖仓**:打破格式垄断,汇聚并高效索引全量多模态数据; 2. **统一治理与成本控制**:通过统一部署的网关防止智能体盲目空耗 Token,实现细粒度安全与预算管控; 3. **全局业务上下文**:将跨越多个部门的业务实体和语义关联组织为企业统一的本体论图谱。
在此稳固底座之上,Databricks Apps 正式承接了最后一公里的落地任务,使企业自建的交互式应用与自主智能体能够安全合规地赋能成千上万的终端业务用户。
[53:24](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=3204s) 应用程序市场与 Lakewatch:构建在 Security Lakehouse 上的 Agentic SIEM
Ali Ghodsi 继续介绍构建在智能体记录系统(Agent System of Record)之上的应用生态。这类应用目前处于爆发式增长阶段,也是 Databricks 内部增长最快的产品形态。为此,Databricks 正式推出了一个全新的 Marketplace(应用市场)。用户不仅能直接获取各类应用,还能在平台内完成交易与结算,直接向软件供应商采购;企业同样可以在此构建并分发私有应用。在众多方向中,Databricks 针对数据极其密集、能够发挥自身独特优势的核心领域,亲自打造了专属解决方案,首当其冲的便是网络安全。
两个月前,Databricks 发布了新一代 Agentic SIEM(安全信息与事件管理系统)——Lakewatch。当前传统安全方案的核心困境在于成本失控:企业被要求把不断暴增的安全日志强行注入专有的传统 SIEM,高昂的摄取费用迫使许多团队在入库前对数据进行大肆过滤,仅保留“最关键”的部分。Ali Ghodsi 指出,在自动化智能体攻击肆虐的当下,这种做法无疑是自废武功。过去六个月里,全球最顶尖的黑客已经是一个名为 Expo 的自主智能体系统,它常年盘踞在 HackerOne 榜首,黑客们通过 Mythos 等工具全自动挖掘未公开漏洞。企业必须以极低廉的成本留存全部安全日志,而开放的 Security Lakehouse 恰恰是唯一解法。依托底层的全量数据,Lakewatch 中的智能体可以自动创建检测规则、在安全团队清晨上班前自动分流数百条告警(类似 ZeroOps 对数据运维的作用),并在爆发新型零日攻击时自主开展威胁捕获与数据管道扩充。
```mermaid flowchart TD accTitle: Lakewatch 架构流转图 accDescr: 展示安全日志汇入开放 Security Lakehouse 后由 Lakewatch 智能体自动执行告警分流与威胁检测的闭环流程。
subgraph Ingestion["安全数据层"] A["企业全量安全日志<br/>(网络、终端、应用)"] --> B["Open Security Lakehouse<br/>(低成本持久化存储)"] end
subgraph LakewatchEngine["Lakewatch 智能体引擎"] B --> C["自动检测管道构建"] B --> D["告警分流智能体<br/>(SOC 自动降噪)"] B --> E["威胁捕获智能体<br/>(零日漏洞自动追踪)"] end
subgraph SOC["安全运营中心 (SOC)"] C --> F["Pythonic 规则库更新"] D --> G["SOC 分析师就绪报告"] E --> G end ```
- 过去半年 HackerOne 榜单上排名靠前的顶级黑客已是名为 Expo 的智能体系统,表明网络攻击已迈入高度自动化时代。 - 传统 SIEM 因按量计费昂贵导致用户主动缩减并过滤安全日志,留下了致命的防御盲区。 - Lakewatch 将全量日志保留在开放数据湖仓中,为 SOC(安全运营中心)分析师提供自动化告警降噪与威胁搜寻(Threat Hunting)。
---
[55:58](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=3358s) 宣布收购 Panther Labs 与推出 CustomerLake(Agentic CDP)
紧接着,Ali Ghodsi 宣布了一项重磅收购:Databricks 已正式达成协议收购 Panther Labs。Panther 是一家走在时代前沿的 Python 驱动型 SIEM 平台。创始人 Jack Naglieri 曾是 Airbnb 的一线 SOC 分析师,早在五年前两人初次会面时,Jack 就坚定地认为安全平台不应使用复杂的拖拽式图形界面,而必须完全代码化、Python 化。Ali Ghodsi 赞叹这一判断极其精准:“事实证明这极具前瞻性,因为如今所有的 AI 都想说 Python。”随着 Panther 的加入,Databricks 获得了数百个现成的成熟安全连接器、丰富的 Pythonic 检测用例,以及包括 Anthropic、Coinbase 和 Plaid 在内的顶尖标杆客户。
除安全领域外,Databricks 还进军营销技术栈(MarTech),正式推出了基于 Lakehouse 架构的 Agentic CDP(客户数据平台 / 客户 360)——CustomerLake。传统 CDP 往往依赖静态规则划分受众群组,而 CustomerLake 内置了两类核心智能体: 1. **Profile Agent(画像智能体)**:利用大语言模型代替传统机械模糊匹配,实现高精度的实体解析与身份去重(Identity Deduplication)。 2. **Campaign Agent(营销战役智能体)**:落地所谓“无限战役”(Infinity Campaigns)新概念。过去营销团队通常只能将全球用户粗暴切分为 100 个静态群组进行批量投放;如今借助低成本、经蒸馏的轻量化 LLM,企业能够对每一位消费者实现真正意义上的一对一、不间断且高度个性化的动态交互。
最后,Ali Ghodsi 对开幕演讲的主旨进行了全局收拢:企业要想让 AI 真正释放生产力,核心在于将分散的数据与流程捕获为 AI 易于理解的业务上下文(Context),同时守住三个底层支柱——免受供应商绑定的自由选择权(任意数据、模型与云底座)、统一集中的多模型治理与成本控制,以及无缝接入业务语境的智能体记录系统。
- Panther Labs 由前 Airbnb SOC 分析师 Jack Naglieri 创立,全面押注 Python 代码化检测,完美契合了现代 AI 智能体的代码生成习惯。 - CustomerLake 联合多家行业生态伙伴与先锋开发客户共同研发,颠覆了传统 CDP 人工划定人群标签的静态运营模式。 - “在过去,人们的做法是说:‘让我们把全世界切分成 100 个不同的受众群体,然后分别向这 100 个群体做营销。’但现在,借助极其廉价、小型且蒸馏过的大语言模型,我们能够真正做到一对一的、持续不断的个性化营销互动。”——Ali Ghodsi
---
[01:00:30](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=3630s) 为什么我们还需要新的 AI Agent?Genie 1 登场与企业数据幻觉测试
在全场掌声中,Databricks 产品管理高级总监 Ken Wong 登台,正式为参会者揭晓 Genie 1。Genie 1 被定位为能够连通企业所有底层数据与应用业务系统的“AI 同事”(AI Coworker)。普通业务人员只需通过日常自然语言对话,不仅能跨系统获取深度分析洞察,还能直接触发业务流程自动化,甚至通过对话形式当场编排并生成独立的自主智能体。针对台下观众心中普遍的疑虑——“都到了 2026 年,行业里早已充斥着各种 Agent,为什么企业还需要另一个 AI Agent?”,Ken Wong 给出了一针见血的回答:“当下的工具在处理企业数据时表现极差。它们要么根本无法连接数据并对其进行逻辑推理,要么准确率过低,低到你根本不敢信任它们来做实际决策,更不用说将日常工作自动化了。”
为了直观证明现有通用智能体在真实企业级场景下的致命短板,Ken Wong 分享了他前一天筹备 Databricks 产品顾问委员会(Product Advisory Board,简称 PAB)客户闭门会议的亲身经历。他需要一份覆盖所有参会客户的全面全景简报,这个任务对数据的广度与深度提出了极其严苛的要求: - 必须接入其个人的工作邮箱、Slack 沟通记录与日历,提炼出参会嘉宾名单及近期探讨的核心议题; - 必须横跨 Salesforce 系统,抓取各客户正在推进的具体业务用例与项目进展; - 最关键的是,必须无缝穿透至 Databricks 内部的数据湖仓,对极为复杂的消费用量与 Genie 实际调用特征进行深度的指标下钻与多维分析。
Genie 1 迅速完成了跨系统的查询关联,输出了一份结构完整、数据翔实且包含丰富可视化图表的客户画像报告。随后,Ken Wong 抱着测试心态,将完全一致的 Prompt 扔给了市面上五款处于行业领头羊地位的 AI Agent(其中包括两款主流企业级 SaaS 预装的 AI 助手,以及三款风头正劲的代码编写与协同工作智能体)。测试刚开始就遭遇了戏剧性的一幕:第一款他平时经常用来协助撰写文档的主流 AI 助手秒级给出了回复,然而速度快得反常。Ken Wong 定睛一看,简报开头赫然写着“PAB 会议共有 24 家客户参会”。深知实际名单绝非此数的 Ken 追问了一句数据来源,该助手的回答令他目瞪口呆——它当场坦承这个数字完全是自己随机捏造出来的。这一测试直观揭示了通用模型在缺乏受控上下文与严密企业数据语义支撑时所隐藏的信任黑洞。
- Genie 1 具备跨应用检索、数据推理、指标下钻、自动生成报表以及自主代理构建的能力。 - 通用 Copilot/Agent 面对“个人通讯 + CRM 业务系统 + 底层数据湖分析引擎”的多模态混合上下文时,极易退化为纯文本层面的伪造幻觉。 - “答案其实非常简单。你们今天拥有的那些工具,在处理企业级数据方面实在不怎么样。它们要么根本无法连接并理解数据,要么准确度低到你根本无法信赖它们来做出真正的商业决策,更谈不上自动化你的工作流程了。”——Ken Wong
[01:03:46](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=3826s) 现有 AI 助手与 Coding Agent 在企业真实数据场景下的困境
现有的 AI 助手在处理真实企业任务时往往暴露出严重的落地缺陷。一些通用的 AI 助手虽然具备文档检索能力,能够快速调出客户简报,但拉取出的信息往往严重滞后,全是一个季度前的过时内容,对当前的实时沟通毫无价值,结果完全无法使用。而那些尝试连接底层业务系统与结构化数据源的代码智能体(Coding Agents)和协同智能体(Co-work Agents),在试图挖掘动态实时数据时同样举步维艰。这类智能体会陷入漫长的自主循环(Agentic Loop),反复进行推理尝试,不仅迅速耗尽时间上限并请求授权继续消耗海量 Token,而且在长达半小时的来回拉锯后,最终往往只交出一副花哨的 ASCII 字符画与一份残缺不全的半成品报告。
为了验证这不是孤立的个案挑选,Databricks Research 专门收集了员工日常向 Genie 提出的真实业务问题作为基准测试。这些问题并非依靠简单语义层就能轻松解决的常规查询,而是极具深度与细微差别的全新问题(例如:“在所有使用 Genie 的客户中,同时使用第三方智能体的比例是多少?”)。测试结果显示,业内表现最好的代码智能体在处理这类全新数据问题时,准确率仅有大约 50%,且每次都需要耗费数分钟。正如演讲者所言:“50% of the time for a real data question is basically unusable, right? You cannot make You literally can flip a coin.” 这意味着在严肃的企业决策中,依靠通用智能体回答数据问题几乎等同于抛硬币碰运气。这种在准确率、运行成本与耗时之间的巨大权衡,根源在于智能体必须靠试错般的推理路径去偶然撞见正确的上下文。
- 检索增强型 AI 经常召回一季度前的陈旧文档,时效性缺失导致输出完全不可用。 - 现有 Coding Agent 尝试拉取实时结构化数据时容易超时,在反复迭代 30 分钟后仍只能提供部分报告。 - 针对真实企业未预设场景的数据提问,顶尖代码智能体的解答成功率仅约 50%。
---
[01:06:41](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=4001s) 语义层与提示工程的局限:为什么静态建模无法泛化
面对智能体缺乏上下文的难题,业界目前的标准做法是人为注入上下文——在 AI 领域这通常被称为“技能”(Skills),在商业智能(BI)领域则被称为“语义层”(Semantic Layers)。尽管针对核心、稳定的企业商业概念进行静态定义是合理的最佳实践,但试图通过人工编写模型来覆盖企业内部庞杂多变的业务场景却完全不可行。在真实的组织中,每一次市场营销活动对“潜在客户(Leads)”的界定都存在细微差异,每一个敏捷开发团队使用 Jira 字段的规则也各有千秋,没有任何企业能够将所有隐性规则巨细靡遗地手动记录下来。
有些人寄希望于直接利用大模型自动生成这些上下文模型,但这种方法在实践中同样行不通。Anthropic 曾专门发布技术博客探讨此方法的局限性:直接让 AI 自动生成模型,结果往往只会将大语言模型锚定在某一个特定用例的局部模式上,非但不能适应动态多变的业务场景,反而会严重拉低全局的回答准确度。
```mermaid flowchart LR accTitle: Genie Ontology 知识提取与检索流程 accDescr: 展示 Genie Ontology 从数据资产提取知识、通过 Onto Rank 计算权威度并注入智能体上下文的完整流程。
subgraph Ingestion ["数据与资产接入"] P["数据管道 Pipelines"] Q["查询 Queries"] D["仪表板 Dashboards"] end
subgraph KnowledgeStore ["知识加工与治理"] E["提取关系/表达式/人员专长"] O["Onto Rank 权威度排序"] U["Unity Catalog 权限映射"] end
subgraph AgentLoop ["查询与响应"] UserQ["用户自然语言提问"] Ctx["注入权威安全上下文"] Answer["精准数据决策结果"] end
P --> E Q --> E D --> E E --> O O --> KnowledgeStore U -.-> Ctx UserQ --> Ctx O --> Ctx Ctx --> Answer ```
---
[01:07:54](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=4074s) Genie Ontology 与 Onto Rank:自动进化的动态企业上下文图谱
Databricks 针对该难题给出的终极解法是 Genie Ontology。它是一个自动化的学习型上下文层,能够叠加在企业现有的任何建模体系之上——无论是 Unity Catalog 内部的定义,还是第三方语义建模工具中的数据。Genie Ontology 的核心逻辑在于直接连接企业内部沉淀了大量业务知识的存量资产,自动从现有的数据管道(Pipelines)、SQL 查询(Queries)以及数据看板(Dashboards)中挖掘知识。它不仅能够提取数据之间的计算表达式与关联关系,还能自动识别组织内部的领域专长(例如识别哪位具体员工对特定业务主题最具权威发言权),并将这些知识汇总到内部知识库中。
为了从海量提取出的片段中甄别出真正权威、可信的信息,Databricks 的工程师团队开发了一种类似网页排名(PageRank)的专有排序算法——Onto Rank。当用户向 Genie 提问时,系统会依托 Onto Rank 调取最权威的业务上下文,同时自动应用底层数据源的访问权限体系,彻底避免权限泄露的风险,随后将经过过滤的高质量上下文精准注入智能体的推理循环中。例如当询问“当前会议有多少人注册”时,即使事先没有人工搭建专门的数据模型,Genie 也能根据底层数据仪表板中的注册计算逻辑准确作答,并支持用户直接下钻追溯其引用的计算规则来源。
内部测试数据表明,搭载了 Genie Ontology 的 Genie 在解决真实数据问题时,准确率相较于行业顶尖智能体稳定提升了 30 个百分点以上,而运行时间却直接缩短了近一半。正如演讲者所总结:“So, with this level of accuracy enabled by the Genie ontology, now we can truly create a data coworker. One that you can give to all of your employees to actually make decisions with data and even automate decision-making, right? It's the It's the foundation.”
- **知识自动抽取**:自动解析企业的数据管道、SQL 查询、看板及报表,提取表达式、字段关联及人员业务专长。 - **Onto Rank 权威排序**:利用类似 PageRank 的算法对挖掘出的代码与语义片段进行权威度评分,确保智能体采纳最准确的计算方式。 - **权限与安全隔离**:全量继承底层数据系统的访问权限定义,无需重复配置权限体系即可杜绝信息泄露。 - **性能飞跃**:准确率提升超过 30 个百分点,运行时间减少约 50%,为自动化决策提供了稳定可靠的基础。
---
[01:11:20](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=4280s) 现场演示:Genie One 准备高管 OKR 评审与跨系统协同
Databricks 负责 Genie 的资深产品经理 Elise Georis 走上舞台,向全场展示了 Genie One 在实际工作流中的协作能力。Elise 介绍,团队即将迎来一场关于 Genie OKR(目标与关键成果)的高管评审,而她将完全借助 Genie One 准备整份述职材料。Genie One 的主界面设计直观简洁,中部为对话交互区,并配备了用于快速草拟文档或创建新技能的快捷操作按钮;左侧栏则集中展示历史对话记录以及当前用户有权调用的各类智能体与数据资产。
演示中,Elise 向 Genie 输入了一段复合任务指令:首先要求其基于 Databricks 内部通用的评审文档模板链接(包含业务指标、高光亮点与问题反思)生成评审材料;同时指示它跨系统检查未关闭的 Jira 工单,提醒相关负责人推进进度。在执行期间,用户可以随时展开 Genie 的思维链(Thinking Process)进行实时监控。界面显示,Genie 迅速索引了 Unity Catalog Glossary 中的术语词汇表,并利用 Onto Rank 锁定了相关的本体上下文片段。更为关键的是,Genie 全程自动继承了 Elise 在 Unity Catalog 中已有的数据权限边界,无需企业设立单独的权限管控层。紧接着,Genie 读取了相应的 Google Docs 文档模板,调取关联的 Jira 工单数据,并通过开放协议模型上下文协议(MCP, Model Context Protocol)自动在那些未完结的工单下方发表评论催促负责人,随后开始直接执行底层 SQL 进行核心指标计算。
[01:13:01](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=4381s) 现场演示:Genie One 如何跨跨数据源计算真实数据与生成周报
演讲者继续演示 Genie One 的实际操作流程。Genie 跨越 Databricks 与 BigQuery 获取最新的底层真实数据(ground truth)。这与市面上绝大多数通用型 AI Agent 形成了鲜明对比:普通 Agent 往往只能复述或归纳已经存在于某份文档中的内容,但现实业务中,本周最新的业务指标根本还没有现成文档记录。演讲者强调,Genie 能够真正理解数字背后的含义,并直接基于线上实时业务数据(live operational data)进行计算。
```mermaid flowchart LR accTitle: Genie One 实时计算与文档生成架构 accDescr: 展示 Genie One 跨数据源提取真实数据、结合本体论进行计算并生成报告的完整流向。 subgraph DataSources["数据底座"] D1["Databricks"] D2["BigQuery"] end
subgraph CoreEngine["Genie One & 本体论"] Ontology["Genie Ontology<br/>(业务上下文/度量定义)"] Compute["实时数据计算<br/>(避免死循环与 Token 浪费)"] end
subgraph Output["交付物生成"] Doc["OKR 审查报告<br/>(图表/异常/预测)"] MultiChannel["跨渠道分发<br/>(Slack / 邮件)"] end
DataSources --> Compute Ontology --> Compute Compute --> Doc Doc --> MultiChannel ```
演示界面中,Genie 迅速生成了一份准备好供人工审阅的完整文档:不仅拉取了指标,还按地区进行了细分,提供了精美的可视化图表,并提炼出了核心亮点(highlights)、低谷项(lowlights)与异常值(anomalies)。更重要的是,生成速度极快。演讲者解释道:“Rather than just grinding through an agentic loop of trial and error and eating up a lot of tokens along the way, Genie just went straight to the ground truth. And that is really the Genie ontology at work.”(Genie 没有在试错的 Agent 循环中反复空转、沿途耗费大量 Token,而是直接直奔真实数据,这正是 Genie 本体论在发挥作用)。
- **底层数据源**:横跨 Databricks 和 BigQuery 异构平台,直接抓取 live operational data。 - **输出成果**:自动生成包含分地区指标分解、图表可视化、业务异常提炼的 OKR 审阅文档。 - **效率优势**:借助 Ontology 消除漫长而低效的 Agent 试错循环,大幅削减 Token 消耗与延迟。
---
[01:13:55](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=4435s) 溯源审查:Citations、本体论代码片段与 OntoRank 权重
为了验证 AI 输出结果的可信度,演讲者展开了底部的引用列表(citations)。该列表清晰展示了 Genie 得出结论所引用的全部资产,包括数据表、外部数据目录(foreign catalogs)、Jira 工单以及内部文档。其中,核心指标定义明确采用了来自术语表(glossary)并经过人工验证(verified)的官方定义。
进一步点进本体论(ontology)后台,可以看到 Genie 自动沉淀和评估的业务事实片段(ontology snippets)。界面展示了数条具体的片段:包括对“用户参与度(engagement)”的业务定义、Jira 中对“阻碍项(blocker)”的判定标准,以及用于按地区提取参与度数据的 SQL 语句。点开参与度的定义片段,明确记录着“会话时长超过 30 秒才计入参与度”,该逻辑是 Genie 从同事 Chung 编写的“移动端 KPI 仪表盘”中自动提取的。该片段拥有极高的权威得分(authority score),该分值通过综合考量片段被使用的频率以及来源资产的权威性,经由 Ken 之前介绍的 OntoRank 算法自动评定。系统还展示了 Chung 的个人主页,表明他在团队关注的领域有高度贡献,因此 Genie 从其创建的资产中广泛提取了知识片段。随后,演示者直接将该任务设置为每周自动运行,省去了手动跟进 Jira 的琐碎工作。
紧接着,演讲者展示了自定义技能的复用:直接让 Genie 为文档追加一段趋势预测。该能力来自队友预先构建的一个预测技能(forecasting skill),该技能仅封装了内置的预测函数并补充了几条关于团队审阅偏好的提示词指令。Genie 基于实时业务数据立刻运算出结果,并生成了预测曲线图。完成确认后,报告被一键直接发送至 Slack 与电子邮件。
---
[01:16:07](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=4567s) 一键构建专家级 Agent 与移动端主动推送
OKR 审查并非低频单次任务,产品经理日常经常收到有关移动端应用的各种咨询。演示者现场利用当前对话积累的上下文直接构建了一个专属 Agent,并将其命名。该 Agent 成为了一位常驻的“专家级数字同事”(expert co-worker),专门负责解答与 Genie 移动应用相关的业务问题并执行操作。与容易过期的静态文档不同,该 Agent 能够实时常驻更新并在被提问时随时按需计算。
演示者将该 Agent 分享给 Databricks 内部的其他产品经理,并点击进入与该专属 Agent 的独立对话界面。由于移动端的领域上下文已经固化在 Agent 内部,后续向其提问时完全无需重复交代产品背景。演讲者指出,这种模式可以被 HR、IT、财务等频繁处理大量咨询的业务部门广泛采用,所有员工都能在一个统一平台上协同构建与使用专家级 Agent。在管理后台中,作者不仅可以精细化收紧 Agent 职责范围、打磨指令与补充上下文,还可以将其“官方认证”(certify);认证后的 Agent 会显示在组织的公共 Agent 列表中,并在 Genie Ontology 的检索中享有更高的优先级。
最后,演讲者切入移动场景。当在手机上打开 Genie 移动端应用时,收到了一条关于“应用使用参与度出现剧烈突增”的推送通知。演讲者调侃道,用 Genie 监控 Genie 移动端是一件“非常元宇宙(very meta)”的事情。该洞察完全不需要人工手动去配告警规则,Genie 能够根据用户的日常工作轨迹与关切焦点,自发识别异常并在重要事件发生时主动推送到手机。演讲者评价道:“Genie’s no longer just a reactive Q&A tool. It’s now a proactive AI co-worker that can bring me things that matter before I even know to ask.”(Genie 不再是一个被动的问答工具,它现在是一个主动式 AI 同事,甚至能在我们想到要问之前,就把关键事项呈现在我们面前)。
---
[01:19:24](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=4764s) Genie One 正式 GA 与多终端生态整合
Ken Wong 重返舞台,全面总结了刚刚演示的 Genie One。作为具备企业数据智能(data-smart)的 AI 同事,Genie One 拥有完整的协同工作能力(full co-work capabilities):不仅能够直接基于底层数据计算并创建动态分析文档,还支持免开机在后台自动运行定时任务。通过丰富的连接器生态以及受 Unity AI Gateway 纳管的自定义 MCP(Model Context Protocol)工具,Genie One 能够与任何异构系统及自定义工具深度集成;员工不仅能分享自定义技能,还能通过自然语言交谈直接搭建垂直领域的专属 Agent。
Ken 阐述了大型企业客户的应用实践: - **Warner Music Group**:利用 Genie 跨 Databricks 和非 Databricks 数据源进行统一业务查询与分析。 - **General Motors(通用汽车)**:已将数百个 Genie Agent 投产上线,全面赋能旗下各类业务团队。 - **Foot Locker**:借助 Genie 推动企业数字化转型,赋能一线员工人人具备基于数据做决策的能力。
为了让企业内部人人都能随时随地调用数据能力,Ken 正式宣布了 Genie 的全渠道发布与通用可用性(General Availability):
- **工作流集成**:Genie 与 Microsoft Teams 以及 Slack 的深度集成即日起正式上线(available today)。 - **移动端应用**:支持 iOS 与 Android 双平台的移动端应用今日同步推出,该应用已成为 Databricks 内部员工使用频率最高的产品入口。 - **Genie MCP App**:对于已经自研了 AI Agent 或采用其他第三方 Agent 的企业,正式推出 Genie MCP App,允许外部 Agent 直接挂载并调用 Genie 精确的数据计算能力。 - **Genie One GA 与免费额度**:Genie One 今日正式全面通用可用(GA)。为了让每家企业彻底打消试用门槛,Databricks 宣布:“we’re giving $10 worth of tokens um for every single user inside your organization every single month.”(我们将为企业内的每位用户每月免费提供价值 10 美元的 Token 额度)。
[01:22:53](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=4973s) 百事公司(PepsiCo)与 Databricks:超大规模企业的 AI 与数据转型
在 Genie 1 演示结束后,Databricks 联合创始人兼现场工程高级副总裁 Arsalan Tavakoli-Shiraji 邀请百事公司全球首席数据与 AI 官 Magesh Bagavathi 上台分享。Arsalan 称赞百事公司虽然是一家极其庞大且复杂的跨国企业,但在 AI 转型方面堪称行业标杆。Magesh 表示很荣幸代表百事团队登台,并回顾称百事的数字化与流程转型之旅始于大约六年前。其核心使命非常明确:为客户和消费者提供更敏捷(Faster)的服务,为员工、产品和业务注入更强劲(Stronger)的力量,同时确保对地球更加有益(Better for the planet)。
谈及百事的业务体量,Magesh 直言有时连自己都感到惊叹。百事在超过 200 个国家和地区运营,拥有 32 万名全球员工,保持着全天候不间断运转,并且拥有北美最大的运输车队之一。百事衡量服务消费者效果的核心指标被称为“消费场景(Occasions)”,每天大约发生 14 亿次消费场景。要通过全球 600 万家零售商、eB2B 以及 D2C 等渠道无缝支撑如此庞大的消费需求,背后的供应链与业务逻辑极其繁复。面对这种复杂度,百事确立了一条核心信念,正如 Magesh 所指出的:“AI 转型就是数据转型(An AI transformation is a data transformation)”。
在过去六年里,百事对底层技术架构进行了根本性重构: - 从分散且孤立的 60 多个数据湖,全部整合为运行在 Databricks 上的单一 Lakehouse。 - 从笨重的单体架构(Monolithic architecture)彻底转型为真正可插拔的乐高积木式架构(Pluggable Lego-based architecture)。 - 成功将百事全公司 90% 的数据资产统一汇入该平台,构建起被百事称为“企业数据底座(Enterprise Data Foundation)”的生命体系。
```mermaid flowchart LR accTitle: 百事公司数据架构转型对比 accDescr: 展示百事公司从60多个单体数据湖整合迁移到基于Databricks的统一企业数据底座的演进过程。
subgraph Legacy["传统遗留架构"] direction TB L1["60+ 分散数据湖"] L2["单体架构 / 孤岛林立"] L1 --> L2 end
subgraph Modern["企业数据底座 (Enterprise Data Foundation)"] direction TB M1["单一 Databricks Lakehouse"] M2["可插拔乐高式架构"] M3["覆盖 90% 百事全域数据"] M1 --> M2 --> M3 end
Legacy -->|"6年端到端重构"| Modern ```
[01:26:41](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=5201s) 从报表看板到数据对话:Genie 与采购智能大脑的落地突破
Arsalan 提到,百事是极早就开始探讨类似 Genie 功能的客户之一,甚至曾带着内部构想主动找到 Databricks 团队寻求合作。Magesh 解释道,随着百事将海量数据汇入企业底座,团队敏锐意识到该平台具备巨大的业务潜力,他们将其定义为“AI 赋能 BI(AI for BI)”,即让每个人都能“与数据对话(Dialogue with data)”。无论是仓库操作员、一线员工还是知识工作者,都应该能够轻松通过自然语言交互获取数据洞察。然而在自研探索中,团队尝试利用向量化与传统 RAG 模式构建方案时遇到了严重瓶颈:每次开发需要耗费 3 到 6 个月时间,且数据准确率迟迟无法达到生产要求。而随着企业数据底座中已有近 95% 的数据完成精准编目,Genie 成为快速释放 Databricks 环境核心价值的钥匙。
在实际落地场景中,百事提出了“AI 赋能百事(Agentify PepsiCo)”与打造“供应链 AI 大脑(Supply Chain AI Brain)”的宏大构想。其中最具代表性的是在首席采购官(CPO)大力支持下构建的“采购大脑(Procurement Brain)”。百事是一家年营收高达 950 亿美元的巨头,直接采购与间接采购的体量极为庞大。在名为“Spend Wise”的采购管理平台上,高级管理者过去依赖各种固定看板与分析报表来追踪间接支出。引入 Genie 之后,业务交互模式发生了颠覆性的变化: - 在 Spend Wise 平台上线 Genie 的前几周内,用户与系统来回交互的查询量迅速突破 30,000 次。 - 业务用户的行为习惯迅速从被动查看固定报表和仪表盘,转向与 Genie 进行交互式即时探索。 - 团队高度评价 Genie 的 Agent 模式,用户能够直接进入深度研究流程,获得极大灵活性。 - 百事正将该成功经验迅速推广至全公司其他部门,包括欧洲及拉丁美洲的商业销售报告等领域。
关于未来的规划,Magesh 强调百事的目标是全面推进“Agent 化百事”,使 32 万名员工都能拥有专属的 AI 智能代理,彻底打通从“洞察”到“行动”再到“业务成果”的闭环。作为这一转型的衡量指标,Magesh 指出:“我们当前的目标是将超过 30,000 份静态报表,大幅缩减为 50 多个基于 Genie 的 AI for BI 控制台(Our goal is now to go from these 30,000 plus reports down to 50 plus AI for BI or Genie consoles)”。
[01:30:47](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=5447s) 混乱的中间层:数据工程师面对的现实困境
在百事公司分享结束后,Databricks 产品管理高级总监 Bilal Aslam 身穿极具辨识度的紫色西装登台。他开场打趣道,两年前他穿这件紫色西装讲 Lakehouse,去年没穿结果收到的最多反馈就是“把紫色西装穿回来”,因此今天他再度以这一标志性装束亮相。Bilal 向此前分享 AI 和 Agent 愿景的嘉宾致谢,但随后话锋一转,将视角拉回到一线工程人员的现实痛点上。
Bilal 直言,台上展示的各类 Agent、前沿 AI 和智能应用描绘了激动人心的未来,但任何一个身处现场的数据工程师在兴奋之余难免会心生焦虑,甚至暗想:“这一切都很酷,但这全都需要数据支撑;我的工作恐怕又变难了。”
数据工程的目标非常明确:以终为始,到达右侧的业务成果(Business outcomes),支撑应用、Agent 和实时运营;但工程师必须从最左侧的原始数据源出发。现实中的数据源极度碎片化且异构,涵盖流式引擎 Kafka、SaaS 软件 Salesforce 和 NetSuite,以及本地部署的传统数据库如 Oracle 和 SQL Server 等。两端之间充满挑战的数据摄取、清洗、转换与调度过程,被 Bilal 称为“混乱的中间层(The messy middle)”。在展示了一张布满各种工具 Logo、框图与复杂连接线的架构拓扑图后,Bilal 指出:“我们长期以来已经向复杂性妥协了(We've made peace with complexity)”。尽管工程师们本能地知道,这种四分五裂、缺乏统一性的架构存在诸多致命缺陷——比如难以对全流程进行版本控制——但大家往往只抱着“至少目前还能跑通”的无奈心态继续维系着脆弱的系统。
[01:32:41](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=5561s) 数据工程的现实困境与 Agent 带来的“管线海啸”
传统数据技术栈在版本控制、全链路治理与弹性扩展方面存在难以逾越的结构性断层。工程师可以对 Apache Spark 代码实施精细的版本管理,却无法对底层的 Kafka 集群基础设施做同等控制;跨异构存储系统的密集读写让统一数据治理形同虚设,许多核心组件更是深陷厂商专有格式的锁定,无法协同扩展。演讲者直言,数据工程师的工作即将在 AI 时代变得更加严峻:作为专为数据科学、机器学习与数据工程定制的代码 Agent,Genie Code 在发布短短三个月内,就已经编写了 60% 的 Lakeflow 数据管线。然而,这项令人惊叹的技术飞跃也给基础设施带来了巨大的维护阴影——Agent 越强大,催生的新数据和新管线就越多,极易将本就脆弱的数据底座彻底压垮。
针对这种“用复杂性叠加复杂性”的死循环,数据团队的核心出路是削减繁杂的可动部件,转向以开放格式、开放框架与开放工具为核心的极简现代化架构。演讲者在此郑重声明,Lakeflow 正是为此而生的统一开放数据技术栈,它旨在为企业级 AI 与智能体构筑稳固基座,并全面兼容数百家合作伙伴生态。
> “I'm here to tell you that your job, and my job as a data engineer, is about to get quite a bit harder.” —— Bilal Aslam
```mermaid flowchart TD accTitle: 传统异构数据栈向 Lakeflow 统一开放栈的演进 accDescr: 展示传统栈中碎片化的 ETL、流计算、连接器、Kafka 与 Airflow 如何统一至 Lakeflow 开放声明式管线体系
subgraph Legacy["传统异构碎片化架构"] A1["分散的 Spark / DBT / Flink"] A2["专有 SaaS 连接器 & Shadow IT"] A3["自建 Kafka 集群 (小文件积压)"] A4["遗留版本 Airflow (高维护成本)"] end
subgraph Lakeflow["Lakeflow 统一开放数据底座"] B1["Spark 声明式管线 (统一批流/SQL/Python)"] B2["Lakeflow Designer & Connect (100+ 开放连接器)"] B3["ZeroBus Ingest (Kafka 协议兼容 / 12GB/s 开放入湖)"] B4["Lakeflow Jobs (Serverless / 50+ 跨系统算子)"] end
Legacy -->|"消除碎片化与厂商锁定"| Lakeflow ```
---
[01:34:23](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=5663s) 统一 ETL、消除影子 IT 与开放式声明式管线
在数据转换(ETL)这一耗费工程师绝大部分时间和预算的核心环节,传统体系往往混杂着历史遗留的 Spark 作业、云厂商的专有 Spark 发行版(如 EMR)以及单独用于 SQL 建模的 dbt。Lakeflow 倡导使用开放的 Apache Spark 声明式管线(Spark declarative pipelines)全面取而代之。该框架具备三大优势:首先,支持在包含个人笔记本电脑在内的任意环境中运行;其次,采用声明式语义让开发者聚焦业务逻辑本身,这种清晰的结构极大提升了 AI 编程智能体的编写准确率;最后,它终结了批处理与流处理的割裂,原生支持 Python 与 SQL 混编,无需在工具间做二选一。针对此前因低延迟流计算门槛高而不得不引入 Flink 的痛点,Databricks 将全新开源的实时模式(Real-Time Mode)引擎深度嵌入 Spark 声明式管线中,使开发者依托通用开放框架即可达成毫秒级的极速流处理。
在数据开发领域广泛存在的“影子 IT”(Shadow IT)问题同样亟待解决:许多企业内部虽然只有数十位专业数据工程师,却有数百名业务分析师使用无代码拖拽工具在个人电脑上私自搭建数据流,一旦人员离职,这些基于封闭专有格式的管线便会彻底失控。为此,由 Genie 驱动的无代码数据准备工具 Lakeflow Designer 正式宣布全面可用(GA)。它彻底告别了黑盒设计,其底层编译输出的全部是标标准准的 Spark 声明式管线,天然具备跨平台运行与全流程可追溯的特性。
---
[01:36:23](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=5783s) 数据摄取、ZeroBus 对 Kafka 的替代以及工作流编排革新
面向数据源摄取链路,传统的第三方 SaaS 摄取工具往往会将数据落地为专属格式,AI 智能体无法调用、运维人员无法监控治理。Lakeflow Connect 现已扩展支持超过 100 种集成连接器,依托活跃的开源社区,企业既可开箱即用亦可自行定制,且底层统一生成 Spark 声明式管线。而在实时高吞吐遥测场景中,长期充当数据缓冲层却极难运维的自建 Kafka 基础设施也迎来了变革方案——ZeroBus Ingest。这项全托管服务实现了 100% 的 Kafka 传输协议兼容(Wire Compatible),企业无需改动原有的 Kafka 消息生产端代码,仅需调整指向端点,即可以高达 12 GB/s 的带宽直接将数据写入 Lakehouse,彻底消除数以百万计的小文件碎片问题。
```mermaid flowchart LR accTitle: ZeroBus Ingest 数据入湖工作流 accDescr: Kafka 客户端代码无缝对接 ZeroBus Ingest,以极高吞吐直接输出开放格式入湖并杜绝小文件
K["现有 Kafka 生产代码"] -->|"100% 协议兼容"| Z["ZeroBus Ingest (全托管服务)"] Z -->|"12 GB/s 高吞吐写入 / 无小文件碎片"| L["Lakehouse 开放存储格式 (就绪供 AI 使用)"] ```
在调度编排层,传统数据团队通常依赖自建 Apache Airflow,但 Databricks 客户调研显示,高达 80% 的受访企业仍滞留在已暴露诸多安全漏洞的旧版本 Airflow 上。Lakeflow Jobs 针对这一现状提供了开箱即用的完全 Serverless 编排服务,不仅支持原生纯 Python 工作流编写与可视化 DAG 拖拽,还重磅推出了 50 多个开源集成算子,具备超越平台边界的任务调度能力,甚至能直接编排管理外部的 Snowflake 工作负载。
- **日处理行数**:Spark 声明式管线每天在生产环境中处理超过 200 万亿(200 trillion)行数据。 - **月运行规模**:Lakeflow Jobs 每月承载全球最严苛工作负载,作业调度执行次数达 17 亿(1.7 billion)次。 - **Serverless 采纳率**:免去集群配置与 VPC 搭建烦恼的 Serverless Compute 客户选择率已攀升至 50%。
---
[01:39:33](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=5973s) 运维深水区:数据工程与传统软件工程的本质差异
尽管基础设施搭建已显著简化,数据生命周期的真正瓶颈却并不在代码构建,而在日常数据运维(DataOps)。行业调研显示,全球数据工程团队平时超过 50% 的工时被迫消耗在管线打补丁与常规维护上;即便如此,各类企业每月依然要承受高达 60 个小时的数据停机时间。许多人寄希望于通用编程智能体来自动排障,但事实并非如此,因为“数据工程绝不仅仅是软件工程”,两者在底层逻辑上存在本质差异:传统软件工程的代码是高度自解释(Self-describing)的,而数据工程的代码执行结果深度绑定于不可预测的数据状态与动态时序。
> “Here's a survey that is by one of our partners and it shows that data engineering teams spend more than 50% of their time on maintenance.” —— Bilal Aslam
[01:40:51](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=6051s) 为什么通用编程智能体在数据工程运维中屡屡碰壁
讲台上的演讲者指出了软件工程与数据工程之间本质上的巨大鸿沟。在传统软件工程中,系统主要由代码构成,测试结果是非黑即白的、完全确定性的;然而在数据工程中,代码与数据深度交织,“你无法单纯去测试数据,它是具有统计特性的”。更关键的差异在于故障处理机制:传统软件工程允许失败,一旦发生异常会有完整的堆栈追踪(trace),开发者可以立刻捕获异常并回滚部署;但数据工程的失败往往是无声且不可逆的。正如演讲者所言:“在数据工程中,故障往往是无声且永久性的。你可能会在一周后,接到 CEO 或业务利益相关者的愤怒来电,质问‘为什么这笔数据全是错的?’”(“In data engineering, failures are silent and permanent. You're probably going to get an angry phone call from a CEO or a stakeholder saying, 'Hey, how come this data's bad?' Maybe a week later.”)
通用编程智能体(Coding Agents)在解决数据管道故障时经常失灵,核心原因在于四大断层: 1. **故障检测(Detection)**:通用智能体缺乏必要的数据遥测(telemetry),面对长达数兆字节的 Spark 日志,极难在有限的上下文窗口(Context Window)中有效管理与提取关键信息。 2. **根因定位(Assess/Root Cause)**:智能体缺乏全局血缘关系(lineage),难以理清上下游依赖。 3. **修复补丁(Remediation)**:智能体需要编写修复代码,这要求它同时理解代码与数据业务逻辑。 4. **验证修复(Verify)**:数据工程不能仅靠运行单元测试,修复代码必须在真实的生产数据上跑一遍才能验证其有效性。
演讲者在现场向观众发问,是否有谁愿意将生产数据的读取甚至写入权限直接开放给一个外部的、不可信的第三方智能体?现场鸦雀无声,没有一个人举手。因为一旦给不可信的智能体生产环境的写权限,它随时可能引发灾难、清空关键数据。由此得出一个核心洞察:运维智能体必须原生存在于数据平面(Data Plane)之内,绝不能孤立在数据平面之外,因为只有数据平面才天然掌握着数据、血缘以及严格的治理安全边界。
```mermaid flowchart LR accTitle: 数据工程运维智能体在数据平面内的闭环处理流 accDescr: 展示 Genie ZeroOps 在数据平面内完成从检测、评估、根因分析、修复到基于浅表克隆验证的完整闭环。
subgraph DataPlane ["数据平面(Data Plane 原生运行)"] direction LR A["1. 异常检测<br/>(ML 动态监控)"] --> B["2. 影响评估<br/>(血缘图谱排查)"] B --> C["3. 根因定位<br/>(多智能体共识)"] C --> D["4. 自动修复<br/>(Genie Code 联动)"] D --> E["5. 安全验证<br/>(生产浅表克隆)"] end
E -->|"提 PR 走正常发布"| F["生产发布合并"] ```
---
[01:43:19](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=6199s) 发布 Genie ZeroOps:让数据与 AI 运维进入自动驾驶时代
基于上述核心洞察,演讲者正式宣布推出 **Genie ZeroOps**——一款在后台全天候运行的全新智能体,旨在让数据与 AI 的运维彻底实现“自动驾驶”。演讲者详细拆解了 Genie ZeroOps 支撑整个运维生命周期的底层工作机制:
- **自动检测(Detection)**:Genie ZeroOps 会自主为每张表构建专属的机器学习模型并持续进行微调,原生集成指标、事件与系统日志。目前已有数万个此类生产级机器学习模型在后台并行运行。 - **影响评估与根因分析(Assess & Root Cause)**:利用 Unity Catalog 中的数据血缘进行图谱排序(Graph Ranking),双向遍历上下游链路。它采用“主管智能体(Supervisor Agent)+ 子智能体集群(Sub-agents)”架构,由各子智能体多路调研并达成共识,迅速找出最可能的诱因。 - **修复协同(Remediation)**:与 Genie Code 深度配合,无缝联动代码库、工单系统和版本控制工具,在排查与修复过程中自动同步工单状态。 - **沙盒验证(Verification)**:依托 Databricks 在构建开放湖仓(Lakehouse)十年积累的能力,利用浅表克隆(Shallow Clones)技术为生产数据秒级生成轻量分支,并在原生网络和代码隔离环境中运行验证,彻底杜绝污染生产数据的风险。
---
[01:44:48](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=6288s) 现场演示:优先收件箱、浅表克隆验证与敏感数据治理
进入实机演示阶段,界面的直观设计令人耳目一新。Genie ZeroOps 没有采用布满各种刺眼红灯与仪表盘的传统监控告警界面,而是呈现出一种类似“优先级电子邮件收件箱”的优雅工作流。系统根据事件的严重程度(Severity)进行智能分级排序,让工程师专注于核心业务;同时,系统能够自动将因同一上游故障引发的 16 个失败作业自动归为单一事件,避免了告警风暴。
演示中展现了一个真实的线上故障:约 10 分钟前,上游的 `top_fan_voters` 表行数发生断崖式下跌。在工程师登录控制台之前,后台运行的智能体就已经完成了全部的根因推理和影响范围评估: - **影响评估**:智能体顺着血缘向下追踪,发现下游多个关键表以及“粉丝互动看板(fan engagement dashboard)”均依赖此表,因此将该事件标记为“关键(Critical)”。 - **溯源排查**:多智能体沿着有向无环图(DAG)向上游回溯,在错综复杂的依赖中精确定位到是 `fan_interactions` 数据表出现了异常。 - **隔离验证与修复**:在获得授权的前提下,智能体为涉及数 TB 数据的生产环境创建了一个浅表克隆分支(Shallow Clone),在完全隔离的环境中部署自动生成的修复代码,并严格验证了计算返回的行数恢复正常。工程师确认无误后,只需点击生成 Pull Request 即可进入正常发布流程。
此外,演讲者展示了 Genie ZeroOps 的另一项硬核能力——**自主敏感信息(PII)巡检**。在获得权限后,系统扫描发现某应用程序在无意中泄露了大约 1,000 名用户的个人身份信息(PII)。Genie ZeroOps 不仅出具了详细的每表泄露分析报告并评估血缘风险,还直接生成了一份 Unity Catalog 数据访问控制策略补丁(而非侵入性的代码修复),工程师一键应用即可堵住合规漏洞。演讲者总结道,Genie ZeroOps 将使数据工程师“大幅减少构建与维护故障的时间,将更多精力倾注在统一简洁的数据栈创新上”。
---
[01:48:26](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=6506s) Ali Ghodsi 登台:“已知数据领域”与数据基础设施的群雄割据
在全场热烈的掌声中,Databricks 联合创始人兼 CEO Ali Ghodsi 重新回到舞台。他对 ZeroOps 带来的工作模式变革赞不绝口,并宣布大会将正式进入核心架构发布环节,联合创始人兼首席架构师 Reynold Xin 稍后将登台介绍 Databricks 过去一年的重大技术突破。
为了让参会者更清晰地看懂当前眼花缭乱的数据技术格局,Ali Ghodsi 将当前纷繁复杂的系统架构抽象为一张宏大的全景图,戏称其为“已知数据领域”(The Known Data Realm),并将其类比为数据基础设施领域的“权力的游戏”(Game of Thrones):“这片海域充满风浪与纷争。在这颗星球的西方,矗立着自 1980 年代发明以来的 OLTP 事务型数据库王国;当时每诞生一个应用,背后就必须有一个与之匹配的数据库来支撑业务运转。”以此为切入点,Ali Ghodsi 开始为接下来 Lakehouse 如何化解事务处理(OLTP)与分析处理(OLAP)数十年分裂的历史大戏拉开序幕。
[01:49:29](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=6569s) 割裂的数据版图:从 OLTP 孤岛到实时分析的演进
Ali Ghodsi 用一张数据系统演化版图生动描绘了企业当前面临的技术割裂。在版图的左侧,是大家所熟知的 OLTP(联机事务处理)世界。以自动取款机(ATM)取款软件为例,系统在处理资金扣减时必须以几毫秒的极低延迟访问数据库,且绝不能发生故障或记错事务。随着业务需求演变,这个孤岛上又陆续涌现出键值存储(Key-Value Store)以及如今伴随 AI 兴起的向量检索(Vector Search)等专用数据库。而在版图的右侧,20 世纪 80 年代后诞生了数据仓库(Data Warehouse),用于回答汇总统计问题——比如“所有 ATM 总共发生了多少交易金额?”。如果直接在运行业务的 OLTP 数据库上执行此类大规模分析,系统就会不堪重负甚至直接崩溃,导致取款机停摆,因此必须将分析工作与交易系统隔离开来。
在过去 15 年间,企业的需求进一步从“过去的交易总量是多少”演进为“Ali 今天打算取多少钱”这种预测未来的高阶统计与数据科学分析。最近几年,版图上又新多出了一个被称为“实时分析”(Real-time Analytics)的孤岛——面向 AI Agent、实时应用或监控看板,它们不需要复杂的全表大 Join 分析,但对查询延迟有着极为苛刻的极速响应要求。为了让分析引擎能够运转,企业不得不依靠数据工程构建错综复杂的管道,日夜不停地将数据从左侧的 OLTP 系统抽取、搬运并清洗到右侧的各类分析引擎中。
```mermaid flowchart LR accTitle: Data Architecture Islands accDescr: Traditional split between OLTP operational databases on the left and various OLAP analytics systems on the right via data pipelines.
subgraph OLTP["操作型事务系统 (OLTP)"] direction TB A["业务应用 / ATM"] --> B["关系型数据库"] B --- C["KV 存储 / 向量检索"] end
subgraph Pipelines["脆弱的数据管道"] D["数据工程抽取与搬运 (ETL)"] end
subgraph OLAP["分析型数据孤岛 (OLAP)"] direction TB E["数据仓库 (BI 报表)"] F["数据科学 / 机器学习"] G["实时分析引擎 (低延迟看板/Agent)"] end
OLTP --> Pipelines Pipelines --> OLAP ```
- **OLTP 核心特征**:追求毫秒级延迟、极高可用性,保证 ACID 事务绝对安全。 - **数据仓库演进**:80 年代诞生以承接分析负载,避免复杂统计查询拖垮核心交易。 - **数据科学与预测**:过去 15 年兴起,利用历史数据建立模型并预测未来行为。 - **实时分析需求**:近期为 Agent 和交互式看板而生,专精于极低延迟的聚合与点查。
---
[01:51:51](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=6711s) Agent 洪流带来的架构风暴与统一湖仓的瓶颈
Ali Ghodsi 指出,数据团队此前刚刚通过规范化管道把这套体系稍微梳理顺畅,一场席卷而来的“AI Agent 洪流”就打破了平静。大量的 Agent 开始以极高的并发和频次向数据库抛出查询、索取数据,迫使系统在各个孤岛之间搬运海量数据。Ali 打趣说,这种暴增的负荷就好比每家企业突然把员工总数翻了一倍,而底层脆弱的基础设施在过去一年里频繁发生瘫痪事故。解决这一危机的根本出路在于“化繁为简”的架构统一。
回顾 Databricks 的发展历程,团队最初通过 Apache Spark 整合了数据工程与数据科学,随后在 5 年前推出了 Lakehouse(数据湖仓),成功在同一个引擎内统领了数据仓库、数据工程与数据科学三大场景。然而,现有的数据仓库与湖仓技术在面对实时分析时依旧存在天然的技术权衡,其查询延迟无法做到亚秒级或几毫秒响应,迫使企业只能为实时分析单独维护一份冷备甚至热副本。为了揭晓突破这一极限的最新技术创新,Ali 邀请了 Databricks 联合创始人兼首席架构师 Reynold Xin(辛湜)登台。
- **基础设施的脆弱性**:Agent 的涌入让跨系统数据搬运量成倍激增,频频引发服务断崖式故障。 - **历史统一节点**:Spark 统一了工程与算法,5 年前发布的 Lakehouse 实现了数仓、工程与算法的合一。 - **实时分析的妥协**:主流数仓引擎受限于复杂分析架构,无法在保证吞吐的同时跨越亚秒级的延迟鸿沟。
---
[01:53:32](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=6812s) Reynold Xin 登台:撞上“1秒之墙”与 Serving 架构噩梦
Reynold Xin 登台后难掩兴奋,直言这项新成果是 Databricks 自发布 Lakehouse 以来“最重大的单项技术创新”。他回顾道,过去 5 年 Lakehouse 的数仓业务实现了爆发式增长,赢得了 Gartner 与 Forrester 的行业领导者地位,财富 500 强中有超过 60% 的企业在使用它。Reynold 甚至开玩笑说:“我们实际扫描的负载量级达到了 Exabyte,取决于你在哪个时区,可能在你吃早饭之前我们就已经扫描完了。”尽管团队每年都在峰会上宣布巨大的性能跃升,但当面对苛刻的实时负载时,所有的数仓和湖仓都不约而同地撞上了一堵“1 秒之墙”。
所谓“1 秒之墙”,并非指查询绝不可能在 1 秒内返回,而是系统无法在毫秒级或数百毫秒的极窄区间内提供稳定的 SLA 保证,时不时就会出现延迟毛刺(Latency Spikes)。为了解决这个问题,需要极高 SLA 的企业被迫搭建一整套独立的 Serving(服务层)技术栈,将湖仓中的部分数据再次拷贝出去。这带来了严重的后遗症:针对每个数据集都要维系额外的同步流水线;专用服务栈虽然对简单查询极快,却根本无法应对通用负载;更严重的是安全治理灾难——数据团队在底层湖仓配置了严格的权限,却随时要提心吊胆数据拷贝到专用系统后是否会产生权限泄露漏洞。面对“到底能不能不拷贝、不搬运数据”的终极设问,整个数据库领域在过去几十年中其实一直受困于经典理论的束缚。
- **Lakehouse 数仓业务成就**:进入财富 500 强中超 60% 的企业,每天早晨已处理完成 EB 级数据扫描。 - **“1 秒之墙”的定义**:系统难以在几毫秒至数百毫秒内提供确定性 SLA,长尾毛刺严重。 - **外挂 Serving 栈的代价**:管道运维冗余、查询通用性极差、底层与上层权限管控脱节。
---
[01:55:45](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=6945s) 挑战图灵奖经典论断:反思四十年数据库工程方法论
Reynold Xin 引用了图灵奖得主、Postgres 之父 Michael Stonebraker 的著名学术论文《One Size Fits All, an idea whose time has come and gone》(通用数据库时代已然终结)。Stonebraker 在论文中断言,想要打造一个能够完美运行各类异构负载的单一数据库引擎几乎是不可能的,因为系统的复杂度会呈指数级爆炸,最终让工程实现陷入绝境。正如 Reynold 所指出的:
> “And in this paper, um Stonebraker actually argued it's very, very difficult to engineer a single database engine that's capable of running a wide variety of workloads.” > —— Reynold Xin
Reynold 剖析了传统数据库研发长达四五十年来的根本死穴:研发团队通常是带着特定目标起步,翻阅过去几十年里最新最酷的学术论文,研究针对特定场景的全新算法或数据结构并将其编码实现;然而在真正推向生产环境面对真实负载时,这个新特性往往在一小部分查询上表现惊艳,却导致另一部分查询出现断崖式性能倒退(Regression)。那些专门为毫秒级超低延迟设计的算法,在海量数据集上往往会适得其反,反之亦然。两年前,Databricks 决定彻底打破这种“先找算法、再搞实现、最后打补丁”的工程惯性,回归白板,彻底颠覆数据库的传统构建方式。
- **Michael Stonebraker 的论文观点**:通用型(One Size Fits All)数据库由于复杂度爆炸已被历史淘汰。 - **传统数据库研发模式缺陷**:从论文与新算法出发,引入优化手段往往带来“局部提升,整体性能倒退”的拉锯战。 - **低延迟与大数据量的矛盾**:保极速响应的数据结构与保大规模吞吐的设计天然互相抵触。 - **颠覆性决断**:Databricks 团队在两年前启动秘密项目,从第一性原理重构数据库工程逻辑。
[01:57:54](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=7074s) 机器学习驱动的查询优化与全新引擎 Raiden 的诞生
在构建下一代实时查询引擎的过程中,Databricks 充分利用了自身海量工作负载的优势。Databricks 扫描了数泽字节(Zetabytes)的数据,收集了来自数万亿次查询执行的数千万亿条(quadrillion)真实执行追踪(traces)。依托这些海量追踪数据,团队训练出了一个高保真度的机器学习模型,能够在引入特定新技术时精确预测其实际运行表现。
这一机器学习模型主要用于两大关键任务:首先,在运行时动态且极速地派发最优算法——这里之所以使用专用 ML 模型而非大语言模型(LLM),是因为 LLM 的延迟过高,无法满足毫秒级分发的要求;其次,也是更重要的一点,该模型能够在工程开发落地生产环境之前,预测并指导工程师到底应该实现哪些数据结构和算法。面对计算机科学中数以百万计的算法组合,盲目尝试无异于大海捞针,而“Knowing what to implement is one of the biggest advantage one can get.”(知道该去实现哪些算法,是一个团队所能获得的最大优势)。基于这一方法论打造的成果,就是代号为 **Raiden** 的全新引擎(名字致敬了经典格斗游戏《真人快打》中的雷电角色)。
针对当前市面上的各类专业服务栈(Serving Stacks),用户普遍面临苛刻的限制:部分引擎根本无法运行耗时超过 5 秒的查询;几乎所有引擎都强行要求将数据以专有格式复制到独立系统;且大多数引擎无法处理复杂的关联(Join)操作。Raiden 则打破了这些枷锁,它既能兼顾极速响应,又能完整支持全量复杂 SQL。
```mermaid flowchart TD accTitle: Raiden 算法选择与研发决策流程 accDescr: 展示从 Databricks 海量数据追踪到机器学习模型预测,再到引擎开发与运行时派发的全流程架构。
subgraph DataTraces["海量数据遥测"] A["Zetabytes 级数据与数万亿次查询"] --> B["数千万亿级真实执行追踪 Traces"] end
subgraph MLModel["机器学习预测核心"] B --> C["高保真 ML 评估模型<br/>(非高延迟 LLM)"] end
subgraph DualDecisions["双重决策赋能"] C --> D["事前预测:筛选高价值算法与数据结构进行研发"] C --> E["运行时:低延迟动态派发最优执行算法"] end
subgraph EngineOutput["产品落地"] D --> F["Raiden 实时引擎<br/>(Lakehouse//RT)"] E --> F end ```
[01:59:44](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=7184s) 现场演示:单查询 7 毫秒与千级并发仪表盘压测
在现场实机演示环节,演讲者首先使用经典的纽约出租车(NYC Taxi)小数据集运行了一条简单的聚合查询。在现有的常规 Lakehouse 上,该查询耗时约 1 秒(表现尚可);而在右侧基于 Raiden 构建的 Lakehouse//RT 环境下执行同一条查询,耗时仅显示为 **0.007 秒(7 毫秒)**。面对现场观众的惊呼,演讲者再次点击执行,结果依然稳定在 7 毫秒左右,并开趣道:“Did we hardcode it 0.007? No, we didn't.”(我们硬编码了 0.007 吗?绝对没有)。
随后演示进一步升级到高并发压测场景。团队构建了一个模拟真实仪表盘应用程序请求的压测器。一个典型的仪表盘加载通常需要并行触发 8 条独立 SQL 查询。演示首先从 1 个活动会话展示,仪表盘瞬间完成加载;接着直接将并发量暴力推升至 **1,000 个活动 Agent**,并在同一瞬间向 Raiden 引擎倾泻请求: - 系统在瞬时并发下共执行了 **8,000 条查询**; - 吞吐量达到了 **6,000 QPS(每秒执行查询数)**; - 长尾延迟(Tail Latency)被牢牢压制在 **37 毫秒**。
演讲者在掌声中强调:“None of existing systems can do this.”(现存系统没有任何一个能做到这一点)。
[02:01:46](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=7306s) 基准测试剖析:吞吐量、延迟极限与复杂 SQL 能力
为了用量化指标对比业界竞品,演讲者展示了两组基准测试数据:
第一组测试采用 **TPC-H Q6** 标准查询(涉及简单的数据扫描与聚合),衡量 90 分位长尾延迟(P90 Latency)随 QPS 增长的变化情况: - **竞商最新通用数据仓库(Gen2)**:初期延迟尚可,但在达到 160 QPS 左右时长尾延迟迅速攀升撞墙; - **该竞商去年发布的交互式数据仓库(Interactive Warehouse)**:该产品因无法直接读取通用数据仓库的数据,要求用户必须额外复制代码副本。其承载上限提升到了约 300 QPS,随后延迟急剧恶化; - **开源黄色标识的高性能查询引擎(ClickHouse 类系统)**:专为简单极速查询优化,表现大幅好于前两者,吞吐量一度逼近 15,000 QPS 峰值,但随后系统并未出现超时降级,而是直接崩溃(Crash); - **Raiden**:不仅能够在极高并发下持续推升吞吐量,在超过 12,000 QPS 时依然能将 P90 尾部延迟稳定维持在 1 秒以内,且全程无崩溃。
第二组测试涵盖了 **全部 22 条 TPC-H 查询**,以评估引擎应对多表关联等复杂分析负载的能力: - 在小数据量场景下,所有系统均能在数秒内跑完 22 条查询; - 数据量放大至 100 GB 时,以专有服务见长的黄色标识开源系统耗时剧烈激增,凸显了这类系统不擅长处理复杂多表 Join 的固有缺陷; - 在更大数据量下,竞商的交互式数据仓库因为硬性限制(无法运行单条超过 5 秒的查询)直接失败中断,黄色标识引擎则因内存溢出(OOM)崩溃,而 **Raiden 在所有比例因子(Scale Factors)下均顺利完成了全部查询**。
[02:04:49](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=7489s) 生产落地与重磅发布:Lakehouse//RT 正式亮相
除了标准基准测试外,Databricks 还分享了设计合作伙伴(Design Partners)在真实生产环境中的实测反馈: - **Enverus(全球能源领域数据与 AI 平台领导者)**:使用其最具代表性的 11 条生产查询测试 Raiden。结果表明,原本就是毫秒级的极速查询继续保持在 100 毫秒以内;而耗时极长的复杂分析查询耗时被大幅压缩。全场景平均实现 **16 倍加速**,最长查询的耗时缩减了近 **100 倍**。 - **Meta**:实测显示典型查询均在数十毫秒内返回,更关键的是完全消除了额外维护独立 Serving 系统的架构负担。
基于 Raiden 引擎的出色表现,Databricks 正式发布了全新产品:**Lakehouse//RT**(RT 代表 Real-Time)。该产品作为全新的 SQL Warehouse 交付,首期专注支持只读工作负载。它具备毫秒级响应能力和海量并发支持,并带来了革命性的架构统一: - **就地查询,零数据搬迁**:直接在现有的 Delta Lake 或 Apache Iceberg 数据湖上运行,无需导出到独立服务层; - **全链路统管**:完全受 Unity Catalog 的统一权限控制与数据治理约束; - **架构收敛**:演讲者呼吁用户打破传统认知,审视现有的独立数据服务栈,通过 Lakehouse//RT 将割裂的分析与实时服务双平台合二为一。
[02:07:04](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=7624s) Lakehouse//RT 与 Reyden 引擎:揭晓背后的名字趣闻
Reyden 引擎与 Lakehouse//RT 能够直接基于数据湖和开放格式,提供毫秒级的响应性能以及海量并发处理能力。该项技术的 Beta 测试从当天正式启动,用户可联系客户团队获取抢先体验资格(Early Access),峰会当天也会有两场专题讲座对其底层细节做更深入的技术拆解。
在介绍下一环节前,现场发生了一段轻松风趣的插曲。演讲者走上台打趣说,Reynold Xin 一直不肯向大家透露“Reyden”到底代表什么,所以他决定上台“揭穿”并让他小尴尬一下。Reynold 掌管 Databricks 所有的核心数据平台与研发创新,而团队之所以给这个新引擎起名叫 Reyden,是因为它代表着“Reynold's Dream Engine”(Reynold 的梦想引擎)。他笑着爆料了背后与工程师的真实对话:Databricks 内部的项目实在太多了,管理层为了避免战线过长、精力分散,常常会砍掉很多项目,“所以我们当时就想,要是我们把它以一位联合创始人的名字来命名,你们总不好意思砍了吧?”这一段揭秘引发了全场的会心笑声。
玩笑过后,演讲者重新聚焦到技术架构的宏观版图上。过去,数据架构图中实时分析(Real-time Analytics)就像一座孤立的海岛。而通过 Lakehouse//RT(RT 代表 Real-Time),Databricks 将这块地壳板块彻底拼合回统一的湖仓之中: - 底层沿用统一的开放数据格式; - 享有统一的 Unity Catalog 集中式治理; - 用户可以在同一套技术栈中,同时应对低延迟实时查询与超大规模海量批处理; - 商业定价极具竞争力,基本保持在与原有服务一致的水平。
```mermaid flowchart LR accTitle: 统一湖仓集成实时分析架构 accDescr: 展示实时分析孤岛通过 Lakehouse RT 与 Unity Catalog 统一合并入湖仓架构的过程。
subgraph UnifiedLakehouse["统一数据湖仓 (Lakehouse)"] direction TB UC["Unity Catalog 统一数据治理"] OpenData["底层统一开放存储格式"] Workloads["低延迟实时分析 + 大规模批处理"] UC --> Workloads OpenData --> Workloads end
OldRT["旧有架构:独立实时分析孤岛"] -.->|"合并消除孤岛\n(Lakehouse//RT)"| UnifiedLakehouse ```
---
[02:09:23](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=7763s) AI 时代的应用爆发与下一代数据库需求
完成分析岛屿的整合后,视线转向了数据版图左侧最重要的一块领地——OLTP(联机事务处理)。曾任 MemSQL(后更名为 SingleStore)以及 Neon 首席执行官、现任 Databricks 工程副总裁的 Nikita Shamgunov 登台。作为在 OLTP 领域深耕数十年的资深数据库专家,他在 Neon 被 Databricks 收购后全面领导该方向的技术演进。
Nikita 开篇指出,随着 AI 的爆发,整个软件工程行业已经发生了根本性的范式转变:“得益于 AI,我们现在是在生成软件,而不是亲手手写代码了。”(“Thanks to AI, we now generate software. We're not writing it by hand.”)根据 2026 年前 6 个月的增长趋势,他非常自信地断言:未来一年内被生成出来的软件代码量,将超过整个人类历史的总和。然而,无论软件生成的模式怎么变,每一款应用程序仍然必须依赖底层数据库。
针对由新一代应用程序和 AI Agent 驱动的世界,Nikita 归纳了数据库必须具备的三大核心支柱: 1. **足够熟悉(Familiar)**:AI Agent 学习数据库主要是通过爬取全网公开资源、Stack Overflow 问答以及 Reddit 讨论。数据库必须是主流开源系统且高度流行,Agent 才能具备极高的理解和运维效率;同时它要具备强大的可扩展性,以便将主流与长尾利基负载收拢在统一平台上。 2. **极其轻敏(Nimble)**:面对未来铺天盖地的应用和分支环境,数据库必须是 Serverless(无服务器架构),并支持即时分支(Branchable),从而让 Agent 能随时随地拉起安全的沙盒环境进行读写试验,并在规模化运行时保持极致的成本效益。 3. **关键任务就绪(Mission Critical)**:业务运营离不开事务系统,它必须具备近乎无限的伸缩弹性、极致的低延迟与无可挑剔的可靠性。
---
[02:11:14](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=7874s) Lakebase:为 Agent 与云原生重构的 Serverless Postgres
为了践行上述理念,Databricks 选择了全球最先进、生态最庞大且最受 Agent 理解的开源数据库——PostgreSQL。然而,原生 Postgres 是一个典型的单体架构(Monolith),计算与存储紧密耦合。要让它变得轻敏敏捷,就必须对底层进行解耦重构,将存储下沉至数据湖(Lake)。
然而,对象存储湖虽然成本低廉、容量易于扩展,却存在延迟高、天生缺乏强事务一致性的致命弱点。为此,团队从底层重新设计了存储子系统,引入了两套核心服务来弥补缺陷: - **Safekeepers(写入与强一致性)**:基于 Paxos 分布式共识协议实现,负责低延迟写入与严格的事务一致性; - **Page Servers(低延迟读取)**:专门面向 Postgres 计算层高效分发数据页(Pages),保障毫秒级读取性能。
这套将计算与存储彻底解耦、并在湖上运行的完全托管式无服务器 Postgres,被命名为 **Lakebase**。
```mermaid flowchart TD accTitle: Lakebase 计算与存储解耦架构 accDescr: 展示 Postgres 计算节点与 Safekeepers、Page Servers 及底层湖存储的交互关系。
subgraph ComputeLayer["Postgres 计算层"] ComputeNode["Serverless Postgres 实例"] end
subgraph ServiceLayer["低延迟加速服务层"] SK["Safekeepers\n(基于 Paxos 实现低延迟写入与强一致性)"] PS["Page Servers\n(提供低延迟数据页读取)"] end
subgraph StorageLayer["数据湖存储层"] LakeStore["廉价、可无限横向扩展的 Lake 存储"] end
ComputeNode -->|"写入请求"| SK ComputeNode -->|"读取请求"| PS SK -->|"持久化日志"| LakeStore PS -->|"读取/同步底表"| LakeStore ```
Lakebase 带来了一系列专为敏捷开发和 AI Agent 打造的创新特性: - **亚秒级启停与分支**:无论拉起一套全新的 Postgres 数据库,还是创建包含全量数据的分支(Branching),均可在 500 毫秒内完成。这让开发者可以为 GitHub 上的每一个 PR 或 Agent 任务随时创建独立的开发、测试或预发环境。 - **自动缩容至零(Scale to Zero)**:闲置不用的测试环境会自动停机,不消耗计算资源,大幅削减企业的总体拥有成本(TCO)。 - **快照回滚(Snapshot Restore)**:在命令 Agent 自动执行修改表结构、重构数据等高危任务前,系统可通过 API 或一键打出快照;若 Agent 生成结果不符合预期,可瞬间秒级回滚到快照点。 - **弹性算力与无限存储**:用户只需设定计算上下限(Error Bars),系统就会根据早晚高峰或周末负载自动弹性升降;而存储挂载于湖上,用户永远无需担心磁盘空间耗尽或手动执行扩容运维。
---
[02:15:25](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=8125s) 击穿性能瓶颈:Lakebase 的基准测试表现
重构了存储底层的 Postgres,性能是否会妥协?Nikita 用权威的行业基准测试 TPROC 给出回应。与分析系统的大规模宽表扫描不同,OLTP 事务系统衡量的是高并发下小查询的吞吐量与时延响应。
现场公布的对比测试曲线显示: - **某主流流行云厂商**:在达到约每秒 13 万次操作(130k ops/sec)后性能即见顶触底; - **另一采用不同架构的知名云厂商**:极限吞吐在达到约每秒 35 万次操作(350k ops/sec)时,延迟开始急剧飙升失控; - **Lakebase**:在单次事务时延始终压低在 10 毫秒以内的前提下,吞吐量一路向上突破,直接跨过每秒 60 万次操作(600k ops/sec)的大关。
除了卓越的吞吐表现,在企业级生产合规上,Lakebase 全面覆盖了安全性、合规审计、端到端加密等核心能力。Nikita 特别强调,虽然各大公有云服务商的机房整体宕机并不常见,但在 Agent 高度自动化接管核心业务的今天,一旦底层云发生故障,其对企业业务运行造成的破坏往往是灾难性的。因此,为企业关键事务系统提供超越单云依赖的高可用保障,已成为架构设计中不可或缺的基石。
[02:17:29](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=8249s) Lakebase 推出完全托管的跨云灾难恢复与 3,500 家企业客户里程碑
Nikita Shamgunov 在掌声中宣布推出首个完全托管的跨云灾难恢复(fully managed cross-cloud disaster recovery),强调这正是该架构真正具备“任务关键型”(mission critical)保障的核心所在。在实际业务中,企业往往对单云厂商的区域性故障深感顾虑,而通过 Lakebase 的跨云容灾能力,用户可以极为灵活地跨越不同云基础设施进行容灾配置。例如,主系统可以预置在 AWS 的美西区域(US West),同时在 Azure 的美东区域(US East)保持实时副本。一旦 AWS 遭遇突发宕机,系统能够瞬间无缝故障转移(failover)至 Azure 节点,从而确保企业关键业务流程毫秒不间断。
Nikita Shamgunov 总结道,Lakebase 本质上是运行在数据湖之上的完全托管 Serverless Postgres,专为极其严苛的关键任务而生。尽管该产品正式推向市场仅仅一年时间,但已经在全球范围内赢得了超过 3,500 家大型企业客户的采纳,用于承载其核心生产级负载。为了展示该架构在最高规格金融安全与庞大交易规模下的真实落地场景,他邀请了万事达卡(Mastercard)人工智能与数据运营执行副总裁 Federico Cohen Freue 登台分享。
- **跨云灾备机制**:支持跨不同公有云(如 AWS 美西主节点与 Azure 美东副本节点)之间无缝设立副本与秒级故障转移。 - **市场规模与采纳度**:产品发布仅一年,已有超过 3,500 家企业客户将关键业务数据库迁移至 Lakebase。
---
[02:18:47](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=8327s) 万事达卡:在 Lakebase 上整合 80 项服务与构建 Virtual C-Suite
Federico Cohen Freue 登台后,首先向全场展示了万事达卡令人震撼的业务基本盘:业务横跨全球 200 多个国家和地区,服务数十亿持卡人,年均处理交易量突破 1500 亿笔。在万事达卡的战略路线图中,数据与服务业务的目标是占据整体营收的一半以上;为了达成这一宏伟目标,他们近期将过去分散在企业内部的 80 项不同数据与业务服务统一整合到了单一的智能体平台(agentic platform)之上。Federico Cohen Freue 指出,在过去的大规模架构中,各个系统往往数据割裂、上下文无法打通,而 Lakebase 为他们建立了一个统一的共享基础底座,让不同的 AI 智能体不仅能在实时推理中具备各自差异化的洞察、强有力的治理与隔离能力,更能在这个共享架构中协作配合。
谈及双方在架构层面的深度合作,Federico Cohen Freue 重点介绍了万事达卡基于 Unity Catalog 和 Lakebase 构建的“虚拟高管团队”(Virtual C-suite)解决方案。该产品旨在赋予普通小微企业主以大企业高管级别的决策能力。由于小微企业主通常精力分散,很难对繁琐的现金流和中长期财务预测做出精确判断,万事达卡开发了一组数字高管智能体集群,其中首推的便是“虚拟 CFO”(Virtual CFO),专门帮助小微企业在现金流、支付结算以及营运资金等关乎企业生死存亡的关键节点上提供决策建议。正是因为底座统一部署在 Lakebase 之上,系统能够沉淀出完全共享的企业上下文认知——当一个智能体完成某种洞察计算或触发实际行动时,其生成的上下文状态能即刻被集群内的下一个智能体读取使用。
```mermaid flowchart TD accTitle: Mastercard Agentic Architecture accDescr: 展现万事达卡依托 Lakebase 统一底层整合 80 项服务并驱动 Virtual C-Suite 智能体协作的架构
subgraph DataFoundation["共享底座 (Lakebase & Unity Catalog)"] LB["Lakebase Serverless Postgres"] UC["Unity Catalog 统一数据与治理"] end
subgraph Services["业务中台整合"] S80["整合 80 项分散服务"] end
subgraph AgenticCSuite["Virtual C-suite 虚拟高管集群"] VCFO["虚拟 CFO (现金流与营运资金决策)"] VExec["其他数字高管智能体"] end
LB --- UC DataFoundation --> S80 S80 --> VCFO S80 --> VExec VCFO <-->|"共享实时上下文与行动数据"| VExec ```
- “And so at the scale that we have to operate, bringing together our services was very critical.” —— Federico Cohen Freue 强调在万事达卡庞大的交易规模下,将分散服务整合到统一共享底座是推动智能体协作的关键前提。 - “So, as one agent takes action or generates insights, it becomes instantly available for the next one.” —— Federico Cohen Freue 阐述 Lakebase 如何打通智能体记忆,实现多智能体行动与洞察的无缝接力。
---
[02:21:15](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=8475s) 数千家发卡行的多租户隔离与 7 周交付规模化 MVP
随后,双方深入探讨了严苛监管下的多租户(multi-tenancy)隔离问题。万事达卡即将推出名为“Performance Pulse”的核心能力,该方案需要在同一个底层平台上同时承载数千家商业发卡银行(issuer banks)。在万事达卡的环境下,数据隔离和数据本地化驻留(data residency)是建立客户信任的不二基石,绝无妥协余地。在传统的架构中,既要严格物理/逻辑隔离每个银行客户的私密数据,又要汇聚跨银行的匿名宏观洞察来反哺模型持续学习,是一个极高难度的系统工程。Federico Cohen Freue 解释说,Lakebase 允许他们在统一的平台上对数千家机构同时生效统一的隔离与治理范式,这使得技术团队能为单家客户定制坚固的基础模型,再安全无虞地水平横向扩展至整个金融生态。
在谈到工程效率时,Nikita Shamgunov 直呼不可思议:面对万事达卡这种具有最高安全与合规标准的金融巨头,其工程团队竟在短短 7 周内,便完成了从最初概念到生产级规模就绪的 MVP Demo(concept to scale-ready MVP demo)。Federico Cohen Freue 揭秘了这种超常规速度的背后逻辑:团队并非通过偷工减料或绕过安全审查来换取速度,而是借助 Lakebase 将智能体记忆(agent memory)、模型服务(model serving)以及全局数据治理等合规“护栏”从第一天起就内嵌进框架中。所有安全与信任组件在开发起点就变成了不可推卸的基础设施,这不仅使得当前的 MVP 开发规避了反复重构,更为后续构建更多高阶自治智能体提供了直接可复用的安全模版。Federico Cohen Freue 动情地表示,在由万事达卡引领的智能体商务(agentic commerce)新时代,信任就是创新的最高硬通货。
- “Instead of supposed to accelerating by cutting corners we accelerated by building the foundation from the start into something that frankly now we can reuse every time we build additional agents.” —— Federico Cohen Freue 总结 7 周交付背后的工程哲学:不靠偷工减料提速,而是靠在起跑线上把不可妥协的基础设施与治理规范一次性筑牢。 - **合规多租户能力**:支撑数千家发卡机构在共享底座上严格隔离,同时安全整合去标识化后的跨租户宏观洞察。 - **极速交付周期**:在兼顾金融合规前提下,7 周内完成跨平台智能体解决方案从概念构思到具备大规模扩展能力的 MVP。
---
[02:25:15](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=8715s) 对话 OpenAI 联合创始人 Greg Brockman:从模型生产到连接世界
在感谢万事达卡团队的精彩实践后,Nikita Shamgunov 将舞台交接给 Databricks 联合创始人兼工程副总裁 Patrick Wendell。在全场热烈的欢呼声中,Patrick Wendell 隆重迎请 OpenAI 联合创始人兼总裁 Greg Brockman 登台展开炉边对谈。
Patrick Wendell 在开场时感叹 Greg Brockman 的业界影响力无需赘述,并将他誉为现代大模型生产流程、基础设施构建与顶尖工程人才团队的“教父”(Godfather of the model production process)。Patrick Wendell 敏锐地指出,外界观察到 Greg 近期在 OpenAI 内部承担起了作为创始人更为广泛、跨越全局的新职责,因此他非常好奇这一转变背后的驱动力以及 Greg 当下的核心聚焦领域。
面对提问,Greg Brockman 首先向全场开发者致谢,感叹能在一个场域内见到如此多对底层数据技术和前沿 AI 充满激情的人感到非常振奋。他回顾了自己在 OpenAI 从极早期一路走来的工作风格:永远冲向当下团队最重要、最紧迫的攻坚阵地。他生动地回忆起当初训练 GPT-4 时的日日夜夜,自己常常在凌晨两点还在爬起来抢修模型训练集群,沿着数以万计的节点做深度二分查找以定位具体是哪一台机器硬件故障,并亲手搭建分布式训练框架。然而时至今日,Greg 指出,OpenAI 的内部重心已经发生了决定性的跃升:凭借过去数年全方位的工程沉淀,前沿基础模型的生产流程已经高度成熟且能持续迭代;而如今对于整个行业而言,最艰巨、最具决定性意义的全新挑战,已经变成了如何将这些前沿模型真正连接并锚定到现实世界之中。
- “There was a time like for GPT-4 where, you know, I was up at 2:00 a.m. every night like, you know, getting the the model back up and running, trying to figure out like, you know, deep binary search through our nodes to go find uh which one was was, you know, causing a problem, things like that.” —— Greg Brockman 回忆在 GPT-4 研发攻坚时期夜以继日排查分布式训练硬件节点故障的工程细节。 - “And connecting those models to the world is actually becoming this most important critical challenge.” —— Greg Brockman 指出大模型在生产流程成熟之后,如何与外部现实世界、具体业务上下文深度互联已成为当下最关键的技术课题。
[02:27:21](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=8841s) 智能体研发与大模型飞速迭代的幕后飞轮
Patrick Wendell 指出,将顶尖研究转化为企业可用产品的关键,在于构建能够为组织完成实用工作的智能体,但在此之前必须探讨底层模型的演进。他特别提到 OpenAI 近期令人咋舌的发布速度:从 2 月到 4 月,几乎每个月都有重磅突破(如 5.3、5.4 到 5.5),并在 Codex 等实际编程工具中带来了肉眼可见的巨大飞跃。针对“这种极致的研发迭代速度从何而来”的提问,Greg Brockman 打了一个形象的比方:“这就像鸭子划水一样,水面上看起来平滑无缝、每六周按部就班发布一款模型,但水面下隐藏着海量的工作和跨团队的高度协同。”
Greg 回忆起自己在加入 OpenAI 之前在 Stripe 构建技术公司的经历。他解释道,制造大模型看似完全不同,但其本质与打造现代科技公司一致:需要把复杂的庞大系统拆解为层次分明的架构。这其中不仅包含预训练(Pre-training)和后训练(Post-training),还要处理底层的竞态条件(Race conditions)、优化推理引擎性能、兼顾安全合规评测,以及产品定价和封装交付。OpenAI 内部已经形成了一个运转越来越快的“飞轮”,各团队跨层紧密配合。相比两年前训练大型模型过程中的巨大痛苦,如今 OpenAI 已经把模型发布打造成了一种高度工程化的核心肌肉记忆。
```mermaid flowchart TD accTitle: OpenAI 模型研发与发布飞轮架构 accDescr: 展示了从底层系统工程到最终安全交付的高效研发闭环流程。
subgraph CoreTraining["模型训练核心层"] A["数据清洗与预训练 (Pre-training)"] --> B["后训练与对齐 (Post-training)"] end
subgraph InfraAndEng["系统工程与推理优化"] B --> C["底层并发处理与竞态排查"] C --> D["推理引擎 (Inference) 性能调优"] end
subgraph Productization["产品化与交付交付"] D --> E["安全性评测与风控审查"] E --> F["定价、封装与产品化发布"] F --> G["用户遥测与行为反馈"] end
G -->|"反馈驱动下一代迭代"| A ```
- Patrick 确认 Databricks 内部在研发流程中部署 5.5 模型后获得了显著效率提升,工程师普遍认为其在前沿工作负载上处于领先地位。 - 模型研发涉及的底层协同模块包含:预训练(Pre-training)、后训练(Post-training)、竞态调试(Race conditions)、推理性能优化(Inference optimization)、安全性(Safety)、商业化定价与封装(Pricing & packaging)。
[02:29:55](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=8995s) 指数级增长:从对话交互到实用工具与知识工作革命
讨论转向技术演进的速度时,Greg Brockman 强调这种指数级增长不会放缓。每一次新模型发布,大家都会惊呼以前无法解决的问题瞬间迎刃而解;而如果将这一趋势外推,不仅软件工程将被重构,更广泛的知识工作(Knowledge work)也正在迎来变革。任何依赖电脑完成的工作,大模型都在从底层提供加速推力。Greg 直言:“这种指数级增长不会停止,我认为在大家构思自己的 AI 战略时,必须把这一点充分考量进去。”
回顾模型演进路径,Greg 区分了不同阶段的本质特征:GPT-4 的时代是属于聊天(Chat)和交互的里程碑,用户第一次获得了个性化生成的阅读体验;而当前阶段的模型则具备了“执行实用工作”与“调用工具”的核心能力。在软件工程领域,这种转变尤为剧烈,过去开发者可能只有 20% 的枯燥繁重工作(Grind work)交给模型,如今已跃升至 80%,进而倒逼开发工具的彻底重构。如今这一巨变正向所有办公室白领扩散,涵盖 PPT 制作、演示文稿撰写以及跨系统数据打通等方方面面。Greg 强调,OpenAI 的使命是以安全的方式把具有阶跃式(Step function)提升能力的模型推向世界,并将继续维持高频、激进的发布节奏。
> “在当前阶段,我们拥有的这些模型能够真正从事有价值的实用工作,它们切切实实能够完成任务,并且能够使用工具。” —— Greg Brockman
[02:32:02](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=9122s) 数据在大模型训练与智能体分析中的基石角色
Patrick Wendell 谈到峰会“Data + AI”的核心主题,指出业界常常低估了数据在 OpenAI 模型改进与产品迭代中所起的基础性作用。Databricks 本身就是 OpenAI 基础设施的公开供应商之一,Patrick 甚至开玩笑说每次看到 Greg 或 Sam Altman 发推特附带图表时,都能一眼认出那是 Databricks 的图表。关于数据在自身研发中的角色,Greg 将数据比作烘焙模型这块“蛋糕”的面粉,并强调“把数据清洗干净所带来的回报,无论怎么高估都不为过”。
这种数据驱动的闭环体现在两个层面: 1. **产品与用户行为洞察**:ChatGPT 拥有广泛的用户部署,用户在医疗(如上传化验单获取专业见解)等意料之外的场景中激发了模型的潜力,OpenAI 依赖大规模数据分析来捕捉这些使用模式; 2. **智能体运行追踪与安全自动化**:对于复杂的智能体任务,单凭人工阅读执行日志(Traces)来分析其解题思路已不再现实,必须依靠分析平台以及“用模型分析模型”的元分析能力。在安全与合规流程中,针对诸如 Codex 这类工具中过去繁琐的人工审批环节,OpenAI 已经部署了自动化 AI 审批层进行治理。
当 Patrick 问及 OpenAI 对 Databricks 有什么具体功能诉求时,Greg 毫不犹豫地给出了最直接的答案:“对我们来说,核心诉求永远是可扩展性(Scalable)。”
> “从根本上说,我认为数据几乎是最核心的原材料,就像你要把我们的模型当成蛋糕的话,数据就是面粉。” —— Greg Brockman
[02:34:51](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=9291s) 基础设施可靠性与 Databricks 和 OpenAI 的深化合作
对底层基础设施的要求始终遵循着最纯粹的工程逻辑:更快的响应与更低的延迟。面对如此海量且不断呈指数级扩张的计算负载,系统高压运转甚至频繁面临崩溃边缘,因此底层基础设施的稳定性永远是首要保障。正如 Patrick Wendell 打趣所言,目标始终是“更好、更快、更强(Better, faster, stronger)”。
谈及商业与生态协同,Databricks 与 OpenAI 去年宣布达成了一项价值 1 亿美元的战略合作,最初旨在让企业客户能够将 OpenAI 的 GPT 系列模型与其自身的企业数据紧密结合。在过去的六个月里,随着 OpenAI 在 Codex 上的持续技术创新,Databricks 迅速在其 Unity AI Gateway 中加入了对 Codex 的支持,并联手推进让 Databricks 的 AI 助手 Genie 能够在 Codex 内部以原生方式调用。现场数千名联合客户不仅见证了这种协同,也促使双方团队更深入地思考伙伴关系在 AI 变革浪潮中的角色。
```mermaid flowchart LR accTitle: Databricks 与 OpenAI 生态合作架构 accDescr: 展示企业数据通过 Unity AI Gateway 结合 GPT 系列与 Codex,并使 Genie 原生运行于 Codex 之内
subgraph DatabricksEnv ["Databricks 企业数据环境"] A["企业业务数据"] B["Genie AI 助手"] C["Unity AI Gateway"] end
subgraph OpenAIPlatform ["OpenAI 平台能力"] D["GPT 系列模型"] E["Codex 编码引擎/应用"] end
A --> C C --> D B <-->|"原生双向协同"| E ```
- **战略合作规模**:初始宣布为 1 亿美元规模的战略合作。 - **产品技术整合**:涵盖通过 AI Gateway 接入 GPT 模型与 Codex,以及将 Genie 数据智能原生嵌入 Codex 应用。
---
[02:35:56](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=9356s) 构建者时代:Codex 的快速进化与开源特质
对于生态协作的定位,Greg Brockman 表示 OpenAI 并不寻求包揽一切:“我们认为自己所做的一切,就像是整体经济引擎以及我们共同构建的这场 AI 革命中的一个火花。因此,合作伙伴是其中至关重要的组成部分,我们真心希望与整个生态系统共同建设。”虽然团队在某些核心技术上会坚持自研并持续加注,但唯有通过全行业的杠杆效应以及与 Databricks 这样的企业深度携手,才能最终实现宏大愿景。
关于 Codex,Greg Brockman 强调其桌面应用代表了一种截然不同的人机交互范式,它不仅是开发工具,更像是使用电脑的全新方式。Patrick Wendell 分享道,Databricks 内部很早便作为早期用户全面推广了 Codex,不仅使工程师的生产力大幅提升,其工具与模型的迭代速度也极为惊人。针对外界容易忽视的开源特性,Greg Brockman 指出 Codex 本身具备开源基因,使得全球开发者能够基于其自由改造并应用于各种业务场景。对于所有身处这一技术浪潮中的工程师与创造者,Greg Brockman 发出了由衷的感叹:“现在是成为构建者最好的时代。如果你能想象出来,你就能将它制造出来。”
- **开发者生产力**:Databricks 内部将 Codex 深度整合至日常研发栈中,作为核心工程生产力工具。 - **开源生态基础**:Codex 保持开源底色,便于生态系统中的开发者在各种场景中自由 Hack 和扩展。 - **上手门槛**:Databricks 客户通过 AI Gateway 即可在约 1 分钟内完成接入和环境配置。
---
[02:38:40](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=9520s) 重新审视 AGI:能力的光谱而非离散的终点
在谈及当日早晨 Ali Ghodsi 提出的“AGI 已经到来(企业关心的任务已能近乎完美执行)”这一论断时,关于究竟什么是 AGI、它是否已经近在眼前的讨论被推向深处。Greg Brockman 认为,关于 AGI 究竟何时到来的争论往往源于“范畴谬误”(Category Error):AGI 并不是一个非黑即白的固定时刻,而是一个连续推进的光谱,AI 的进步也不会存在一个截然终止的终局。
真正的 AGI 体验,理应表现为一个能够全自主承接任何复杂任务、以人类顶尖水准加速工作流的智能助理。而当下的现实是“参差不齐的智能(Jagged Intelligence)”——模型在某些专业任务上展现出超凡的加速能力,但在其他基础领域又存在明显的局限。Greg Brockman 强调了以人为本的核心价值观,并重申非此即彼的讨论并无益处:
> “我认为这不是一个正确的框架。我认为正确的框架是:能力到底是什么?我们希望这些 AI 去做什么?我们如何从中受益?它们能如何帮助我们?”
在他看来,保持人类的控制权、由人类制定目标并主导后续发展,才是面对持续呈指数级增长的技术变革时最具建设性的路径。
---
[02:41:28](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=9688s) 从模型回归数据领域:统一 OLAP 与 OLTP 的前瞻布局
在致谢 Greg Brockman 并结束对话后,Ali Ghodsi 重返演讲台,将大会主线重新拉回数据基础设施的核心议题。他特别提及,OpenAI 自身正是 Databricks 的深度用户:面对接近 10 亿的用户规模,OpenAI 将海量交互与运营数据置于 Databricks 上进行分析,以此实时监控和防范潜在的越狱攻击或异常行为。
随后,Ali Ghodsi 梳理了当天上午发布的技术全景,并为即将登场的重磅架构突破进行铺垫: 1. **分析型业务(OLAP)**:覆盖传统数据仓库与数据科学探索,此前已由 Reynold Xin 展示了借助全新引擎 Reyden 与 Lakehouse//RT 所实现的超低延迟与极致性能。 2. **事务型业务(OLTP)**:由数据库专家 Nikita Shamgunov 领衔,基于 Lakebase 将 Serverless Postgres 深度融合至数据湖底座,提供具备跨云容灾、极速且低成本的实时事务处理能力。
在大模型与 AI Agent 催生的海量数据风暴面前,如何彻底打破分析与事务之间的天然壁垒,使系统既能以极速承接 OLTP 请求,又能即时提供 OLAP 分析洞察,成为了压轴发布的悬念。
[02:42:32](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=9752s) OLTP 与 OLAP 的割裂与 CDC 管道之痛
Databricks 联合创始人兼首席架构师 Reynold Xin 重返舞台。他指出,前面的演讲分别展示了简化数据工程、统一分析引擎以及现代化 OLTP 数据库,但在架构演化中仍存在一个巨大难题:业务应用程序最先将数据写入庞大的 OLTP 数据库“大陆”,一旦业务取得成功,团队就希望对这些数据进行深入推理和分析,不得不搭建 Change Data Capture(变更数据捕获,简称 CDC)管道将数据搬迁至分析“大陆”。
```mermaid flowchart LR accTitle: CDC 管道传统同步模式 accDescr: 展示传统 OLTP 数据库通过读取 Binlog 并跨管道传输至分析系统的脆弱流程。
subgraph OLTP["OLTP 大陆"] A["OLTP 数据库<br/>(行存储 / Binlog)"] end
subgraph Pipeline["脆弱的数据管道"] B["CDC 管道<br/>(解析增量 Delta)"] end
subgraph OLAP["分析系统大陆"] C["数据分析平台<br/>(重构数据库状态)"] end
A -->|"读取变更"| B B -->|"跨网络传输重构"| C ```
Reynold 现场向观众提问有谁真正喜欢自己的 CDC 管道,台下寥寥无几。他解释道,CDC 管道读取 OLTP 的 Binlog,获取每一次细微的变更(Delta)并传输到分析系统以重新构建状态。这种架构异常脆弱且难以维护,常导致数据损坏并在凌晨三点把数据工程师叫醒排障。Reynold 幽默地调侃道:“As a matter of fact, some of people at Databricks actually joke about CDC doesn't stand for change data capture. It really stands for continuous data corruption.”
行业内后来提出了“Zero CDC”、“Zero ETL”或“Mirroring”(镜像)等名词,但本质上只是把托管管道隐藏在幕后,其底层机制依旧是管道同步,依然存在相同的数据脆弱性与延迟问题。
- **传统 CDC 机制**:依赖抓取行式数据库的 Binlog,传输并重放数据以在下游分析库中重塑状态。 - **痛点核心**:极度脆弱、运维成本高昂、高频发生数据损坏,且所谓的 Zero ETL / 镜像方案并未改变底层存在管道的实质。
---
[02:44:25](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=9865s) 传统 HTAP 的失败与存储层实时转码的突破
针对统一两类负载的尝试,业界曾提出 HTAP(Hybrid Transactional/Analytical Processing,混合事务与分析处理),将其视作数据库工程的圣杯,希望由单一数据库同时支撑 OLTP 与 OLAP 负载。然而 Reynold 直言,HTAP 作为一个产品类别在很大程度上是失败的,鲜有大规模采用;其方案多为专有系统,缺乏开放生态,且单一引擎试图兼顾两者最终导致事务和分析性能双双妥协。
要彻底解决这一问题,必须回到行存储与列存储的根本分歧: 1. **OLTP 系统**:必须依赖行式存储,以便快速进行“大海捞针”般的单行点查点改。 2. **分析系统**:需要对海量数据进行全表与大跨度扫描,天然依赖列式存储。
```mermaid flowchart TD accTitle: LTAP 存储层原位转码机制 accDescr: 展示计算节点写入存储层后,存储服务利用闲置 CPU 实时转码并写入列式开放格式的流程。
subgraph ComputeLayer["计算层"] W["写入事务 (行数据)"] --> LB["Lakebase 计算节点"] end
subgraph StorageLayer["存储层 (Safekeeper & Page Server)"] LB -->|"传递数据"| SS["存储服务<br/>(IO 密集型 / 闲置 CPU)"] SS -->|"原位实时转码"| TC["行式转列式<br/>(10:1 至 100:1 压缩)"] end
subgraph Lakehouse["统一数据湖"] TC -->|"零管道直接落盘"| DL["Delta Lake / Iceberg<br/>(列式 Parquet 格式)"] DL -->|"实时查询最新鲜数据"| AQ["分析计算引擎 (Lakehouse)"] end ```
通过剖析 Nikita 介绍的 Safekeeper 和 Page Server 等底层存储服务,团队发现这些存储节点主要是本地磁盘与网络的 I/O 密集型服务,其 CPU 实际上处于严重闲置状态。Databricks 抓住这一特性,利用存储服务闲置的 CPU 资源在数据写入的瞬间进行就地转码(Transcoding),直接把行式格式转为 Delta Lake 与 Apache Iceberg 所需的列式格式。列式存储拥有 10:1 乃至 100:1 的高压缩比,不仅没有加重计算开销,反而大幅降低了 I/O 吞吐量,从而在不损害原有系统性能的前提下,直接把 OLTP 数据以列式湖仓格式沉淀到数据湖中。
---
[02:47:45](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=10065s) LTAP 架构发布与底层转换库开源
基于这一突破,Databricks 正式推出名为 **LTAP**(Lake Transactional/Analytical Processing,湖仓事务与分析处理)的全新架构。Reynold 强调:“We think LTAP is HTAP done right and accomplished the goals of HTAP without actually having a single query engine for it, but we able to actually unify the storage, which is by far the most important part.”
```mermaid flowchart LR accTitle: LTAP 统一存储架构 accDescr: 展示 OLTP 事务数据与分析查询如何在统一存储层共享同一份数据。
subgraph Input["业务写入"] App["业务应用 / Agent"] -->|"写入事务"| LB["Lakebase (Postgres 兼容)"] end
subgraph UnifiedStorage["LTAP 统一存储"] LB -->|"原位写入列式存储"| Store[("统一存储层<br/>Delta / Iceberg")] end
subgraph Analytics["分析查询"] Store -->|"直接读取最新副本"| LH["Lakehouse 分析引擎"] end ```
在 LTAP 架构下: - **写入与即时可见**:当应用向 Lakebase 写入新行时,存储层就地转码写入 Delta 与 Iceberg 格式。湖仓分析引擎能直接读取该数据,在完全一致的最新副本上执行分析查询。 - **免管道维护**:消除跨库数据搬迁与管道维护,实现单份数据治理与统一管控。 - **零妥协性能**:OLTP 保持极速响应,分析引擎享有原生列式扫描速度,全栈依托 Postgres、Delta Lake、Iceberg 等开放标准。 - **开源贡献**:Databricks 宣布将开源一个用于将 Postgres 原始数据直接转码为 Parquet 列式格式的基础库,其项目标志是一只由 Parquet 纹理构成的可爱小象。 - **自动化上线**:用户无需做任何迁移操作,LTAP 功能将在未来数周内推送,届时所有 Lakebase 数据库表都会自动无缝出现在 Lakehouse 中。
---
[02:50:01](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=10201s) 现场演示:Lakebase 与 LTAP 的业务赋能
Databricks 开发者关系工程师 Holly Smith 登台展示 Lakebase 与 LTAP 的实际运行表现。演示模拟了覆盖美洲各地的商业银行场景,每天产生数以十亿计的交易流水。业务需求是构建一个实时 Agent:在储户与柜员沟通且尚未离柜的极短窗口内,敏锐识别潜在 VIP 客户,并根据储户资质和属地法规毫秒级匹配最合适的理财顾问。在过去,由于 CDC 同步延迟和分析响应缓慢,这种业务干预根本无法实现。
Holly 在 Databricks 界面中展示了 Lakebase 的敏捷特性: 1. **开箱即用的 Serverless Postgres**:完全由 Databricks 托管,存储与计算分离。创建新项目仅需命名并确认默认配置即可秒级生成。 2. **灵活伸缩与快速分支**:计算规模可随时在线上下调整,支持设置最小与最大规格;提供类似 Git 的数据库分支功能(Database Branching),可以基于生产环境、历史时间点甚至从其他分支快速分叉出新分支,底层采用写时复制(CoW),无需实际数据复制,耗时几乎为零。 3. **连续数据保护**:默认保留 7 天历史记录,允许恢复到任意精确时间窗口,同时也支持依据预设策略进行定时快照还原。随后,Holly 切换至一个已加载真实并发业务数据的生产环境,深入展示表级数据结构与系统运行细节。
[02:51:58](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=10318s) 现场演示:传统分析与 CDC 面临的性能瓶颈与业务冲击
为了验证如何处理实时交易与历史分析混合的场景,Holly Smith 在舞台上现场演示了一个银行风控与 VIP 识别用例。系统需要实时扫描所有历史账户余额,精准计算出异常值并标记出潜在的 VIP 客户。在评估查询架构时,团队重点关注三项核心指标:第一项是交易吞吐量(TPS),即屏幕右侧的绿色折线图,如果该指标骤降,银行分支机构的日常柜面业务就会直接停摆;第二项是左上方以蓝色显示的分析查询耗时;第三项则是右上角以紫色呈现的数据新鲜度(Staleness,以秒计算),它直接决定了业务是否能拿到最新状态。正如 Holly Smith 所强调的:“And if I'm querying in real time, I better get real-time answers.”
```mermaid flowchart TD accTitle: 三种混合查询方式对比 accDescr: 展示了直接查询运行实例、CDC 复制流转以及 LTAP 实时架构在性能与时效上的差异
subgraph M1["方法一:直接在 Lakebase 运行分析"] A1["业务查询"] --> B1["Lakebase 运行计算节点"] B1 --> C1["耗时 > 60 秒 / TPS 暴跌"] end
subgraph M2["方法二:通过 CDC 管道同步"] A2["业务数据"] --> B2["Change Data Feed / 管道"] B2 --> C2["查询耗时 13 秒 / 数据延迟 25 秒"] end
subgraph M3["方法三:LTAP + 实时数仓"] A3["Unity Catalog 统一视图"] --> B3["Lakehouse//RT 实时引擎"] B3 --> C3["毫秒级返回 / 零延迟 / TPS 无影响"] end ```
Holly 首先测试了最直觉、也是许多 AI Agent 默认会尝试的方法:直接从 Databricks SQL 编辑器向承载生产交易的 Lakebase 计算实例下发复杂的历史分析 SQL。查询提交后,界面陷入漫长等待,右侧代表 TPS 的绿色曲线肉眼可见地持续下滑。Holly 看着迟迟没有返回的屏幕打趣道,照这个耗时,现场所有人挨个从前排开始做自我介绍时间都绰绰有余。最终,该查询耗时长达 1 分钟以上才勉强跑完。这种做法不仅响应极慢、数据陈旧,还会引发生产系统宕机风险。随后她测试了第二种主流方法——基于 CDC(数据变更捕获)建立只读副本。尽管借由 Lakebase 的 Change Data Feed 避免了生产 TPS 下跌,但分析查询依然耗费了 13 秒,且分析结果存在整整 25 秒的数据滞后。如果是在 Databricks 外部拼凑其他 Postgres 与 CDC 组件,这种延迟往往会拉长到数分钟,同时还会伴随着高昂的额外账单与繁重的数据管道运维团队成本。
- **核心监控三指标**:绿色曲线监控实时业务 TPS(保障柜面不宕机)、蓝色数值监控分析查询耗时、紫色数值监控数据新鲜度(Staleness)。 - **直接运行分析的灾难后果**:单个查询耗时超过 60 秒,引发生产 TPS 剧烈下滑;如果成千上万个 Agent 并发发起查询,将彻底击垮线上生产集群。 - **CDC 复制架构的妥协与代价**:TPS 虽保持平稳,但单次查询耗费 13 秒,数据滞后达 25 秒,且传统跨系统方案通常需要忍受数分钟延迟及独立运维管线。
---
[02:55:11](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=10511s) 方案验证:LTAP 与实时数仓如何实现毫秒级零延迟分析
在对比了传统路线的缺陷后,Holly 展示了 LTAP(湖仓事务分析一体化架构)的处理表现。在 Unity Catalog 中,底层表结构对使用者完全透明地呈现为托管表:图标清晰显示它既是 Lakebase 表,又原生支持 Delta 与 Apache Iceberg 读取器。用户完全不需要搭建任何流转管道或 ETL 任务,只需指定目标 Catalog 即可直接挂载。界面还直接暴露了对应的云端 S3 底层路径,开发者甚至可以直接调用开源 Apache Spark 对这批数据发起离线扫描,充分保障了开源生态的自由度与透明性。
紧接着,Holly 切换到针对该架构量身打造的 Real-Time Warehouse(实时数仓)并再次点击执行相同的复合分析 SQL。结果几乎在点击鼠标的同一瞬间闪现完成,耗时仅数毫秒。系统在毫无数据滞后的前提下,交出了百分之百实时的分析结果,右侧的 TPS 曲线完全平稳、未受丝毫干扰。Holly 兴奋地表示,这意味着企业可以按需接入成千上万个并发 AI Agent,而无需担忧算力成本与服务稳定性,因为秒级完成意味着算力账单的断崖式下降,免去中间搬运组件也彻底抹去了维护开销。面对台下热烈的掌声,Holly 动情地总结道:“For all of us, this is huge. We have a single system of record where your data can be used for both your operational and analytical systems without having to compromise on performance.” 她宣称,业界长期以来在运营系统与分析系统之间人为撕裂的鸿沟,在今天终于彻底成为历史。
- **存储完全开放解耦**:底层依托 Delta 与 Iceberg 开放格式直接落地对象存储(如 S3),支持开源 Spark 等多计算引擎直接访问,杜绝供应商锁定。 - **Real-Time Warehouse 极限性能**:分析查询从先前的 60 秒缩短至毫秒级别,实现真正意义上的零延迟(Zero Staleness)实时响应。 - **生产业务零干扰**:高并发历史计算与日常在线交易(TPS)实现资源彻底隔离,业务平稳运行无抖动。
---
[02:57:08](https://www.youtube.com/watch?v=Qux8E-L1mk8&t=10628s) 统合数据孤岛:从 Spark 到 LTAP 的全栈回顾与闭幕展望
演示结束后,Databricks 联合创始人兼 CEO Ali Ghodsi 重新回到舞台中央收拢全场。他感叹道,今天展示的突破把所有零散的数据孤岛彻底融合,移除了系统之间所有的冗余搬运,构筑了一块浑然一体的数据超级大陆。正如 Ali Ghodsi 所言:“So, that's it. We were able to unify all these different islands, remove all of the data movement into just this one big Pangea.” 他回顾了 Databricks 的演进脉络:最初通过 Spark 统一了数据工程与数据科学;接着推出 Lakehouse 统一了数据仓库;如今借助 Reyden 引擎、Lakehouse//RT 以及 Lakebase,一举跨越了 OLTP 与 OLAP 的天堑,落地了名副其实的 LTAP 架构。
随后,Ali 全面盘点了本届峰会首日发布的完整产品矩阵,指出所有创新的终极目标,就是为缺乏上下文的 AI Agent 搭建坚实基座: 1. **Agentic Data Foundation(智能体数据底座)**:包括超高性能的 Lakehouse//RT、突破性的 Reyden 引擎、支持多云跨云容灾的 Serverless Postgres 服务 Lakebase、LTAP 架构,以及拥有丰富连接器的 Lakeflow。 2. **Context Layer(上下文层)**:构建企业业务脉络的核心图谱 Genie Ontology、统揽模型与 Agent 成本管控与安全合规的 Unity AI Gateway、Open Sharing,以及即将在次日深度亮相的元 Agent 框架 Omnigent。 3. **Agentic Dev / Genie Agents(智能体开发与原生 Agent)**:覆盖通用工作协同的 Genie One、自动化管线编写的 Genie Code,以及助力零代码构建应用的 Genie App Builder / Genie Agents 与运维托管的 Genie ZeroOps。 4. **Agentic Enterprise Apps(智能体应用体系)**:基于安全数据湖仓打造的新一代智能 SIEM 平台 Lakewatch(宣布收购 AI SOC 领先厂商 Panther),以及为营销打造的专属智能体客户数据平台 CustomerLake。
在全场欢呼与掌声中,Ali 提醒现场参会者上午 11:30 各分会场技术研讨将全面铺开,并特别呼吁大家不要错过联合创始人 Matei Zaharia 在第二天早晨关于 Omnigent 的重磅主旨演讲,为整个首日上午的发布会画上了圆满句号。
## Video description Watch the full keynote from day 1 of Data + AI Summit, the world’s largest data and AI conference.
Databricks co-founders, product leaders, AI builders, and global business leaders unveil breakthrough product launches and the stories of organizations rewriting what's possible with AI.
0:00 Databricks Co-founder & CEO Ali Ghodsi welcomes attendees, customers, partners, and the ecosystem to Data + AI Summit 7:59 Is AGI here today? 10:12 AI doesn’t have an intelligence problem, it has a context problem 11:21 What it takes to get AI to work in the enterprise 19:29 Open table format unification 21:58 The agentic data foundation 31:16 Announcing Unity AI Gateway: multi-AI governance and cost control 36:45 AI and the context problem 38:50 Announcing Genie Ontology: a living context graph for your business 43:16 Announcing Genie One: the data-smart AI coworker 45:02 Announcing Genie Agents and Genie App Builder: build reusable agents and vibe code business apps 45:52 Genie Code: automate building data and ML pipelines 46:33 Genie ZeroOps: automate maintaining data and ML pipelines 48:27 Omnigent: a meta-harness of AI agents 49:20 An agent system of record, the future software stack 54:09 Lakewatch: an agentic SIEM built on the security lakehouse 55:58 Databricks to acquire Panther, a leading AI SOC platform 57:05 Announcing CustomerLake: the agentic CDP built on the Lakehouse 59:36 Genie: the new AI coworker that knows your business 1:00:59 Genie + context 1:07:29 How Genie Ontology works 1:11:20 Demo: Genie One 1:19:22 Genie One provides full co-work capabilities and is now GA 1:23:42 Magesh Bagavathi (Global Chief Data and AI Officer, PepsiCo) on AI transformation 1:31:15 A new era of agentic data engineering with Lakeflow 1:43:00 Announcing Genie ZeroOps: put data and AI operations on autopilot 1:57:37 Announcing Reyden: a breakthrough new engine for real-time workloads 2:06:22 Announcing Lakehouse//RT - real-time performance on a unified lakehouse 2:09:23 Nikita Shamgunov: Serverless Postgres for apps and agents 2:18:47 Fed Cohen Freue, EVP of AI & Data Operations at Mastercard, on standardizing on Lakebase 2:25:15 Greg Brockman, President and Co-Founder, OpenAI & Patrick Wendell Co-Founder and VP of Engineering, Databricks 2:42:45 Reynold Xin on solving the biggest database engineering challenge: how do we unify transactional and analytical data 2:47:45 Announcing LTAP: lake transactional/analytical processing architecture 2:50:01 Demo: Lakebase and LTAP and why you need to combine your transactional and analytical data 2:57:07 Product announcement recap
Speakers: Ali Ghodsi, CEO and Co–Founder, Databricks Reynold Xin, Co-Founder and Chief Architect, Databricks Patrick Wendell, Co-Founder and VP of Engineering, Databricks Arsalan Tavakoli-Shiraji, Co-founder & SVP of Field Engineering, Databricks Greg Brockman, President and Co-Founder, OpenAI Fed Cohen Freue, EVP, AI & Data Operations, Mastercard Magesh Bagavathi, Chief Data & AI Officer, PepsiCo Nikita Shamgunov, VP, Engineering, Databricks Ken Wong, Sr. Director, Product Management, Databricks Bilal Aslam, Sr. Director of Product Management, Databricks Elise Georis, Senior Manager, Product Management, Databricks Holly Smith, DevRel, Databricks
[Source](https://www.youtube.com/watch?v=Qux8E-L1mk8)