Databricks发布Genie Code与ZeroOps以Agent闭环接管机器学习运维

Agentic machine learning with Genie Code (includes demo) — Databricks

Databricks

机器学习研发提速百倍将导致模型运维负荷呈指数级崩塌,唯有依托全栈统一数据资产与本体论底座让Agent接管On-call闭环,企业才能突破人工排障瓶颈实现全业务智能化决策。

AI-assisted summary of Agentic machine learning with Genie Code (includes demo) — original source. Check the original for full context.

Source published:

Key ideas

  • Databricks 推出面向机器学习研发的 Genie Code for ML(正式商用)以及自愈运维组件 Genie ZeroOps for ML(定于今年夏季上线),旨在实现特征工程、模型训练到线上监控的全流程 Agent 自动化。 (8:55)
  • Databricks 发布 Serverless GPU 算力底座 AI Runtime(公测版),并正式支持多节点训练,用于承载深度学习和大语言模型的弹性训练任务。 (7:46)
  • 机器学习工程师 60% 至 80% 的工时被长期维护与排障消耗;Genie ZeroOps 颠覆了传统告警模式,通过由 Agent 代替人类 On-call,自主推导并交付验证好的修复方案,团队仅需审批上线。 (13:20)
  • 跨国工程企业 Danfoss 依托集成了 Genie Ontology 的 Genie Code,在 90 分钟内完成了端到端生产级机器学习系统的搭建。 (9:57)

Detailed notes

## Background 本内容由 Databricks 于 2026 年 6 月 24 日在 YouTube 官方频道发布。视频简介指出,Genie Code 迎来面向机器学习工程的智能化升级,原生集成了特征工程、模型训练、Serving 部署及监控等 Databricks ML 平台的各个组件。

## TL;DR Databricks 针对长期困扰机器学习系统的隐性技术债与高昂运维成本,提出了由 AI Agent 驱动的 Agentic ML 解决方案。演讲围绕支撑 Agent 闭环的基础设施重构展开,重点发布了支持 Serverless GPU 且已支持多节点训练的 AI Runtime、深度整合团队业务上下文本体论的 Genie Code for ML,以及颠覆传统 On-call 模式的 Genie ZeroOps for ML。通过现场实机演示,Databricks 展示了系统如何在周五突发业务告警时,全自动完成根因分析、特征重建、重新训练及一键灰度发布的自愈全流程,宣告机器学习迈向由智能体承担运维繁重劳动、规模扩大 100 倍的新纪元。

## Atmosphere & style 整场演讲呈现出科技大会经典的高水准与从容气场,主讲人 Mike Del Balso 凭借在 Google、Uber 的丰富履历谈笑风生,将枯燥的系统架构与行业技术债痛点拆解得鞭辟入里。随着 Amber Roberts 的登台,现场切换为紧迫而真实的周五生产事故实战演示,观众屏息见证智能体在后台数十条线索中精准破案自愈,随后爆发出一键发布成功的满堂掌声。从直面传统运维泥潭的焦虑,到智能体接管排障的豁然开朗,整个过程洋溢着对技术解放生产力、重塑企业智能未来的澎湃信念。

## Bulletin - [08:55](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=535s) Databricks 推出面向机器学习研发的 Genie Code for ML(正式商用)以及自愈运维组件 Genie ZeroOps for ML(定于今年夏季上线),旨在实现特征工程、模型训练到线上监控的全流程 Agent 自动化。 - [07:46](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=466s) Databricks 发布 Serverless GPU 算力底座 AI Runtime(公测版),并正式支持多节点训练,用于承载深度学习和大语言模型的弹性训练任务。 - [13:20](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=800s) 机器学习工程师 60% 至 80% 的工时被长期维护与排障消耗;Genie ZeroOps 颠覆了传统告警模式,通过由 Agent 代替人类 On-call,自主推导并交付验证好的修复方案,团队仅需审批上线。 - [09:57](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=597s) 跨国工程企业 Danfoss 依托集成了 Genie Ontology 的 Genie Code,在 90 分钟内完成了端到端生产级机器学习系统的搭建。

## Key takeaways - [01:12](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=72s) 生产级机器学习系统的绝大部分工程复杂度不在算法核心,而在底层的数据管道与周边基础设施中,本质上是一个数据问题。 - [02:00](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=120s) 由于工程复杂度与人工专家瓶颈,企业往往被迫对机器学习进行“配额配给”,在大量本可智能化的决策上沿用静态规则与启发法。 - [03:43](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=223s) AI Agent 是唯一能够打破机器学习全流程对人工专家重度依赖、实现端到端自动化的技术路径。 - [04:05](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=245s) 阻碍 Agent 在机器学习落地的两大核心壁垒在于:极少有企业具备全流程底层基础设施,以及缺乏能输入给 Agent 的全局业务与数据上下文。 - [04:44](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=284s) Databricks 历时 18 个月将技术栈重构为 Agent 就绪型架构,涵盖 Serverless 算力、统一数据模型以及对 Agent 执行行为的审计与治理。 - [07:46](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=466s) 全新的 Serverless GPU 计算类型 AI Runtime 进入 Public Preview 阶段,提供零预付承诺的弹性算力,并已正式支持多节点分布式训练。 - [08:55](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=535s) Genie Code for ML 原生深度集成于特征工程、训练、Serving 和监控全栈,将 Databricks 沉淀的最佳实践转化为 Agent 能力并正式商用(GA)。 - [09:57](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=597s) Genie Ontology(本体论)解决了关键上下文碎片化散落的问题,使 Agent 能遵循团队原有的特征模式、训练流水线和评估脚本做出可靠决策。 - [13:20](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=800s) 若仅将模型构建速度提升 100 倍而缺乏自动化运维,激增的模型维护负担将压垮团队,因此监控与自愈自动化势在必行。 - [14:26](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=866s) Genie ZeroOps for ML 实现了从“指标异常向人类报警”到“Agent 主动诊断根因、重训自愈并呈交修复方案”的运维范式颠覆。 - [16:08](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=968s) 在票务预测故障演示中,Genie ZeroOps 在告警触发后自动探查特征漂移与数据血缘,锁定缺失淘汰赛特征的根因并自动重训模型提交灰度验证。 - [20:19](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=1219s) 通过提供白盒可查的评估指标与版本对比,工程师可在确认效果后一键完成金丝雀发布,极大减轻操作苦工并防范数千万美元级损失。 - [21:38](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=1298s) 算力基础设施与闭环 Agent 的双重成熟,标志着机器学习进入 100 倍模型规模时代,企业得以将智能决策推广至业务的每一个细分节点。

## Detailed walkthrough ### [00:00](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=0s) 生产级机器学习的痛点与技术债

Databricks 产品管理总监 Mike Del Balso 走上讲台,打趣道从后台走出来是段“出人意料的长路”(deceptively long walk)。他回顾了自己的职业生涯:早期在 Google 广告机器学习团队工作,那正是开启整个 MLOps 领域的发源地;之后在 Uber 协助组建机器学习团队,主导打造了著名的 ML 平台 Michelangelo;在过去的几年中,他又创立了一家生产级机器学习初创公司(Tecton),后来加入 Databricks 并继续深耕同一领域的难题。Mike Del Balso 指出,整个机器学习行业长久以来的共同愿景只有一个,那就是将机器学习变得尽可能简单和自动化,从而把智能决策推广到企业业务的每一个关键节点。

为了说明现实落差,他展示了一张经典架构图——该图出自他在 Google 的团队约 12 年前发表的一篇著名论文(《Hidden Technical Debt in Machine Learning Systems》)。图中心用红色标注的小方块代表实际的“机器学习代码”,而包裹在它周围的大量外围模块则是构建和维护生产级 ML 系统所必需的庞大工程链路。Mike Del Balso 强调:“And as a hint, this is all a data problem under the hood.”(提示一下,这在底层全都是数据问题)。

当前,生成式 AI(GenAI)的爆发并未像部分人以为的那样缩减对传统机器学习的需求,反而极大地加速了它。随着新软件与新产品体验的激增,企业面临更多需要自动化的决策:推荐更多商品、提供差异化定价、检测欺诈行为、审批贷款申请等。然而受限于工程复杂度,企业往往不得不对机器学习进行“配额配给”(ration machine learning),仅在极少数业务场景部署模型,而在其余大量本可智能化的决策上,依然沿用硬编码规则(statically coded logic)与经验启发法(heuristics)。这种做法直接导致企业把利润白白拱手让人。

- 行业痛点:生产级 ML 系统的绝大部分复杂度不在算法本身,而在周边的数据与系统基础设施。 - 业务现状:企业内部决策场景爆发式增长,但真正拥有模型赋能的场景寥寥无几,导致次优决策普遍存在。 - 人工瓶颈:自动化面临的巨大阻碍在于流程各环节都需要高素质专家(如博士、资深数据科学家)进行主观判断——决定构建何种特征、定义优化目标、评估模型质量并决定是否上线。

[03:43](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=223s) 为何唯有 Agent 能解锁机器学习自动化

面对机器学习全流程对人工专家决策的重度依赖,Mike Del Balso 直言,要加快研发节奏并让自动化流程做出具备专家水准的决策,当今只有一种技术能够胜任——AI Agent。

尽管 Agent 已经在整个软件工程领域掀起了翻天覆地的革命,但在机器学习领域却迟迟没有展现出同等的影响力,团队构建和运维机器学习的方式基本没有发生本质改变。Mike Del Balso 分析了阻碍 Agent 落地机器学习的两大核心痛点:

1. **基础设施门槛极高**:纵观整个行业,仅有极少数顶尖公司具备支撑完整自动化 ML 闭环的底层基础设施,搭建难度超乎想象。 2. **缺乏上下文(Context)输入**:如果希望 Agent 像机器学习工程师一样做出高质量判断,就必须为 Agent 喂入同等丰富、全面的业务与数据上下文,而现有的工具链完全无法提供这种上下文闭环。

针对这一困局,Mike Del Balso 宣布 Databricks 成为了首家能够完整攻坚这两个难点的公司,并从“Agent 就绪型基础设施”和“驱动上下文闭环的 Agent”两个维度全面破局。

```mermaid flowchart TD accTitle: Agentic ML Workflow Architecture accDescr: 展现从 Databricks 统一基础设施到 Agent 自动化闭环的三大支柱与驱动关系

subgraph INFRA["Agent-Ready 基础设施层"] direction TB S1["Serverless 算力平台<br/>(AI Runtime / GPU 免配置)"] S2["统一数据模型<br/>(特征 / 训练 / 推理 / 监控)"] S3["Unity Catalog 全栈治理<br/>(资产治理 + Agent 动作治理)"] end

subgraph CONTEXT["上下文与决策驱动"] direction TB C1["全链路指标与血缘反馈"] C2["企业业务与数据上下文"] end

subgraph AGENT["Genie Code 智能体"] direction TB A1["自动化特征工程与调优"] A2["自动化模型评估与上线决策"] end

INFRA --> CONTEXT CONTEXT --> AGENT AGENT -.->|"执行与调优操作"| INFRA ```

[04:44](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=284s) Databricks 构建 Agent 就绪型基础设施与 AI Runtime

过去十余年,Databricks 一直稳居数据科学与机器学习领域的领导者地位,在行业评估矩阵中位列“最右上角”。仅在过去一年中,平台上训练的模型数量就超过了 5 亿个。然而,这套成熟的基础设施过去完全是针对人类工程师的操作习惯设计的。为了迎接 Agent 时代的到来,Databricks 在过去 18 个月中重构了整个技术栈,使其真正做到“Agent-Ready”:

- **全流程无服务器化(Serverless)**:消除了集群配置、状态同步与资源运维的负担,Agent 可以根据负载需要随时拉起、自动伸缩和销毁算力。 - **单一统一数据模型**:训练数据、特征、Serving 线上数据、监控指标及推理日志统一沉淀在受控的表格中。这样 Agent 无论何时修改代码或超参,都能通过统一的真实数据源(Single source of truth)即时观测到其带来的端到端影响。 - **端到端治理(Governance by Default)**:除了原本在 Unity Catalog 中受管的模型、实验与 Serving 端点外,平台新增了对“Agent 执行的操作行为”的审计与权限管控,确保全自动闭环安全可信。

在这个基础上,Mike Del Balso 进一步发布了全新的计算类型——**AI Runtime**。AI Runtime 为深度学习模型与大语言模型(LLMs)提供了按需调用、无前期承诺(no upfront commit)的 Serverless GPU。该功能在过去 2 个月的预览期内已被数百家企业采纳并迁移深度学习负载。其中,默克(Merck)便借助该平台推进其最新的药物研发模型。此外,Mike Del Balso 当场宣布扩大功能支持:**AI Runtime 自即日起正式支持多节点训练(multi-node training)**,让团队能够无门槛地在任意规模的数据集上训练超大规模模型。

[08:55](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=535s) 推出面向机器学习的 Genie Code

在解决了底层基础设施后,核心重心转向了实际驱动闭环的 Agent。针对“构建与评估”(Building)阶段,Mike Del Balso 正式发布了 **Genie Code for Machine Learning**。

这是一套深度内置于 Genie Code 中的机器学习专属增强智能能力,专为应对真实世界复杂的生产 ML 任务而设计。Mike Del Balso 强调:“Nobody has seen more machine learning in the real world than Databricks.”(在真实世界中见过的机器学习实践,没有任何一家公司能比 Databricks 更多)。Databricks 将业内关于“什么有效、什么无效、生产级优秀标准为何”的全部工程沉淀与实战经验都融入到了 Genie Code 中。

Genie Code 与 Databricks 完整的 ML 软件栈实现了原生集成,天然理解并能自如调用特征工程、模型训练、Serving 及监控等各项底层能力,使 Agent 能够像经验丰富的人类团队一样,深度结合上下文推进端到端的模型研发。

[09:57](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=597s) 基于本体论(Genie Ontology)赋能的 Genie Code

Mike Del Balso 深入介绍了 Genie Code 在上下文感知能力上的核心升级。传统的机器学习开发流程图通常具有误导性,因为那些图示往往源自十年前对人类工程师协作模式的思考,试图解决的只是当时的人力流程问题。然而,当工程师在真实的机器学习闭环中做决策时,必须调动海量背景信息:团队之前跑过哪些实验?特定的业务指标到底代表什么含义?哪些尝试成功了、哪些失败了?权威的评估脚本保存在什么地方?在现有的平台中,这些关键上下文碎片化地散落在各个角落。如果智能体无法访问这些数据,它就会引用错误的数据源、运行错误的评估逻辑,给出的结果虽然看起来似是而非,但实际上完全经不起推敲,根本无法获得团队的信任。

为了攻克这一难题,Databricks 将前一天由 Ken 发布的 Genie Ontology(Genie 本体论)原生集成至 Genie Code 中。依托本体论的强大底座,Genie Code 彻底理解了数据科学与机器学习团队实际的协作、建模和评估规范:它能遵循团队现有的特征工程模式来构建特征,复用原有的训练脚本与工作流,更重要的是,它能自动检索并沿用团队既有的评估脚本,以完全相同的标准来验收模型。正如 Mike Del Balso 指出的那样:“And that allows Genie code to really act like a senior machine learning engineer on your team.” 在真实的工业级数据科学与机器学习任务中,Genie Code 的表现大幅超越了市场上其他顶尖的代码智能体。跨国工程巨头 Danfoss 借助该系统,在短短 90 分钟内便实现了从零基础到搭建起完整生产级机器学习系统的飞跃,而类似项目以往在很多企业中往往需要耗费数周、数月乃至数个季度。

- 关键能力:复用既有特征构建模式、继承已有训练流水线、执行团队原生的评测基准。 - 客户案例:跨国工程制造企业 Danfoss 在 90 分钟内完成端到端生产级机器学习系统搭建。

```mermaid flowchart TD accTitle: Genie Ontology 与 Genie Code 的集成逻辑 accDescr: 展示 Genie Code 如何通过 Genie Ontology 整合各类分散上下文并驱动 ML 全流程

subgraph Context["分散的平台上下文 (Scattered Context)"] Exp["历史实验指标"] Biz["业务指标定义"] Eval["评估与验证脚本"] Pipe["既有训练流水线"] end

Ontology["Genie Ontology (全局本体论底座)"] Agent["Genie Code 智能体"]

subgraph Actions["规范化执行 (Standardized Workflows)"] F1["标准特征工程"] T1["工作流复用训练"] E1["同标度信任评测"] end

Context --> Ontology Ontology --> Agent Agent --> F1 Agent --> T1 Agent --> E1 ```

[13:20](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=800s) 破解运维黑洞:发布 Genie ZeroOps for ML

在展示了令人兴奋的构建提速后,Mike Del Balso 话锋一转,指出了机器学习团队面临的残酷现实:在真实的研发日常中,模型构建往往只占极小一部分,工程师高达 60% 至 80% 的时间都被迫耗费在机器学习应用的长期维护上。如果通过智能体将模型构建速度提升 100 倍,必然会导致生产环境中模型数量暴增 100 倍,而没有任何团队的人力能够承受膨胀 100 倍的运维重负。当模型上线后,数据漂移、推理服务器延迟激增、上游数据管道破裂等海量长尾故障随时可能发生。

为了彻底解决这一运维瓶颈,Mike Del Balso 隆重发布了被他称为“过去十年机器学习领域最重磅的发布”——Genie ZeroOps for ML。这项技术带来了颠覆性的范式转变:传统监控工具只会在指标异常时抛出告警,把问题丢给人类;而 ZeroOps for ML 在捕获异常的同时,会全自动推进根因排查、独立推导修复方案,并直接把可落地的解决方案呈现在团队面前。正如 Mike Del Balso 所阐述的模式反转:“And the flip here is that for the whole history of machine learning we've always had a team member on call for our models. And ZeroOps for ML inverts that and allows an agent to be on call and your team is just in a position to approve the recommendations from that agent.” 团队由此摆脱了疲于奔命的 On-call 泥潭,只需在最终部署前进行审查与批准。随后,Mike 邀请 Staff Tech Marketing Engineer Amber Roberts 上台进行实机演示。

- 核心痛点:机器学习工程师 60%–80% 的工时消耗在应用维护与故障排查上。 - 模式革新:从“发现问题报送人类排查”转向“自主定位根因并交付修复方案”,实现 Agent On-call、人类把关审批。

[16:07](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=967s) Amber 现场演示:票务预测故障的自主排查与自愈

Amber Roberts 登台通过实际业务场景展示 Genie ZeroOps 的强大自愈能力。在虚构的 Berkshire Sports Global 公司中,团队维护着一个核心预测模型,用于预测“Data and AI World Cup”每场赛事的门票销量。该模型极其关键,因为预测偏差直接关联着涉及数千万美元的现场安保人员排班与赛事运营预算,同时还需要避免因定价过高导致看台大面积空座。为了防范风险,Amber 演示了如何在无需繁琐额外配置的情况下,直接向 Genie Code 输入自然语言指令,创建并自动注册一个监控智能体,规则设定为:当任何比赛的实际售票量偏离预测值超过正负 5% 时立即触发警报。

随后场景快进到周五下午 5:30,Amber 刚结束连续会议打开邮箱,发现告警已在 30 分钟前触发,门票预测精度出现剧烈滑坡。在每一分钟都可能造成巨额损失的紧要关头,邮件中的新按钮“View investigation in Genie ZeroOps”提供了解脱路径。点击后系统进入 Genie ZeroOps 收件箱,自动打开了一个最高优先级的排查线程。在这 30 分钟内,Genie Code 并没有干等人工介入,而是早已自动探索并测试了数十种假设。得益于机器学习项目全局本体论的支持,它深入分析构建模型的 Notebook、审查 Unity Catalog 表、执行复杂的 SQL 查询、检验特征值分布并跑通 MLflow 实验。最终,智能体精准锁定了根因:模型缺少标识“锦标赛阶段”的关键特征,未能捕捉到淘汰赛阶段激增的球迷关注度与门票需求。

更惊艳的是,Genie Code 在定位根因后没有停止脚步,而是自动检索未被充分利用的现有比赛阶段数据生成新特征,重新训练模型并完成超参数调优,全程遵循 Databricks 最佳实践将新模型注册到 MLflow 中,并通过复用原有工作流的完整血缘与评测标准,独立完成了模型性能的交叉验证与自愈准备。

- 业务影响:门票销量预测直接影响数千万美元的赛事人员配置与现场运营支出。 - 监控阈值:任何比赛的实际门票销售额偏离预测值 ±5% 即刻触发告警。 - 自动化排查路径:分析模型 Notebook、查询 Unity Catalog 数据表、运行 SQL 探查、监控特征漂移、启动 MLflow 实验。 - 根因定位:缺失赛事淘汰赛阶段(Knockout Stage)特征,导致无法应对需求激增。 - 自主修复:提取沉淀数据构建新特征、自动化重训、超参数调优并注册进 MLflow。

[20:19](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=1219s) 一键上线新版本与告别运维泥潭:Genie ZeroOps 的业务价值

Amber Roberts 在展示中看到新模型不仅大幅提升了精度,还成功将业务预测拉回了正轨。由于整个排查和再训练过程中能够清晰审视 Genie Code 所调用的各项评估指标与对比数据,工程师无需对黑盒猜测,而是建立起了对自动化操作的坚实信任。在确认效果无误后,她将新生成的模型(Version 2)切分至小规模灰度流量中进行金丝雀发布,在界面上仅凭单次点击就完成了上线部署。整个闭环干净利落,现场随即响起了热烈的掌声。

在完成实机演示后,Amber 深入剖析了此类故障在传统研发团队中的沉重代价。在过去,像模型陈旧失效(stale model)这类事故往往会演变成波及整个团队的严重生产级故障,工程师们需要通宵达旦地排查特征漂移、重新清洗数据并手动调参,业务往往会因此瘫痪数小时乃至数天,潜在经济损失动辄高达数千万美元。而通过 Genie Code ZeroOps,系统能够快速自我修复,且对团队日常研发的干扰降到了最低。随着行业迈向模型数量激增 100 倍的崭新时代,复杂度也将成百倍攀升,工程团队必须从无休止的“救火”中解脱出来。正如 Amber Roberts 所指出的那样:“Give ML teams the tools that they need to stop spending all this time fighting operational toil and start building breakthrough AI.”

```mermaid flowchart LR accTitle: Genie ZeroOps 故障自动化自愈流程 accDescr: 从生产告警到一键灰度发布的自愈闭环

subgraph Detect["监控与诊断"] A["生产监控告警<br/>模型陈旧/漂移"] --> B["Genie ZeroOps<br/>分析根因与特征"] end

subgraph Fix["重训与验证"] B --> C["自动重新训练<br/>生成新版本模型"] C --> D["全面指标评估<br/>与基线版本对比"] end

subgraph Deploy["安全交付"] D --> E["小流量金丝雀发布<br/>(一键单击部署)"] E --> F["恢复业务预测<br/>消除数千万美元风险"] end ```

- **故障传统代价**:生产级模型老化通常会引发全员级事故,耗费数小时至数天时间排障,潜在业务损失可达数千万美元。 - **Genie ZeroOps 优势**:全流程可视化评估提供充分信任度,实现一键式单机灰度上线,极大消除操作苦工(operational toil)。

---

[21:38](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=1298s) 三项重磅发布与迈入 100 倍规模的 Agentic ML 新纪元

演示结束后,Mike Del Balso 一路小跑重回演讲舞台,在风趣的开场白之后,正式对当天发布的三项核心基础设施与产品进行了系统性盘点:

1. **AI Runtime(公测版 Public Preview)**:提供 Serverless GPU 算力资源,专为构建、训练深度学习模型与大语言模型(LLM)打造,开发者即日起便可直接上手体验; 2. **Genie Code for Machine Learning(正式商用 GA)**:直接内置于工程师本地笔记本现有的 Genie Code 环境中,全面覆盖特征工程、训练与调优,现已面向所有用户开放可用; 3. **Genie ZeroOps for Machine Learning(定于今夏推出)**:将于今年夏季正式亮相,旨在以 Agent 闭环接管线上监控、故障定位与自动化自愈。

Mike 带领全场观众重温了本次演讲开篇时提出的宏大愿景:机器学习产业自诞生以来,其核心诉求始终是实现机器学习流程本身的自动化。过去受限于孤立的流水线与算力门槛,行业始终无法摆脱人工胶水代码;而今天,算力基础设施与驱动整个闭环的 AI Agent 终于同时成熟。正如 Mike Del Balso 总结指出的:“The machine learning industry has always been about automating machine learning, and we're finally at the point where we have the infrastructure and we have the agents to drive the loop.”

拥有了这种将研发效率提升 100 倍、模型吞吐量扩大 100 倍的能力后,企业不再需要对有限的高价值场景进行妥协式取舍,而是能够将机器学习模型规模化推广至业务的每一个决策节点。无论是产品内部无处不在的端到端超个性化客户体验,还是精细化运营决策的最优解,都将由这些永不疲倦的 Agent 协同完成。Mike 最后鼓励所有开发者:“Let your agents do the work now, so your team can focus on what's next.”

- **三项发布汇总**: - AI Runtime:Serverless GPU 算力底座,现已开启 Public Preview; - Genie Code for ML:端到端 ML 研发 Agent,现已全面 GA(直接内置于 Genie Code); - Genie ZeroOps for ML:运维与自愈 Agent,将于今年夏季(This Summer)推出。 - **核心范式转变**:从人工干预单点模型,转向由 Agent 闭环驱动的百倍规模自动化决策(100X ML Era)。

## Notable quotes > [21:38](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=1298s) The machine learning industry has always been about automating machine learning, and we're finally at the point where we have the infrastructure and we have the agents to drive the loop. — Mike Del Balso

## Mentioned Mike Del Balso, Amber Roberts, Databricks, Google, Uber, Michelangelo, Tecton, Merck, Danfoss, Ken, Berkshire Sports Global, Genie Code, Genie ZeroOps, AI Runtime, Unity Catalog, MLflow, Genie Ontology, Hidden Technical Debt in Machine Learning Systems

## Video description Genie Code now comes with upgraded intelligence for ML engineering and native integrations across every Databricks ML Platform component: feature engineering, model training, serving, and monitoring.

Learn more: https://www.databricks.com/blog/whats-new-ai-platform-agents-ml-engineering-our-deep-learning-platform-and-new-capabilities

00:00 — Mike Del Balso, Director, Product Management, Databricks 01:12 — The hidden tech debt of ML systems 03:43 — AI agents are the the only way to automate ML 04:44 — Agent-ready infrastructure with Databricks 07:46 — Introducing AI Runtime 08:55 — Driving the agent loop with context 09:19 — Introducing Genie Code for ML 13:29 — The looming AI maintenance burden 14:26 — Introducing Genie ZeroOps for ML 15:49 — Justin introduces Amber Roberts, Staff Tech Marketing Engineer, Databricks 16:08 — Amber demos Genie ZeroOps for ML 21:47 — Mike wraps up

Presenters: Mike Del Balso, Director, Product Management, Databricks Amber Roberts, Staff Tech Marketing Engineer, Databricks

[Source](https://www.youtube.com/watch?v=C1rEj2VQtwU)

中文简报

Databricks推出AI智能体以实现机器学习运维自动化 在自主智能体接管持续的模型维护工作之前,机器学习无法在企业决策中实现规模化应用,而目前模型维护占用了高达80%的工程时间。 Databricks负责人Mike Del Balso与Amber Roberts阐述了自主AI智能体如何化解生产级机器学习中存在数十年的技术债与维护负担。主题演讲介绍了用于无服务器GPU深度学习训练的AI Runtime、利用组织内部专有知识构建上下文感知流水线的Genie Code for ML,以及用于自动化运维排查与修补的Genie ZeroOps for ML。现场演示展示了Genie ZeroOps如何自主诊断工单预测模型中的精度下降问题、构建缺失的赛事特征、重新训练流水线,并提供经过验证的候选模型供人工审批。 Databricks推出了AI Runtime,支持无服务器、按需GPU以及针对深度学习和大语言模型的多节点分布式训练,现已进入公开预览阶段且无需预付款承诺。 (7:46) Genie Code for ML现已正式发布,嵌入了领域特定的工程启发式方法,并原生集成于Databricks的特征工程、训练、部署及监控环节。 (8:57) Genie ZeroOps for ML将于今年夏末推出,旨在重塑生产运维模式,能够自主调查警报、构建缺失特征、重新训练模型,并提交可用于生产环境的修复方案供人工审批。 (13:20) 丹佛斯(Danfoss)利用Genie Code基于本体的上下文,在90分钟内构建并部署了一套完整的生产级机器学习系统,省去了通常需要数周或数月的工程周期。 (9:57)

精炼阅读摘要

Databricks 宣布推出一套专为机器学习设计的智能体(AI Agent)生态系统,旨在通过 Genie Code 和 Genie ZeroOps 实现从模型构建到运维的全链路自动化。Databricks 产品管理总监 Mike Del Balso 认为,该举措将解决生产环境中长期存在的“技术债务”问题,使企业能够将其机器学习模型的规模扩展至现有的百倍水平。 破解机器学习的生产技术债务 (0:00) Mike Del Balso 指出,尽管机器学习行业追求自动化,但长久以来实际的生产部署仍依赖于繁重且复杂的工程工作。经典的谷歌研究图示表明,真正的机器学习代码仅占整个系统的一小部分,其余大部分是由数据收集、特征工程和监控等外围基础设施构成的。由于这一过程耗时且人力成本高昂,企业通常被迫限制模型的使用范围,从而导致大量业务决策仍依赖于死板的规则,未能充分发挥智能化的价值。Del Balso 认为,随着生成式 AI 的普及,企业面临更密集的决策压力,迫切需要更高效的自动化手段来取代人工嵌入的专家决策过程。 代理导向的自动化基础设施 为实现机器学习闭环自动化,Databricks 进行了底层架构重构,使其能够为 AI 智能体所用。其核心支撑包括三个维度:首先是 100% 无服务器操作,使智能体能按需自动扩展计算资源;其次是统一的集成数据模型,确保智能体能观察到上下游链路的变化;最后是针对智能体行动的治理,通过 Unity Catalog 对智能体的操作执行审计和合规控制。此外,新发布的 AI Runtime 提供了按需服务器化 GPU 计算能力,并支持多节点分布式训练,从而为深度学习模型提供底层支撑。这些基础设施的改进,被视为是克服传统机器学习“语境缺失”(Context Deficit)问题的关键,确保智能体能够基于准确的组织背景执行任务。 Genie Code 的工程智能与语境化 Genie Code for ML 是专为机器学习定制的智能体,它不仅能生成代码,更集成了 Databricks 对生产环境中模型运行的深度理解。该工具通过与 Genie 本体(Ontology)深度融合,能够获取企业内部的“部落知识”(Tribal Knowledge),如历史实验记录、特征工程规范及公司标准的评估脚本。Del Balso 称,这种语境感知能力使其表现优于通用编码智能体。例如,工程公司 Danfoss 利用该技术在 90 分钟内就构建了从零到生产的全流程机器学习系统,而传统开发周期通常需要数周甚至数月。 Genie ZeroOps 的自动化运维革新 在模型部署后的维护阶段,Genie ZeroOps 旨在解决团队 60% 至 80% 的运维负担。传统监控仅能触发警报,而 Genie ZeroOps 能够自主识别性能退化、诊断根本原因、测试修复方案并完成模型重训练。在 Berkshire Sports Global 的案例演示中,该系统针对票务预测模型的准确率偏差进行了自动排查,识别出因缺失淘汰赛特征导致的模型漂移,并自动完成了特征合成与模型验证。该流程将人类工程师从琐碎的故障排查中解放出来,使其转型为审批者,从而实现大规模模型舰队的自动运维。 Databricks 旨在通过将 AI 智能体深度集成至机器学习生命周期,解决阻碍生产规模化的操作性工作。随着 AI Runtime、Genie Code 和 Genie ZeroOps 的陆续推出或全面可用,Databricks 预示了一个机器学习应用将覆盖所有关键业务决策的“百倍增长时代”,但该目标的达成仍需依赖企业对自动化运维治理的信任与适应。

Detailed notes — zh

## Background 本内容由 Databricks 于 2026 年 6 月 24 日在 YouTube 官方频道发布。视频简介指出,Genie Code 迎来面向机器学习工程的智能化升级,原生集成了特征工程、模型训练、Serving 部署及监控等 Databricks ML 平台的各个组件。 ## TL;DR Databricks 针对长期困扰机器学习系统的隐性技术债与高昂运维成本,提出了由 AI Agent 驱动的 Agentic ML 解决方案。演讲围绕支撑 Agent 闭环的基础设施重构展开,重点发布了支持 Serverless GPU 且已支持多节点训练的 AI Runtime、深度整合团队业务上下文本体论的 Genie Code for ML,以及颠覆传统 On-call 模式的 Genie ZeroOps for ML。通过现场实机演示,Databricks 展示了系统如何在周五突发业务告警时,全自动完成根因分析、特征重建、重新训练及一键灰度发布的自愈全流程,宣告机器学习迈向由智能体承担运维繁重劳动、规模扩大 100 倍的新纪元。 ## Atmosphere & style 整场演讲呈现出科技大会经典的高水准与从容气场,主讲人 Mike Del Balso 凭借在 Google、Uber 的丰富履历谈笑风生,将枯燥的系统架构与行业技术债痛点拆解得鞭辟入里。随着 Amber Roberts 的登台,现场切换为紧迫而真实的周五生产事故实战演示,观众屏息见证智能体在后台数十条线索中精准破案自愈,随后爆发出一键发布成功的满堂掌声。从直面传统运维泥潭的焦虑,到智能体接管排障的豁然开朗,整个过程洋溢着对技术解放生产力、重塑企业智能未来的澎湃信念。 ## Bulletin - [08:55](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=535s) Databricks 推出面向机器学习研发的 Genie Code for ML(正式商用)以及自愈运维组件 Genie ZeroOps for ML(定于今年夏季上线),旨在实现特征工程、模型训练到线上监控的全流程 Agent 自动化。 - [07:46](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=466s) Databricks 发布 Serverless GPU 算力底座 AI Runtime(公测版),并正式支持多节点训练,用于承载深度学习和大语言模型的弹性训练任务。 - [13:20](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=800s) 机器学习工程师 60% 至 80% 的工时被长期维护与排障消耗;Genie ZeroOps 颠覆了传统告警模式,通过由 Agent 代替人类 On-call,自主推导并交付验证好的修复方案,团队仅需审批上线。 - [09:57](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=597s) 跨国工程企业 Danfoss 依托集成了 Genie Ontology 的 Genie Code,在 90 分钟内完成了端到端生产级机器学习系统的搭建。 ## Key takeaways - [01:12](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=72s) 生产级机器学习系统的绝大部分工程复杂度不在算法核心,而在底层的数据管道与周边基础设施中,本质上是一个数据问题。 - [02:00](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=120s) 由于工程复杂度与人工专家瓶颈,企业往往被迫对机器学习进行“配额配给”,在大量本可智能化的决策上沿用静态规则与启发法。 - [03:43](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=223s) AI Agent 是唯一能够打破机器学习全流程对人工专家重度依赖、实现端到端自动化的技术路径。 - [04:05](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=245s) 阻碍 Agent 在机器学习落地的两大核心壁垒在于:极少有企业具备全流程底层基础设施,以及缺乏能输入给 Agent 的全局业务与数据上下文。 - [04:44](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=284s) Databricks 历时 18 个月将技术栈重构为 Agent 就绪型架构,涵盖 Serverless 算力、统一数据模型以及对 Agent 执行行为的审计与治理。 - [07:46](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=466s) 全新的 Serverless GPU 计算类型 AI Runtime 进入 Public Preview 阶段,提供零预付承诺的弹性算力,并已正式支持多节点分布式训练。 - [08:55](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=535s) Genie Code for ML 原生深度集成于特征工程、训练、Serving 和监控全栈,将 Databricks 沉淀的最佳实践转化为 Agent 能力并正式商用(GA)。 - [09:57](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=597s) Genie Ontology(本体论)解决了关键上下文碎片化散落的问题,使 Agent 能遵循团队原有的特征模式、训练流水线和评估脚本做出可靠决策。 - [13:20](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=800s) 若仅将模型构建速度提升 100 倍而缺乏自动化运维,激增的模型维护负担将压垮团队,因此监控与自愈自动化势在必行。 - [14:26](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=866s) Genie ZeroOps for ML 实现了从“指标异常向人类报警”到“Agent 主动诊断根因、重训自愈并呈交修复方案”的运维范式颠覆。 - [16:08](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=968s) 在票务预测故障演示中,Genie ZeroOps 在告警触发后自动探查特征漂移与数据血缘,锁定缺失淘汰赛特征的根因并自动重训模型提交灰度验证。 - [20:19](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=1219s) 通过提供白盒可查的评估指标与版本对比,工程师可在确认效果后一键完成金丝雀发布,极大减轻操作苦工并防范数千万美元级损失。 - [21:38](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=1298s) 算力基础设施与闭环 Agent 的双重成熟,标志着机器学习进入 100 倍模型规模时代,企业得以将智能决策推广至业务的每一个细分节点。 ## Detailed walkthrough ### [00:00](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=0s) 生产级机器学习的痛点与技术债 Databricks 产品管理总监 Mike Del Balso 走上讲台,打趣道从后台走出来是段“出人意料的长路”(deceptively long walk)。他回顾了自己的职业生涯:早期在 Google 广告机器学习团队工作,那正是开启整个 MLOps 领域的发源地;之后在 Uber 协助组建机器学习团队,主导打造了著名的 ML 平台 Michelangelo;在过去的几年中,他又创立了一家生产级机器学习初创公司(Tecton),后来加入 Databricks 并继续深耕同一领域的难题。Mike Del Balso 指出,整个机器学习行业长久以来的共同愿景只有一个,那就是将机器学习变得尽可能简单和自动化,从而把智能决策推广到企业业务的每一个关键节点。 为了说明现实落差,他展示了一张经典架构图——该图出自他在 Google 的团队约 12 年前发表的一篇著名论文(《Hidden Technical Debt in Machine Learning Systems》)。图中心用红色标注的小方块代表实际的“机器学习代码”,而包裹在它周围的大量外围模块则是构建和维护生产级 ML 系统所必需的庞大工程链路。Mike Del Balso 强调:“And as a hint, this is all a data problem under the hood.”(提示一下,这在底层全都是数据问题)。 当前,生成式 AI(GenAI)的爆发并未像部分人以为的那样缩减对传统机器学习的需求,反而极大地加速了它。随着新软件与新产品体验的激增,企业面临更多需要自动化的决策:推荐更多商品、提供差异化定价、检测欺诈行为、审批贷款申请等。然而受限于工程复杂度,企业往往不得不对机器学习进行“配额配给”(ration machine learning),仅在极少数业务场景部署模型,而在其余大量本可智能化的决策上,依然沿用硬编码规则(statically coded logic)与经验启发法(heuristics)。这种做法直接导致企业把利润白白拱手让人。 - 行业痛点:生产级 ML 系统的绝大部分复杂度不在算法本身,而在周边的数据与系统基础设施。 - 业务现状:企业内部决策场景爆发式增长,但真正拥有模型赋能的场景寥寥无几,导致次优决策普遍存在。 - 人工瓶颈:自动化面临的巨大阻碍在于流程各环节都需要高素质专家(如博士、资深数据科学家)进行主观判断——决定构建何种特征、定义优化目标、评估模型质量并决定是否上线。 ### [03:43](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=223s) 为何唯有 Agent 能解锁机器学习自动化 面对机器学习全流程对人工专家决策的重度依赖,Mike Del Balso 直言,要加快研发节奏并让自动化流程做出具备专家水准的决策,当今只有一种技术能够胜任——AI Agent。 尽管 Agent 已经在整个软件工程领域掀起了翻天覆地的革命,但在机器学习领域却迟迟没有展现出同等的影响力,团队构建和运维机器学习的方式基本没有发生本质改变。Mike Del Balso 分析了阻碍 Agent 落地机器学习的两大核心痛点: 1. **基础设施门槛极高**:纵观整个行业,仅有极少数顶尖公司具备支撑完整自动化 ML 闭环的底层基础设施,搭建难度超乎想象。 2. **缺乏上下文(Context)输入**:如果希望 Agent 像机器学习工程师一样做出高质量判断,就必须为 Agent 喂入同等丰富、全面的业务与数据上下文,而现有的工具链完全无法提供这种上下文闭环。 针对这一困局,Mike Del Balso 宣布 Databricks 成为了首家能够完整攻坚这两个难点的公司,并从“Agent 就绪型基础设施”和“驱动上下文闭环的 Agent”两个维度全面破局。 ```mermaid flowchart TD accTitle: Agentic ML Workflow Architecture accDescr: 展现从 Databricks 统一基础设施到 Agent 自动化闭环的三大支柱与驱动关系 subgraph INFRA["Agent-Ready 基础设施层"] direction TB S1["Serverless 算力平台<br/>(AI Runtime / GPU 免配置)"] S2["统一数据模型<br/>(特征 / 训练 / 推理 / 监控)"] S3["Unity Catalog 全栈治理<br/>(资产治理 + Agent 动作治理)"] end subgraph CONTEXT["上下文与决策驱动"] direction TB C1["全链路指标与血缘反馈"] C2["企业业务与数据上下文"] end subgraph AGENT["Genie Code 智能体"] direction TB A1["自动化特征工程与调优"] A2["自动化模型评估与上线决策"] end INFRA --> CONTEXT CONTEXT --> AGENT AGENT -.->|"执行与调优操作"| INFRA ``` ### [04:44](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=284s) Databricks 构建 Agent 就绪型基础设施与 AI Runtime 过去十余年,Databricks 一直稳居数据科学与机器学习领域的领导者地位,在行业评估矩阵中位列“最右上角”。仅在过去一年中,平台上训练的模型数量就超过了 5 亿个。然而,这套成熟的基础设施过去完全是针对人类工程师的操作习惯设计的。为了迎接 Agent 时代的到来,Databricks 在过去 18 个月中重构了整个技术栈,使其真正做到“Agent-Ready”: - **全流程无服务器化(Serverless)**:消除了集群配置、状态同步与资源运维的负担,Agent 可以根据负载需要随时拉起、自动伸缩和销毁算力。 - **单一统一数据模型**:训练数据、特征、Serving 线上数据、监控指标及推理日志统一沉淀在受控的表格中。这样 Agent 无论何时修改代码或超参,都能通过统一的真实数据源(Single source of truth)即时观测到其带来的端到端影响。 - **端到端治理(Governance by Default)**:除了原本在 Unity Catalog 中受管的模型、实验与 Serving 端点外,平台新增了对“Agent 执行的操作行为”的审计与权限管控,确保全自动闭环安全可信。 在这个基础上,Mike Del Balso 进一步发布了全新的计算类型——**AI Runtime**。AI Runtime 为深度学习模型与大语言模型(LLMs)提供了按需调用、无前期承诺(no upfront commit)的 Serverless GPU。该功能在过去 2 个月的预览期内已被数百家企业采纳并迁移深度学习负载。其中,默克(Merck)便借助该平台推进其最新的药物研发模型。此外,Mike Del Balso 当场宣布扩大功能支持:**AI Runtime 自即日起正式支持多节点训练(multi-node training)**,让团队能够无门槛地在任意规模的数据集上训练超大规模模型。 ### [08:55](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=535s) 推出面向机器学习的 Genie Code 在解决了底层基础设施后,核心重心转向了实际驱动闭环的 Agent。针对“构建与评估”(Building)阶段,Mike Del Balso 正式发布了 **Genie Code for Machine Learning**。 这是一套深度内置于 Genie Code 中的机器学习专属增强智能能力,专为应对真实世界复杂的生产 ML 任务而设计。Mike Del Balso 强调:“Nobody has seen more machine learning in the real world than Databricks.”(在真实世界中见过的机器学习实践,没有任何一家公司能比 Databricks 更多)。Databricks 将业内关于“什么有效、什么无效、生产级优秀标准为何”的全部工程沉淀与实战经验都融入到了 Genie Code 中。 Genie Code 与 Databricks 完整的 ML 软件栈实现了原生集成,天然理解并能自如调用特征工程、模型训练、Serving 及监控等各项底层能力,使 Agent 能够像经验丰富的人类团队一样,深度结合上下文推进端到端的模型研发。 ### [09:57](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=597s) 基于本体论(Genie Ontology)赋能的 Genie Code Mike Del Balso 深入介绍了 Genie Code 在上下文感知能力上的核心升级。传统的机器学习开发流程图通常具有误导性,因为那些图示往往源自十年前对人类工程师协作模式的思考,试图解决的只是当时的人力流程问题。然而,当工程师在真实的机器学习闭环中做决策时,必须调动海量背景信息:团队之前跑过哪些实验?特定的业务指标到底代表什么含义?哪些尝试成功了、哪些失败了?权威的评估脚本保存在什么地方?在现有的平台中,这些关键上下文碎片化地散落在各个角落。如果智能体无法访问这些数据,它就会引用错误的数据源、运行错误的评估逻辑,给出的结果虽然看起来似是而非,但实际上完全经不起推敲,根本无法获得团队的信任。 为了攻克这一难题,Databricks 将前一天由 Ken 发布的 Genie Ontology(Genie 本体论)原生集成至 Genie Code 中。依托本体论的强大底座,Genie Code 彻底理解了数据科学与机器学习团队实际的协作、建模和评估规范:它能遵循团队现有的特征工程模式来构建特征,复用原有的训练脚本与工作流,更重要的是,它能自动检索并沿用团队既有的评估脚本,以完全相同的标准来验收模型。正如 Mike Del Balso 指出的那样:“And that allows Genie code to really act like a senior machine learning engineer on your team.” 在真实的工业级数据科学与机器学习任务中,Genie Code 的表现大幅超越了市场上其他顶尖的代码智能体。跨国工程巨头 Danfoss 借助该系统,在短短 90 分钟内便实现了从零基础到搭建起完整生产级机器学习系统的飞跃,而类似项目以往在很多企业中往往需要耗费数周、数月乃至数个季度。 - 关键能力:复用既有特征构建模式、继承已有训练流水线、执行团队原生的评测基准。 - 客户案例:跨国工程制造企业 Danfoss 在 90 分钟内完成端到端生产级机器学习系统搭建。 ```mermaid flowchart TD accTitle: Genie Ontology 与 Genie Code 的集成逻辑 accDescr: 展示 Genie Code 如何通过 Genie Ontology 整合各类分散上下文并驱动 ML 全流程 subgraph Context["分散的平台上下文 (Scattered Context)"] Exp["历史实验指标"] Biz["业务指标定义"] Eval["评估与验证脚本"] Pipe["既有训练流水线"] end Ontology["Genie Ontology (全局本体论底座)"] Agent["Genie Code 智能体"] subgraph Actions["规范化执行 (Standardized Workflows)"] F1["标准特征工程"] T1["工作流复用训练"] E1["同标度信任评测"] end Context --> Ontology Ontology --> Agent Agent --> F1 Agent --> T1 Agent --> E1 ``` ### [13:20](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=800s) 破解运维黑洞:发布 Genie ZeroOps for ML 在展示了令人兴奋的构建提速后,Mike Del Balso 话锋一转,指出了机器学习团队面临的残酷现实:在真实的研发日常中,模型构建往往只占极小一部分,工程师高达 60% 至 80% 的时间都被迫耗费在机器学习应用的长期维护上。如果通过智能体将模型构建速度提升 100 倍,必然会导致生产环境中模型数量暴增 100 倍,而没有任何团队的人力能够承受膨胀 100 倍的运维重负。当模型上线后,数据漂移、推理服务器延迟激增、上游数据管道破裂等海量长尾故障随时可能发生。 为了彻底解决这一运维瓶颈,Mike Del Balso 隆重发布了被他称为“过去十年机器学习领域最重磅的发布”——Genie ZeroOps for ML。这项技术带来了颠覆性的范式转变:传统监控工具只会在指标异常时抛出告警,把问题丢给人类;而 ZeroOps for ML 在捕获异常的同时,会全自动推进根因排查、独立推导修复方案,并直接把可落地的解决方案呈现在团队面前。正如 Mike Del Balso 所阐述的模式反转:“And the flip here is that for the whole history of machine learning we've always had a team member on call for our models. And ZeroOps for ML inverts that and allows an agent to be on call and your team is just in a position to approve the recommendations from that agent.” 团队由此摆脱了疲于奔命的 On-call 泥潭,只需在最终部署前进行审查与批准。随后,Mike 邀请 Staff Tech Marketing Engineer Amber Roberts 上台进行实机演示。 - 核心痛点:机器学习工程师 60%–80% 的工时消耗在应用维护与故障排查上。 - 模式革新:从“发现问题报送人类排查”转向“自主定位根因并交付修复方案”,实现 Agent On-call、人类把关审批。 ### [16:07](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=967s) Amber 现场演示:票务预测故障的自主排查与自愈 Amber Roberts 登台通过实际业务场景展示 Genie ZeroOps 的强大自愈能力。在虚构的 Berkshire Sports Global 公司中,团队维护着一个核心预测模型,用于预测“Data and AI World Cup”每场赛事的门票销量。该模型极其关键,因为预测偏差直接关联着涉及数千万美元的现场安保人员排班与赛事运营预算,同时还需要避免因定价过高导致看台大面积空座。为了防范风险,Amber 演示了如何在无需繁琐额外配置的情况下,直接向 Genie Code 输入自然语言指令,创建并自动注册一个监控智能体,规则设定为:当任何比赛的实际售票量偏离预测值超过正负 5% 时立即触发警报。 随后场景快进到周五下午 5:30,Amber 刚结束连续会议打开邮箱,发现告警已在 30 分钟前触发,门票预测精度出现剧烈滑坡。在每一分钟都可能造成巨额损失的紧要关头,邮件中的新按钮“View investigation in Genie ZeroOps”提供了解脱路径。点击后系统进入 Genie ZeroOps 收件箱,自动打开了一个最高优先级的排查线程。在这 30 分钟内,Genie Code 并没有干等人工介入,而是早已自动探索并测试了数十种假设。得益于机器学习项目全局本体论的支持,它深入分析构建模型的 Notebook、审查 Unity Catalog 表、执行复杂的 SQL 查询、检验特征值分布并跑通 MLflow 实验。最终,智能体精准锁定了根因:模型缺少标识“锦标赛阶段”的关键特征,未能捕捉到淘汰赛阶段激增的球迷关注度与门票需求。 更惊艳的是,Genie Code 在定位根因后没有停止脚步,而是自动检索未被充分利用的现有比赛阶段数据生成新特征,重新训练模型并完成超参数调优,全程遵循 Databricks 最佳实践将新模型注册到 MLflow 中,并通过复用原有工作流的完整血缘与评测标准,独立完成了模型性能的交叉验证与自愈准备。 - 业务影响:门票销量预测直接影响数千万美元的赛事人员配置与现场运营支出。 - 监控阈值:任何比赛的实际门票销售额偏离预测值 ±5% 即刻触发告警。 - 自动化排查路径:分析模型 Notebook、查询 Unity Catalog 数据表、运行 SQL 探查、监控特征漂移、启动 MLflow 实验。 - 根因定位:缺失赛事淘汰赛阶段(Knockout Stage)特征,导致无法应对需求激增。 - 自主修复:提取沉淀数据构建新特征、自动化重训、超参数调优并注册进 MLflow。 ### [20:19](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=1219s) 一键上线新版本与告别运维泥潭:Genie ZeroOps 的业务价值 Amber Roberts 在展示中看到新模型不仅大幅提升了精度,还成功将业务预测拉回了正轨。由于整个排查和再训练过程中能够清晰审视 Genie Code 所调用的各项评估指标与对比数据,工程师无需对黑盒猜测,而是建立起了对自动化操作的坚实信任。在确认效果无误后,她将新生成的模型(Version 2)切分至小规模灰度流量中进行金丝雀发布,在界面上仅凭单次点击就完成了上线部署。整个闭环干净利落,现场随即响起了热烈的掌声。 在完成实机演示后,Amber 深入剖析了此类故障在传统研发团队中的沉重代价。在过去,像模型陈旧失效(stale model)这类事故往往会演变成波及整个团队的严重生产级故障,工程师们需要通宵达旦地排查特征漂移、重新清洗数据并手动调参,业务往往会因此瘫痪数小时乃至数天,潜在经济损失动辄高达数千万美元。而通过 Genie Code ZeroOps,系统能够快速自我修复,且对团队日常研发的干扰降到了最低。随着行业迈向模型数量激增 100 倍的崭新时代,复杂度也将成百倍攀升,工程团队必须从无休止的“救火”中解脱出来。正如 Amber Roberts 所指出的那样:“Give ML teams the tools that they need to stop spending all this time fighting operational toil and start building breakthrough AI.” ```mermaid flowchart LR accTitle: Genie ZeroOps 故障自动化自愈流程 accDescr: 从生产告警到一键灰度发布的自愈闭环 subgraph Detect["监控与诊断"] A["生产监控告警<br/>模型陈旧/漂移"] --> B["Genie ZeroOps<br/>分析根因与特征"] end subgraph Fix["重训与验证"] B --> C["自动重新训练<br/>生成新版本模型"] C --> D["全面指标评估<br/>与基线版本对比"] end subgraph Deploy["安全交付"] D --> E["小流量金丝雀发布<br/>(一键单击部署)"] E --> F["恢复业务预测<br/>消除数千万美元风险"] end ``` - **故障传统代价**:生产级模型老化通常会引发全员级事故,耗费数小时至数天时间排障,潜在业务损失可达数千万美元。 - **Genie ZeroOps 优势**:全流程可视化评估提供充分信任度,实现一键式单机灰度上线,极大消除操作苦工(operational toil)。 --- ### [21:38](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=1298s) 三项重磅发布与迈入 100 倍规模的 Agentic ML 新纪元 演示结束后,Mike Del Balso 一路小跑重回演讲舞台,在风趣的开场白之后,正式对当天发布的三项核心基础设施与产品进行了系统性盘点: 1. **AI Runtime(公测版 Public Preview)**:提供 Serverless GPU 算力资源,专为构建、训练深度学习模型与大语言模型(LLM)打造,开发者即日起便可直接上手体验; 2. **Genie Code for Machine Learning(正式商用 GA)**:直接内置于工程师本地笔记本现有的 Genie Code 环境中,全面覆盖特征工程、训练与调优,现已面向所有用户开放可用; 3. **Genie ZeroOps for Machine Learning(定于今夏推出)**:将于今年夏季正式亮相,旨在以 Agent 闭环接管线上监控、故障定位与自动化自愈。 Mike 带领全场观众重温了本次演讲开篇时提出的宏大愿景:机器学习产业自诞生以来,其核心诉求始终是实现机器学习流程本身的自动化。过去受限于孤立的流水线与算力门槛,行业始终无法摆脱人工胶水代码;而今天,算力基础设施与驱动整个闭环的 AI Agent 终于同时成熟。正如 Mike Del Balso 总结指出的:“The machine learning industry has always been about automating machine learning, and we're finally at the point where we have the infrastructure and we have the agents to drive the loop.” 拥有了这种将研发效率提升 100 倍、模型吞吐量扩大 100 倍的能力后,企业不再需要对有限的高价值场景进行妥协式取舍,而是能够将机器学习模型规模化推广至业务的每一个决策节点。无论是产品内部无处不在的端到端超个性化客户体验,还是精细化运营决策的最优解,都将由这些永不疲倦的 Agent 协同完成。Mike 最后鼓励所有开发者:“Let your agents do the work now, so your team can focus on what's next.” - **三项发布汇总**: - AI Runtime:Serverless GPU 算力底座,现已开启 Public Preview; - Genie Code for ML:端到端 ML 研发 Agent,现已全面 GA(直接内置于 Genie Code); - Genie ZeroOps for ML:运维与自愈 Agent,将于今年夏季(This Summer)推出。 - **核心范式转变**:从人工干预单点模型,转向由 Agent 闭环驱动的百倍规模自动化决策(100X ML Era)。 ## Notable quotes > [21:38](https://www.youtube.com/watch?v=C1rEj2VQtwU&t=1298s) The machine learning industry has always been about automating machine learning, and we're finally at the point where we have the infrastructure and we have the agents to drive the loop. — Mike Del Balso ## Mentioned Mike Del Balso, Amber Roberts, Databricks, Google, Uber, Michelangelo, Tecton, Merck, Danfoss, Ken, Berkshire Sports Global, Genie Code, Genie ZeroOps, AI Runtime, Unity Catalog, MLflow, Genie Ontology, Hidden Technical Debt in Machine Learning Systems ## Video description Genie Code now comes with upgraded intelligence for ML engineering and native integrations across every Databricks ML Platform component: feature engineering, model training, serving, and monitoring. Learn more: https://www.databricks.com/blog/whats-new-ai-platform-agents-ml-engineering-our-deep-learning-platform-and-new-capabilities 00:00 — Mike Del Balso, Director, Product Management, Databricks 01:12 — The hidden tech debt of ML systems 03:43 — AI agents are the the only way to automate ML 04:44 — Agent-ready infrastructure with Databricks 07:46 — Introducing AI Runtime 08:55 — Driving the agent loop with context 09:19 — Introducing Genie Code for ML 13:29 — The looming AI maintenance burden 14:26 — Introducing Genie ZeroOps for ML 15:49 — Justin introduces Amber Roberts, Staff Tech Marketing Engineer, Databricks 16:08 — Amber demos Genie ZeroOps for ML 21:47 — Mike wraps up Presenters: Mike Del Balso, Director, Product Management, Databricks Amber Roberts, Staff Tech Marketing Engineer, Databricks [Source](https://www.youtube.com/watch?v=C1rEj2VQtwU)

Source quotes

[21:38] Mike Del Balso: The machine learning industry has always been about automating machine learning, and we're finally at the point where we have the infrastructure and we have the agents to drive the loop.