AI Engineer
企业级AI落地失败多因缺乏量化评估与决策追踪,团队应在构建动态评测集与数据底座后再行挑选模型。
AI-assisted summary of The Production AI Playbook: Deploying Agents at Enterprise Scale — Sandipan Bhaumik, Databricks — original source. Check the original for full context.
Source published:
Key ideas
- 某零售银行花费 8.5 万英镑耗时 6 个月搭建的聊天机器人 PoC 因无法解释失败原因而搁置;Sandipan Bhaumik 团队介入后推行反传统策略,前 6 周专注评测数据、数据底座与追踪基础设施,直到第 7 周才敲定具体模型选型。 (21:35)
- 针对 AI 落地生产面临的可观测性、评估和治理三大断层,演讲者提出了涵盖评估、可观测性、数据底座、编排模式与治理安全的五大支柱框架,并强调在欧洲强监管领域全链路决策追踪是强制合规准入红线。 (3:15)
- 通过引入正则表达式、轻量 ML 意图分类与 PII 过滤的确定性评估层,团队在投产前的测试阶段就成功拦截了 47 次 PII 隐私泄漏事件。 (20:25)
- 该银行系统上线 6 周后因利率政策调整遭遇 CSAT 断崖式下跌,全链路追踪系统迅速排查出根因为新政策文档未重新嵌入向量数据库,导致智能体持续返回陈旧答案。 (29:41)
Detailed notes
## Background 本内容由 YouTube 频道 AI Engineer 于 2026 年 6 月 18 日发布,主讲人为 Databricks 数据与 AI 技术主管 Sandipan Bhaumik。视频页面介绍指出,一家零售银行为聊天机器人 PoC 耗费了 8.5 万英镑且耗时 6 个月却无法上线,Sandipan 团队介入后重塑了工程流程,并在实战中总结出一套涵盖评估、可观测性、数据底座、编排与治理的五大支柱企业级 AI 生产落地战术手册。
## TL;DR Sandipan Bhaumik 针对企业陷入“盲目争论模型选型、演示惊艳却在生产环境崩溃”的普遍误区,系统拆解了阻碍 AI 走向生产的可观测性、评估与治理三大断层。他提出了以“评估先行、可观测性保底、夯实数据底座、合理编排与严格治理”为核心的五大工程支柱,主张在写代码和选模型前先用数字定义成功标准。结合零售银行在 8 周交付中直到第 7 周才选模型、并在上线后依靠链路追踪快速排查过时向量嵌入事故的实战案例,他详细阐述了分层评测体系、生产事故应急手册(Incident Playbook)以及动态评测集的维护策略。
## Atmosphere & style 整场演讲充满了一线架构师褪去技术炒作后的务实与硬核,语调沉稳、直击痛点且极具说服力。Sandipan 带着工程老兵的清醒洞察,用零售银行烧钱失败和半夜突发故障等真实血泪教训唤起全场共鸣,将复杂的系统设计讲得层层递进。观众仿佛置身于一场严谨的企业级架构复盘会,既能感受到对盲目跟风做 Demo 的犀利批判,又能体会到建立稳固工程秩序所带来的笃定与安全感。
## Bulletin - [21:35](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=1295s) 某零售银行花费 8.5 万英镑耗时 6 个月搭建的聊天机器人 PoC 因无法解释失败原因而搁置;Sandipan Bhaumik 团队介入后推行反传统策略,前 6 周专注评测数据、数据底座与追踪基础设施,直到第 7 周才敲定具体模型选型。 - [03:15](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=195s) 针对 AI 落地生产面临的可观测性、评估和治理三大断层,演讲者提出了涵盖评估、可观测性、数据底座、编排模式与治理安全的五大支柱框架,并强调在欧洲强监管领域全链路决策追踪是强制合规准入红线。 - [20:25](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=1225s) 通过引入正则表达式、轻量 ML 意图分类与 PII 过滤的确定性评估层,团队在投产前的测试阶段就成功拦截了 47 次 PII 隐私泄漏事件。 - [29:41](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=1781s) 该银行系统上线 6 周后因利率政策调整遭遇 CSAT 断崖式下跌,全链路追踪系统迅速排查出根因为新政策文档未重新嵌入向量数据库,导致智能体持续返回陈旧答案。
## Key takeaways - [00:15](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=15s) 盲目以模型选型(如 GPT vs. Claude)为起点的 PoC 模式是企业 AI 失败的主因,在缺乏生产级工程思维的情况下极易导致巨额资金浪费和 ROI 落空。 - [03:15](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=195s) 生产级 AI 面临三大核心断层:无法追溯推理决策的可观测性断层、缺少业务量化指标的评估断层,以及凌晨故障无人负责的治理断层。 - [07:34](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=454s) 评估体系必须在动手写代码前用硬性数字定义成功,包括设定最低准确率阈值、误报率上限以及客诉分流拦截率指标。 - [10:01](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=601s) 评估架构需分为三层:第一层确定性规则校验(正则与传统 ML)、第二层语义评估(LLM as a judge),以及监控工具循环与重复 API 调用的第三层行为评估。 - [10:01](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=601s) 行为评估至关重要;在 Demo 中发起 3 次重复 API 调用看似无害,但在生产高并发场景下会导致运营成本急剧失控。 - [12:25](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=745s) 全链路决策追踪记录了智能体的耗时、置信度、API 调用与 RAG 检索路径,是满足欧洲监管审计要求并支持断路回退的关键底座。 - [15:06](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=906s) 人类对脏数据具有容错与修正能力,但智能体对错误数据“零容忍”,会以极高置信度直接输出完全错误的答案,因此数据底座需占据工程 60% 的精力。 - [15:06](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=906s) 智能体数据底座包含直接支撑回答的业务知识数据,以及满足审计与持续评估所需的大规模执行追踪(Tracing)数据。 - [20:05](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=1205s) 多智能体架构需根据场景权衡选型:集中控制且易排查的编排者-工作者模式、基于消息总线解耦低延迟的编舞模式,以及置信度不足时兜底的人机协同模式。 - [20:25](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=1225s) AI 治理必须将 Prompt 版本控制纳入严格的企业变更管理流程,杜绝随意的 Git 提交,并在私有业务评测集上持续验证模型迭代。 - [21:35](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=1295s) 评测数据集是一个随业务演进不断生长的活系统(living system),需将人工排查修复后的异常案例持续回流扩充测试基准。 - [30:53](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=1853s) 生产事故应急手册应建立“检测、诊断、遏制、修复与沉淀”闭环,并对接企业现有的 ITSM 运维体系以防止连锁故障蔓延。 - [33:26](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=2006s) 针对膨胀的评测集与高昂的行为评测 API 成本,工程流水线应采用 PR 仅跑测试子集、合并主分支才触发全量评测的阶梯策略。
## Detailed walkthrough ### [00:15](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=15s) 讲者背景与企业 AI 落地的普遍误区
演讲者 Sandipan Bhaumik(业内常称 Sandy)是 Databricks 的数据与人工智能技术主管(Technical Lead for Data & AI)。在此之前,他曾在 Amazon Web Services(AWS)担任了五年的数据与 AI 首席架构师(Principal Architect),长期深耕于利用分布式系统与前沿技术构建并扩展大规模数据与 AI 平台。在过去两年生成式 AI 爆发的浪潮中,Sandy 深入一线,协助大量 B2B 软件企业以及金融服务等强监管行业的客户探索如何将 AI 落地。然而,他观察到许多企业在将原型 Demo 推向生产环境时频频碰壁。为此,他将这些实战中摸爬滚打得出的血泪教训总结为一套企业级生产落地战术手册(Production Playbook),旨在帮助团队在动手写代码前建立系统性的工程思维。
回顾两年前生成式 AI 刚火热时的客户沟通场景,Sandy 指出几乎所有企业都在重复同一种典型的错误路径:高层管理者施加了巨大的业务创新压力,要求团队“必须用 AI 做点什么来做演示”。受当时市场舆论和技术炒作的引导,几乎所有技术讨论都直接跳进模型选型中,团队内部会为了“究竟是用 GPT 还是用 Claude”争论不休。选定模型后,工程师们开始为应用堆砌功能,并在极其受控的环境中进行验证——使用完全可预测的测试数据集、测试有限的理想场景。演示效果通常非常惊艳,领导层欣然批准上线。然而,一旦部署到真实的生产环境中数周,系统便原形毕露,各种混乱问题层出不穷。正如 Sandipan Bhaumik 所直言的:“After a few weeks, people would start asking questions that what the hell is AI doing?” 这种盲目上线的后果不仅是预期的投资回报率(ROI)完全落空,更造成了大量资金与人力成本的白白浪费,留下一个根本无法在生产中扩展的烂摊子。
- **实战背景**:演讲者拥有 5 年 AWS 首席架构师经历,现任 Databricks 技术主管,长期服务强监管行业(如金融零售银行)及 B2B 头部企业。 - **反模式路径**:高层施压 → 执着于模型选型(GPT vs. Claude)→ 受控小样本 Demo 验收 → 盲目上线生产 → 实际表现崩塌并遭遇商业 ROI 失败。
```mermaid flowchart TD accTitle: AI Demo to Production Failure Cycle accDescr: 描述企业从盲目选择模型到生产环境崩溃的常见失败路径
subgraph AntiPattern ["传统失败模式:以模型为中心"] A["高层施压:必须做 AI 演示"] --> B["陷入选型争论:GPT vs Claude"] B --> C["受控环境构建 Demo<br/>(数据集可预测、场景极简)"] C --> D["管理层满意并批准上线"] D --> E["生产环境失控崩溃<br/>(表现异常、无 ROI、巨大浪费)"] end ```
[03:15](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=195s) 生产环境中的三大断层与五大支柱框架
通过复盘大量失败案例,Sandy 归纳出阻碍企业 AI 走向生产的三大核心断层(Gaps): 1. **可观测性断层(Observability Gap)**:将 AI 系统推向生产后,如果无法清晰洞察其运行机制、无法追溯它所做出的每一次推理决策,那么这个系统在生产环境中就毫无可用性可言。 2. **评估断层(Evaluation Gap)**:很多团队虽然将“准确率(Accuracy)”、“延迟(Latency)”或“事实依据度(Groundedness)”挂在嘴边,但从未将其转化为对业务真正有意义的具体量化指标,更没有构建一套能够持续监控指标走势的评测系统。 3. **治理断层(Governance Gap)**:系统在生产中失效时缺乏明确的责任机制。“如果在凌晨三点系统突发故障,到底该找谁问责?”谁该对喂给 AI 的底层数据资产负责?如果 AI 在面对外部客户时胡言乱语甚至造成声誉损失,企业该如何应对?
针对这三大断层,Sandy 提出了一套已被多家企业验证的“五大支柱框架(Five Pillars Framework)”。他强调,这五大支柱是任何项目在写下第一行代码前就必须统筹思考的基石,理想情况下应当按顺序逐步实施: - **评估(Evaluation)**:定义量化指标与持续评估体系。 - **可观测性(Observability)**:全链路追踪 AI 的每一次决策与状态变更。在欧洲及受监管行业,这不仅是性能需求,更是合规准入的强制红线。 - **数据底座(Data Foundation)**:涵盖支撑回答的业务知识数据(预训练、微调或 RAG 检索的数据),以及支撑可观测性的大规模追踪数据(Tracing Data)存储与治理战略。 - **编排模式(Orchestration)**:单个 Agent 运行良好不代表多 Agent 协同可行。当系统接入五个或更多 Agent 时,协同交互、等待响应与信息路由的复杂度将呈指数级上升。 - **治理与安全(Governance)**:建立责任问责制、数据权限管控、安全加固机制以及防御 Prompt 注入等攻击,防止 AI 越轨行为导致商业与声誉受损。
Sandy 强调了可观测性在合规与架构中的决定性地位:“When we use AI and put it into production, if we can't see what it is actually doing, if we can't trace every decision that it's making, it's no use in production.”
```mermaid flowchart LR accTitle: The Five Pillars of Production AI accDescr: 展示保障企业级 AI 上线生产的五大核心支柱
P1["1. 评估<br/>Evaluation"] --> P2["2. 可观测性<br/>Observability"] P2 --> P3["3. 数据底座<br/>Data Foundation"] P3 --> P4["4. 编排模式<br/>Orchestration"] P4 --> P5["5. 治理与安全<br/>Governance"] ```
[07:34](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=454s) 第一支柱:构建量化评估体系与分层评测
深入到第一大支柱“评估(Evaluation)”,Sandy 将其定义为“AI 系统的规格说明书(Specification)”。评估的核心在于用冰冷的数字定义成功,而不是宽泛地讨论质量。以零售银行的客服聊天机器人为例,引入 AI Agent 的核心业务目标是拦截常见高频查询,从而降低人工客服的工单负荷。因此,团队必须在项目初期就用具体数值明确:系统可接受的最低准确率阈值是多少、可容忍的假阳性率(False Positives)上限是多少、以及预期的分流拦截率(Deflection Rate)具体应达到多少百分比。正如 Sandipan Bhaumik 所警告的:“Before touching any code, before discussing about any models, any features, you have to think about when we build this system, how do we measure?”
确立了量化指标后,下一步是构建黄金评估数据集(Golden Data Set)。这个过程不能闭门造车,必须深入业务一线与领域专家(Domain Experts)深度沟通,采集人类支持专家的真实应对范例。特别是要收集业务灰色地带与边缘极端场景(Edge Cases)下的样本,例如当面对客户极度模棱两可或混乱的提问时,经验丰富的人类客服是如何澄清和处理的。收集到这些基准样本后,必须将评估流程完全自动化:系统将问题输入 AI,捕获生成结果,并将其与黄金测试集进行自动化比对。这套流水线在生产环境中同样能够实时抓取生产流量的实际响应并持续计算漂移与表现,监控其是否达到既定的业务数字目标。
在评估系统的工程落地与架构选型上,Sandy 提出了经典的三层分层架构设计。其中第一层为“确定性评估层(Deterministic Layer)”: - **确定性评估层(第一层)**:负责拦截最基础、最廉价且具有确定性规则的检查。这包括常规的正则表达式(Regex)校验,如电话号码、电子邮箱等输出格式规范;同时也可以利用轻量级的经典传统机器学习(Classic ML)模型,进行快速的命名实体识别(NER)、意图分类以及个人身份敏感信息(PII)的检测过滤。这属于业界已经高度成熟的基础设施,成本低廉且计算迅速,应当在流转到昂贵的大模型之前优先过滤并彻底解决。
- **评估指标数值化**:绝不接受模糊的定性描述,必须量化设定准确率基准、误报率阈值及客诉自动拦截率(Deflection)。 - **黄金数据集采集法**:向一线领域专家取材,不仅覆盖标准成功路径,重点挖掘灰色边界与异常提问。 - **评测流水线自动化**:将离线测试基准与生产环境在线打分无缝衔接,实现持续监控。 - **确定性层职责**:利用正则表达与传统 ML 实现格式合规检查、意图分类与 PII 隐私截断。
[10:01](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=601s) 评估的三层结构:确定性、语义与行为评估
Sandipan Bhaumik 阐述了评估框架的第二层与第三层结构。第二层聚焦于非确定性的语义评估(non-deterministic semantic stuff),即事实依据性(groundedness)、安全性和相关性。在此层级中,业界普遍采用“LLM 即裁判”(LLM as a judge)技术——利用一个独立的二级 LLM 来评估主模型的输出。主讲人向现场确认是否了解该概念,并看到了大量点头赞同。在具体实现上,评测者向裁判模型输入 Prompt,指示其从安全性、依据性及答案相关性等维度对主模型回答进行评分,并结合预先构建的评估数据集校验预期答案。在大规模企业落地中,这一流程已实现自动化,例如 Databricks 在 MLflow 中提供了自动化的 LLM as a Judge 功能,能够直接在追踪(traces)上自动运行自定义裁判模型。
随后,Bhaumik 重点强调了常被团队忽略的第三层——**行为评估(behavioral evaluation)**。前两层可能表现完美,例如用户询问“我的账户余额是多少?”,系统在确定性与语义层面上均无问题,主模型准确回复“您的账户余额为 XX 美元”。但在行为层面上,追踪系统却揭示该 Agent 为获取这一结果向数据库发起了三次重复调用。重复调用的原因可能是接口失败、超时或盲目重试。在演示 Demo 环境中,三次 API 调用无伤大雅,但一旦进入生产环境,面对成千上万的并发查询,这种重复调用将演变为灾难性的运营成本。
> “在 Demo 环境中进行三次 API 调用并无大碍,但在生产环境中,每天要接收成千上万的用户查询,API 调用若存在重复,那将是一项极其昂贵的操作。正因如此,你必须考虑行为评估。而这一层极其重要,我看到许多机构、许多团队在讨论时都忽略了它。”——Sandipan Bhaumik
- **确定性评估(第一层)**:校验硬性指标与规则匹配。 - **语义评估(第二层)**:利用独立的评测模型(LLM as a judge)基于评估集对回答的真实依据、安全性与相关性进行质检。 - **行为评估(第三层)**:监控 Agent 是否调用了正确工具、是否陷入死循环,以及是否存在因重试机制不当导致的重复 API 调用。
---
[12:25](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=745s) 第二大支柱:可观测性与端到端决策追踪
在第二大支柱“可观测性”(Observability)中,核心是追踪(tracing)Agent 所做出的每一项决策。Bhaumik 以一个零售银行聊天机器人的真实项目为例:客户接入系统并表示:“我被收取了一笔透支费,能帮我免除吗?”(客户认为该扣费不合理)。在完备的可观测体系下,追踪系统将记录 AI 的全链路执行轨迹:从首选的意图分类(记录处理秒数及置信度分数)、调用 API 连接客户数据库提取账户详情,到从 RAG 向量数据库检索透支政策文档以验证客户诉求是否合规,再到完成逻辑推理、跑通最终的安全护栏(guardrails)检查并生成答复。
```mermaid flowchart TD accTitle: 零售银行 Agent 决策追踪链路 accDescr: 展示从用户发起免除透支费请求到最终回复的完整追踪步骤
subgraph UserInteraction ["用户交互层"] U["用户请求:申请免除透支费"] R["最终护栏检查并向客户回复"] end
subgraph AgentExecution ["Agent 决策执行与追踪"] A["意图分类 (耗时 / 置信度)"] B["API 调用:连接客户数据库获取详情"] C["RAG 检索:向量库调取透支政策"] D["业务逻辑推理 (判断是否合规)"] end
U --> A A --> B B --> C C --> D D --> R ```
Bhaumik 指出,如果没有这套可视化的追踪系统,一旦客户提出争议,银行根本无法回溯 AI 当时的决策逻辑,最终只能无奈妥协,例如给客户打折补偿以息事宁人。这也是欧洲监管机构强制要求全面可观测性的根本原因:无法审计的黑盒系统根本不具备上线投产的资格。此外,追踪能力还被深度应用于生产环境的在线监控(online monitoring)。通过实时识别重复调用或失败调用,系统可触发回退策略(fallback strategies)或断路重试机制(例如设定上限为重试三次;若超过三次则告警并人工介入转交人工客服)。
> “如果不搭建一套帮助你可视化所有这些追踪记录的系统,当客户找上门发起争议时,你根本无从查验 AI 到底做了什么。你将无计可施,最终只能以‘我毫不知情,干脆给客户打个折让他们开心算了’收尾。这正是你需要可观测性的原因,也是监管机构强制推行的要求——因为如果无法做到这些,生产系统就根本无法成立。”——Sandipan Bhaumik
- **监管合规**:完整记录 Agent 每一环节的耗时、置信度、数据调用与推理过程,满足审计与合规要求。 - **在线监控与主动干预**:根据生产环境追踪实时捕获异常循环,设置最多三次重试的阈值规则,超限即路由至人工接管。
---
[15:06](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=906s) 第三大支柱:数据基础设施——Agent 对脏数据“零容忍”
在五大支柱中,Bhaumik 认为“数据基础设施”(Data Foundation)是最核心的基石,他在典型项目中通常会将 60% 的时间投入于此。过去企业的数据系统完全是为人类设计的,而人类具有容错与修正能力(报告中若有错漏,人类读者会主动核实纠正);然而,突然涌入企业系统开始自主查询数据的 Agent 截然不同。Agent 对数据质量“零容忍”,遇到错误数据不仅不会质疑,反而会以极高的自信度给出完全错误的结论。
> “在我的典型项目中,我 60% 的时间都花在这里……因为此前没人预料到 Agent 会突然降临市场并开始查询数据。数据历来都是为人类构建的,而人类总是宽容的。你在报告中发现错误数据,只需找人更正即可。但 Agent 不会原谅你:它们直接读取错误数据,并自信满满地给你一个完全错误的答案。”——Sandipan Bhaumik
Bhaumik 将 Agent 依赖的数据划分为两大板块: 1. **业务问答数据(Question Data)**:直接支撑 AI 输出业务结果所需的基础数据与知识库。 2. **追踪追踪数据(Tracking Data)**:记录 Agent 运行轨迹的可观测性数据。企业必须制定严谨的数据策略与 Schema 规范,以确保此类数据可顺畅提供给审计人员、监管机构、在线监控管道以及用于批量运行 LLM as a Judge。
---
[16:27](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=987s) Databricks 数据架构落地:从底层存储到治理与多框架集成
针对数据基座与追踪数据的管理,Bhaumik 剖析了 Databricks 的平台落地架构。在底层,企业可依托 AWS、Azure 或 Google Cloud 等主流云存储保存海量原始文件(图像、文本、视频等)。中间通过 Delta Lake 引入清单文件(manifest files)和类数据库特性,实现半结构化与非结构化数据的增量加载和结构化表管理。在此之上,通过 Unity Catalog 实施中心化的数据治理,统一管理数据访问权限、数据共享(Delta Sharing)、元数据标签(例如标记 PII 个人隐私列)以及表/字段级语义描述,使 AI 能够准确理解表上下文。
```mermaid flowchart TD accTitle: Databricks 支撑 Agent 的数据与治理架构 accDescr: 展示从底层云存储、Delta Lake、Unity Catalog 治理层到上层 AI/BI 应用的全栈架构
subgraph AppLayer ["上层应用与消费层"] AI["Mosaic AI (模型调优与 Agent 构建)"] BI["数据仓库 / Genie (Text-to-SQL)"] APP["Databricks Apps / 代码 Agent 仪表板"] end
subgraph GovernanceLayer ["治理层"] UC["Unity Catalog (权限控制 / 元数据 / PII 标记 / Delta Sharing)"] end
subgraph StorageLayer ["存储与湖仓层"] DL["Delta Lake (ACID 表属性 / 增量加载)"] CS["云存储 (AWS / Azure / GCP 原生对象存储)"] end
CS --> DL DL --> UC UC --> AI UC --> BI UC --> APP ```
最上层则赋能多场景应用:利用 Mosaic AI 进行 LLM 构建调优、借助 Databricks Genie 实现自然语言直接生成 SQL(Text-to-SQL)、构建定制化 Databricks Apps,以及结合 MLflow 与 Agent Bricks 运行开箱即用的 LLM 裁判。Bhaumik 强调,在大型企业内部,AI 系统不可能局限在单一框架中,团队会混用 LangChain、CrewAI 以及各家云厂商工具。因此,构建一个中心化的追踪数据存储与管理层至关重要,只有这样才能同时支撑运营大盘、一线防线(first line of defense)团队的健康监控、合规质检等全方位诉求。
- **多云多框架适配**:不论底层使用 AWS、Azure、GCP,还是应用层采用 CrewAI、LangChain,所有执行追踪与问答数据统一沉淀入中心化数据层。 - **语义上下文注入**:利用 Unity Catalog 对敏感列(PII)与业务字段进行元数据标注,直接为上层智能体提供精准的结构化上下文。 - **一线防线运营支持**:集中化的追踪数据让合规与运营人员可利用 Genie(Text-to-SQL)快速查询追踪日志,或通过定制 Web 应用实施主动安全监控。
[20:05](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=1205s) 第四大支柱:多 Agent 编排模式
进入第四大支柱,Sandipan Bhaumik 明确指出:“As I said, one agent is good, multiple agents increases complexity. That's where you start thinking about, okay, what pattern is good for my use case.” 单个 Agent 的效果或许不错,但当系统扩展到多个 Agent 时,复杂度会呈指数级上升。为此,他系统梳理了三种主流的多 Agent 协作架构:
1. **编排者-工作者模式(Orchestrator-Worker Pattern)**:由一个集中式的 Orchestrator 负责统揽全局,控制整个执行流程,并根据各个工作 Agent 的专业能力将任务向下分发。由于每个请求都要经过中心编排器,系统拥有绝对的控制权;一旦出现故障,工程师只需调取 Orchestrator 的日志即可精准复盘。 2. **编舞模式(Choreography Pattern)**:各个 Agent 保持自治且彼此独立,无需依赖中心控制器。所有 Agent 挂载在同一条消息总线(Message Bus)上,仅监听自己感兴趣的事件。由于没有中心调度节点来回路由消息,具备解耦特性的 Agent 可以完全并行工作。例如在房贷审批场景中,一个 Agent 负责拉取客户基础画像,另一个 Agent 同步核验审批细则,两者并行推进,显著降低了系统的整体端到端延迟。 3. **人机协同模式(Human-in-the-Loop)**:当某个 Agent 的置信度跌破设定的阈值,或者遇到越权边界时,系统会自动将工作流挂起并呼叫人类介入,由人工审查 Agent 的决策轨迹并执行后续动作。
Sandipan 补充道,他在本次大会的线上分论坛中专门录制了一期针对多 Agent 编排模式的深度分享视频(已上线 YouTube)。在那期内容中,他进一步深入探讨了多 Agent 落地时的核心系统工程挑战:状态管理(State Management)、故障容错(Fault Tolerance,即当节点挂掉时如何兜底)以及大规模企业级系统的横向扩展方法。
```mermaid flowchart TD accTitle: Multi-Agent Orchestration Patterns accDescr: Orchestrator-Worker pattern versus Choreography pattern with human-in-the-loop fallback.
subgraph OW["Orchestrator-Worker 模式"] Req1["用户请求"] --> Orch["中心 Orchestrator"] Orch -->|"分发任务"| W1["专业 Agent A"] Orch -->|"分发任务"| W2["专业 Agent B"] end
subgraph CH["Choreography 模式"] Bus["消息总线 (Message Bus)"] Bus <-->|"监听/发布"| A1["自治 Agent A"] Bus <-->|"监听/发布"| A2["自治 Agent B"] end
subgraph HITL["兜底流转"] LowConf["置信度低于阈值"] --> Human["人工审查与接管"] end
W1 -.->|"低置信度"| LowConf A1 -.->|"低置信度"| LowConf ```
---
[20:25](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=1225s) 第五大支柱:AI 治理与 AgentBricks
谈及第五大支柱“治理(Governance)”时,Sandipan 澄清自己所指的并不是常态化的基础数据治理(那是默认必须做到的前提),而是专属于 AI 系统的风险与合规控制:
- **监管与审计追踪(Regulatory & Audit Trails)**:必须完整捕获系统内的每一次动作、每一次用户连接和每一个调用请求,确保全链路可追溯。 - **个人敏感信息(PII)前置验证**:必须建立防线,利用命名实体识别(NER)和正则表达式(Regex)等手段做前置拦截。“In our example, the work that I was doing with the customer that I mentioned, we already detected 47 PII breaches during the testing phase by applying this layer.” Sandipan 强调,仅在投产前的测试阶段,这道防护层就成功截获了 47 次 PII 泄漏事件。 - **Prompt 版本控制与变更管理**:在企业级应用中,绝不能把修改 Prompt 当作随手改两行文字再提个 Git Commit。“You have to treat prompt versioning as change management in enterprise grade solution.” 必须像对待生产代码一样对待 Prompt,严格走标准的变更管理流程。 - **模型变更管理(Model Change Management)**:当上游模型厂商发布新版本时,企业必须有一套客观体系去验证升级后的模型是否真正适合自身业务数据。外部公开的评测榜单在具体的企业私有场景下毫无参考价值。同时,出于风控考量,企业绝不能死锁在单一模型供应商身上,必须具备随时在私有评测集上压测并无缝切换模型的能力。
Sandipan 提到,Databricks 正在将上述所有方法论与支柱能力沉淀进 **AgentBricks** 产品中,提供开箱即用的工程组件,让企业无需从零手推即可部署生产级 AI 应用。
---
[21:35](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=1295s) 零售银行案例复盘:从 8.5 万英镑烂摊子到第 7 周选型
为了将理论落到实处,Sandipan 深入拆解了一个他们大约 18 个月前接手的真实零售银行客户案例。该银行当时每月有约 2 万通客服进线,其中多达 60% 是非常初级的简单咨询(如“查账户余额”、“透支额度怎么处理”等)。银行管理层希望通过构建对话机器人实现这 60% 简单问题的自动分流,减轻人工座席负担。然而,他们自己折腾了整整 6 个月、烧掉了 8.5 万英镑做 PoC,项目却无论如何也上不了生产线。
项目之所以陷入泥潭,核心原因在于当时没有任何人能解释为什么系统一上线就崩溃,没有任何量化指标去衡量失败原因,更没有人能说清出了事故究竟该由谁负责。Sandipan 的团队介入后,设定了一个极其清晰的目标:由 AI Agent 承接 60% 的基础客服咨询,并建立完整的链路跟踪。而在工程执行节奏上,他们采取了一个与传统做法截然相反的策略——**在一个为期 8 周的项目中,直到第 7 周才开始选模型**:
```mermaid flowchart LR accTitle: Eight-Week Production AI Roadmap accDescr: Timeline showing evaluation data setup in weeks one to two, foundation in weeks three to six, and model selection in week seven.
subgraph W1_2["第 1-2 周: 评测与指标"] D1["提取 200 个真实座席案例"] D2["量化目标: 60% 分流率 / 85% 准确率"] D3["搭建自动化评测与回流流水线"] end
subgraph W3_6["第 3-6 周: 底座与可观测"] F1["安全直连数据库 API (非 MCP)"] F2["分布式存储与全链路 Trace 捕获"] F3["排查重复 API 调用与体验骤降原因"] end
subgraph W7_8["第 7-8 周: 选型与投产"] M1["私有评测集批量跑不同模型"] M2["快速敲定最优模型并完成投产"] end
W1_2 --> W3_6 --> W7_8 ```
- **第 1 至 2 周(评测层建设)**:团队没有急着碰模型代码,而是调取了银行人工座席回答客户的 200 个真实业务案例,建立起黄金评测基准库。同时,与业务方敲定硬性考核指标:覆盖 60% 的常规问答、达到 85% 的回答准确度,以及明确的时延指标。在此基础上,团队搭建起自动化评测流水线——实时捕获用户输入与 Agent 输出,对照评测基准打分;评分一旦低于阈值即转入人工审查排查根因(调整 Prompt 或修复工具调用),并将修复后的案例重新补入测试集。Sandipan 总结道:“So the the the the summary of that story is that your evaluation data set is a living system.” 评测数据集绝非一成不变的静态表格,它是一个随着生产运行不断生长的动态生命体。 - **第 3 至 6 周(数据底座与可观测层)**:团队开始梳理底层数据连接链路。在当时 Model Context Protocol (MCP) 尚未面世的背景下,Agent 必须通过安全受控的 API 直连数据库执行查询。通过在此阶段注入分布式追踪(Distributed Tracing),团队迅速定位并修复了引发系统卡顿的重复 API 调用问题,挖出了导致客户满意度(CSAT)下滑的系统根因。 - **第 7 至 8 周(模型选型与投产上线)**:由于已经拥有了完备且高度拟真的自动化评测集,模型选型反而成了最轻松的一步。团队将候选模型直接接入基准流水线进行批量跑分,对照预期答案迅速换算出各家模型的实际准确率数据。原本在传统项目中需要团队开会争论数周的“到底选哪家模型”的问题,在短短几天内便依据实测数据敲定。在全链路具备可见性(Visible)、可度量性(Measurable)与可问责性(Accountable)之后,系统正式推送至生产环境。六周后,系统的分流率、准确率与 CSAT 均平稳达标,直至遭遇了后续突发的业务政策变动。
[29:41](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=1781s) 生产环境警报:利率政策更新与过时嵌入故障
当该零售银行更新其利率相关政策时,他们通过电子邮件和手机银行 App 推送向客户通告了这一变动。然而,当客户随后登录手机银行并向聊天机器人咨询具体细节时,智能体却无法给出正确回答。客户纷纷对这些回复点踩(thumbs down),导致客户满意度(CSAT)断崖式下跌。
```mermaid flowchart TD accTitle: 利率政策更新故障排查流程 accDescr: 展示政策更新后导致客户差评,最终通过追踪链路定位并修复未更新向量嵌入的闭环过程。
subgraph UserSide["客户端表现"] A["银行更新利率政策\n(发送邮件与App通知)"] --> B["客户在聊天机器人中\n咨询利率新政"] B --> C["智能体返回过时回答"] C --> D["客户大量点踩\nCSAT 满意度暴跌"] end
subgraph Observability["观测与诊断"] D --> E["监控系统捕获负面反馈"] E --> F["排查 Tracing 链路决策"] F --> G["定位根因: 新政策文档\n未生成嵌入导入向量数据库"] end
subgraph Resolution["修复与验证"] G --> H["重新嵌入新文档\n更新向量库"] H --> I["智能体恢复正确回答"] end ```
这种故障恰恰揭示了可观测性指标的重要性。Sandipan Bhaumik 指出:“这种系统的问题在于,如果你没有这套度量系统,你根本无法知道到底发生了什么。”但由于团队在上线前就已经搭建了完备的度量体系,系统迅速捕获到了客户满意度的骤降。技术人员顺着追踪(tracing)链路逐层排查智能体的决策过程,发现智能体在检索时引用了一份已经过期的政策文档——银行在更新政策后,新文档并没有在向量数据库(vector database)中进行重新嵌入(embeddings did not come through),导致智能体一直在吐出陈旧的失效答案(stale answers)。明确根因后,团队立刻修复了向量数据库中的文档嵌入,迅速平息了这次线上事故。
---
[30:53](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=1853s) 生产事故应急手册(Production Incident Playbook)
为了让团队在面对生产环境故障时不至于手忙脚乱,Sandipan Bhaumik 提出了绝大多数团队容易忽视的核心产物——生产事故应急手册(Production Incident Playbook)。该手册明确规定了 AI 系统在生产环境中发生故障时的标准处置流转:
```mermaid flowchart LR accTitle: 生产事故应急处理四步闭环 accDescr: 展示生产事故应急手册中定义、排查、遏制和修复的全生命周期流程。
A["1. 检测 (Detect)\n评测仪表盘告警"] --> B["2. 诊断 (Diagnose)\n分析 Tracing 决策链"] B --> C["3. 遏制 (Contain)\n提示词回滚 / 熔断 / 旁路兜底"] C --> D["4. 修复 (Fix)\n测试用例库 & LLM as a Judge"] D --> E["回流评测集\n扩充 Living Eval Suite"] E -.-> A ```
- **检测(Detect)**:通过持续监控的评测仪表盘(Eval Dashboard)第一时间捕获指标异常。 - **诊断(Diagnose)**:利用追踪(Tracing)系统细粒度重构智能体的执行与决策路径,定位是检索失效、工具调用错误还是提示词偏差。 - **遏制(Contain)**:快速阻断影响扩散。如果问题出在提示词,立即通过提示词版本控制进行回滚,或者将流量直接降级分流(deflect)给人工客服;针对更复杂的多智能体编排,可以采用 Saga 模式、补偿事务模式(compensation pattern)或断路器模式(circuit breaker pattern)等容错与故障恢复机制。 - **修复与沉淀(Fix & Feedback)**:结合测试用例库和大模型裁判(LLM as a judge)分析报告定位并解决问题。修复完成后,必须把导致本次故障的用例加入评测数据集,让评测集成为一个随业务演进不断生长的活系统(living system)。
Sandipan Bhaumik 强调,在大型企业落地时,该手册不能孤立存在:“当它在生产环境中运行时,你需要将它与现有的 IT 服务管理(ITSM)系统集成,以便在正确的时间向正确的人发出告警。”这能确保警报顺畅接入企业现有的运维响应流程,防止下游系统受到连锁冲击。针对工程师明天就能着手推进的工作,他建议首先抛开纯技术指标,从业务角度清晰定义成功标准,明确优秀回答的具体样本并固化为评测集,随后用简单的 Python 脚本搭建自动化比对流水线。
---
[33:26](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=2006s) 规模化落地中的三项治理教训与结语
结合自己在实战中的踩坑经验,Sandipan Bhaumik 总结了团队在规模化运营智能体时最容易忽视的三大治理(Governance)要点:
| 治理维度 | 核心痛点与风险 | 解决方案与最佳实践 | |:--- |:--- |:--- | | **测试用例库治理** | 测试集随时间不断膨胀,用例杂乱无章,难以追溯历史问题 | 设立明确的测试集负责人(Owner),对用例行严格打标分类(如登录凭证缺失统一归入“安全/Security”分类),以便快速定向比对。 | | **提示词版本管理** | Git 提交记录往往过于随意简短(如“update prompt”),后期无法还原变更上下文 | 建立强制性的 Commit 规范,详细记录修改原因、修复了哪类具体故障场景,以及预期在下一个版本中修正的行为。 | | **第三层(行为)评测成本** | 随着评测集增至数百行,每次变更全量运行工具调用等行为评测会导致 API 账单激增 | 优化 CI 流水线策略:日常提示词 PR 仅跑小型测试子集验证,仅在合并(Merge)至主分支(Main Branch)时触发全量评测。 |
关于提示词修改规范,Sandipan Bhaumik 警告道:“当你在使用 Git 进行提示词版本控制时,你必须对提交信息的书写制定治理规范,因为你需要清楚地了解一个提示词究竟因何修改,它针对的又是哪一次具体的故障。”对于高昂的评测成本,他也给出了通过切分测试集的工程化解法:“你可以在持续集成流水线中加入规则,当修改提示词时,仅选取评测数据集的一个小子集进行测试,只在合并到主分支时才运行全量测试。”
在演讲尾声,Sandipan Bhaumik 提供了包含评估清单模板和基于开源技术的 Tracing 搭建指南资料包,建议工程师在选型商业工具前,先在测试环境中用开源工具打通链路进行验证。最后,他在全场掌声中结束了演讲,并邀请参会者关注其每周分享一线客户实战经验的技术通讯。
## Notable quotes > [03:15](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=195s) When we use AI and put it into production, if we can't see what it is actually doing, if we can't trace every decision that it's making, it's no use in production. — Sandipan Bhaumik
> [07:34](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=454s) Before touching any code, before discussing about any models, any features, you have to think about when we build this system, how do we measure? — Sandipan Bhaumik
> [15:06](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=906s) Agent 不会原谅你:它们直接读取错误数据,并自信满满地给你一个完全错误的答案。 — Sandipan Bhaumik
> [12:25](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=745s) 如果不搭建一套帮助你可视化所有这些追踪记录的系统,当客户找上门发起争议时,你根本无从查验 AI 到底做了什么。 — Sandipan Bhaumik
> [20:25](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=1225s) You have to treat prompt versioning as change management in enterprise grade solution. — Sandipan Bhaumik
> [20:05](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=1205s) As I said, one agent is good, multiple agents increases complexity. That's where you start thinking about, okay, what pattern is good for my use case. — Sandipan Bhaumik
> [33:26](https://www.youtube.com/watch?v=ObTPqBGsEbA&t=2006s) 当你在使用 Git 进行提示词版本控制时,你必须对提交信息的书写制定治理规范,因为你需要清楚地了解一个提示词究竟因何修改。 — Sandipan Bhaumik
## Mentioned Sandipan Bhaumik, Databricks, AWS, GPT, Claude, MLflow, Delta Lake, Unity Catalog, Mosaic AI, Databricks Genie, Databricks Apps, AgentBricks, LangChain, CrewAI, Azure, Google Cloud, Model Context Protocol (MCP), Git, YouTube
## Video description A retail bank spent £85,000 over six months on a chatbot PoC that could not reach production. No one could explain why it was failing. When Sandipan Bhaumik's team got involved, they picked the model in week seven of an eight-week engagement — the first six weeks went to evaluation data, tracing infrastructure, and a measurement pipeline. Six weeks post launch, when the bank updated its interest rate policy and customer satisfaction dropped, the tracing system caught the cause: the new policy document had not been reembedded and the agent was serving stale answers.
The talk covers the five pillars he built from that and similar engagements: evaluation (define success numerically before touching code), observability (trace every agent decision — European regulators require it), data foundation (agents do not forgive bad data the way humans do), multi agent orchestration patterns, and governance (47 PII breaches caught in testing before launch). The evaluation data set is a living system, not a fixed benchmark. The production incident playbook connects all five.
Speaker info: - https://www.linkedin.com/in/sandipanbhaumik
---
Watch along with the corrected transcript, summary, timestamps and resources on this talk's official AIE page: https://ai.engineer/talks/ObTPqBGsEbA-the-production-ai-playbook-deploying-agents-at-enterprise-scale
Join our upcoming AI Engineer conferences (see https://ai.engineer landing page):
- AIEi Shanghai, November 5–6 — the first for meeting top Chinese labs and engineers - AIE CODE in SF, November 10–12 — the top AI Coding conference returns - AIEi Sydney, December 7–8 — the first AIEi run alongside NeurIPS 2026 in Sydney
---
[Source](https://www.youtube.com/watch?v=ObTPqBGsEbA)