InsightFinder指出AI上线回滚源于数据漂移与黑盒

Building Reliable AI Apps in Production - Observability for an AI World With InsightFinder AI — Ai4

Ai4

麦当劳AI点餐系统的撤回表明,缺少连接基础设施与模型的全链路可观测性会导致企业AI应用在真实环境中频发故障。

AI-assisted summary of Building Reliable AI Apps in Production - Observability for an AI World With InsightFinder AI — original source. Check the original for full context.

Source published:

Detailed notes

## Background 本内容由 Ai4 于 2025 年 8 月 29 日发布在 YouTube 平台上,演者为 InsightFinder AI 的营销副总裁 George Miranda。视频主要探讨随着 AI 模型从试点走向生产环境,面对复杂的复合 AI 系统(Composite AI)、数据管道及 IT 基础设施,企业在保障 AI 可靠性、性能与治理方面所面临的挑战与解决方案。

## TL;DR 演讲者通过麦当劳 AI 语音点餐试点的失败案例,揭示了生产环境与实验室环境之间的巨大鸿沟,并归纳出导致生产环境 AI 项目失败的四大核心诱因:数据质量劣化、输出不可靠、安全与治理缺陷以及缺乏可见性。针对这些挑战,演讲提倡从传统 DevOps 的可观测性理念演进至 AI 专用的全栈可观测性,利用分布式链路追踪、评估网关及无监督行为学习等技术,缩短生产故障的反馈闭环。此外,针对 AI 系统的“黑盒”难题与团队割裂现象,演讲强调建立跨 AI/ML 团队与 SRE/平台团队的统一数据视角,以实现智能监控与根因分析。

## Atmosphere & style 整场演讲风格专业且务实,充满了来自业界一线的洞察力与警示意义。演讲者结合自身在可观测性工程领域的深厚背景,以沉稳冷静且富有条理的语调将技术理论与真实的商业惨痛教训紧密结合。叙述节奏明快,兼具深度与生动性,使听众在感受生产环境不确定性带来的紧迫感之余,又能清晰地领悟到构建可靠 AI 系统的关键突破口。

## Key takeaways - [00:04](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=4s) 麦当劳与其合作伙伴 IBM 投入数百万美元研发得来速 AI 语音点餐服务,因频繁发生订单严重差错,最终不得不全面撤回该试点项目。 - [00:04](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=4s) 真实生产环境中充斥着严重的背景噪音、损坏的硬件设备、复杂的方言口音和俚语,这与实验室中理想的训练与测试环境存在巨大鸿沟。 - [00:04](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=4s) 缺少从“生产环境到开发环境”的快速反馈回路(Feedback Loop),将直接导致 Enterprise AI 项目从部署走向撤回。 - [02:54](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=174s) AI/ML 工程师正在经历与当年 DevOps 转型相同的过程,需要负责生产环境的 On-call 并应对复杂系统带来的隐蔽故障。 - [05:50](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=350s) 生产环境 AI 项目失败的主要诱因可归结为四类:数据质量劣化、不可靠输出、安全与治理缺陷,以及系统缺乏可见性。 - [07:45](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=465s) AI 属于非确定性系统,传统的确定性监控指标(如 CPU、延迟或 500 报错)无法感知模型漂移和隐蔽偏见等核心故障。 - [10:01](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=601s) 仅靠用户打“赞/踩”这种周期漫长的反馈机制不够及时,需要建立全栈可见性以迅速厘清用户输入、Prompt 拼接、LLM 本身或后处理阶段的故障根因。 - [10:01](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=601s) 利用分布式链路追踪(Distributed Tracing)可以对 LLM 调用的完整依赖链及实时上下文进行捕获与剖析。 - [13:04](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=784s) 应对毒性和偏见输出等治理难题,关键在于缩短从发现安全边界案例(Edge Cases)到更新护栏(Guardrails)与 Prompt 工程的响应周期。 - [16:22](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=982s) AI 系统的“黑盒”痛点很多时候并非源自模型本身不可知,而是缺乏跨连接层(Connective Tissue)与完整依赖链的全局可见性。 - [16:22](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=982s) AI/ML 团队与 SRE/平台团队如果使用割裂的工具链,将导致责任推诿和排错效率低下,必须构建统一的语言与遥测数据视图。 - [18:30](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=1110s) 评估生产级 AI 监控与可观测性工具时,应避开仅提供高层级告警而无法提供根因分析(RCA)及跨堆栈可见性的产品。

## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=4s) 麦当劳 AI 点餐系统的生产环境滑铁卢

AI 应用如今无处不在,只需去展厅走一圈就能看到各种各样的落地案例。然而,将 AI 部署到真实的生产环境中却充满挑战。以麦当劳在其得来速(Drive-thru)试点的 AI 语音点餐助手为例,虽然他们拥有极高的硬件与资本投入——不仅选择 IBM 作为战略合作伙伴,耗资数百万美元,配备了海量训练数据、自适应学习、NLP 语音识别、分词、语义分析等高级模型,并辅以 IBM Cloud 的弹性算力和顶尖监控,但最终的实际效果却惨不忍睹。

在 Tik Tok 上迅速传播的视频展示了各种让人啼笑皆非的故障:有顾客被误点价值 250 美元的鸡块,还有人的冰淇淋和水里被自动加了黄油与番茄酱。麦当劳之所以陷入这种困境,是因为现实环境远比实验室复杂。真实的生产环境中充斥着各种无法预测的干扰因素,包括严重的背景噪音、损坏的麦克风与扬声器、含糊不清的方言口音、极为复杂的订单组合以及顾客使用的各种俗语俚语。

``` [实验室/开发阶段] [真实生产环境] +-------------------+ +-------------------+ | 优质训练数据 | | 严重背景噪音/杂音 | | 理想麦克风/音频 | ==========> | 损坏设备/方言口音 | | 规范的标准表达 | | 俚语/超复杂订单 | +-------------------+ +-------------------+ | | v v 预想:完美运行 现实:订单混乱与回滚 ```

顾客在生产环境中对 AI 应用的使用方式往往完全超出预设。由于缺乏能够在生产环境中实时捕捉问题并快速反馈修正的模型迭代机制,麦当劳最终只能被迫全面撤回该系统。这一案例告诫所有 Enterprise AI 团队,必须在上线前将可观测性(Observability)和治理(Governance)实践融入工作流,否则项目极易重蹈覆辙。

- 麦当劳联合 IBM 投入数百万美元研发得来速 AI 语音点餐,最终因故障频发被迫终止试点。 - 生产环境的主要干扰因素:背景噪音、硬件故障(麦克风/扬声器)、复杂口音、俚语及非标准订单。 - 关键经验:缺少“生产环境到开发环境”的快速反馈回路(Feedback Loop),将直接导致 AI 项目从 Rollout(发布)走向 Rollback(回滚)。

[02:54](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=174s) 从 DevOps 到 AI:可观测性理念的演进

演讲者 George Miranda 介绍了自己的背景。他是 O'Reilly 出版社《Observability Engineering》(可观测性工程)一书的合著者,曾长期在游戏与金融领域担任大规模分布式系统的架构工程师。在软件行业向 DevOps 架构转型的过程中,他作为顾问服务过许多全球顶尖的复杂 IT 基础设施,后来加入提出“系统可观测性”概念的 Honeycomb 公司,目前则在 InsightFinder 工作。

回顾 DevOps 的发展历程,软件工程师逐渐需要直接面向生产环境,负责系统的 On-call 和运维。随着系统日益复杂并演化为分布式微服务,大量隐蔽问题“仅会在生产环境中发生”,传统基于预设日志和固化指标的调试工具随之失效。这迫使团队建立起实时捕捉生产环境微小异常并反馈至研发周期的闭环机制。

``` [传统软件/DevOps 转型期] [当前 AI / ML 工程师面临的现状] +-----------------------+ +-----------------------+ | 微服务/分布式系统 | | 复合 AI 与 LLM 应用 | | 生产特有故障 (On-call)| =======> | 非确定性输出/模型漂移 | | 建立实时反馈与调试闭环| | 亟需专用 AI 可观测性 | +-----------------------+ +-----------------------+ ```

类似的故事也在 AI 领域重演。在 ChatGPT 刚刚问世三个月时,演讲者所在团队便基于 ChatGPT 推出了一款生产级应用,但很快发现团队根本未做好准备——用户的提问方向完全超乎想象。普通的性能监控工具(甚至当时的 Honeycomb)都无法呈现 AI 边缘边界的失效根因。这表明 AI/ML 工程师正在步入当年 DevOps 工程师的后尘,未来也将承担起生产环境的 On-call 职责,必须提早建立适应 AI 特性的可观测性体系。

- George Miranda 曾任职于 Honeycomb,参与合著 O'Reilly 权威著作《Observability Engineering》。 - 软件工程历史规律:系统分布式化导致“仅生产环境可见”的故障,催生了现代可观测性工程。 - 现状与趋势:AI/ML 工程师正在经历相同的角色转变,需要应对非确定性系统带来的上线挑战。

[05:50](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=350s) 生产环境 AI 失败的四大核心诱因

导致 Enterprise AI 项目在生产环境中被迫回滚的原因,绝大多数可以归结为以下四大类:

1. **数据质量劣化(Data Quality):** 基础架构的崩塌。包括数据漂移(Data Drift)、数据损坏和数据过期,这会导致 AI 系统快速退化为不可靠的执行者。 2. **不可靠的输出(Unreliable Outputs):** AI 转化为企业负债。除了常见的大模型幻觉(Hallucination),还包括偏见(Bias)、毒性言论(Toxicity)以及偏离品牌调性的输出,这些都会给企业带来灾难性后果。 3. **安全与治理漏洞(Security & Governance):** 信任危机的爆发。恶意提示词注入(Prompt Injection)会操控模型,而数据泄露(Data Leakage)则会直接曝光敏感信息。 4. **缺乏可见性(Lack of Visibility):** 经典的黑盒难题(Black-box Problem)。在 高风险(High-stakes)的客户交互场景中,系统缺乏透明度将成为调试与合规的噩梦。

尽管在麦当劳的案例中,硬件与口音是表面上的诱因,但上述四大要素才是决定 AI 部署生死存亡的“确凿证据”(Smoking Guns)。当业务管理者或高层决定撤回一个 AI 项目时,归根结底是因为 AI 系统输出了错误结果或造成了业务风险。

- AI 项目回滚四大根因:数据质量劣化、不可靠输出、安全与治理缺陷、缺乏系统可见性。 - 风险递增效应:交互场景的风险(High stakes)越高,黑盒问题和不确定性带来的负面影响就越显著。

[07:45](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=465s) 应对诱因一:数据与管道的可观测性

传统监控手段之所以无法解决 AI/ML 的数据质量问题,是因为传统监控假设系统是确定性的(Deterministic)——例如 HTTP 500 报错必然代表系统某处损坏。然而 AI/ML 属于非确定性系统(Non-deterministic),相同的输入不一定产生相同的输出。一个模型可能在所有传统健康指标(如延迟、吞吐量、错误率)上均表现完美,但实际上已经在输出严重偏颇的结果。

演讲者举例指出,在欺诈检测(Fraud Detection)模型中,即使服务器各项运行指标非常正常,模型也可能在几周时间内以两倍于平常的漏报率放行欺诈交易,而传统监控对此毫无察觉。因此,AI 架构需要针对数据漂移和管道进行实时可观测性分析。

``` 传统确定性监控 (Deterministic) AI 非确定性监控 (Non-deterministic) 输入 A ===> 必然输出 B 输入 A ===> 可能输出 B1 / B2 / 异常 C 检查项: 500 错误/CPU/延迟 检查项: 行为漂移/分布偏差/隐蔽偏见 ```

在 InsightFinder 的实践中,他们将自主研发的无监督行为学习算法(Unsupervised Behavior Learning)与客户的模型一同部署,能够捕捉微小的数据变化并实时发出异常警报,将感知时间从传统工具的数小时/数天缩短至数分钟甚至数秒内。

- 模型漂移(Model Drift)不是能通过简单 Patch 代码或重启服务器解决的传统 Bug。 - 隐蔽故障示例:欺诈检测模型各项性能指标正常,实际欺诈漏报率却已翻倍。 - 关键评估指标:团队能否在数秒或数分钟内捕获数据漂移,并在影响客户体验前完成预警。

[10:01](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=601s) 应对诱因二:拆解 LLM 输出的复杂依赖链

针对 LLM 带来的不可靠输出,单靠收集用户的“赞/踩”(Thumbs up/down)并在每个迭代周期(Sprint)评估一次 RAG 模式是远远不够的,这种反馈速度无法阻止企业成为下一个 Tik Tok 负面舆情的主角。

当系统报错率上升或用户给出差评时,问题可能出在整个依赖链的任何环节: - 是用户的原始输入存在问题(如麦当劳案例中的话筒杂音/口音)? - 是系统在将输入送入 LLM 前的预处理/提示词拼接出了问题? - 是 LLM 本身不可用(如 API 报错、Token 超限)? - 是 LLM 输出了幻觉? - 还是在将输出呈现给用户前的后处理阶段出现了偏差?

``` [用户输入] ──> [输入预处理/RAG] ──> [LLM 调用] ──> [输出后处理] ──> [呈现给用户] │ │ │ │ │ (杂音/口音) (Prompt拼接错误) (Token超限/幻觉) (清洗/格式转换) (用户打差评) ```

要准确定位故障根因,必须对依赖链中的每一个环节建立全栈可见性。InsightFinder 通过分布式链路追踪(Distributed Tracing)技术对 LLM 性能进行实时分析。针对发往 LLM 的每一次请求,完整记录输入、中间处理步骤、LLM 响应及上下文数据,从而帮助团队迅速排查依赖链中的故障节点。

- 传统的“ thumbs up / thumbs down ”收集机制反馈周期太长,无法满足生产环境风险控制的要求。 - 故障定位维度:必须能够区分是用户输入异常、Prompt 拼接缺陷、LLM 本身失败(Token/API),还是后处理逻辑错误。 - 解决方案:应用分布式链路追踪技术,实现针对大模型每一次调用的全链路实时上下文捕获。

[13:04](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=784s) 应对诱因三:安全护栏与治理的闭环迭代

AI 治理(Governance)的核心在于建立安全护栏(Guardrails),控制并过滤可能暴露不当输出的输入内容。虽然模型幻觉常被当作笑料,但偏见(Bias)和毒性内容(Toxicity)却会给企业声誉带来不可逆的打击。

由于团队无法在开发阶段预测用户的所有提问方式,解决这一难题的关键在于**缩短从发现异常到部署修复的响应周期**。InsightFinder 提供了评估网关(Eval Gateways)和 LLM Lab 功能,允许团队将 Prompt 集(Prompt Packs)同时投喂给多个不同模型进行实时性能与安全性对比,直观呈现各模型在偏见、毒性或安全风险上的暴露情况,从而按可用性、响应性能、成本等维度动态路由请求。

``` +---------------------------------+ | Eval Gateway | | (对比各模型偏见、毒性与安全性) | +---------------------------------+ │ ┌───────────────────────┼───────────────────────┐ ▼ ▼ ▼ [模型 A: 高安全/高成本] [模型 B: 低延迟/中风险] [模型 C: 开源/特定任务] │ │ │ └───────────────────────┼───────────────────────┘ ▼ [根据生产反馈快速迭代防护栏] ```

更重要的是,团队需要将生产环境中绕过护栏(Circumvent)的真实边界案例实时提取出来,重新反馈给 Prompt 工程和护栏系统,通过快速迭代来提升模型的安全防御能力。

- 治理重点:建立输入过滤与动态路由机制,防止毒性内容与偏见输出伤害企业品牌。 - 评估网关功能:支持将 Prompt Pack 实时分发至多模型进行对比测试,评估偏见、毒性及成本表现。 - 核心指标:开发与生产环境之间的反馈回路紧密程度,直接决定了团队修正安全漏洞与更新护栏的速度。

<ElicitationsGroup message="想要进一步探索 Enterprise AI 生产环境可观测性?"> <Elicitation label="了解如何为 RAG 系统搭建分布式链路追踪" query="请详细介绍如何为基于 RAG 的大模型应用设计分布式链路追踪(Distributed Tracing)架构及关键监控指标。"/> <Elicitation label="探讨 LLM 生产环境防护栏(Guardrails)的最佳实践" query="在生产环境中,有哪些主流的 LLM Guardrails 架构和输入输出过滤机制?请提供具体的实现思路。"/> </ElicitationsGroup>

[16:22](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=982s) 破解 AI 系统的“黑盒”问题与技术栈断层

在谈到安全与治理之后,演讲者将焦点转向了 AI 应用中的核心痛点——“黑盒”(Black Box)问题。展会上虽然有大量针对黑盒问题的工具,但很多产品往往流于表面,甚至只停留在提供高阶指标的层面。演讲者指出,许多所谓的“黑盒”问题本质上并非模型本身完全不可知,而是缺乏跨系统的全局可见性(Lack of visibility)。在复杂的 Enterprise AI 架构中,问题往往发生在依赖链(Dependency chain)的故障或是不同系统间的连接层(Connective tissue)。

演讲者举例说明:假设企业为了信息安全、治理或性能需求,选择私有化部署(Self-host)像 DeepSeek 这样的开源大模型,一旦系统出现不理想的输出或异常,排查问题将变得非常棘手。原因可能多种多样:是数据管道(Data pipelines)缺失了关键数据?是数据落入了损坏的缓存(Corrupted cache)?还是底层的 IT 基础设施出现了瓶颈?如果 AI/ML 团队与负责基础架构的 SRE/Platform 团队各自使用孤立的监测工具(如 DataDog、Splunk 等),双方就无法实现数据关联与实时协同,重蹈以往开发(Dev)与运维(Ops)割裂的覆辙。

- **黑盒问题的两大核心根源**:依赖链中的故障传递以及系统间缺乏连接管道。 - **跨团队协同壁垒**:数据科学/ML 团队与 SRE/Platform 团队经常使用不同的语言和工具系统,难以快速准确定位瓶颈。 - **InsightFinder 的解决方案**:通过统一步骤的因果分析算法(Causal interfaces)、实时告警与根因分析(Root Cause Analysis),无缝对接现有技术栈并分析 Telemetry 数据,使整个团队使用同一种语言描述和排查事故。

---

[18:55](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=1135s) 评估生产环境工具链的关注事项与总结

针对如何在市面上选择合适的 AI 可视化与监控工具,演讲者给出了几点非常关键的避坑建议(Watch outs)。选型时不能只看工具是否能发出警报,而要评估它能否跨越整个生产环境、帮助所有相关利益方定位并解决根本原因。生产环境的复杂度与开发测试阶段截然不同,企业必须建立起兼顾模型、数据与基础设施的可靠性治理体系。

演讲者在最后总结道,InsightFinder AI 致力于### AI 系统的黑盒问题与堆栈可见性缺失

解决 AI 应用中的黑盒问题(Blackbox Problem)不能仅靠治理措施,目前许多企业面临的核心痛点其实是“缺乏可见性”(Lack of visibility)。市面上大量的监控工具往往忽略了这一点,或者陷入了只关注局部细节的误区。在复杂的 AI 系统中,导致黑盒现象的“缺失环节”通常发生在两个维度上:一是依赖链(Dependency Chain)中的错误,二是连接各个系统组件的“连接组织”(Connective tissue)。

演讲者举了一个具体的生产环境案例:假设企业选择私有化部署(Self-host)开源模型(如 DeepSeek),其初衷通常是为了保障信息安全、合规性或追求更高性能。然而,一旦系统输出不理想的结果,排查工作将变得极其复杂。究竟是因为数据管道缺失了关键数据,还是数据落入了损坏的缓存中?亦或是底层 IT 基础设施存在性能瓶颈?当 AI/ML 团队与 SRE/平台工程团队分别使用 DataDog、Splunk 等不同工具时,两边缺乏相互看清问题的跨工具可见性。这种部门之间的割裂(Segmentation),恰如当年开发与运维(DevOps)之间的鸿沟,极大地降低了排查生产事故的效率。

- **黑盒问题的两大症结**:依赖链错误(如缺失或损坏的数据)与系统间的连接组织失效。 - **团队割裂隐患**:AI/ML 团队与 SRE/平台工程团队各自为政,缺乏统一的监控视角与协同机制。 - **跨堆栈可见性**:必须打破数据科学团队与运维团队之间的屏障,建立全局可见性。

[18:30](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=1110s) InsightFinder 解决方案与选型防坑指南

为了解决系统割裂问题,企业需要实现全堆栈的无缝可见性(Seamless visibility),使所有运维和开发团队在描述生产事故时能够使用同一种“语言”。InsightFinder 的解决方案是通过嵌入现有技术堆栈并分析遥测数据(Telemetry),叠加实时警报和根因分析(Root Cause Analysis)算法,为整个团队提供统一的故障归因视角,实现数据协同与价值增值。

在选择生产级 AI 监控与可观测性工具时,演讲者特别指出了三个需要警惕的陷阱(Things to watch out for):

- **避开仅提供高层级指标(High-level metrics)的系统**:此类工具只能告警“出事了”,却无法解释

## Notable quotes > [00:04](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=4s) 因为现实环境远比实验室复杂。真实的生产环境中充斥着各种无法预测的干扰因素,包括严重的背景噪音、损坏的麦克风与扬声器、含糊不清的方言口音、极为复杂的订单组合以及顾客使用的各种俗语俚语。 — George Miranda

> [00:04](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=4s) 缺少“生产环境到开发环境”的快速反馈回路(Feedback Loop),将直接导致 AI 项目从 Rollout(发布)走向 Rollback(回滚)。 — George Miranda

> [02:54](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=174s) 随着系统日益复杂并演化为分布式微服务,大量隐蔽问题“仅会在生产环境中发生”,传统基于预设日志和固化指标的调试工具随之失效。 — George Miranda

> [02:54](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=174s) 普通的性能监控工具都无法呈现 AI 边缘边界的失效根因。这表明 AI/ML 工程师正在步入当年 DevOps 工程师的后尘,未来也将承担起生产环境的 On-call 职责。 — George Miranda

> [07:45](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=465s) 传统监控手段之所以无法解决 AI/ML 的数据质量问题,是因为传统监控假设系统是确定性的(Deterministic)——例如 HTTP 500 报错必然代表系统某处损坏。然而 AI/ML 属于非确定性系统(Non-deterministic),相同的输入不一定产生相同的输出。 — George Miranda

> [07:45](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=465s) 一个模型可能在所有传统健康指标(如延迟、吞吐量、错误率)上均表现完美,但实际上已经在输出严重偏颇的结果。 — George Miranda

> [10:01](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=601s) 单靠收集用户的“赞/踩”(Thumbs up/down)并在每个迭代周期(Sprint)评估一次 RAG 模式是远远不够的,这种反馈速度无法阻止企业成为下一个 Tik Tok 负面舆情的主角。 — George Miranda

> [13:04](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=784s) 由于团队无法在开发阶段预测用户的所有提问方式,解决这一难题的关键在于缩短从发现异常到部署修复的响应周期。 — George Miranda

> [16:22](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=982s) 许多所谓的“黑盒”问题本质上并非模型本身完全不可知,而是缺乏跨系统的全局可见性(Lack of visibility)。 — George Miranda

> [16:22](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=982s) 如果 AI/ML 团队与负责基础架构的 SRE/Platform 团队各自使用孤立的监测工具,双方就无法实现数据关联与实时协同,重蹈以往开发(Dev)与运维(Ops)割裂的覆辙。 — George Miranda

## Mentioned George Miranda, InsightFinder AI, InsightFinder, 麦当劳 (McDonald's), IBM, IBM Cloud, TikTok, O'Reilly, Observability Engineering, Honeycomb, ChatGPT, DeepSeek, DataDog, Splunk

## Video description George Miranda, VP of Marketing, InsightFinder AI

Abstract

As AI models move from pilot to production environments, ensuring AI model reliability and performance becomes increasingly difficult. Many solutions have evolved into “Composite AI” systems—combining various traditional machine learning (ML) models and large language models (LLMs) both open-source and commercial sources for more robust capabilities. These systems not only involve the models themselves but also rely on complex data pipelines and robust IT infrastructure to remain operational and effective.

Additionally, AI & ML teams are closer than ever to the customer experience. Operating in production brings a new set of challenges and expectations. Many teams are still in development, but those already on the front lines have learned (often, the hard way) that many traditional tools and techniques fall woefully short. In this talk, I will explore the key challenges in delivering reliable and responsible enterprise AI and introduce a new approach to intelligent and efficient monitoring, evaluation, and governance that is designed to meet these challenges in production.

[Source](https://www.youtube.com/watch?v=F77MGQ_J6_M)

中文简报

InsightFinder 的 Miranda 警告:非确定性 AI 会引发生产故障 当团队依赖确定性监控工具,而非能够追踪真实环境模型漂移与多步骤流水线错误的统一可观测性时,企业 AI 在生产环境的落地就会遭遇失败。 George Miranda 探讨了企业 AI 项目在从实验室环境转向实际生产环境时为何频频受挫。他将其与传统软件开发向 DevOps 演进的历史相类比,指出了导致 AI 系统回滚的四大根本原因:数据质量退化、模型输出不可靠、安全与治理风险,以及普遍缺乏运维可见性。Miranda 强调,传统的确定性监控工具无法有效应对非确定性 AI 系统,并提出了实时行为学习、分布式 LLM 追踪、评估网关以及跨技术栈集成遥测等应对策略,以建立紧密的反馈闭环并保障系统可靠性。 麦当劳撤下自动 AI 点餐系统印证了实验室测试难以应对真实世界中的背景噪音、口音及硬件异常,若缺乏快速反馈闭环极易引发全面回滚。 (0:04) 随着 AI 应用全面落地,AI/ML 工程师正在经历类似传统 DevOps 的转变,必须承担生产环境 On-call 职责以应对非确定性系统的线上故障。 (2:54) 导致生产环境中 AI 项目被迫下线的四大根本原因在于:数据质量与模型漂移、不可靠的幻觉输出、安全与治理风险,以及系统缺乏整体可观测性。 (5:50) 传统的双周冲刺审查机制无法及时拦截 LLM 线上错误,必须采用专用的分布式追踪技术,精确定位从输入预处理到最终呈现链路中的故障点。 (10:01) 生产级 AI 治理依赖动态提示词护栏与评估网关,能够依据模型可用性、安全性、延迟与成本等多维度指标实现实时的流量动态路由。 (13:04)

精炼阅读摘要

InsightFinder AI的George Miranda指出,人工智能应用在生产环境中频频回滚的核心原因在于现实环境的不可预测性,传统监控手段难以应对非确定性系统的失效;工程团队必须建立覆盖全技术栈的端到端可观测性与快速反馈循环,以应对数据漂移、不可靠输出、安全治理及黑盒断层等挑战。 现实环境偏差与工程责任的演进 (0:04) 麦当劳在得来速门店部署自动化AI点餐系统的失败,展现了实验室开发与生产实际之间的巨大鸿沟。尽管该项目联合了IBM、投入数百万美元并配备了NLP、自适应学习与IBM Cloud监控体系,上线后却因背景杂音、麦克风损坏、方言口音以及俚语,导致向订单添加250美元麦乐鸡或将黄油番茄酱配冰淇淋等荒谬错误,迫使麦当劳全盘撤回系统。真实世界中不可控的用户行为与硬件缺陷,证明若缺乏把线上极端个案(edge cases)快速引入开发循环的机制,巨额投资的项目同样难逃失败。 这一困境与当年软件行业向DevOps的转型高度契合。Miranda以其分布式系统与Honeycomb的经历举例指出,在微服务时代,传统排错手段的失效逼迫软件工程师值班并催生了可观测性。Honeycomb在ChatGPT推出约三个月后上线相关功能时,亦被无法由传统平台捕获的异常输入打得措手不及。AI与ML工程师当前正经历同样的转折点,必然要走向线上值班(on-call),并构建能够响应现场使用特征的反馈机制。 生产回滚四大根因:数据与模型漂移 (5:50) 企业高管在决定撤回AI项目时,通常归咎于四大核心问题:数据质量缺陷、不可靠输出(如偏见、毒性与离谱幻觉)、安全与治理违规(如提示词注入与数据泄露),以及运营透明度缺失构成的黑盒状态。即便硬件噪声与口音是引发故障的物理诱因,最终促成高层叫停的“确凿证据”依然是这些显性的系统失效。 其中,数据质量与模型漂移对传统监控构成了底层挑战。确定性系统依赖HTTP 500等二进制错误代码判断故障,但非确定性的AI模型在延迟、吞吐量和错误率完全达标的假象下,仍可能持续输出系统性偏差。例如欺诈检测模型可能在常规指标完全健康的状态下,连续数周漏放双倍的欺诈交易。由于模型漂移无法靠简单打补丁或重启服务器解决,InsightFinder主张通过无监督行为学习算法在模型侧实时检测细微变化,力求在数秒或数分钟内捕获异常,阻断对终端客户的影响。 依赖链链路追踪与动态提示词治理 (10:01) 针对模型输出不可靠的问题,仅靠双周敏捷周期内收集“赞/踩”反馈来迭代检索增强生成(RAG)远远跟不上品牌声誉受损的速度。大语言模型应用涉及包含输入采集、提示词预处理、API可用性与Token消耗、模型生成到后处理格式化的长依赖链,任何环节出现故障都会导致全局失败。对此,方案要求引入专门面向LLM性能的分布式链路追踪,以实时分析完整事务中的输入、输出与中间转换步骤,精准定位故障根源。 在安全与合规治理层面,事前训练与测试无法防范生产中未知的对抗性输入。工程体系需要通过评估网关(evaluation gateways)对多模型同步加载提示词包(prompt packs),实时比对性能与毒性风险。借助这些网关,系统可依据模型可用性、安全性、延迟与成本对请求进行动态路由,并把生产中捕获的新型越狱与注入模式迅速反馈至提示词防护栏(guardrails)中进行加固。 打破监控孤岛以解决黑盒可见性 (16:22) AI系统的黑盒难题往往并不单纯源于模型自身的复杂性,更源于AI组件与既有技术栈之间遥测数据的脱节。以企业出于合规或成本自建DeepSeek等开源模型为例,当下游出现性能瓶颈或错误结果时,团队往往无法判定是模型本身异常、上游数据管道缺失、缓存损坏,还是底层基础设施资源受限。传统工具如Datadog和Splunk仅记录基础设施指标,工具链割裂导致数据科学、机器学习团队与SRE、平台工程团队陷入互相推诿的沟通孤岛。 消除这类孤岛需要构建能够打通全栈并提供因果根因分析的一体化可观测层。工程负责人在评估AI可观测工具时需保持审慎,应规避三类误区:仅能展示宏观异常却无法解释“为何发生”的表面指标工具;生搬传统DevOps基建监控方法而忽视AI非确定性特征的工具;以及与技术栈其他部分完全脱节的孤立型AI分析软件。选型关键在于工具是否能够支撑跨团队的生产责任人,协同判定故障发生的具体位置与深层原因。 构建生产级可靠AI的核心挑战在于连接分散的模型指标与全栈遥测数据,并将生产环境中的边缘输入实时闭环回开发阶段;然而,企业如何平衡全链路高频追踪带来的监控开销与复杂治理要求,仍有待在持续演进的工程实践中进一步验证。

Detailed notes — zh

## Background 本内容由 Ai4 于 2025 年 8 月 29 日发布在 YouTube 平台上,演者为 InsightFinder AI 的营销副总裁 George Miranda。视频主要探讨随着 AI 模型从试点走向生产环境,面对复杂的复合 AI 系统(Composite AI)、数据管道及 IT 基础设施,企业在保障 AI 可靠性、性能与治理方面所面临的挑战与解决方案。 ## TL;DR 演讲者通过麦当劳 AI 语音点餐试点的失败案例,揭示了生产环境与实验室环境之间的巨大鸿沟,并归纳出导致生产环境 AI 项目失败的四大核心诱因:数据质量劣化、输出不可靠、安全与治理缺陷以及缺乏可见性。针对这些挑战,演讲提倡从传统 DevOps 的可观测性理念演进至 AI 专用的全栈可观测性,利用分布式链路追踪、评估网关及无监督行为学习等技术,缩短生产故障的反馈闭环。此外,针对 AI 系统的“黑盒”难题与团队割裂现象,演讲强调建立跨 AI/ML 团队与 SRE/平台团队的统一数据视角,以实现智能监控与根因分析。 ## Atmosphere & style 整场演讲风格专业且务实,充满了来自业界一线的洞察力与警示意义。演讲者结合自身在可观测性工程领域的深厚背景,以沉稳冷静且富有条理的语调将技术理论与真实的商业惨痛教训紧密结合。叙述节奏明快,兼具深度与生动性,使听众在感受生产环境不确定性带来的紧迫感之余,又能清晰地领悟到构建可靠 AI 系统的关键突破口。 ## Key takeaways - [00:04](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=4s) 麦当劳与其合作伙伴 IBM 投入数百万美元研发得来速 AI 语音点餐服务,因频繁发生订单严重差错,最终不得不全面撤回该试点项目。 - [00:04](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=4s) 真实生产环境中充斥着严重的背景噪音、损坏的硬件设备、复杂的方言口音和俚语,这与实验室中理想的训练与测试环境存在巨大鸿沟。 - [00:04](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=4s) 缺少从“生产环境到开发环境”的快速反馈回路(Feedback Loop),将直接导致 Enterprise AI 项目从部署走向撤回。 - [02:54](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=174s) AI/ML 工程师正在经历与当年 DevOps 转型相同的过程,需要负责生产环境的 On-call 并应对复杂系统带来的隐蔽故障。 - [05:50](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=350s) 生产环境 AI 项目失败的主要诱因可归结为四类:数据质量劣化、不可靠输出、安全与治理缺陷,以及系统缺乏可见性。 - [07:45](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=465s) AI 属于非确定性系统,传统的确定性监控指标(如 CPU、延迟或 500 报错)无法感知模型漂移和隐蔽偏见等核心故障。 - [10:01](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=601s) 仅靠用户打“赞/踩”这种周期漫长的反馈机制不够及时,需要建立全栈可见性以迅速厘清用户输入、Prompt 拼接、LLM 本身或后处理阶段的故障根因。 - [10:01](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=601s) 利用分布式链路追踪(Distributed Tracing)可以对 LLM 调用的完整依赖链及实时上下文进行捕获与剖析。 - [13:04](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=784s) 应对毒性和偏见输出等治理难题,关键在于缩短从发现安全边界案例(Edge Cases)到更新护栏(Guardrails)与 Prompt 工程的响应周期。 - [16:22](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=982s) AI 系统的“黑盒”痛点很多时候并非源自模型本身不可知,而是缺乏跨连接层(Connective Tissue)与完整依赖链的全局可见性。 - [16:22](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=982s) AI/ML 团队与 SRE/平台团队如果使用割裂的工具链,将导致责任推诿和排错效率低下,必须构建统一的语言与遥测数据视图。 - [18:30](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=1110s) 评估生产级 AI 监控与可观测性工具时,应避开仅提供高层级告警而无法提供根因分析(RCA)及跨堆栈可见性的产品。 ## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=4s) 麦当劳 AI 点餐系统的生产环境滑铁卢 AI 应用如今无处不在,只需去展厅走一圈就能看到各种各样的落地案例。然而,将 AI 部署到真实的生产环境中却充满挑战。以麦当劳在其得来速(Drive-thru)试点的 AI 语音点餐助手为例,虽然他们拥有极高的硬件与资本投入——不仅选择 IBM 作为战略合作伙伴,耗资数百万美元,配备了海量训练数据、自适应学习、NLP 语音识别、分词、语义分析等高级模型,并辅以 IBM Cloud 的弹性算力和顶尖监控,但最终的实际效果却惨不忍睹。 在 Tik Tok 上迅速传播的视频展示了各种让人啼笑皆非的故障:有顾客被误点价值 250 美元的鸡块,还有人的冰淇淋和水里被自动加了黄油与番茄酱。麦当劳之所以陷入这种困境,是因为现实环境远比实验室复杂。真实的生产环境中充斥着各种无法预测的干扰因素,包括严重的背景噪音、损坏的麦克风与扬声器、含糊不清的方言口音、极为复杂的订单组合以及顾客使用的各种俗语俚语。 ``` [实验室/开发阶段] [真实生产环境] +-------------------+ +-------------------+ | 优质训练数据 | | 严重背景噪音/杂音 | | 理想麦克风/音频 | ==========> | 损坏设备/方言口音 | | 规范的标准表达 | | 俚语/超复杂订单 | +-------------------+ +-------------------+ | | v v 预想:完美运行 现实:订单混乱与回滚 ``` 顾客在生产环境中对 AI 应用的使用方式往往完全超出预设。由于缺乏能够在生产环境中实时捕捉问题并快速反馈修正的模型迭代机制,麦当劳最终只能被迫全面撤回该系统。这一案例告诫所有 Enterprise AI 团队,必须在上线前将可观测性(Observability)和治理(Governance)实践融入工作流,否则项目极易重蹈覆辙。 - 麦当劳联合 IBM 投入数百万美元研发得来速 AI 语音点餐,最终因故障频发被迫终止试点。 - 生产环境的主要干扰因素:背景噪音、硬件故障(麦克风/扬声器)、复杂口音、俚语及非标准订单。 - 关键经验:缺少“生产环境到开发环境”的快速反馈回路(Feedback Loop),将直接导致 AI 项目从 Rollout(发布)走向 Rollback(回滚)。 ### [02:54](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=174s) 从 DevOps 到 AI:可观测性理念的演进 演讲者 George Miranda 介绍了自己的背景。他是 O'Reilly 出版社《Observability Engineering》(可观测性工程)一书的合著者,曾长期在游戏与金融领域担任大规模分布式系统的架构工程师。在软件行业向 DevOps 架构转型的过程中,他作为顾问服务过许多全球顶尖的复杂 IT 基础设施,后来加入提出“系统可观测性”概念的 Honeycomb 公司,目前则在 InsightFinder 工作。 回顾 DevOps 的发展历程,软件工程师逐渐需要直接面向生产环境,负责系统的 On-call 和运维。随着系统日益复杂并演化为分布式微服务,大量隐蔽问题“仅会在生产环境中发生”,传统基于预设日志和固化指标的调试工具随之失效。这迫使团队建立起实时捕捉生产环境微小异常并反馈至研发周期的闭环机制。 ``` [传统软件/DevOps 转型期] [当前 AI / ML 工程师面临的现状] +-----------------------+ +-----------------------+ | 微服务/分布式系统 | | 复合 AI 与 LLM 应用 | | 生产特有故障 (On-call)| =======> | 非确定性输出/模型漂移 | | 建立实时反馈与调试闭环| | 亟需专用 AI 可观测性 | +-----------------------+ +-----------------------+ ``` 类似的故事也在 AI 领域重演。在 ChatGPT 刚刚问世三个月时,演讲者所在团队便基于 ChatGPT 推出了一款生产级应用,但很快发现团队根本未做好准备——用户的提问方向完全超乎想象。普通的性能监控工具(甚至当时的 Honeycomb)都无法呈现 AI 边缘边界的失效根因。这表明 AI/ML 工程师正在步入当年 DevOps 工程师的后尘,未来也将承担起生产环境的 On-call 职责,必须提早建立适应 AI 特性的可观测性体系。 - George Miranda 曾任职于 Honeycomb,参与合著 O'Reilly 权威著作《Observability Engineering》。 - 软件工程历史规律:系统分布式化导致“仅生产环境可见”的故障,催生了现代可观测性工程。 - 现状与趋势:AI/ML 工程师正在经历相同的角色转变,需要应对非确定性系统带来的上线挑战。 ### [05:50](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=350s) 生产环境 AI 失败的四大核心诱因 导致 Enterprise AI 项目在生产环境中被迫回滚的原因,绝大多数可以归结为以下四大类: 1. **数据质量劣化(Data Quality):** 基础架构的崩塌。包括数据漂移(Data Drift)、数据损坏和数据过期,这会导致 AI 系统快速退化为不可靠的执行者。 2. **不可靠的输出(Unreliable Outputs):** AI 转化为企业负债。除了常见的大模型幻觉(Hallucination),还包括偏见(Bias)、毒性言论(Toxicity)以及偏离品牌调性的输出,这些都会给企业带来灾难性后果。 3. **安全与治理漏洞(Security & Governance):** 信任危机的爆发。恶意提示词注入(Prompt Injection)会操控模型,而数据泄露(Data Leakage)则会直接曝光敏感信息。 4. **缺乏可见性(Lack of Visibility):** 经典的黑盒难题(Black-box Problem)。在 高风险(High-stakes)的客户交互场景中,系统缺乏透明度将成为调试与合规的噩梦。 尽管在麦当劳的案例中,硬件与口音是表面上的诱因,但上述四大要素才是决定 AI 部署生死存亡的“确凿证据”(Smoking Guns)。当业务管理者或高层决定撤回一个 AI 项目时,归根结底是因为 AI 系统输出了错误结果或造成了业务风险。 - AI 项目回滚四大根因:数据质量劣化、不可靠输出、安全与治理缺陷、缺乏系统可见性。 - 风险递增效应:交互场景的风险(High stakes)越高,黑盒问题和不确定性带来的负面影响就越显著。 ### [07:45](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=465s) 应对诱因一:数据与管道的可观测性 传统监控手段之所以无法解决 AI/ML 的数据质量问题,是因为传统监控假设系统是确定性的(Deterministic)——例如 HTTP 500 报错必然代表系统某处损坏。然而 AI/ML 属于非确定性系统(Non-deterministic),相同的输入不一定产生相同的输出。一个模型可能在所有传统健康指标(如延迟、吞吐量、错误率)上均表现完美,但实际上已经在输出严重偏颇的结果。 演讲者举例指出,在欺诈检测(Fraud Detection)模型中,即使服务器各项运行指标非常正常,模型也可能在几周时间内以两倍于平常的漏报率放行欺诈交易,而传统监控对此毫无察觉。因此,AI 架构需要针对数据漂移和管道进行实时可观测性分析。 ``` 传统确定性监控 (Deterministic) AI 非确定性监控 (Non-deterministic) 输入 A ===> 必然输出 B 输入 A ===> 可能输出 B1 / B2 / 异常 C 检查项: 500 错误/CPU/延迟 检查项: 行为漂移/分布偏差/隐蔽偏见 ``` 在 InsightFinder 的实践中,他们将自主研发的无监督行为学习算法(Unsupervised Behavior Learning)与客户的模型一同部署,能够捕捉微小的数据变化并实时发出异常警报,将感知时间从传统工具的数小时/数天缩短至数分钟甚至数秒内。 - 模型漂移(Model Drift)不是能通过简单 Patch 代码或重启服务器解决的传统 Bug。 - 隐蔽故障示例:欺诈检测模型各项性能指标正常,实际欺诈漏报率却已翻倍。 - 关键评估指标:团队能否在数秒或数分钟内捕获数据漂移,并在影响客户体验前完成预警。 ### [10:01](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=601s) 应对诱因二:拆解 LLM 输出的复杂依赖链 针对 LLM 带来的不可靠输出,单靠收集用户的“赞/踩”(Thumbs up/down)并在每个迭代周期(Sprint)评估一次 RAG 模式是远远不够的,这种反馈速度无法阻止企业成为下一个 Tik Tok 负面舆情的主角。 当系统报错率上升或用户给出差评时,问题可能出在整个依赖链的任何环节: - 是用户的原始输入存在问题(如麦当劳案例中的话筒杂音/口音)? - 是系统在将输入送入 LLM 前的预处理/提示词拼接出了问题? - 是 LLM 本身不可用(如 API 报错、Token 超限)? - 是 LLM 输出了幻觉? - 还是在将输出呈现给用户前的后处理阶段出现了偏差? ``` [用户输入] ──> [输入预处理/RAG] ──> [LLM 调用] ──> [输出后处理] ──> [呈现给用户] │ │ │ │ │ (杂音/口音) (Prompt拼接错误) (Token超限/幻觉) (清洗/格式转换) (用户打差评) ``` 要准确定位故障根因,必须对依赖链中的每一个环节建立全栈可见性。InsightFinder 通过分布式链路追踪(Distributed Tracing)技术对 LLM 性能进行实时分析。针对发往 LLM 的每一次请求,完整记录输入、中间处理步骤、LLM 响应及上下文数据,从而帮助团队迅速排查依赖链中的故障节点。 - 传统的“ thumbs up / thumbs down ”收集机制反馈周期太长,无法满足生产环境风险控制的要求。 - 故障定位维度:必须能够区分是用户输入异常、Prompt 拼接缺陷、LLM 本身失败(Token/API),还是后处理逻辑错误。 - 解决方案:应用分布式链路追踪技术,实现针对大模型每一次调用的全链路实时上下文捕获。 ### [13:04](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=784s) 应对诱因三:安全护栏与治理的闭环迭代 AI 治理(Governance)的核心在于建立安全护栏(Guardrails),控制并过滤可能暴露不当输出的输入内容。虽然模型幻觉常被当作笑料,但偏见(Bias)和毒性内容(Toxicity)却会给企业声誉带来不可逆的打击。 由于团队无法在开发阶段预测用户的所有提问方式,解决这一难题的关键在于**缩短从发现异常到部署修复的响应周期**。InsightFinder 提供了评估网关(Eval Gateways)和 LLM Lab 功能,允许团队将 Prompt 集(Prompt Packs)同时投喂给多个不同模型进行实时性能与安全性对比,直观呈现各模型在偏见、毒性或安全风险上的暴露情况,从而按可用性、响应性能、成本等维度动态路由请求。 ``` +---------------------------------+ | Eval Gateway | | (对比各模型偏见、毒性与安全性) | +---------------------------------+ │ ┌───────────────────────┼───────────────────────┐ ▼ ▼ ▼ [模型 A: 高安全/高成本] [模型 B: 低延迟/中风险] [模型 C: 开源/特定任务] │ │ │ └───────────────────────┼───────────────────────┘ ▼ [根据生产反馈快速迭代防护栏] ``` 更重要的是,团队需要将生产环境中绕过护栏(Circumvent)的真实边界案例实时提取出来,重新反馈给 Prompt 工程和护栏系统,通过快速迭代来提升模型的安全防御能力。 - 治理重点:建立输入过滤与动态路由机制,防止毒性内容与偏见输出伤害企业品牌。 - 评估网关功能:支持将 Prompt Pack 实时分发至多模型进行对比测试,评估偏见、毒性及成本表现。 - 核心指标:开发与生产环境之间的反馈回路紧密程度,直接决定了团队修正安全漏洞与更新护栏的速度。 <ElicitationsGroup message="想要进一步探索 Enterprise AI 生产环境可观测性?"> <Elicitation label="了解如何为 RAG 系统搭建分布式链路追踪" query="请详细介绍如何为基于 RAG 的大模型应用设计分布式链路追踪(Distributed Tracing)架构及关键监控指标。"/> <Elicitation label="探讨 LLM 生产环境防护栏(Guardrails)的最佳实践" query="在生产环境中,有哪些主流的 LLM Guardrails 架构和输入输出过滤机制?请提供具体的实现思路。"/> </ElicitationsGroup> ### [16:22](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=982s) 破解 AI 系统的“黑盒”问题与技术栈断层 在谈到安全与治理之后,演讲者将焦点转向了 AI 应用中的核心痛点——“黑盒”(Black Box)问题。展会上虽然有大量针对黑盒问题的工具,但很多产品往往流于表面,甚至只停留在提供高阶指标的层面。演讲者指出,许多所谓的“黑盒”问题本质上并非模型本身完全不可知,而是缺乏跨系统的全局可见性(Lack of visibility)。在复杂的 Enterprise AI 架构中,问题往往发生在依赖链(Dependency chain)的故障或是不同系统间的连接层(Connective tissue)。 演讲者举例说明:假设企业为了信息安全、治理或性能需求,选择私有化部署(Self-host)像 DeepSeek 这样的开源大模型,一旦系统出现不理想的输出或异常,排查问题将变得非常棘手。原因可能多种多样:是数据管道(Data pipelines)缺失了关键数据?是数据落入了损坏的缓存(Corrupted cache)?还是底层的 IT 基础设施出现了瓶颈?如果 AI/ML 团队与负责基础架构的 SRE/Platform 团队各自使用孤立的监测工具(如 DataDog、Splunk 等),双方就无法实现数据关联与实时协同,重蹈以往开发(Dev)与运维(Ops)割裂的覆辙。 - **黑盒问题的两大核心根源**:依赖链中的故障传递以及系统间缺乏连接管道。 - **跨团队协同壁垒**:数据科学/ML 团队与 SRE/Platform 团队经常使用不同的语言和工具系统,难以快速准确定位瓶颈。 - **InsightFinder 的解决方案**:通过统一步骤的因果分析算法(Causal interfaces)、实时告警与根因分析(Root Cause Analysis),无缝对接现有技术栈并分析 Telemetry 数据,使整个团队使用同一种语言描述和排查事故。 --- ### [18:55](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=1135s) 评估生产环境工具链的关注事项与总结 针对如何在市面上选择合适的 AI 可视化与监控工具,演讲者给出了几点非常关键的避坑建议(Watch outs)。选型时不能只看工具是否能发出警报,而要评估它能否跨越整个生产环境、帮助所有相关利益方定位并解决根本原因。生产环境的复杂度与开发测试阶段截然不同,企业必须建立起兼顾模型、数据与基础设施的可靠性治理体系。 演讲者在最后总结道,InsightFinder AI 致力于### AI 系统的黑盒问题与堆栈可见性缺失 解决 AI 应用中的黑盒问题(Blackbox Problem)不能仅靠治理措施,目前许多企业面临的核心痛点其实是“缺乏可见性”(Lack of visibility)。市面上大量的监控工具往往忽略了这一点,或者陷入了只关注局部细节的误区。在复杂的 AI 系统中,导致黑盒现象的“缺失环节”通常发生在两个维度上:一是依赖链(Dependency Chain)中的错误,二是连接各个系统组件的“连接组织”(Connective tissue)。 演讲者举了一个具体的生产环境案例:假设企业选择私有化部署(Self-host)开源模型(如 DeepSeek),其初衷通常是为了保障信息安全、合规性或追求更高性能。然而,一旦系统输出不理想的结果,排查工作将变得极其复杂。究竟是因为数据管道缺失了关键数据,还是数据落入了损坏的缓存中?亦或是底层 IT 基础设施存在性能瓶颈?当 AI/ML 团队与 SRE/平台工程团队分别使用 DataDog、Splunk 等不同工具时,两边缺乏相互看清问题的跨工具可见性。这种部门之间的割裂(Segmentation),恰如当年开发与运维(DevOps)之间的鸿沟,极大地降低了排查生产事故的效率。 - **黑盒问题的两大症结**:依赖链错误(如缺失或损坏的数据)与系统间的连接组织失效。 - **团队割裂隐患**:AI/ML 团队与 SRE/平台工程团队各自为政,缺乏统一的监控视角与协同机制。 - **跨堆栈可见性**:必须打破数据科学团队与运维团队之间的屏障,建立全局可见性。 ### [18:30](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=1110s) InsightFinder 解决方案与选型防坑指南 为了解决系统割裂问题,企业需要实现全堆栈的无缝可见性(Seamless visibility),使所有运维和开发团队在描述生产事故时能够使用同一种“语言”。InsightFinder 的解决方案是通过嵌入现有技术堆栈并分析遥测数据(Telemetry),叠加实时警报和根因分析(Root Cause Analysis)算法,为整个团队提供统一的故障归因视角,实现数据协同与价值增值。 在选择生产级 AI 监控与可观测性工具时,演讲者特别指出了三个需要警惕的陷阱(Things to watch out for): - **避开仅提供高层级指标(High-level metrics)的系统**:此类工具只能告警“出事了”,却无法解释 ## Notable quotes > [00:04](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=4s) 因为现实环境远比实验室复杂。真实的生产环境中充斥着各种无法预测的干扰因素,包括严重的背景噪音、损坏的麦克风与扬声器、含糊不清的方言口音、极为复杂的订单组合以及顾客使用的各种俗语俚语。 — George Miranda > [00:04](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=4s) 缺少“生产环境到开发环境”的快速反馈回路(Feedback Loop),将直接导致 AI 项目从 Rollout(发布)走向 Rollback(回滚)。 — George Miranda > [02:54](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=174s) 随着系统日益复杂并演化为分布式微服务,大量隐蔽问题“仅会在生产环境中发生”,传统基于预设日志和固化指标的调试工具随之失效。 — George Miranda > [02:54](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=174s) 普通的性能监控工具都无法呈现 AI 边缘边界的失效根因。这表明 AI/ML 工程师正在步入当年 DevOps 工程师的后尘,未来也将承担起生产环境的 On-call 职责。 — George Miranda > [07:45](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=465s) 传统监控手段之所以无法解决 AI/ML 的数据质量问题,是因为传统监控假设系统是确定性的(Deterministic)——例如 HTTP 500 报错必然代表系统某处损坏。然而 AI/ML 属于非确定性系统(Non-deterministic),相同的输入不一定产生相同的输出。 — George Miranda > [07:45](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=465s) 一个模型可能在所有传统健康指标(如延迟、吞吐量、错误率)上均表现完美,但实际上已经在输出严重偏颇的结果。 — George Miranda > [10:01](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=601s) 单靠收集用户的“赞/踩”(Thumbs up/down)并在每个迭代周期(Sprint)评估一次 RAG 模式是远远不够的,这种反馈速度无法阻止企业成为下一个 Tik Tok 负面舆情的主角。 — George Miranda > [13:04](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=784s) 由于团队无法在开发阶段预测用户的所有提问方式,解决这一难题的关键在于缩短从发现异常到部署修复的响应周期。 — George Miranda > [16:22](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=982s) 许多所谓的“黑盒”问题本质上并非模型本身完全不可知,而是缺乏跨系统的全局可见性(Lack of visibility)。 — George Miranda > [16:22](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=982s) 如果 AI/ML 团队与负责基础架构的 SRE/Platform 团队各自使用孤立的监测工具,双方就无法实现数据关联与实时协同,重蹈以往开发(Dev)与运维(Ops)割裂的覆辙。 — George Miranda ## Mentioned George Miranda, InsightFinder AI, InsightFinder, 麦当劳 (McDonald's), IBM, IBM Cloud, TikTok, O'Reilly, Observability Engineering, Honeycomb, ChatGPT, DeepSeek, DataDog, Splunk ## Video description George Miranda, VP of Marketing, InsightFinder AI Abstract As AI models move from pilot to production environments, ensuring AI model reliability and performance becomes increasingly difficult. Many solutions have evolved into “Composite AI” systems—combining various traditional machine learning (ML) models and large language models (LLMs) both open-source and commercial sources for more robust capabilities. These systems not only involve the models themselves but also rely on complex data pipelines and robust IT infrastructure to remain operational and effective. Additionally, AI & ML teams are closer than ever to the customer experience. Operating in production brings a new set of challenges and expectations. Many teams are still in development, but those already on the front lines have learned (often, the hard way) that many traditional tools and techniques fall woefully short. In this talk, I will explore the key challenges in delivering reliable and responsible enterprise AI and introduce a new approach to intelligent and efficient monitoring, evaluation, and governance that is designed to meet these challenges in production. [Source](https://www.youtube.com/watch?v=F77MGQ_J6_M)

Source quotes

[0:04] George Miranda: 因为现实环境远比实验室复杂。真实的生产环境中充斥着各种无法预测的干扰因素,包括严重的背景噪音、损坏的麦克风与扬声器、含糊不清的方言口音、极为复杂的订单组合以及顾客使用的各种俗语俚语。 [0:04] George Miranda: 缺少“生产环境到开发环境”的快速反馈回路(Feedback Loop),将直接导致 AI 项目从 Rollout(发布)走向 Rollback(回滚)。 [2:54] George Miranda: 随着系统日益复杂并演化为分布式微服务,大量隐蔽问题“仅会在生产环境中发生”,传统基于预设日志和固化指标的调试工具随之失效。 [2:54] George Miranda: 普通的性能监控工具都无法呈现 AI 边缘边界的失效根因。这表明 AI/ML 工程师正在步入当年 DevOps 工程师的后尘,未来也将承担起生产环境的 On-call 职责。 [7:45] George Miranda: 传统监控手段之所以无法解决 AI/ML 的数据质量问题,是因为传统监控假设系统是确定性的(Deterministic)——例如 HTTP 500 报错必然代表系统某处损坏。然而 AI/ML 属于非确定性系统(Non-deterministic),相同的输入不一定产生相同的输出。 [7:45] George Miranda: 一个模型可能在所有传统健康指标(如延迟、吞吐量、错误率)上均表现完美,但实际上已经在输出严重偏颇的结果。 [10:01] George Miranda: 单靠收集用户的“赞/踩”(Thumbs up/down)并在每个迭代周期(Sprint)评估一次 RAG 模式是远远不够的,这种反馈速度无法阻止企业成为下一个 Tik Tok 负面舆情的主角。 [13:04] George Miranda: 由于团队无法在开发阶段预测用户的所有提问方式,解决这一难题的关键在于缩短从发现异常到部署修复的响应周期。 [16:22] George Miranda: 许多所谓的“黑盒”问题本质上并非模型本身完全不可知,而是缺乏跨系统的全局可见性(Lack of visibility)。 [16:22] George Miranda: 如果 AI/ML 团队与负责基础架构的 SRE/Platform 团队各自使用孤立的监测工具,双方就无法实现数据关联与实时协同,重蹈以往开发(Dev)与运维(Ops)割裂的覆辙。