Ai4
麦当劳AI点餐系统的撤回表明,缺少连接基础设施与模型的全链路可观测性会导致企业AI应用在真实环境中频发故障。
AI-assisted summary of Building Reliable AI Apps in Production - Observability for an AI World With InsightFinder AI — original source. Check the original for full context.
Source published:
Detailed notes
## Background 本内容由 Ai4 于 2025 年 8 月 29 日发布在 YouTube 平台上,演者为 InsightFinder AI 的营销副总裁 George Miranda。视频主要探讨随着 AI 模型从试点走向生产环境,面对复杂的复合 AI 系统(Composite AI)、数据管道及 IT 基础设施,企业在保障 AI 可靠性、性能与治理方面所面临的挑战与解决方案。
## TL;DR 演讲者通过麦当劳 AI 语音点餐试点的失败案例,揭示了生产环境与实验室环境之间的巨大鸿沟,并归纳出导致生产环境 AI 项目失败的四大核心诱因:数据质量劣化、输出不可靠、安全与治理缺陷以及缺乏可见性。针对这些挑战,演讲提倡从传统 DevOps 的可观测性理念演进至 AI 专用的全栈可观测性,利用分布式链路追踪、评估网关及无监督行为学习等技术,缩短生产故障的反馈闭环。此外,针对 AI 系统的“黑盒”难题与团队割裂现象,演讲强调建立跨 AI/ML 团队与 SRE/平台团队的统一数据视角,以实现智能监控与根因分析。
## Atmosphere & style 整场演讲风格专业且务实,充满了来自业界一线的洞察力与警示意义。演讲者结合自身在可观测性工程领域的深厚背景,以沉稳冷静且富有条理的语调将技术理论与真实的商业惨痛教训紧密结合。叙述节奏明快,兼具深度与生动性,使听众在感受生产环境不确定性带来的紧迫感之余,又能清晰地领悟到构建可靠 AI 系统的关键突破口。
## Key takeaways - [00:04](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=4s) 麦当劳与其合作伙伴 IBM 投入数百万美元研发得来速 AI 语音点餐服务,因频繁发生订单严重差错,最终不得不全面撤回该试点项目。 - [00:04](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=4s) 真实生产环境中充斥着严重的背景噪音、损坏的硬件设备、复杂的方言口音和俚语,这与实验室中理想的训练与测试环境存在巨大鸿沟。 - [00:04](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=4s) 缺少从“生产环境到开发环境”的快速反馈回路(Feedback Loop),将直接导致 Enterprise AI 项目从部署走向撤回。 - [02:54](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=174s) AI/ML 工程师正在经历与当年 DevOps 转型相同的过程,需要负责生产环境的 On-call 并应对复杂系统带来的隐蔽故障。 - [05:50](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=350s) 生产环境 AI 项目失败的主要诱因可归结为四类:数据质量劣化、不可靠输出、安全与治理缺陷,以及系统缺乏可见性。 - [07:45](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=465s) AI 属于非确定性系统,传统的确定性监控指标(如 CPU、延迟或 500 报错)无法感知模型漂移和隐蔽偏见等核心故障。 - [10:01](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=601s) 仅靠用户打“赞/踩”这种周期漫长的反馈机制不够及时,需要建立全栈可见性以迅速厘清用户输入、Prompt 拼接、LLM 本身或后处理阶段的故障根因。 - [10:01](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=601s) 利用分布式链路追踪(Distributed Tracing)可以对 LLM 调用的完整依赖链及实时上下文进行捕获与剖析。 - [13:04](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=784s) 应对毒性和偏见输出等治理难题,关键在于缩短从发现安全边界案例(Edge Cases)到更新护栏(Guardrails)与 Prompt 工程的响应周期。 - [16:22](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=982s) AI 系统的“黑盒”痛点很多时候并非源自模型本身不可知,而是缺乏跨连接层(Connective Tissue)与完整依赖链的全局可见性。 - [16:22](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=982s) AI/ML 团队与 SRE/平台团队如果使用割裂的工具链,将导致责任推诿和排错效率低下,必须构建统一的语言与遥测数据视图。 - [18:30](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=1110s) 评估生产级 AI 监控与可观测性工具时,应避开仅提供高层级告警而无法提供根因分析(RCA)及跨堆栈可见性的产品。
## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=4s) 麦当劳 AI 点餐系统的生产环境滑铁卢
AI 应用如今无处不在,只需去展厅走一圈就能看到各种各样的落地案例。然而,将 AI 部署到真实的生产环境中却充满挑战。以麦当劳在其得来速(Drive-thru)试点的 AI 语音点餐助手为例,虽然他们拥有极高的硬件与资本投入——不仅选择 IBM 作为战略合作伙伴,耗资数百万美元,配备了海量训练数据、自适应学习、NLP 语音识别、分词、语义分析等高级模型,并辅以 IBM Cloud 的弹性算力和顶尖监控,但最终的实际效果却惨不忍睹。
在 Tik Tok 上迅速传播的视频展示了各种让人啼笑皆非的故障:有顾客被误点价值 250 美元的鸡块,还有人的冰淇淋和水里被自动加了黄油与番茄酱。麦当劳之所以陷入这种困境,是因为现实环境远比实验室复杂。真实的生产环境中充斥着各种无法预测的干扰因素,包括严重的背景噪音、损坏的麦克风与扬声器、含糊不清的方言口音、极为复杂的订单组合以及顾客使用的各种俗语俚语。
``` [实验室/开发阶段] [真实生产环境] +-------------------+ +-------------------+ | 优质训练数据 | | 严重背景噪音/杂音 | | 理想麦克风/音频 | ==========> | 损坏设备/方言口音 | | 规范的标准表达 | | 俚语/超复杂订单 | +-------------------+ +-------------------+ | | v v 预想:完美运行 现实:订单混乱与回滚 ```
顾客在生产环境中对 AI 应用的使用方式往往完全超出预设。由于缺乏能够在生产环境中实时捕捉问题并快速反馈修正的模型迭代机制,麦当劳最终只能被迫全面撤回该系统。这一案例告诫所有 Enterprise AI 团队,必须在上线前将可观测性(Observability)和治理(Governance)实践融入工作流,否则项目极易重蹈覆辙。
- 麦当劳联合 IBM 投入数百万美元研发得来速 AI 语音点餐,最终因故障频发被迫终止试点。 - 生产环境的主要干扰因素:背景噪音、硬件故障(麦克风/扬声器)、复杂口音、俚语及非标准订单。 - 关键经验:缺少“生产环境到开发环境”的快速反馈回路(Feedback Loop),将直接导致 AI 项目从 Rollout(发布)走向 Rollback(回滚)。
[02:54](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=174s) 从 DevOps 到 AI:可观测性理念的演进
演讲者 George Miranda 介绍了自己的背景。他是 O'Reilly 出版社《Observability Engineering》(可观测性工程)一书的合著者,曾长期在游戏与金融领域担任大规模分布式系统的架构工程师。在软件行业向 DevOps 架构转型的过程中,他作为顾问服务过许多全球顶尖的复杂 IT 基础设施,后来加入提出“系统可观测性”概念的 Honeycomb 公司,目前则在 InsightFinder 工作。
回顾 DevOps 的发展历程,软件工程师逐渐需要直接面向生产环境,负责系统的 On-call 和运维。随着系统日益复杂并演化为分布式微服务,大量隐蔽问题“仅会在生产环境中发生”,传统基于预设日志和固化指标的调试工具随之失效。这迫使团队建立起实时捕捉生产环境微小异常并反馈至研发周期的闭环机制。
``` [传统软件/DevOps 转型期] [当前 AI / ML 工程师面临的现状] +-----------------------+ +-----------------------+ | 微服务/分布式系统 | | 复合 AI 与 LLM 应用 | | 生产特有故障 (On-call)| =======> | 非确定性输出/模型漂移 | | 建立实时反馈与调试闭环| | 亟需专用 AI 可观测性 | +-----------------------+ +-----------------------+ ```
类似的故事也在 AI 领域重演。在 ChatGPT 刚刚问世三个月时,演讲者所在团队便基于 ChatGPT 推出了一款生产级应用,但很快发现团队根本未做好准备——用户的提问方向完全超乎想象。普通的性能监控工具(甚至当时的 Honeycomb)都无法呈现 AI 边缘边界的失效根因。这表明 AI/ML 工程师正在步入当年 DevOps 工程师的后尘,未来也将承担起生产环境的 On-call 职责,必须提早建立适应 AI 特性的可观测性体系。
- George Miranda 曾任职于 Honeycomb,参与合著 O'Reilly 权威著作《Observability Engineering》。 - 软件工程历史规律:系统分布式化导致“仅生产环境可见”的故障,催生了现代可观测性工程。 - 现状与趋势:AI/ML 工程师正在经历相同的角色转变,需要应对非确定性系统带来的上线挑战。
[05:50](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=350s) 生产环境 AI 失败的四大核心诱因
导致 Enterprise AI 项目在生产环境中被迫回滚的原因,绝大多数可以归结为以下四大类:
1. **数据质量劣化(Data Quality):** 基础架构的崩塌。包括数据漂移(Data Drift)、数据损坏和数据过期,这会导致 AI 系统快速退化为不可靠的执行者。 2. **不可靠的输出(Unreliable Outputs):** AI 转化为企业负债。除了常见的大模型幻觉(Hallucination),还包括偏见(Bias)、毒性言论(Toxicity)以及偏离品牌调性的输出,这些都会给企业带来灾难性后果。 3. **安全与治理漏洞(Security & Governance):** 信任危机的爆发。恶意提示词注入(Prompt Injection)会操控模型,而数据泄露(Data Leakage)则会直接曝光敏感信息。 4. **缺乏可见性(Lack of Visibility):** 经典的黑盒难题(Black-box Problem)。在 高风险(High-stakes)的客户交互场景中,系统缺乏透明度将成为调试与合规的噩梦。
尽管在麦当劳的案例中,硬件与口音是表面上的诱因,但上述四大要素才是决定 AI 部署生死存亡的“确凿证据”(Smoking Guns)。当业务管理者或高层决定撤回一个 AI 项目时,归根结底是因为 AI 系统输出了错误结果或造成了业务风险。
- AI 项目回滚四大根因:数据质量劣化、不可靠输出、安全与治理缺陷、缺乏系统可见性。 - 风险递增效应:交互场景的风险(High stakes)越高,黑盒问题和不确定性带来的负面影响就越显著。
[07:45](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=465s) 应对诱因一:数据与管道的可观测性
传统监控手段之所以无法解决 AI/ML 的数据质量问题,是因为传统监控假设系统是确定性的(Deterministic)——例如 HTTP 500 报错必然代表系统某处损坏。然而 AI/ML 属于非确定性系统(Non-deterministic),相同的输入不一定产生相同的输出。一个模型可能在所有传统健康指标(如延迟、吞吐量、错误率)上均表现完美,但实际上已经在输出严重偏颇的结果。
演讲者举例指出,在欺诈检测(Fraud Detection)模型中,即使服务器各项运行指标非常正常,模型也可能在几周时间内以两倍于平常的漏报率放行欺诈交易,而传统监控对此毫无察觉。因此,AI 架构需要针对数据漂移和管道进行实时可观测性分析。
``` 传统确定性监控 (Deterministic) AI 非确定性监控 (Non-deterministic) 输入 A ===> 必然输出 B 输入 A ===> 可能输出 B1 / B2 / 异常 C 检查项: 500 错误/CPU/延迟 检查项: 行为漂移/分布偏差/隐蔽偏见 ```
在 InsightFinder 的实践中,他们将自主研发的无监督行为学习算法(Unsupervised Behavior Learning)与客户的模型一同部署,能够捕捉微小的数据变化并实时发出异常警报,将感知时间从传统工具的数小时/数天缩短至数分钟甚至数秒内。
- 模型漂移(Model Drift)不是能通过简单 Patch 代码或重启服务器解决的传统 Bug。 - 隐蔽故障示例:欺诈检测模型各项性能指标正常,实际欺诈漏报率却已翻倍。 - 关键评估指标:团队能否在数秒或数分钟内捕获数据漂移,并在影响客户体验前完成预警。
[10:01](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=601s) 应对诱因二:拆解 LLM 输出的复杂依赖链
针对 LLM 带来的不可靠输出,单靠收集用户的“赞/踩”(Thumbs up/down)并在每个迭代周期(Sprint)评估一次 RAG 模式是远远不够的,这种反馈速度无法阻止企业成为下一个 Tik Tok 负面舆情的主角。
当系统报错率上升或用户给出差评时,问题可能出在整个依赖链的任何环节: - 是用户的原始输入存在问题(如麦当劳案例中的话筒杂音/口音)? - 是系统在将输入送入 LLM 前的预处理/提示词拼接出了问题? - 是 LLM 本身不可用(如 API 报错、Token 超限)? - 是 LLM 输出了幻觉? - 还是在将输出呈现给用户前的后处理阶段出现了偏差?
``` [用户输入] ──> [输入预处理/RAG] ──> [LLM 调用] ──> [输出后处理] ──> [呈现给用户] │ │ │ │ │ (杂音/口音) (Prompt拼接错误) (Token超限/幻觉) (清洗/格式转换) (用户打差评) ```
要准确定位故障根因,必须对依赖链中的每一个环节建立全栈可见性。InsightFinder 通过分布式链路追踪(Distributed Tracing)技术对 LLM 性能进行实时分析。针对发往 LLM 的每一次请求,完整记录输入、中间处理步骤、LLM 响应及上下文数据,从而帮助团队迅速排查依赖链中的故障节点。
- 传统的“ thumbs up / thumbs down ”收集机制反馈周期太长,无法满足生产环境风险控制的要求。 - 故障定位维度:必须能够区分是用户输入异常、Prompt 拼接缺陷、LLM 本身失败(Token/API),还是后处理逻辑错误。 - 解决方案:应用分布式链路追踪技术,实现针对大模型每一次调用的全链路实时上下文捕获。
[13:04](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=784s) 应对诱因三:安全护栏与治理的闭环迭代
AI 治理(Governance)的核心在于建立安全护栏(Guardrails),控制并过滤可能暴露不当输出的输入内容。虽然模型幻觉常被当作笑料,但偏见(Bias)和毒性内容(Toxicity)却会给企业声誉带来不可逆的打击。
由于团队无法在开发阶段预测用户的所有提问方式,解决这一难题的关键在于**缩短从发现异常到部署修复的响应周期**。InsightFinder 提供了评估网关(Eval Gateways)和 LLM Lab 功能,允许团队将 Prompt 集(Prompt Packs)同时投喂给多个不同模型进行实时性能与安全性对比,直观呈现各模型在偏见、毒性或安全风险上的暴露情况,从而按可用性、响应性能、成本等维度动态路由请求。
``` +---------------------------------+ | Eval Gateway | | (对比各模型偏见、毒性与安全性) | +---------------------------------+ │ ┌───────────────────────┼───────────────────────┐ ▼ ▼ ▼ [模型 A: 高安全/高成本] [模型 B: 低延迟/中风险] [模型 C: 开源/特定任务] │ │ │ └───────────────────────┼───────────────────────┘ ▼ [根据生产反馈快速迭代防护栏] ```
更重要的是,团队需要将生产环境中绕过护栏(Circumvent)的真实边界案例实时提取出来,重新反馈给 Prompt 工程和护栏系统,通过快速迭代来提升模型的安全防御能力。
- 治理重点:建立输入过滤与动态路由机制,防止毒性内容与偏见输出伤害企业品牌。 - 评估网关功能:支持将 Prompt Pack 实时分发至多模型进行对比测试,评估偏见、毒性及成本表现。 - 核心指标:开发与生产环境之间的反馈回路紧密程度,直接决定了团队修正安全漏洞与更新护栏的速度。
<ElicitationsGroup message="想要进一步探索 Enterprise AI 生产环境可观测性?"> <Elicitation label="了解如何为 RAG 系统搭建分布式链路追踪" query="请详细介绍如何为基于 RAG 的大模型应用设计分布式链路追踪(Distributed Tracing)架构及关键监控指标。"/> <Elicitation label="探讨 LLM 生产环境防护栏(Guardrails)的最佳实践" query="在生产环境中,有哪些主流的 LLM Guardrails 架构和输入输出过滤机制?请提供具体的实现思路。"/> </ElicitationsGroup>
[16:22](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=982s) 破解 AI 系统的“黑盒”问题与技术栈断层
在谈到安全与治理之后,演讲者将焦点转向了 AI 应用中的核心痛点——“黑盒”(Black Box)问题。展会上虽然有大量针对黑盒问题的工具,但很多产品往往流于表面,甚至只停留在提供高阶指标的层面。演讲者指出,许多所谓的“黑盒”问题本质上并非模型本身完全不可知,而是缺乏跨系统的全局可见性(Lack of visibility)。在复杂的 Enterprise AI 架构中,问题往往发生在依赖链(Dependency chain)的故障或是不同系统间的连接层(Connective tissue)。
演讲者举例说明:假设企业为了信息安全、治理或性能需求,选择私有化部署(Self-host)像 DeepSeek 这样的开源大模型,一旦系统出现不理想的输出或异常,排查问题将变得非常棘手。原因可能多种多样:是数据管道(Data pipelines)缺失了关键数据?是数据落入了损坏的缓存(Corrupted cache)?还是底层的 IT 基础设施出现了瓶颈?如果 AI/ML 团队与负责基础架构的 SRE/Platform 团队各自使用孤立的监测工具(如 DataDog、Splunk 等),双方就无法实现数据关联与实时协同,重蹈以往开发(Dev)与运维(Ops)割裂的覆辙。
- **黑盒问题的两大核心根源**:依赖链中的故障传递以及系统间缺乏连接管道。 - **跨团队协同壁垒**:数据科学/ML 团队与 SRE/Platform 团队经常使用不同的语言和工具系统,难以快速准确定位瓶颈。 - **InsightFinder 的解决方案**:通过统一步骤的因果分析算法(Causal interfaces)、实时告警与根因分析(Root Cause Analysis),无缝对接现有技术栈并分析 Telemetry 数据,使整个团队使用同一种语言描述和排查事故。
---
[18:55](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=1135s) 评估生产环境工具链的关注事项与总结
针对如何在市面上选择合适的 AI 可视化与监控工具,演讲者给出了几点非常关键的避坑建议(Watch outs)。选型时不能只看工具是否能发出警报,而要评估它能否跨越整个生产环境、帮助所有相关利益方定位并解决根本原因。生产环境的复杂度与开发测试阶段截然不同,企业必须建立起兼顾模型、数据与基础设施的可靠性治理体系。
演讲者在最后总结道,InsightFinder AI 致力于### AI 系统的黑盒问题与堆栈可见性缺失
解决 AI 应用中的黑盒问题(Blackbox Problem)不能仅靠治理措施,目前许多企业面临的核心痛点其实是“缺乏可见性”(Lack of visibility)。市面上大量的监控工具往往忽略了这一点,或者陷入了只关注局部细节的误区。在复杂的 AI 系统中,导致黑盒现象的“缺失环节”通常发生在两个维度上:一是依赖链(Dependency Chain)中的错误,二是连接各个系统组件的“连接组织”(Connective tissue)。
演讲者举了一个具体的生产环境案例:假设企业选择私有化部署(Self-host)开源模型(如 DeepSeek),其初衷通常是为了保障信息安全、合规性或追求更高性能。然而,一旦系统输出不理想的结果,排查工作将变得极其复杂。究竟是因为数据管道缺失了关键数据,还是数据落入了损坏的缓存中?亦或是底层 IT 基础设施存在性能瓶颈?当 AI/ML 团队与 SRE/平台工程团队分别使用 DataDog、Splunk 等不同工具时,两边缺乏相互看清问题的跨工具可见性。这种部门之间的割裂(Segmentation),恰如当年开发与运维(DevOps)之间的鸿沟,极大地降低了排查生产事故的效率。
- **黑盒问题的两大症结**:依赖链错误(如缺失或损坏的数据)与系统间的连接组织失效。 - **团队割裂隐患**:AI/ML 团队与 SRE/平台工程团队各自为政,缺乏统一的监控视角与协同机制。 - **跨堆栈可见性**:必须打破数据科学团队与运维团队之间的屏障,建立全局可见性。
[18:30](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=1110s) InsightFinder 解决方案与选型防坑指南
为了解决系统割裂问题,企业需要实现全堆栈的无缝可见性(Seamless visibility),使所有运维和开发团队在描述生产事故时能够使用同一种“语言”。InsightFinder 的解决方案是通过嵌入现有技术堆栈并分析遥测数据(Telemetry),叠加实时警报和根因分析(Root Cause Analysis)算法,为整个团队提供统一的故障归因视角,实现数据协同与价值增值。
在选择生产级 AI 监控与可观测性工具时,演讲者特别指出了三个需要警惕的陷阱(Things to watch out for):
- **避开仅提供高层级指标(High-level metrics)的系统**:此类工具只能告警“出事了”,却无法解释
## Notable quotes > [00:04](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=4s) 因为现实环境远比实验室复杂。真实的生产环境中充斥着各种无法预测的干扰因素,包括严重的背景噪音、损坏的麦克风与扬声器、含糊不清的方言口音、极为复杂的订单组合以及顾客使用的各种俗语俚语。 — George Miranda
> [00:04](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=4s) 缺少“生产环境到开发环境”的快速反馈回路(Feedback Loop),将直接导致 AI 项目从 Rollout(发布)走向 Rollback(回滚)。 — George Miranda
> [02:54](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=174s) 随着系统日益复杂并演化为分布式微服务,大量隐蔽问题“仅会在生产环境中发生”,传统基于预设日志和固化指标的调试工具随之失效。 — George Miranda
> [02:54](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=174s) 普通的性能监控工具都无法呈现 AI 边缘边界的失效根因。这表明 AI/ML 工程师正在步入当年 DevOps 工程师的后尘,未来也将承担起生产环境的 On-call 职责。 — George Miranda
> [07:45](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=465s) 传统监控手段之所以无法解决 AI/ML 的数据质量问题,是因为传统监控假设系统是确定性的(Deterministic)——例如 HTTP 500 报错必然代表系统某处损坏。然而 AI/ML 属于非确定性系统(Non-deterministic),相同的输入不一定产生相同的输出。 — George Miranda
> [07:45](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=465s) 一个模型可能在所有传统健康指标(如延迟、吞吐量、错误率)上均表现完美,但实际上已经在输出严重偏颇的结果。 — George Miranda
> [10:01](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=601s) 单靠收集用户的“赞/踩”(Thumbs up/down)并在每个迭代周期(Sprint)评估一次 RAG 模式是远远不够的,这种反馈速度无法阻止企业成为下一个 Tik Tok 负面舆情的主角。 — George Miranda
> [13:04](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=784s) 由于团队无法在开发阶段预测用户的所有提问方式,解决这一难题的关键在于缩短从发现异常到部署修复的响应周期。 — George Miranda
> [16:22](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=982s) 许多所谓的“黑盒”问题本质上并非模型本身完全不可知,而是缺乏跨系统的全局可见性(Lack of visibility)。 — George Miranda
> [16:22](https://www.youtube.com/watch?v=F77MGQ_J6_M&t=982s) 如果 AI/ML 团队与负责基础架构的 SRE/Platform 团队各自使用孤立的监测工具,双方就无法实现数据关联与实时协同,重蹈以往开发(Dev)与运维(Ops)割裂的覆辙。 — George Miranda
## Mentioned George Miranda, InsightFinder AI, InsightFinder, 麦当劳 (McDonald's), IBM, IBM Cloud, TikTok, O'Reilly, Observability Engineering, Honeycomb, ChatGPT, DeepSeek, DataDog, Splunk
## Video description George Miranda, VP of Marketing, InsightFinder AI
Abstract
As AI models move from pilot to production environments, ensuring AI model reliability and performance becomes increasingly difficult. Many solutions have evolved into “Composite AI” systems—combining various traditional machine learning (ML) models and large language models (LLMs) both open-source and commercial sources for more robust capabilities. These systems not only involve the models themselves but also rely on complex data pipelines and robust IT infrastructure to remain operational and effective.
Additionally, AI & ML teams are closer than ever to the customer experience. Operating in production brings a new set of challenges and expectations. Many teams are still in development, but those already on the front lines have learned (often, the hard way) that many traditional tools and techniques fall woefully short. In this talk, I will explore the key challenges in delivering reliable and responsible enterprise AI and introduce a new approach to intelligent and efficient monitoring, evaluation, and governance that is designed to meet these challenges in production.
[Source](https://www.youtube.com/watch?v=F77MGQ_J6_M)