Arize推AI智能体巡检系统 押注自动化可观测性终结人工看板

LLM Observability, Evaluation, Experimentation Platform — Dat Ngo, Arize — AI Engineer

AI Engineer

智能体的非确定性让传统代码彻底丧失审计能力,唯有结合全链路遥测数据并借助AI自动生成评测,才能彻底将工程师从排错循环中解脱出来。

AI-assisted summary of LLM Observability, Evaluation, Experimentation Platform — Dat Ngo, Arize — original source. Check the original for full context.

Source published:

Key ideas

  • 传统代码无法审计非确定性智能体,只有 OpenTelemetry(OTEL)标准遥测生成的链路(Traces)与跨度(Spans)才能真正还原其动态执行路径。 (2:30)
  • 评估信号主要划分为五类(LLM 裁判、人类反馈、黄金数据集、确定性检查与业务指标),且评测应在单 Span、多 Span、执行轨迹到全局会话四个层级中根据成本按需部署。 (6:20)
  • Arize 推出轻量开源项目 Phoenix(支持单容器本地启动,无需 Kubernetes)及企业级平台 AX,并集成 AI 智能体 Alex 以实现自动巡检链路与动态生成 Eval 的终极自动化目标。 (15:00)

Detailed notes

## Background 本内容由 AI Engineer 频道于 2026 年 6 月 7 日发布在 YouTube 平台。页面简介指出,Arize AI 的架构师 Dat Ngo 深入探讨了在执行路径随机且非确定性的 Agent 系统中,为何传统静态代码无法完成审计,而必须依赖遥测数据,并系统性拆解了评估信号、评测层级以及开源工具 Phoenix 和企业级方案的核心价值。

## TL;DR Dat Ngo 围绕企业级 AI 的三大工程支柱——可观测性、评估与实验展开分享,强调现代 AI 系统不是黑魔法而是被重塑的软件工程。他指出代码本身无法审计智能体的动态决策,必须借助基于 OpenTelemetry 的链路追踪来捕获执行轨迹并排查时序依赖等隐蔽错误。演讲系统梳理了 LLM 裁判、人类反馈、黄金集、确定性检查与业务指标这五种评估信号,界定了从单 Span 到端到端 Session 的四种评测颗粒度,并展示了通过自动化 Agent(如 Alex)让系统自主生成 Eval、定位延迟与异常,最终实现将开发者从手动监控中解放出来的工程闭环。

## Atmosphere & style 整场演讲充满硬核工程范儿与高能量的极客幽默,Dat Ngo 语言风趣敏捷,开场便通过调侃自己消耗的天文数字级 Token 和现场观众的实战水平迅速拉近距离。他的表达犀利直白,既有对“黑魔法论”的理性去魅,也有对过度评测等工程反模式的清醒告诫。现场演示与论述节奏紧凑流畅,带给观众一种在真实工业级战场上拆解复杂系统、将前沿理论转化为极简工程落地的爽快感与启发感。

## Bulletin - [02:30](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=150s) 传统代码无法审计非确定性智能体,只有 OpenTelemetry(OTEL)标准遥测生成的链路(Traces)与跨度(Spans)才能真正还原其动态执行路径。 - [06:20](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=380s) 评估信号主要划分为五类(LLM 裁判、人类反馈、黄金数据集、确定性检查与业务指标),且评测应在单 Span、多 Span、执行轨迹到全局会话四个层级中根据成本按需部署。 - [15:00](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=900s) Arize 推出轻量开源项目 Phoenix(支持单容器本地启动,无需 Kubernetes)及企业级平台 AX,并集成 AI 智能体 Alex 以实现自动巡检链路与动态生成 Eval 的终极自动化目标。

## Key takeaways - [00:00](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=0s) AI 系统并非黑魔法,而是被重塑的软件工程,其成功落地依托于三大核心工程支柱:可观测性、评估以及实验与回归管理。 - [02:30](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=150s) 在充满非确定性的智能体开发中,静态代码无法审计其行为,必须依托 OpenTelemetry 遥测数据生成 Traces 与 Spans 作为唯一的执行审计日志。 - [02:30](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=150s) 可观测性需要跳出单一函数调用,覆盖会话级(Session)多轮状态流转,以满足企业业务方对端到端用户满意度的关注。 - [05:00](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=300s) Agent 调用的非确定性导致其执行路径包含大量分支与回溯,全局分布视图(Distributional View)能快速暴露高延迟组件和流量倾斜。 - [05:00](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=300s) 轨迹评测(Trajectory Evals)能够精确定位因大模型调度引起的时序依赖反转问题(例如未执行依赖的前置步骤 A 就先行调用工具 B)。 - [06:20](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=380s) 系统评估信号分为五大风味:LLM 裁判、人类反馈、黄金数据集、确定性检查(如 JSON Schema 校验)与底层业务指标。 - [06:20](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=380s) 优秀的 AI 可观测性平台必须实现跨职能协作,既支持工程师编程式注入 Evaluator,也支持领域专家(SME)通过图形界面调优评估标准。 - [10:00](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=600s) 评测范围需分层落地,覆盖单 Span、跨多组件的多 Span、整体执行链路的轨迹评测,以及涵盖端到端状态机的会话级评测。 - [10:00](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=600s) 评测并非越多越好,每一次评估都伴随直接的算力与调用开销,团队应追求能准确感知系统信号的最小评测集合。 - [12:15](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=735s) 实验迭代不仅包含 Prompt 变更与模型替换,还涉及系统编排拓扑与全局配置的调整,数据源可直接来自线上不良链路(Bad Cases)。 - [12:15](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=735s) 开发者工作流正从传统 Web UI 点击转向 CLI 与 AI 编码助手,Arize 通过开放工具集让外部 Coding Agent 能够直接调取内部巡检 Agent Alex。 - [15:00](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=900s) 可观测性的终极演进方向是将人类自动化移出监控回路,由具备全局 Trace 上下文的 AI 助手主动动态生成评测规则并自主修复缺陷。 - [15:00](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=900s) 开源项目 Arize Phoenix 采用单容器极简部署模式,摆脱对庞大 Kubernetes 集群的依赖,专为工程师本地调试打造。

## Detailed walkthrough ### [00:00](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=0s) AI 是被重塑的软件:可观测性、评估与工程本质

Dat Ngo 开场向观众介绍了自己以及他在 Arize AI 担任 AI 架构师(AI Architect)的工作。他深入参与企业级 AI 的落地实践,与全球规模最大的企业紧密合作,共同攻关可观测性(Observability)、评估(Evaluation)和实验(Experimentation),而这些工作的核心本质,其实就是“如何让 AI 真正起效(How do you make AI work)”。Dat 调侃自己在这一领域消耗了极其庞大的算力资源,在上一届 OpenAI DevDay 期间,他估算自己在过去一年消耗了 1000 亿到 1 万亿个 token。Arize 站在一个极具优势的行业观察哨上,得以近距离审视各类企业团队正在构建什么、如何构建、面临哪些痛点,以及他们如何尝试修复问题。

```mermaid flowchart TD accTitle: 现代企业 AI 工程的三大核心支柱 accDescr: 展示可观测性、评估与实验三大模块及其核心关注点。

subgraph CorePillars["AI 工程三大核心支柱"] Obs["可观测性 (Observability)<br/>系统里究竟在发生什么?"] Eval["评估 (Evaluation)<br/>如何从系统中提取确定信号?"] Exp["实验与迭代 (Experimentation)<br/>防止修复 A 却引发 B、C 退化"] end

Obs --> Eval Eval --> Exp Exp --> Obs ```

Dat 在现场互动中向台下提问,询问谁构建过 Agent、谁正在将 Agent 推向生产环境、谁在写 Harness,又有谁根本不知道 Harness 是什么,并打趣现场观众水平都非常厉害(“cracked”)。他强调,当前的 AI 浪潮在本质上并不是黑魔法,而更像是被彻底重塑的软件工程,底层依然是同一套工程模式的不同演化形态。针对本次分享,他将内容凝炼为三大核心主题: 1. **可观测性(Observability)**:解答“我构建的系统内部到底发生了什么”,无论是一个测试 Harness 还是一个多步骤的 Agent; 2. **评估(Evals)**:如何以某种具体的形式从运行系统中提取有效信号; 3. **实验与回归管理**:在充满不确定性(Non-deterministic)的世界中做优化时,开发者往往自以为修复了某个 Bug,却不知不觉引发了两到三个隐蔽的系统退化(Regressions)。

“你觉得这像是魔法,但它不是魔法,这一切全都是工程。”Dat 这样总结当下的技术本质。

---

[02:30](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=150s) 代码无法审计智能体:以 OpenTelemetry 为核心的 Traces 与 Sessions

在深入探讨可观测性时,Dat 指出 Arize 完全拥抱 OpenTelemetry(OTEL)标准。由于坚持 OTEL 优先的设计模式,无论开发者使用何种 Harness、Agent 框架或模型组合,都可以通过一行代码自动插桩(Auto-instrumenter)。这行代码会自动嗅探框架和 SDK 内发生的调用细节,生成 OpenTelemetry 标准的 Traces 和 Spans。Dat 指出,在确定性的传统编程时代,可以通过静态代码来推导执行逻辑;但在智能体时代,代码本身根本无法审计 Agent 或 Harness 的行为,唯有遥测数据(Telemetry)才能记录真实轨迹。

除了微观层面的 Traces 和 Spans,可观测性还必须覆盖更宏观的会话(Sessions)与状态流转。Dat 提到了 Anthropic 不久前刚发布的论文《Managed Agents》,并指出理解多轮对话与状态演化同样至关重要。不同层次的利益相关者对数据的关注视角差异巨大:底层开发者可能紧盯每一次工具调用,而企业高管和业务方往往只关心端到端的 Session 评估——最终用户是否满意、所有疑问是否得到了妥善解答。

“因为我们现在意识到,代码根本无法审计智能体或测试 Harness,能够做到审计的,其实是遥测数据。”Dat 一针见血地指出。

- **OTEL 自动插桩**:一行代码即可监听主流框架或 SDK,无缝捕获底层执行链条并输出 Traces 与 Spans。 - **审计记录(Audit Record)**:Spans 构成了 Agent 决策与执行的完整审计日志,记录调用了什么、依赖了什么。 - **会话级分析(Session Analytics)**:跳出单一函数或单步调用,从状态转移与多轮上下文的角度分析系统表现与用户满足度。

---

[05:00](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=300s) 非确定性路径与分布视图:轨迹评测与根因定位

当 Agent 面临复杂任务时,其每次执行的路径并非线性固定,而是充满了分支、回溯和循环。Dat 展示了 Arize AX(及其开源内核 Phoenix)提供的“分布视图(Distributional View)”。该视图将成千上万次 Agent 实例运行的调用图谱聚合成全局路径分布,直接回答工程团队最关心的几个关键问题:流量在各个分支间的百分比分配是多少?哪一个特定组件引发了异常的高延迟?

```mermaid flowchart TD accTitle: Agent 轨迹评估与顺序依赖错误定位 accDescr: 展示 Agent 因缺少依赖上下文导致工具调用顺序颠倒的典型错误链路。

subgraph ExecutionGraph["Agent 执行分支与调用轨迹"] Start["接收用户指令"] --> Decision{"LLM 路由决策"} Decision -->|"正确分支"| PathGood["步骤 A: 获取数据"] PathGood --> PathGood2["步骤 B: 计算处理"] PathGood2 --> Success["评估信号:高质量输出"]

Decision -->|"错误分支 (无序调用)"| ToolB["调用工具 B (依赖 A)"] ToolB -.->|"依赖缺失 / 报错"| ToolA["补调工具 A"] ToolA --> Failure["评估信号:断崖式下跌"] end ```

这种分布分析引出了“轨迹评估(Trajectory Evals)”的概念。在某些分支上,Agent 的输出质量可能极高,但在另一条分支上,提取到的评估信号却呈现断崖式下跌。通过追溯执行轨迹,开发者可以迅速定位根本原因(Root Cause)。Dat 举了一个生动的典型错误:Agent 先调用了工具 B,随后才调用工具 A,然而工具 B 明确依赖工具 A 的产出;导致该错误的原因并非代码逻辑崩溃,而是 LLM 自身的调度决策颠倒了时序。定位到这个根因后,工程师只需注入相应的上下文约束,提示模型“在执行 B 之前必须先完成 A”,即可消除缺陷。此外,实时可定制的监控分析看板(Analytics)同样必不可少,使企业能够全景监控 Agent 的运行指标。

“深入分析后的根因问题在于,这两个组件实际上调用颠倒了:在执行 A 之前先执行了 B,而 B 实际上对 A 存在依赖。”Dat 解释道。

---

[06:20](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=380s) 评估信号的五种风味与跨职能协作

建立起完善的可观测性之后,下一步则是构建能够评估系统优劣的“信号系统”。Dat 将系统信号总结为“五种风味(Five Flavors of Signal)”: 1. **LLM as a Judge(大模型作为裁判)**:概念虽然直观,但在工程实践中调校与落地极为复杂; 2. **人类反馈(Human Feedback)**:包括终端真实用户与标注人员的反馈,无论对技术人员还是产品经理而言都极具价值; 3. **黄金数据集(Golden Datasets)**:由深谙业务的领域专家标注的高置信数据,可作为基准来对齐和调校 LLM 裁判的判别能力; 4. **确定性/逻辑检查(Deterministic Checks)**:无需每次都调用高成本的模型或人工,例如针对 JSON 输出的语法合法性、Schema 匹配度以及非空字段校验; 5. **业务指标(Business Metrics)**:所有 AI 系统的终极归宿只有三件事——增加收入、降低成本、节省时间。

| 信号类型 | 典型场景 / 检查手段 | 成本与特性 | |:--- |:--- |:--- | | **LLM as a Judge** | 针对复杂开放式回答的语义、语气与逻辑打分 | 调用成本中等;需用黄金数据集持续对齐校准 | | **人类反馈 (Human)** | 终端用户点赞/点踩、标注员定性审计 | 成本最高、延迟最高,但置信度与定性价值极强 | | **黄金数据集 (Golden)** | 领域专家标注的高质量基准数据 | 核心资产,用作模型与 LLM 裁判的校准靶标 | | **确定性检查 (Deterministic)** | JSON Schema 验证、字段非空校验、格式正则匹配 | 成本极低、执行零延迟、判断绝对客观 | | **业务指标 (Business)** | 转化率、人效提升比、API 成本与工单处理时长 | 衡量系统商业成败的最终北极星指标 |

Dat 指出,优秀 AI 产品的打造必然依赖技术人员(AI 工程师、底层开发者)与非技术人员(领域专家 SME、产品经理)的高效协同。工程师擅长系统搭建、自动化与框架设计;而领域专家则掌握什么是优秀的用户体验,熟知业务语义和评测标准。一个优秀的平台必须支持这两类人群:既允许工程师通过代码和 SDK 编程式定义与注入 Evaluator,也允许业务人员在图形界面中选择基础模型、调用内置模板或自定义配置评测逻辑。

“因为你希望擅长写代码的人专注于写代码,而让懂得业务领域的人专注于深耕该领域。”Dat 总结道。

[10:00](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=600s) 评测的颗粒度与广度:从单一 Span 到会话级状态机

Dat Ngo 探讨了在面对复杂智能体(Agent)系统时如何落地 Eval(评测)。开发者构建的应用或智能体测试框架(Harness)通常包含许多组件,这些组件的调用既可能是确定性的,也可能是非确定性的。评测并非千篇一律,它有不同的范围(Scope)和深度。最基本的层级是单 Span(Single Span)评测,即只关注单次 LLM 调用的单组输入和输出,这是绝大多数开发者最容易理解、也最直接的形式。

```mermaid flowchart TD accTitle: Eval 评测范围与层级 accDescr: 展示从单 Span、多 Span、轨迹评测到会话评测的不同作用域。

subgraph Granular ["细粒度组件层"] S["单 Span 评测 (Single Span)<br/>评估单次 LLM 调用的输入与输出"] M["多 Span 评测 (Multi-Span)<br/>跨组件数据流转与协作评估"] end

subgraph Macro ["宏观全局层"] T["轨迹评测 (Trajectory)<br/>业务流程执行路径与拓扑"] SES["会话级评测 (Session)<br/>端到端状态机与用户体验"] end

S --> M M --> T T --> SES ```

更复杂的系统则需要跨越多个层级来评测。多 Span(Multi-Span)评测需要聚合系统中多个不同组件的数据,例如衡量多个智能体之间相互传递数据的有效性;轨迹评测(Trajectory Eval)则放眼于执行路径上的所有 Span,检查智能体是否沿着正确的逻辑轨迹完成了业务流程;而最高维度的会话级评测(Session-Level Eval)则是对整个状态机进行宏观审视,去回答“在这段对话中用户是否感到沮丧?”或“我们是否回答了用户提出的所有问题?”。Dat Ngo 提醒开发者,评测并不是越穷尽越好,因为每次评测都伴随着直接的调用成本和算力开销。正如 Dat Ngo 所警告的那样:“And just because you can't eval something doesn't mean you always should. It's not this exhaustive thing. You want to see like, hey, what are the minimal set of evals I can get away with to understand signal of like, is my application working as intended because there's a cost associated with this stuff, right?”

- **单 Span 评测(Single Span Eval)**:针对最细颗粒度的单元,仅抓取和校验单次 LLM 调用的 Input/Output 质量。 - **多 Span 评测(Multi-Span Eval)**:跨越多个组件抽样数据,用于审计 Agent 之间的数据通信与协作。 - **轨迹评测(Trajectory Eval)**:统揽执行流的所有步骤,判定工具调用顺序与业务步骤是否符合预期拓扑。 - **会话级评测(Session Level Eval)**:评估端到端的状态机演进,检测全局上下文中的情绪波动、意图达成度及体验痛点。

---

[12:15](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=735s) 实验与改进飞轮:通过自动化告别仪表盘

在厘清可观测性与评测后,Dat Ngo 将话题转向实验(Experimentation)与迭代改进。优化的源头可以来自 Trace(分布式调用链),开发者可以从中筛选出表现差劲、存在缺失的 Bad Cases 汇聚成数据集;没有 Trace 的团队也可以直接上传包含输入输出配对的表格数据集。所谓的实验,本质上就是对智能体或测试框架引入变更——包括修改 Prompt、替换基础模型、调整编排编排逻辑(Orchestration)或改动系统配置。Arize 既支持在 UI 中可视化比对这些改动,也支持通过代码进行编程式测试。

然而,软件行业正在发生深刻的压缩与变革。Dat Ngo 直言,未来的开发者根本不想整天盯着复杂的仪表盘去手动点按各种配置按钮。为了顺应工程师使用 Claude Code、Codex 等 AI 编码工具的习惯,Arize 将所有核心原语都封装到了 CLI 以及专属的工具集(Tools & Skills)中,使得外部的 Coding Agent 能够直接操作可观测性平台。更进一步,Arize 系统内部集成了一个名为 Alex 的 AI 智能体,外部 Coding Agent 可以直接调取 Alex 的能力,让系统自主巡检应用问题。Dat Ngo 指出公司的长期目标绝不是让人停留在界面操作中:“So our ultimate goal as a company is actually to automate you out of this process. observability, evals, experimentation, and improvement.”

- **实验变量维度**:包含 Prompt 变更、Model 切换、编排流拓扑调整(Orchestration)以及系统参数 Configuration 迭代。 - **开发者交互转型**:从传统的 Web UI 点击转向面向 CLI、Agent Tools 与 Skills,支持代码助手直接调用监控链路。 - **自动化闭环**:内部 Agent “Alex” 与可观测性数据原生打通,具备任务规划与自动执行诊断的能力。

---

[15:00](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=900s) 愿景与产品矩阵:自动生成评测与开源 Phoenix

Dat Ngo 描绘了可观测性的终极形态:开发者甚至不需要自己去绞尽脑汁设计评测指标。理想状态下,像 Alex 这样的 AI 助手拥有全局 Trace 上下文,它能够实时感知系统的异动,在后台主动且动态地为你生成适配的 Eval;一旦系统或代码发生变化,AI 就会自动补足新的评估规则。现场演示中,Alex 已经在后台自动展开工作,实时扫描并定位出了系统中的高延迟(High Latency)以及隐蔽的错误。

在产品落地层面,Arize 针对不同体量与阶段的团队提供了差异化的技术方案。对于崇尚 Engineering First 的工程师和开发者群体,Arize 提供了名为 Arize Phoenix 的开源产品。Phoenix 最大的优势在于极其轻量,它作为一个单容器(Single Container)运行,开发者可以直接在本地机器部署启动,无需搭建繁琐复杂的 Kubernetes 集群。而对于 Uber、Booking.com、Reddit 这类拥有庞大流量和企业级合规要求的超大型客户,平台则提供了 Arize 企业版(Arize AX)。Dat Ngo 调侃了团队对深色模式的偏爱,并最后表达了对整个可观测性生态“开箱即用、如魔法般流畅”的信心,坚信 AI 最终将彻底重塑工程监控与评估的形态。

- **动态生成评测**:“You shouldn't even have to choose your evals. An AI should have context of like, hey, here's the traces. Here's what's happening. Let me create evals on the fly and think about them for you.” - **Arize Phoenix(开源版)**:面向工程师群体的单容器极简部署方案,完全摆脱对 Kubernetes 的依赖,支持本地即刻拉起。 - **Arize 企业版(Arize AX)**:面向超大规模企业客户的企业级底座,支撑 Uber、Booking.com、Reddit 等核心业务场景。

## Notable quotes > [02:30](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=150s) 代码根本无法审计智能体或测试 Harness,能够做到审计的,其实是遥测数据。 — Dat Ngo

> [00:00](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=0s) 你觉得这像是魔法,但它不是魔法,这一切全都是工程。 — Dat Ngo

> [06:20](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=380s) 你希望擅长写代码的人专注于写代码,而让懂得业务领域的人专注于深耕该领域。 — Dat Ngo

## Mentioned Dat Ngo, Arize AI, OpenAI, OpenTelemetry, Anthropic, Arize AX, Arize Phoenix, Claude Code, Codex, Alex, Kubernetes, Uber, Booking.com, Reddit

## Video description Your agent called tool B before tool A, and B has a dependency on A. You did not catch it because nothing in your code audits agents. The telemetry does. Dat from Arize AI walks through what observability actually means when the system you are debugging is nondeterministic and the execution path changes with every run.

The talk covers the five flavors of eval signal (LLM as judge, human feedback, golden datasets, deterministic checks, business metrics), what scope to run them at (single span, multispan, trajectory, session), and where this is heading. Arize Phoenix is open source, runs as a single container, no Kubernetes required. The enterprise product adds an AI layer called Alex that scans traces, surfaces high latency and errors, and creates evals automatically. The stated goal: automate you out of the observability loop entirely.

Speaker info: - https://www.linkedin.com/in/datdarylngo/ - https://x.com/dat_attacked

---

Watch along with the corrected transcript, summary, timestamps and resources on this talk's official AIE page: https://ai.engineer/talks/JsCCrBF7F1g-llm-observability-evaluation-experimentation-platform-dat-ngo-arize-ai

Join our upcoming AI Engineer conferences (see https://ai.engineer landing page):

- AIEi Shanghai, November 5–6 — the first for meeting top Chinese labs and engineers - AIE CODE in SF, November 10–12 — the top AI Coding conference returns - AIEi Sydney, December 7–8 — the first AIEi run alongside NeurIPS 2026 in Sydney

---

[Source](https://www.youtube.com/watch?v=JsCCrBF7F1g)

中文简报

Arize推出Alex,以在LLM可观测性中替代人工工程师 由于静态代码无法审计非确定性系统,遥测必须作为主要审计层,而自主智能体则直接从执行追踪中生成并运行评估。 Dat Ngo认为,现代AI架构从根本上是对软件的重塑,需要依靠遥测而非传统代码来审计非确定性智能体和测试框架。他阐述了一种基于OpenTelemetry原生规范的方法,该方法可跨复杂的图执行路径捕获trace、span、执行轨迹以及多轮会话。演讲详细介绍了五种关键评估信号——LLM评审员(LLM-as-a-judge)、人工反馈、黄金数据集、确定性检查和业务指标,并解释了如何将其作用范围从单个span界定至完整用户会话。最后,Dat演示了精选的trace数据集如何为实验提供支持,并预告了Arize的内部智能体Alex,其旨在将开发人员从手动评估循环中解放出来。 代码无法审计非确定性智能体——遥测才可以,这需要OpenTelemetry原生的自动插桩来追踪动态执行路径和有状态会话。 (0:00) 智能体评估涵盖五种不同的信号类型(LLM评审员、人工反馈、黄金数据集、确定性检查和业务指标),贯穿从单个span到完整对话会话的四个细粒度范围。 (5:00) Arize旨在通过Alex消除手动仪表板交互和评估编写工作;Alex是一个自主AI层,负责监控trace、标记异常并动态创建评估。 (12:50) 该平台提供开源的Arize Phoenix(无需Kubernetes的单容器部署),以及面向大规模生产工作负载的企业级Arize AX。 (15:15)

精炼阅读摘要

Arize AI 的人工智能架构师 Dat Ngo 认为,现代大语言模型(LLM)与智能体系统本质上是传统软件工程在非确定性场景下的重构,其核心治理必须依赖基于开放标准的运行时遥测审计,并通过可观测性(Observability)、评估(Evaluations)与实验(Experimentation)三大支柱保障工程可靠性。 遥测作为智能体的核心审计层 (0:00) Dat Ngo 指出,在过去一年协助全球大型企业落地智能体与测试套件的实践中,传统静态代码审查已无法约束具备随机与非确定性特征的运行过程。对于此类系统而言,代码本身不再承担审计功能,唯有运行时的遥测数据(Telemetry)才能真实反映执行状态。为此,现代架构倾向于采用以 OpenTelemetry(OTel)为核心的原生规范,开发者只需一行自动化埋点代码即可拦截框架或 SDK 的调用,自动捕获执行树中的 Trace 与 Span。 除了底层的调用跨度,智能体系统的可观测性还需要向上聚合至包含长程状态交互的 Session(会话)维度。正如 Anthropic 在《Managed Agents》论文中所指出的,面向企业级生产环境时,业务干系人往往并不需要逐一复核每一个低层级工具调用的技术细节,而是需要从完整会话的宏观视角,评估端到端的多轮交互是否真正满足了最终用户的需求并闭环解决了实际业务问题。 宏观图轨迹与五大评估信号维度 (5:00) 在处理大规模生产流量时,单次孤立的执行日志难以暴露系统性结构隐患。Dat Ngo 展示了企业级平台 Arize AX 如何利用分布式的图轨迹视图,呈现智能体在所有分支与循环中的全局流转路径。这种宏观图谱能够直观揭示生产流量在不同分支间的百分比偏离,帮助工程师精确定位罕见分支中引发延迟骤增的具体组件,并诊断传统单元测试极易遗漏的模型编排缺陷,例如模型因幻觉导致的依赖倒置与前后组件执行顺序颠倒。 在捕获执行图谱之后,工程团队必须系统化提取评估信号。Dat Ngo 将评估信号划分为五种具体形式:利用模型进行自动化判别的大模型裁判(LLM-as-a-judge)、来自终端用户与内部评审的人类反馈(Human Feedback)、由领域专家维护用于校准裁判模型的基准黄金数据集(Golden Datasets)、低成本的代码级确定性逻辑校验(如 JSON Schema 校验以避免冗余的模型推理开销),以及直接挂钩商业成效的业务指标(关注增收、降本与耗时削减)。该体系的设计旨在兼顾系统工程师的代码级编排需求,以及非技术领域专家在无代码界面中的模板配置体验。 评估作用域层级与成本控制 (10:00) 针对智能体系统在不同层级的运行特性,评估体系不能被视为均质的整体,而应依据具体粒度划分为四种作用域:最底层的单跨度评估(Single Span Eval)仅聚焦单个 LLM 调用的输入输出;多跨度评估(Multi-Span Eval)用于检验多个协作智能体之间的数据分发与上下文流转质量;轨迹评估(Trajectory Eval)全量审查执行路径中各个跨度的先后次序是否符合既定业务流程规范;会话级评估(Session-Level Eval)则贯穿用户长期交互的状态机,全景衡量用户满意度与最终意图达成情况。 然而,全量运行各项指标会带来沉重的模型调用负担。Dat Ngo 特别强调,团队应当避免对所有可能指标进行无差别的穷尽评估,而应根据自身架构特征寻找“最小必要评估集”。在获得足以判定应用运行状况的核心信号前提下,尽可能压低评估过程本身的推理开销与响应延迟。 数据驱动实验与全自动评估代理 (11:47) 可观测性捕获的遥测数据可直接转变为系统迭代的养料。团队可以筛选生产环境中包含异常信号或逻辑失败的真实调用链,将其直接清洗并沉淀为评估数据集;尚无生产流量的项目亦可直接上传结构化的输入输出对照表。在测试环境内,开发者可通过界面或代码驱动实验,量化对比替换基座模型、修改系统提示词、重构编排逻辑或微调运行参数带来的实际影响,确保在推向生产环境前及时拦截质量退化。 面向未来的开发者体验,Arize 正在推动由自动化工具替代手动维护。由于软件开发范式正快速向代码助理演进,平台通过命令行接口及工具定义接入了 Claude Code 与 Codex 等编码环境。Arize 研发了名为 Alex 的内置智能体,使其直接挂钩遥测底层,能够自主巡检系统健康度、识别异常延迟聚集区并自动编写测试评估套件。Dat Ngo 预测,可观测性平台的演进方向是让工程师逐步退出手动设计测试集的繁琐流程,由代理闭环自主完成监控与评估。 本地化开源与高吞吐企业级部署 (15:15) 在部署落地层面,Arize 依据企业规模与技术诉求划分了两条互补路径。面向追求轻量、快速验证的个人开发者与敏捷工程团队,开源项目 Arize Phoenix 提供了单容器镜像,可在本地工作站快速启动运行,无需依赖庞大的分布式集群。 面向承载海量并发与核心业务资产的大型跨国企业(如 Uber、Booking.com 与 Reddit 等),企业级产品 Arize AX 则提供能够承受高吞吐压力的基础设施支持,满足复杂组织架构对数据安全、团队协同与大规模非确定性系统生产管控的要求。 Dat Ngo 总结认为,随着大模型智能体逐步进入深水区,工程团队必须摒弃粗放的经验主义,建立基于 OpenTelemetry 标准的观测、多维信号评估与受控实验闭环。然而,如何在极其复杂的跨智能体协同链路中以最低的算力成本保真捕获边缘故障,以及在评估代理(如 Alex)实现全自动审查后如何防止基准漂移并保留人类干预权,仍是非确定性软件工程需要持续探索的边界问题。

Detailed notes — zh

## Background 本内容由 AI Engineer 频道于 2026 年 6 月 7 日发布在 YouTube 平台。页面简介指出,Arize AI 的架构师 Dat Ngo 深入探讨了在执行路径随机且非确定性的 Agent 系统中,为何传统静态代码无法完成审计,而必须依赖遥测数据,并系统性拆解了评估信号、评测层级以及开源工具 Phoenix 和企业级方案的核心价值。 ## TL;DR Dat Ngo 围绕企业级 AI 的三大工程支柱——可观测性、评估与实验展开分享,强调现代 AI 系统不是黑魔法而是被重塑的软件工程。他指出代码本身无法审计智能体的动态决策,必须借助基于 OpenTelemetry 的链路追踪来捕获执行轨迹并排查时序依赖等隐蔽错误。演讲系统梳理了 LLM 裁判、人类反馈、黄金集、确定性检查与业务指标这五种评估信号,界定了从单 Span 到端到端 Session 的四种评测颗粒度,并展示了通过自动化 Agent(如 Alex)让系统自主生成 Eval、定位延迟与异常,最终实现将开发者从手动监控中解放出来的工程闭环。 ## Atmosphere & style 整场演讲充满硬核工程范儿与高能量的极客幽默,Dat Ngo 语言风趣敏捷,开场便通过调侃自己消耗的天文数字级 Token 和现场观众的实战水平迅速拉近距离。他的表达犀利直白,既有对“黑魔法论”的理性去魅,也有对过度评测等工程反模式的清醒告诫。现场演示与论述节奏紧凑流畅,带给观众一种在真实工业级战场上拆解复杂系统、将前沿理论转化为极简工程落地的爽快感与启发感。 ## Bulletin - [02:30](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=150s) 传统代码无法审计非确定性智能体,只有 OpenTelemetry(OTEL)标准遥测生成的链路(Traces)与跨度(Spans)才能真正还原其动态执行路径。 - [06:20](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=380s) 评估信号主要划分为五类(LLM 裁判、人类反馈、黄金数据集、确定性检查与业务指标),且评测应在单 Span、多 Span、执行轨迹到全局会话四个层级中根据成本按需部署。 - [15:00](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=900s) Arize 推出轻量开源项目 Phoenix(支持单容器本地启动,无需 Kubernetes)及企业级平台 AX,并集成 AI 智能体 Alex 以实现自动巡检链路与动态生成 Eval 的终极自动化目标。 ## Key takeaways - [00:00](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=0s) AI 系统并非黑魔法,而是被重塑的软件工程,其成功落地依托于三大核心工程支柱:可观测性、评估以及实验与回归管理。 - [02:30](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=150s) 在充满非确定性的智能体开发中,静态代码无法审计其行为,必须依托 OpenTelemetry 遥测数据生成 Traces 与 Spans 作为唯一的执行审计日志。 - [02:30](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=150s) 可观测性需要跳出单一函数调用,覆盖会话级(Session)多轮状态流转,以满足企业业务方对端到端用户满意度的关注。 - [05:00](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=300s) Agent 调用的非确定性导致其执行路径包含大量分支与回溯,全局分布视图(Distributional View)能快速暴露高延迟组件和流量倾斜。 - [05:00](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=300s) 轨迹评测(Trajectory Evals)能够精确定位因大模型调度引起的时序依赖反转问题(例如未执行依赖的前置步骤 A 就先行调用工具 B)。 - [06:20](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=380s) 系统评估信号分为五大风味:LLM 裁判、人类反馈、黄金数据集、确定性检查(如 JSON Schema 校验)与底层业务指标。 - [06:20](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=380s) 优秀的 AI 可观测性平台必须实现跨职能协作,既支持工程师编程式注入 Evaluator,也支持领域专家(SME)通过图形界面调优评估标准。 - [10:00](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=600s) 评测范围需分层落地,覆盖单 Span、跨多组件的多 Span、整体执行链路的轨迹评测,以及涵盖端到端状态机的会话级评测。 - [10:00](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=600s) 评测并非越多越好,每一次评估都伴随直接的算力与调用开销,团队应追求能准确感知系统信号的最小评测集合。 - [12:15](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=735s) 实验迭代不仅包含 Prompt 变更与模型替换,还涉及系统编排拓扑与全局配置的调整,数据源可直接来自线上不良链路(Bad Cases)。 - [12:15](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=735s) 开发者工作流正从传统 Web UI 点击转向 CLI 与 AI 编码助手,Arize 通过开放工具集让外部 Coding Agent 能够直接调取内部巡检 Agent Alex。 - [15:00](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=900s) 可观测性的终极演进方向是将人类自动化移出监控回路,由具备全局 Trace 上下文的 AI 助手主动动态生成评测规则并自主修复缺陷。 - [15:00](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=900s) 开源项目 Arize Phoenix 采用单容器极简部署模式,摆脱对庞大 Kubernetes 集群的依赖,专为工程师本地调试打造。 ## Detailed walkthrough ### [00:00](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=0s) AI 是被重塑的软件:可观测性、评估与工程本质 Dat Ngo 开场向观众介绍了自己以及他在 Arize AI 担任 AI 架构师(AI Architect)的工作。他深入参与企业级 AI 的落地实践,与全球规模最大的企业紧密合作,共同攻关可观测性(Observability)、评估(Evaluation)和实验(Experimentation),而这些工作的核心本质,其实就是“如何让 AI 真正起效(How do you make AI work)”。Dat 调侃自己在这一领域消耗了极其庞大的算力资源,在上一届 OpenAI DevDay 期间,他估算自己在过去一年消耗了 1000 亿到 1 万亿个 token。Arize 站在一个极具优势的行业观察哨上,得以近距离审视各类企业团队正在构建什么、如何构建、面临哪些痛点,以及他们如何尝试修复问题。 ```mermaid flowchart TD accTitle: 现代企业 AI 工程的三大核心支柱 accDescr: 展示可观测性、评估与实验三大模块及其核心关注点。 subgraph CorePillars["AI 工程三大核心支柱"] Obs["可观测性 (Observability)<br/>系统里究竟在发生什么?"] Eval["评估 (Evaluation)<br/>如何从系统中提取确定信号?"] Exp["实验与迭代 (Experimentation)<br/>防止修复 A 却引发 B、C 退化"] end Obs --> Eval Eval --> Exp Exp --> Obs ``` Dat 在现场互动中向台下提问,询问谁构建过 Agent、谁正在将 Agent 推向生产环境、谁在写 Harness,又有谁根本不知道 Harness 是什么,并打趣现场观众水平都非常厉害(“cracked”)。他强调,当前的 AI 浪潮在本质上并不是黑魔法,而更像是被彻底重塑的软件工程,底层依然是同一套工程模式的不同演化形态。针对本次分享,他将内容凝炼为三大核心主题: 1. **可观测性(Observability)**:解答“我构建的系统内部到底发生了什么”,无论是一个测试 Harness 还是一个多步骤的 Agent; 2. **评估(Evals)**:如何以某种具体的形式从运行系统中提取有效信号; 3. **实验与回归管理**:在充满不确定性(Non-deterministic)的世界中做优化时,开发者往往自以为修复了某个 Bug,却不知不觉引发了两到三个隐蔽的系统退化(Regressions)。 “你觉得这像是魔法,但它不是魔法,这一切全都是工程。”Dat 这样总结当下的技术本质。 --- ### [02:30](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=150s) 代码无法审计智能体:以 OpenTelemetry 为核心的 Traces 与 Sessions 在深入探讨可观测性时,Dat 指出 Arize 完全拥抱 OpenTelemetry(OTEL)标准。由于坚持 OTEL 优先的设计模式,无论开发者使用何种 Harness、Agent 框架或模型组合,都可以通过一行代码自动插桩(Auto-instrumenter)。这行代码会自动嗅探框架和 SDK 内发生的调用细节,生成 OpenTelemetry 标准的 Traces 和 Spans。Dat 指出,在确定性的传统编程时代,可以通过静态代码来推导执行逻辑;但在智能体时代,代码本身根本无法审计 Agent 或 Harness 的行为,唯有遥测数据(Telemetry)才能记录真实轨迹。 除了微观层面的 Traces 和 Spans,可观测性还必须覆盖更宏观的会话(Sessions)与状态流转。Dat 提到了 Anthropic 不久前刚发布的论文《Managed Agents》,并指出理解多轮对话与状态演化同样至关重要。不同层次的利益相关者对数据的关注视角差异巨大:底层开发者可能紧盯每一次工具调用,而企业高管和业务方往往只关心端到端的 Session 评估——最终用户是否满意、所有疑问是否得到了妥善解答。 “因为我们现在意识到,代码根本无法审计智能体或测试 Harness,能够做到审计的,其实是遥测数据。”Dat 一针见血地指出。 - **OTEL 自动插桩**:一行代码即可监听主流框架或 SDK,无缝捕获底层执行链条并输出 Traces 与 Spans。 - **审计记录(Audit Record)**:Spans 构成了 Agent 决策与执行的完整审计日志,记录调用了什么、依赖了什么。 - **会话级分析(Session Analytics)**:跳出单一函数或单步调用,从状态转移与多轮上下文的角度分析系统表现与用户满足度。 --- ### [05:00](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=300s) 非确定性路径与分布视图:轨迹评测与根因定位 当 Agent 面临复杂任务时,其每次执行的路径并非线性固定,而是充满了分支、回溯和循环。Dat 展示了 Arize AX(及其开源内核 Phoenix)提供的“分布视图(Distributional View)”。该视图将成千上万次 Agent 实例运行的调用图谱聚合成全局路径分布,直接回答工程团队最关心的几个关键问题:流量在各个分支间的百分比分配是多少?哪一个特定组件引发了异常的高延迟? ```mermaid flowchart TD accTitle: Agent 轨迹评估与顺序依赖错误定位 accDescr: 展示 Agent 因缺少依赖上下文导致工具调用顺序颠倒的典型错误链路。 subgraph ExecutionGraph["Agent 执行分支与调用轨迹"] Start["接收用户指令"] --> Decision{"LLM 路由决策"} Decision -->|"正确分支"| PathGood["步骤 A: 获取数据"] PathGood --> PathGood2["步骤 B: 计算处理"] PathGood2 --> Success["评估信号:高质量输出"] Decision -->|"错误分支 (无序调用)"| ToolB["调用工具 B (依赖 A)"] ToolB -.->|"依赖缺失 / 报错"| ToolA["补调工具 A"] ToolA --> Failure["评估信号:断崖式下跌"] end ``` 这种分布分析引出了“轨迹评估(Trajectory Evals)”的概念。在某些分支上,Agent 的输出质量可能极高,但在另一条分支上,提取到的评估信号却呈现断崖式下跌。通过追溯执行轨迹,开发者可以迅速定位根本原因(Root Cause)。Dat 举了一个生动的典型错误:Agent 先调用了工具 B,随后才调用工具 A,然而工具 B 明确依赖工具 A 的产出;导致该错误的原因并非代码逻辑崩溃,而是 LLM 自身的调度决策颠倒了时序。定位到这个根因后,工程师只需注入相应的上下文约束,提示模型“在执行 B 之前必须先完成 A”,即可消除缺陷。此外,实时可定制的监控分析看板(Analytics)同样必不可少,使企业能够全景监控 Agent 的运行指标。 “深入分析后的根因问题在于,这两个组件实际上调用颠倒了:在执行 A 之前先执行了 B,而 B 实际上对 A 存在依赖。”Dat 解释道。 --- ### [06:20](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=380s) 评估信号的五种风味与跨职能协作 建立起完善的可观测性之后,下一步则是构建能够评估系统优劣的“信号系统”。Dat 将系统信号总结为“五种风味(Five Flavors of Signal)”: 1. **LLM as a Judge(大模型作为裁判)**:概念虽然直观,但在工程实践中调校与落地极为复杂; 2. **人类反馈(Human Feedback)**:包括终端真实用户与标注人员的反馈,无论对技术人员还是产品经理而言都极具价值; 3. **黄金数据集(Golden Datasets)**:由深谙业务的领域专家标注的高置信数据,可作为基准来对齐和调校 LLM 裁判的判别能力; 4. **确定性/逻辑检查(Deterministic Checks)**:无需每次都调用高成本的模型或人工,例如针对 JSON 输出的语法合法性、Schema 匹配度以及非空字段校验; 5. **业务指标(Business Metrics)**:所有 AI 系统的终极归宿只有三件事——增加收入、降低成本、节省时间。 | 信号类型 | 典型场景 / 检查手段 | 成本与特性 | |:--- |:--- |:--- | | **LLM as a Judge** | 针对复杂开放式回答的语义、语气与逻辑打分 | 调用成本中等;需用黄金数据集持续对齐校准 | | **人类反馈 (Human)** | 终端用户点赞/点踩、标注员定性审计 | 成本最高、延迟最高,但置信度与定性价值极强 | | **黄金数据集 (Golden)** | 领域专家标注的高质量基准数据 | 核心资产,用作模型与 LLM 裁判的校准靶标 | | **确定性检查 (Deterministic)** | JSON Schema 验证、字段非空校验、格式正则匹配 | 成本极低、执行零延迟、判断绝对客观 | | **业务指标 (Business)** | 转化率、人效提升比、API 成本与工单处理时长 | 衡量系统商业成败的最终北极星指标 | Dat 指出,优秀 AI 产品的打造必然依赖技术人员(AI 工程师、底层开发者)与非技术人员(领域专家 SME、产品经理)的高效协同。工程师擅长系统搭建、自动化与框架设计;而领域专家则掌握什么是优秀的用户体验,熟知业务语义和评测标准。一个优秀的平台必须支持这两类人群:既允许工程师通过代码和 SDK 编程式定义与注入 Evaluator,也允许业务人员在图形界面中选择基础模型、调用内置模板或自定义配置评测逻辑。 “因为你希望擅长写代码的人专注于写代码,而让懂得业务领域的人专注于深耕该领域。”Dat 总结道。 ### [10:00](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=600s) 评测的颗粒度与广度:从单一 Span 到会话级状态机 Dat Ngo 探讨了在面对复杂智能体(Agent)系统时如何落地 Eval(评测)。开发者构建的应用或智能体测试框架(Harness)通常包含许多组件,这些组件的调用既可能是确定性的,也可能是非确定性的。评测并非千篇一律,它有不同的范围(Scope)和深度。最基本的层级是单 Span(Single Span)评测,即只关注单次 LLM 调用的单组输入和输出,这是绝大多数开发者最容易理解、也最直接的形式。 ```mermaid flowchart TD accTitle: Eval 评测范围与层级 accDescr: 展示从单 Span、多 Span、轨迹评测到会话评测的不同作用域。 subgraph Granular ["细粒度组件层"] S["单 Span 评测 (Single Span)<br/>评估单次 LLM 调用的输入与输出"] M["多 Span 评测 (Multi-Span)<br/>跨组件数据流转与协作评估"] end subgraph Macro ["宏观全局层"] T["轨迹评测 (Trajectory)<br/>业务流程执行路径与拓扑"] SES["会话级评测 (Session)<br/>端到端状态机与用户体验"] end S --> M M --> T T --> SES ``` 更复杂的系统则需要跨越多个层级来评测。多 Span(Multi-Span)评测需要聚合系统中多个不同组件的数据,例如衡量多个智能体之间相互传递数据的有效性;轨迹评测(Trajectory Eval)则放眼于执行路径上的所有 Span,检查智能体是否沿着正确的逻辑轨迹完成了业务流程;而最高维度的会话级评测(Session-Level Eval)则是对整个状态机进行宏观审视,去回答“在这段对话中用户是否感到沮丧?”或“我们是否回答了用户提出的所有问题?”。Dat Ngo 提醒开发者,评测并不是越穷尽越好,因为每次评测都伴随着直接的调用成本和算力开销。正如 Dat Ngo 所警告的那样:“And just because you can't eval something doesn't mean you always should. It's not this exhaustive thing. You want to see like, hey, what are the minimal set of evals I can get away with to understand signal of like, is my application working as intended because there's a cost associated with this stuff, right?” - **单 Span 评测(Single Span Eval)**:针对最细颗粒度的单元,仅抓取和校验单次 LLM 调用的 Input/Output 质量。 - **多 Span 评测(Multi-Span Eval)**:跨越多个组件抽样数据,用于审计 Agent 之间的数据通信与协作。 - **轨迹评测(Trajectory Eval)**:统揽执行流的所有步骤,判定工具调用顺序与业务步骤是否符合预期拓扑。 - **会话级评测(Session Level Eval)**:评估端到端的状态机演进,检测全局上下文中的情绪波动、意图达成度及体验痛点。 --- ### [12:15](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=735s) 实验与改进飞轮:通过自动化告别仪表盘 在厘清可观测性与评测后,Dat Ngo 将话题转向实验(Experimentation)与迭代改进。优化的源头可以来自 Trace(分布式调用链),开发者可以从中筛选出表现差劲、存在缺失的 Bad Cases 汇聚成数据集;没有 Trace 的团队也可以直接上传包含输入输出配对的表格数据集。所谓的实验,本质上就是对智能体或测试框架引入变更——包括修改 Prompt、替换基础模型、调整编排编排逻辑(Orchestration)或改动系统配置。Arize 既支持在 UI 中可视化比对这些改动,也支持通过代码进行编程式测试。 然而,软件行业正在发生深刻的压缩与变革。Dat Ngo 直言,未来的开发者根本不想整天盯着复杂的仪表盘去手动点按各种配置按钮。为了顺应工程师使用 Claude Code、Codex 等 AI 编码工具的习惯,Arize 将所有核心原语都封装到了 CLI 以及专属的工具集(Tools & Skills)中,使得外部的 Coding Agent 能够直接操作可观测性平台。更进一步,Arize 系统内部集成了一个名为 Alex 的 AI 智能体,外部 Coding Agent 可以直接调取 Alex 的能力,让系统自主巡检应用问题。Dat Ngo 指出公司的长期目标绝不是让人停留在界面操作中:“So our ultimate goal as a company is actually to automate you out of this process. observability, evals, experimentation, and improvement.” - **实验变量维度**:包含 Prompt 变更、Model 切换、编排流拓扑调整(Orchestration)以及系统参数 Configuration 迭代。 - **开发者交互转型**:从传统的 Web UI 点击转向面向 CLI、Agent Tools 与 Skills,支持代码助手直接调用监控链路。 - **自动化闭环**:内部 Agent “Alex” 与可观测性数据原生打通,具备任务规划与自动执行诊断的能力。 --- ### [15:00](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=900s) 愿景与产品矩阵:自动生成评测与开源 Phoenix Dat Ngo 描绘了可观测性的终极形态:开发者甚至不需要自己去绞尽脑汁设计评测指标。理想状态下,像 Alex 这样的 AI 助手拥有全局 Trace 上下文,它能够实时感知系统的异动,在后台主动且动态地为你生成适配的 Eval;一旦系统或代码发生变化,AI 就会自动补足新的评估规则。现场演示中,Alex 已经在后台自动展开工作,实时扫描并定位出了系统中的高延迟(High Latency)以及隐蔽的错误。 在产品落地层面,Arize 针对不同体量与阶段的团队提供了差异化的技术方案。对于崇尚 Engineering First 的工程师和开发者群体,Arize 提供了名为 Arize Phoenix 的开源产品。Phoenix 最大的优势在于极其轻量,它作为一个单容器(Single Container)运行,开发者可以直接在本地机器部署启动,无需搭建繁琐复杂的 Kubernetes 集群。而对于 Uber、Booking.com、Reddit 这类拥有庞大流量和企业级合规要求的超大型客户,平台则提供了 Arize 企业版(Arize AX)。Dat Ngo 调侃了团队对深色模式的偏爱,并最后表达了对整个可观测性生态“开箱即用、如魔法般流畅”的信心,坚信 AI 最终将彻底重塑工程监控与评估的形态。 - **动态生成评测**:“You shouldn't even have to choose your evals. An AI should have context of like, hey, here's the traces. Here's what's happening. Let me create evals on the fly and think about them for you.” - **Arize Phoenix(开源版)**:面向工程师群体的单容器极简部署方案,完全摆脱对 Kubernetes 的依赖,支持本地即刻拉起。 - **Arize 企业版(Arize AX)**:面向超大规模企业客户的企业级底座,支撑 Uber、Booking.com、Reddit 等核心业务场景。 ## Notable quotes > [02:30](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=150s) 代码根本无法审计智能体或测试 Harness,能够做到审计的,其实是遥测数据。 — Dat Ngo > [00:00](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=0s) 你觉得这像是魔法,但它不是魔法,这一切全都是工程。 — Dat Ngo > [06:20](https://www.youtube.com/watch?v=JsCCrBF7F1g&t=380s) 你希望擅长写代码的人专注于写代码,而让懂得业务领域的人专注于深耕该领域。 — Dat Ngo ## Mentioned Dat Ngo, Arize AI, OpenAI, OpenTelemetry, Anthropic, Arize AX, Arize Phoenix, Claude Code, Codex, Alex, Kubernetes, Uber, Booking.com, Reddit ## Video description Your agent called tool B before tool A, and B has a dependency on A. You did not catch it because nothing in your code audits agents. The telemetry does. Dat from Arize AI walks through what observability actually means when the system you are debugging is nondeterministic and the execution path changes with every run. The talk covers the five flavors of eval signal (LLM as judge, human feedback, golden datasets, deterministic checks, business metrics), what scope to run them at (single span, multispan, trajectory, session), and where this is heading. Arize Phoenix is open source, runs as a single container, no Kubernetes required. The enterprise product adds an AI layer called Alex that scans traces, surfaces high latency and errors, and creates evals automatically. The stated goal: automate you out of the observability loop entirely. Speaker info: - https://www.linkedin.com/in/datdarylngo/ - https://x.com/dat_attacked --- Watch along with the corrected transcript, summary, timestamps and resources on this talk's official AIE page: https://ai.engineer/talks/JsCCrBF7F1g-llm-observability-evaluation-experimentation-platform-dat-ngo-arize-ai Join our upcoming AI Engineer conferences (see https://ai.engineer landing page): - AIEi Shanghai, November 5–6 — the first for meeting top Chinese labs and engineers - AIE CODE in SF, November 10–12 — the top AI Coding conference returns - AIEi Sydney, December 7–8 — the first AIEi run alongside NeurIPS 2026 in Sydney --- [Source](https://www.youtube.com/watch?v=JsCCrBF7F1g)

Source quotes

[2:30] Dat Ngo: 代码根本无法审计智能体或测试 Harness,能够做到审计的,其实是遥测数据。 [0:00] Dat Ngo: 你觉得这像是魔法,但它不是魔法,这一切全都是工程。 [6:20] Dat Ngo: 你希望擅长写代码的人专注于写代码,而让懂得业务领域的人专注于深耕该领域。