AI Engineer
通用基准无法保障定制化应用质量,团队必须将运行时追踪与评测直接接入代码智能体以实现缺陷定位、验证与持续对抗退化。
AI-assisted summary of Let Your Agent Cook: Using Skills to Evaluate and Improve Your App — Ankur Duggal, Arize AI — original source. Check the original for full context.
Source published:
Key ideas
- Arize 演示了通过 CLI 与专用 Skills 将生产环境 Traces、评测指标和代码库聚合输入 Coding Agent(如 Claude Code),将原本长达数天的多步修复循环压缩至数分钟。 (6:03)
- 在针对线上出问题的金融 Agent 诊断中,Coding Agent 发现高达 44% 的交互输出为劣质总结,并精确定位出工具调用静默失败后模型开始捏造数据的连锁缺陷。 (16:03)
- 基于跨国股票查询的历史案例证明,单纯调整 Prompt 往往无法彻底解决非确定性故障,Coding Agent 通过排查 Trace 同步完成国家字段规范化与过时底层工具库升级,将测试通过率由 0% 提升至约 90%。 (19:19)
- 面对评估与打分开销问题,平台记录每一次评审模型(LLM Judge)调用的完整 Trace 与成本,支持按比例采样与指定业务模块评估,防止监控预算失控。 (30:21)
Detailed notes
## Background 本内容由频道 AI Engineer 于 2026 年 10 月 11 日发布在 YouTube 上。根据页面介绍,Arize AI 的 Ankur Duggal 在演讲中展示了一个存在严重缺陷的金融 Agent,并通过 Arize 的 CLI 与 Skills 将失败追踪(Traces)接入本地编码 Agent,由其自主调查链路、修改应用代码并运行实验验证修复。
## TL;DR 演讲直面业界普遍依赖“直觉(Vibes)”交付 Agent 且缺乏可信评测的痛点,指出 Agent 的非确定性必须依赖全链路 Trace 进行黑盒观测。Duggal 演示了如何将 Arize Traces、评测指标与本地代码库统一接入 Claude Code 等编程智能体,自动定位数值无依据、胡编乱造和静默失败等深层缺陷。通过 Skills 驱动生成测试集与拉起对比实验,Agent 实现了从定位缺陷到升级工具版本、提升跨国股票查询成功率的端到端修复。最后他强调,开发者必须进行人工复核以防止模型陷入单纯的 Linting 陷阱,并针对特定业务场景定制评测标准,而非盲从通用 Benchmark。
## Atmosphere & style 现场氛围务实、风趣且互动感极强。Duggal 以关于“凭感觉交付”的举手调查幽默开场,迅速引发全场工程师的真实共鸣,随后在浏览器和终端之间穿梭开展高密度的现场实操。面对长达十余分钟的后台实验与模型分析,他从容穿插深度技术答疑与实操经验分享,将原本枯燥冗长的调试流程化作了一场充满说服力且坦诚的系统重构示范。
## Bulletin - [06:03](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=363s) Arize 演示了通过 CLI 与专用 Skills 将生产环境 Traces、评测指标和代码库聚合输入 Coding Agent(如 Claude Code),将原本长达数天的多步修复循环压缩至数分钟。 - [16:03](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=963s) 在针对线上出问题的金融 Agent 诊断中,Coding Agent 发现高达 44% 的交互输出为劣质总结,并精确定位出工具调用静默失败后模型开始捏造数据的连锁缺陷。 - [19:19](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=1159s) 基于跨国股票查询的历史案例证明,单纯调整 Prompt 往往无法彻底解决非确定性故障,Coding Agent 通过排查 Trace 同步完成国家字段规范化与过时底层工具库升级,将测试通过率由 0% 提升至约 90%。 - [30:21](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=1821s) 面对评估与打分开销问题,平台记录每一次评审模型(LLM Judge)调用的完整 Trace 与成本,支持按比例采样与指定业务模块评估,防止监控预算失控。
## Key takeaways - [00:12](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=12s) 非确定性 Agent 系统难以仅靠人工肉眼直觉(Vibes)维持长期稳定性,生产环境必须依赖可量化且具备信任度的评估体系。 - [01:58](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=118s) Trace 是穿透 Agent 黑盒决策的关键,能暴露诸如调用错误工具但生成表面通顺回答等极其隐蔽的逻辑缺陷。 - [04:15](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=255s) 传统 Agent 优化需要跨越收集样本、归因、写评估器、改代码、跑实验等 8 个繁重步骤,极度依赖人工串联,耗时数天。 - [06:03](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=363s) 将 Arize Traces、评估结果、人工标注、APM 监控与本地代码库统一输入 Coding Agent,可使自动化诊断与代码重构形成闭环。 - [07:27](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=447s) 通过 CLI 和 Skills 扩展,Coding Agent 可在终端内一站式完成埋点注入、Trace 提取、数据集生成与回测实验拉起。 - [09:17](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=557s) 金融 Agent 在缺乏用户财务背景与合规资质的情况下草率给出投资建议,凸显出缺乏前置事实校验和反问护栏的系统性问题。 - [13:19](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=799s) 多 Agent 架构的 Trace 拓扑直观展现了 Supervisor 与专有数据 Agent 间复杂的任务拆解及工具调用链条。 - [16:03](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=963s) 工具端伪装成功的“静默失败”常会诱导模型端凭空捏造虚假财务指标,必须针对失败 Trace 建立专属数值依据评估器。 - [19:19](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=1159s) 修复跨国股票查询缺陷的实践表明,仅更新上下文不足以修复问题,必须同时驱动 Coding Agent 升级底层依赖工具。 - [22:23](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=1343s) 实验与评估支持在本地机器或云端执行,评估端建议采用顶尖模型作为裁判把关质量,即使生产端为了成本使用轻量模型。 - [26:35](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=1595s) 给 Coding Agent 注入运行时 Trace 证据链,能有效防止其避重就轻地陷入无意义的代码规范与 Linting 修复死循环。 - [26:13](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=1573s) 随着底层大模型静默升级或用户提问分布漂移,系统面临退化风险,常态化持续评估是防止性能滑坡的安全底线。 - [30:21](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=1821s) 针对 LLM-as-a-judge 带来的额外开销,系统通过 Trace 追踪单次调用费用,并依托抽样过滤机制控制总体评测成本。 - [31:28](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=1888s) 智能体自动化修复并非魔法,人类工程师应作为守门人在全流程末端进行最终代码审核,防范潜在的功能回退。 - [33:19](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=1999s) 通用 Benchmark 只能衡量模型的宏观泛化能力,打造专有业务 Agent 必须依据具体的业务失败模式定制专属评估器。
## Detailed walkthrough ### [00:12](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=12s) 从凭感觉(Vibes)交付到受信任的评估体系
Ankur Duggal 在开场时幽默地澄清,讲座主题虽然叫“Let Your Agent Cook”(让你的 Agent 施展拳脚),但跟做饭毫无瓜葛。随后,他向台下做了一场互动式举手调研,询问在场有多少人目前是凭借“Vibes”(直觉/感觉)来交付上线 Agent 的。他解释说,“凭感觉交付”并不是一件坏事,大家都习惯于肉眼看看输入和输出、人工抽查几条回答,只要感觉它大体在做正确的事情就直接部署上线。现场相当比例的听众举起了手。
紧接着,Duggal 询问现场有多少人搭建了正式的评估流程,比如使用 LLM 作为裁判(LLM-as-a-judge)或基于代码的单元评估。举手的人数略有减少,但依然相当可观。然而,当他进一步问到“在搭建了 Eval 的人中,有多少人真正信任这些评测,认为其覆盖率足够完备、随时有信心继续向前推进交付”时,全场几乎没有人举手,只有孤零零的一只手举了起来。
Duggal 指出,这完全在预料之中,因为构建真正受信任的评估非常困难。不同于传统确定性的软件逻辑,Agent 的行为并非确定性,开发者很难事先界定到底需要度量哪些维度才能确保系统运作正常。凭借直觉(Vibes)起步固然不错,能帮助开发者快速搭起原型并确认基本效果,但绝不能靠感觉来支撑生产环境的长期运维。一旦进入生产环境,如果没有量化且具体的 Eval 机制,根本无法察觉线上何时发生故障、究竟坏在哪里,更谈不上如何直接修复。
> “It’s very hard to really trust your evals because they’re hard to build. You don’t really know what you’re looking for. It’s not a deterministic use case.” —— Ankur Duggal
- **调研梯次结果**:大量开发者依赖肉眼审查输出(Vibes)交付;少数团队落地了 LLM 评测或代码评估;几乎没有团队敢百分之百信任自己的评测覆盖率能保证线上质量。 - **核心矛盾**:非确定性系统的行为空间巨大,仅靠输出样本的“感觉良好”无法作为生产级系统可靠性的依据。
---
[01:58](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=118s) Trace 观测:揭示 Agent 黑盒中的真实决策过程
Duggal 退后一步强调,要想建立可靠的评估,必须先看评估的底层基石——调用链路追踪(Traces)。在传统软件工程中,应用性能监控(APM)已经非常成熟,排查故障之所以简单,是因为代码执行流是完全确定性的。例如一个 `handleSubmit` 方法,代码一步步检查数据是否合法,校验不通过就报错,校验通过就进入下一流程,排查人员顺着调用栈即可迅速定位异常点。
但在构建 Agent 时,整个业务逻辑在代码层往往被浓缩成极简的一句:`agent.run(query)`。后续究竟会发生什么完全是黑盒:模型会调用什么工具?会在内部做几轮思考?会进行怎样的逻辑推导?它的下一步动作是什么?在没有 Trace 的情况下,开发者对 Agent 的真实行为一无所知。
为了说明 Trace 的价值,Duggal 举了一个线上售后案例:用户提问“我应该收到退款的,我的退款在哪里?”(Where's my refund?)。Agent 在后台调用了 `tool.get_order_status`(获取订单状态),并依据返回结果告知用户“您的退款已发起”。然而用户早已知道退款发起的状态,用户真正想要了解的是“退款为什么迟迟没有到账”。Agent 表面上给出了通顺的回答,但在链路层面调用了错误的工具,完全偏离了用户诉求。如果没有端到端的 Trace 捕获 LLM 交互、文档检索和工具调用的具体步骤,这种隐蔽的故障在线上根本无法被诊断。
```mermaid flowchart TD accTitle: Agent 链路执行与错误工具调用对比 accDescr: 展示用户输入经过 Agent 黑盒后调用了错误的查询工具并返回非预期解答的过程
User["用户提问: '我的退款在哪里?'"] --> AgentCall["agent.run(query)"]
subgraph ExecutionTrace["执行链路 Trace 观测"] AgentCall --> LLM["LLM 决策与内部思考"] LLM --> WrongTool["错误调用: tool.get_order_status"] WrongTool --> Context["获取数据: 状态显示已发起退款"] end
Context --> BadReply["回复用户: '您的退款已发起'"] BadReply -.-> MissTarget["缺陷: 用户已知此状态,实际需排查退款未到账原因"] ```
> “In an agent, unfortunately, with your code, really all you have is that one line of code, which is just going to be agent.run and then the query. And ultimately, what it’s going to do is kind of up to it.” —— Ankur Duggal
---
[04:15](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=255s) 优化 Agent 的传统八步闭环及其瓶颈
基于 Trace 发现问题后,开发者通常需要经历一套冗长而繁重的持续改进循环。Duggal 将这一传统修复流程拆解为一系列必须由人工反复推进的步骤:
首先是在生产环境中发现异常(例如识别出上述工具调用错误);接下来不能仅凭孤例修改,必须在线上收集足够规模的失败样本,构建用于回测和迭代的黄金数据集;随后进入根因分析——虽然定位到了工具调用失败,但根本原因究竟是 Prompt 引导不够清晰?还是缺少前置护栏(Guardrails)?抑或是工具本身的入参定义和内部实现有 Bug?
确认原因后,开发者需要为该场景专门编写 Evaluator(例如针对数据泄露设置护栏,并编写对应的评估器来验证护栏是否拦截成功);之后在本地修改代码或 Prompt;针对此前收集的数据集运行实验;对比评估指标,最后才重新发布到生产环境。一旦线上遇到新问题,整个循环又得从头再来一遍。这一整套多达八个环节的闭环极度依赖人工串联,跨越不同的平台与工具,排查与迭代周期往往长达数小时甚至数天。
> “Now, this is your standard go-to process for actually improving your agent. It’s pretty long, pretty manual, and pretty tedious.” —— Ankur Duggal
- **传统改进闭环阶段**: 1. 识别生产环境故障(生产 Traces); 2. 提取并清洗失败样本,沉淀为测试数据集; 3. 深入归因(Prompt、Guardrail、模型还是工具缺陷); 4. 编写针对性的 Evaluator 评估规则; 5. 修改系统代码、Prompt 或配置; 6. 针对数据集运行离线实验验证; 7. 审查评估指标变化并发布部署; 8. 生产环境持续监控并开始下一轮循环。
---
[06:03](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=363s) 统一上下文:将 Traces、Evaluations 与 Coding Agent 结合
为了打破耗时数天的手动调试循环,Duggal 提出了一种全新范式:把生产环境中分散在各处的数据源全部聚合,直接喂给本地的编码智能体(Coding Agent,如 Claude Code、Cursor 或 Codex),将耗时数天的全流程压缩到几分钟之内。
这个统一工作空间所整合的数据源包括: 1. **Arize Traces**:完整的 Agent 运行时轨迹,记录每一个 LLM 决策、思考过程与工具调用; 2. **Evaluations(评测结果)**:自动指明系统在哪些指标、哪一个环节发生了失败; 3. **人工标注(Human Annotations)**:领域专家针对坏用例给出的修正意见与预期行为说明; 4. **系统级 APM Traces**:底层服务健康度与基础网络状态数据; 5. **本地代码库(Codebase)**:实际存放 Agent 逻辑、提示词模板和工具定义的工程源码。
通过将这五大上下文无缝接入 Coding Agent,编码智能体能够自动将失败的 Trace 映射到具体的源码路径上,自行判断是需要修改 Prompt、调整调用分支,还是重构工具实现。这让开发者从“跨系统搬运日志和人工归因”的体力劳动中彻底解脱出来。
```mermaid flowchart LR accTitle: 统一上下文驱动的 Coding Agent 架构 accDescr: 展示 Arize 追踪、评测数据、人工标注、APM 和本地代码汇入 Coding Agent 的拓扑结构
subgraph ObservabilityData["可观测性与反馈数据"] T["Arize Traces (运行轨迹)"] E["Evaluations (评估结果)"] A["Human Annotations (专家标注)"] M["APM Traces (系统监控)"] end
subgraph LocalContext["本地开发环境"] C["本地 Codebase (源码/Prompt)"] end
ObservabilityData --> AgentEnv["Coding Agent (Claude Code / Cursor / Codex)"] LocalContext --> AgentEnv AgentEnv --> Fix["自动分析失败 -> 生成修复 -> 运行评测闭环"] ```
> “We want to pull all of that together and bring it into minutes... you can connect all that data into, and it can automatically do all of that work for you.” —— Ankur Duggal
---
[07:27](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=447s) 通过 CLI 与 Skills 赋予 Coding Agent 全套工具链
将上述庞杂数据串联起来的接口并非复杂的定制系统,而是通过轻量级的 CLI 与技能(Skills)体系实现的。Duggal 指出,用户只需通过几个简单的配置步骤,即可在本地为 Coding Agent 安装 Arize 相关的 CLI 和扩展能力。
一旦配置完毕,Coding Agent 即可通过 Skills 获得强大的操作权限: - **代码埋点(Instrumentation)**:自动为本地应用注入追踪逻辑,把 Agent 执行轨迹发送到监控平台; - **提取追踪(Trace Pulling)**:直接从生产平台拉取失败请求的完整 Spans 细节与上下文; - **构建测试集(Dataset Generation)**:将线上归纳出的异常样本自动转化为可复用的测试数据集; - **执行实验与评估(Experiments & Evals)**:在本地修改完代码后,自动拉起评测器运行对比实验,评估改动效果。
整个排障、重构、验证和迭代的动作,都无需离开编码终端。
---
[08:06](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=486s) 案例引入:一个草率给出财务建议的金融 Agent
在演示环节,Duggal 展示了一个出问题的金融 Agent 案例,并邀请台下听众共同诊断。在该场景中,测试者向该金融 Agent 提问:“我是否应该投资这家公司?”(具体标的为 Tata Motors,塔塔汽车)。Agent 经过一番内部交互后,直接给出了肯定答复:“是的,你应该投资。”
Duggal 笑着提醒道,自己并没有提供任何财务建议的合法资质,这个 Agent 同样没有任何投顾牌照,这种直接给投资结论的回答极具法律风险,是绝对不能上线的缺陷行为。随后他向现场征求意见:“大家觉得这个 Agent 到底错在哪里?”
台下一位观众指出,Agent 在给出确定性建议之前,应该反问用户更多问题,收集更加完备的背景信息(例如用户的风险承受能力、投资周期、资金规模等)。另一位观众也给出了高度相似的判断,认为在输出推荐之前必须掌握更多上下文和细节。Duggal 赞同了观众的直觉推断,但也随即抛出了更深层的工程疑问:既然大家都知道它“应该提问更多问题、搜集更多背景”,那么我们在工程实现上,究竟应该改动 Prompt、重写工具,还是在编排层加控制?这正是必须深入底层 Trace 才能解答的问题。
> “I’m not registered to give any financial advice, nor is this agent, and I don’t want to get in legal trouble.” —— Ankur Duggal
[09:17](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=557s) 存在缺陷的金融 Agent 与现场互动诊断
在审视这个金融 Agent 的输出时,现场观众指出了缺乏校验与事实基准(ground truth)的核心硬伤——没有任何机制来证明给出的答案究竟是对是错。面对台下观众提出的“Agent 是否了解用户的财务背景”这一疑问,演讲者确认该 Agent 完全掌握不到用户的资产状况、风险承受力或投资偏好。这种现状暴露出多重设计漏洞:它既没有主动追问用户以获取关键上下文,也没有设置任何合规护栏(guardrails)来拦截无资质的财务建议。
面对这样一个充满不确定性的系统,演讲者坦率承认现实工程中并不存在立竿见影的单一标准答案。为了彻底摆脱“只凭感觉调试”的困境,他当场启动了一场端到端的手动与自动诊断演示,准备通过命令行工具(CLI)和 Agent 技能(Skills),让代码智能体(Coding Agent)接管分析与修复工作。
> “And I genuinely don't even know what the right answer is to this because this agent is still messed up right now.” —— Ankur Duggal
- 核心痛点:系统无验证机制(Validation),无法对比事实基准以确认输出准确性。 - 业务盲区:Agent 在完全不了解用户财务背景的前提下直接给出个股投资意见。 - 潜在修复方向:增加反问收集上下文的 Prompt 逻辑、配置特定问题的响应护栏,防止违规提供财务建议。
---
[11:05](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=665s) 配置 CLI Profile 与安装 Skills
演示正式进入实操配置阶段。为了让本地的 Coding Agent(本次演示使用的是 Claude Code)能够顺畅调取云端的全链路追踪、评测(Evaluations)及人工标注(Annotations),需要完成底层通道的架设。首先是在终端中一键安装 Arize CLI,随后创建一个专属 Profile,建立本地开发环境与 Arize 平台上存储的追踪数据之间的安全通信链接。
在接入扩展能力方面,演讲者通过 Claude Code 的插件市场(Marketplace)将 Arize Skills 挂载进 Coding Agent 中。现场演示时,为了避免在每次工具调用时反复手动确认权限,演讲者开启了危险跳过权限(`--dangerously-skip-permissions`)参数,并专门向观众强调这纯粹是为了演示流畅性而做的妥协,在严谨的生产环境中切勿模仿这种不良工程实践。随后,他向 Claude 下发指令:利用刚刚装配的 Arize Skill,拉取目标金融 Agent 历史运行中的全部 Trace,并结合现存的评测与标注结果挖掘隐蔽缺陷。
```mermaid flowchart TD accTitle: Arize CLI and Skills Architecture accDescr: Coding Agent through Arize CLI and Skills to inspect traces and run experiments
subgraph LocalWorkspace["本地工作区 (Local Workspace)"] CA["Coding Agent (Claude Code)"] CLI["Arize CLI / Profile"] CA -->|"调用 Skills"| CLI end
subgraph ArizePlatform["Arize 云端平台"] Traces["全链路 Traces (Spans)"] Evals["历史评测与标注数据"] Datasets["基准测试数据集 (Datasets)"] end
CLI -->|"拉取 Trace 与 Eval 数据"| ArizePlatform ArizePlatform -->|"返回诊断上下文"| CA CA -->|"构建评测与触发实验"| ArizePlatform ```
- CLI 安装与配置:单行命令快速安装,通过 Profile 绑定 Arize 数据存储端点。 - 技能集成路径:通过 Claude Code Marketplace 安装专用 Arize Skills,让大模型获得直接操作追踪平台的能力。 - 安全提示:演示中使用了 `--dangerously-skip-permissions` 参数绕过交互授权,生产场景应保留人工确认机制。
---
[13:19](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=799s) 拆解 Supervisor 与 Specialist 的 Trace 拓扑
在本地 Coding Agent 深入扫描海量日志的同时,演讲者在浏览器端重现了一次典型的用户查询:“告诉我现在是否应该投资英伟达(NVIDIA)?”借助平台的可视化 Trace 链路,可以清晰解构多 Agent 协作架构在幕后的真实流转。系统并非单一的大模型端到端输出,而是先由主管 Agent(Supervisor Agent)拆解意图,再将金融指标计算派发给专门的金融数据 Agent(Financial Data Agent),期间交织着多轮 LLM 调用与外部工具(Tool Calls)的串行或并行执行。
在等待 Claude 运算分析的空档,针对台下关于“CLI 如何与后端交互”的提问,演讲者详细阐述了技能的工作原理。Coding Agent 获取 Skill 后,本质上获得了对底层 CLI 的调用句柄。它既能根据需要批量把 Span 和 Trace 数据本地化下载以供深度分词分析,也可以直接通过 API 触发云端操作——包括检索数据集、在平台上自动注册监控 Evaluator、甚至远程拉起实验矩阵(Experiments)。
> “So you can monitor continuously monitor when your agents are failing, build out data sets, run experiments. It can basically do anything that you that you would be able to do in the platform.” —— Ankur Duggal
- 拓扑层级:Supervisor Agent 接收用户输入,负责决策与分发;Financial Data Agent 执行细分计算与外部调用。 - 数据交互方式:Skill 驱动底层 CLI,通过本地拉取分析与云端 API 交互双轨运行。 - 平台等价能力:Coding Agent 拥有与人类工程师使用 Web UI 同等的操作权限,能够自主建立 Eval 监控和回测任务。
---
[16:03](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=963s) 定位数值无依据、胡编乱造与静默故障
Claude Code 跑完了第一轮分析并给出了令人震惊的诊断摘要:该金融 Agent 的交互中,竟有高达 **44%** 的输出被既有评测判定为“劣质总结”(Bad Summary)。更严峻的是,系统中充斥着严重的“数值无依据”(Numeric Groundedness)与无中生有的“编造事实”(Fabricated Answers)。同时,Trace 还揭示了大量的冗余工具调用(Redundant Tool Calls),在空耗 API 额度与计算资源的同时大幅拉长了响应延迟。
在进一步的归因中,Claude 发现了一个极为隐蔽的连锁故障:工具调用的“静默失败”(Silent Failures)。工具在返回时标记为执行成功,实际上却没有交出任何真实数据;而 Agent 遇到空返回不仅没有报错或向用户澄清情况,反而在 Prompt 机制诱导下直接开始大肆幻觉(Hallucinate),凭空捏造财务指标。为了从根源阻断该问题,演讲者当即通过指令让 Coding Agent 结合 `arize-dataset-skill`、`arize-evaluator-skill` 和 `arize-experiment-skill`,专门针对产生静默失败的 Span 样本集构建两项专属评测器,并直接拉起对比实验。
> “One of the biggest alarming things right out of the gate is about 44% of our agent interactions are resulting in a bad summary.” —— Ankur Duggal
- 核心劣化指标:44% 的交互生成低质总结;伴随高频的虚假信息编造与数值幻觉。 - 系统性缺陷:工具端存在“静默失败”掩盖异常,模型端存在“因失败而直接胡编”的不良模式,同时包含大量重叠的无效 Tool Calls。 - 闭环修复策略:联动数据集技能(Dataset Skill)、评估器技能(Evaluator Skill)和实验技能(Experiment Skill),以失败 Trace 为测试集针对性加固数值依据校验。
[19:19](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=1159s) 国际股票查询缺陷与三轮代码迭代
Ankur Duggal 向编码 Agent 下达了指令,要求它针对之前发现的缺陷直接修改代码并运行实验验证:“I'm just telling it go ahead and make the changes that you recommended as well as go ahead and run these experiments for us.” 这样就能直接把新代码与原本失败的用例进行对照,确保修复后能够顺利通过。由于 Agent 执行代码修改、测试和评估需要一定时间,为了避免现场冷场,Duggal 幽默地解释道:“while we want to let it cook I don't want to have you guys staring at a screen where Claude's just discombobulating or whatever it does in its free time.” 随后,他切入此前已经跑通的一个完整案例进行剖析。
这个案例针对的是跨国股票查询需求。在实际使用中,用户经常询问非美国本土的股票(比如韩国、日本或中国的市场),希望横向对比不同市场的股票表现。然而,系统最初完全不支持非美股标的,遇到韩国股票的查询就会全面崩溃。Claude Code 接收到任务后,在 Traces 中定位到了该问题存在的所有场景,据此自动构建了一个专门的测试数据集,并开展了三轮实验与修复:
1. **基线版本(Baseline)**:即存在 Bug 的原始版本,在生产环境提取的数据集上测试通过率为 0%。 2. **第一轮修复**:Agent 尝试在请求中规范化并加入国家名称字段,但测试依然失败。原因在于底层调用的外部工具本身已经过时,必须升级到稳定的新版本接口。 3. **第二轮修复**:Agent 进一步更新了底层工具的依赖版本,最终将测试成功率提升至约 90%。
Duggal 指出,尽管 90% 依然不是绝对完美的 100%,仍有继续改进的空间,但这已经让系统从完全不可用演进到了高度可用的状态,完整展示了从“发现问题”到“验证修复”的闭环。
```mermaid flowchart TD accTitle: 跨国股票查询的迭代修复流程 accDescr: 展示从生产环境 Trace 定位缺陷到多轮修复提升成功率至 90% 的过程
subgraph Problem["缺陷定位与数据集构建"] A["生产 Trace 报错<br/>(非美股查询失败)"] --> B["Claude Code 过滤提取用例<br/>(主要集中于韩国市场)"] B --> C["构建专用评估数据集"] end
subgraph Iterations["三轮实验迭代"] C --> D["Baseline 基线版本<br/>(0% 通过率)"] D --> E["迭代 1: 规范化国家名称<br/>(失败: 工具版本过时)"] E --> F["迭代 2: 升级工具并更新代码<br/>(成功率跃升至约 90%)"] end ```
[22:23](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=1343s) 实验执行环境与裁判模型(LLM as a Judge)的选择
现场进入互动问答环节。首位观众提问:这些实验和评估具体是在哪里运行的?Duggal 解释,运行环境具有很高的自由度。在他演示的配置中,实验代码直接在本地机器上运行(这也是绝大多数开发者的日常模式),但团队也可以根据需要将其部署在云端服务器。生成的评估指标与结果则回传并运行在 Arize 平台上。在本次演示中,Claude 自动在平台上构建了两种评估器(Evaluator):一种是基于纯代码逻辑的,另一种是 LLM as a Judge。由于代码评估器在初期数据集格式适配时出现了一些偏差,最终系统主要依赖 LLM as a Judge 进行语义打分,通过特定的 Judge Prompt 判定 Agent 在各步骤的表现是否符合预期。
紧接着有观众询问如何选择评估所用的模型。Duggal 强调,评估体系支持完全自定义,团队可以接入任何主流模型供应商,甚至包括本地部署的开源模型。在实际工程实践中,开发团队往往兵分两路:一部分团队倾向于选用更轻量、成本更低的模型来压低评测开支;而另一部分团队则坚持在评估环节使用业界最顶尖的模型。Duggal 解释道:“ultimately they know their agent's only going to be as good as their evals so they use the highest end models for their evals even if they're not necessarily using those in production.” 即使生产端出于延迟和成本考虑使用了较小的模型,评估端也应采用能力上限更高的模型来把关质量。
- **实验执行位置**:支持开发者本地机器或云端环境执行应用代码。 - **评估器类型**:包括基于规则的代码评估器与 LLM as a Judge,后者由 Agent 自动生成 Prompt 并接入 Arize 平台。 - **模型生态灵活性**:解耦生产模型与评测模型,支持 OpenAI、Anthropic 以及本地开源模型随意切换。
[24:37](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=1477s) Trace 上下文优势与 Phoenix 开源生态
现场观众提出疑问:如果专门启动一个小型 Agent 来修改 Bug,Arize 这套机制相比之下有什么核心优势?Duggal 明确指出,核心价值在于通过 Skill 为 Coding Agent 注入了完整的 Trace 运行时上下文。常规的辅助编程往往只能根据单薄的报错输出盲目猜测,而这里的 Agent 拥有多维度的诊断数据:
> “You're not making those fixes just based on, hey, I know this is wrong and the output's incorrect. You're making those fixes based on, hey, I know this is wrong. Here's where it failed. Here's why it failed. Here's how we can go ahead and fix it.”
Agent 不仅能查看代码库本身,还能关联 APM 日志、Jira 工单,以及 Arize Trace 中记录的完整执行路径、模型在哪个环节做出错误判断、评估分数和人工标注。这使 Agent 能够像经验丰富的人类系统架构师一样进行根因分析。
随后,针对观众关于开源版 Phoenix 是否支持这些功能的提问,Duggal 确认 Phoenix 同样集成了相关 Skills 和 MCP(Model Context Protocol)支持,开发者完全可以使用 Phoenix 将 Trace 数据拉取到本地的编程 Agent 中。二者的区别在于,企业版额外提供了更为便捷的在线评估配置、高级报表看板以及更加完备的企业级治理功能。
[26:13](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=1573s) 摘要质量评估、动态退化与 Linting 陷阱
有观众对演示中出现的“Bad Summary(糟糕的摘要)”提出疑问:系统如何量化并判断一段摘要的好坏?如果直接在开发阶段把 Skill 或 Prompt 调优到位,是否就能省去繁琐的评估环节?Duggal 调出了对应的摘要评估器界面进行解释:该评估器会调取整个执行链路收集到的全部上下文,交叉比对摘要 Agent 是否准确引用了关键数据、是否直接回应了用户核心诉求。
针对“能否只靠前期写好 Prompt 而不跑评估”的疑问,Duggal 给出了严谨的技术解答:优化 Prompt、完善 Skills 确实是开发者的首要任务,但系统不可避免地会遭遇外部环境的变化。他指出:“You set up that skill, great, it works for the next two months, two months later because there's a model regression because people start asking questions in a different way. You end up getting different results and you don't want your performance to degrade because of that.” 随着底层大模型静默升级导致的能力退化、或用户提问分布的漂移,原本稳定的系统随时可能失效,而持续评估就是防止静默退化的安全网。
最后,一名观众指出了当前 Coding Agent 的常见痛点:在接入各种工具和 Trace 之后,很多 Agent(如 Claude Code 等)往往避重就轻,把大量精力消耗在代码格式化或 Linting 检查上,反而忽视了深层的逻辑缺陷。Duggal 对此深表赞同,并阐述了专门设计 Arize Skills 的初衷:这些 Skills 强制 Agent 将注意力聚焦在具体报错的 Trace 证据链上,使其清晰意识到问题并非出在代码风格上,而是发生在了调用了错误工具、参数解析失败等底层执行断点上,从而避免 Agent 陷入无效的 Linting 循环。
[29:52](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=1792s) 编码 Agent 的推理能力与 Linting 问题
在探讨编程智能体(Coding Agent)处理代码修复时的行为模式时,Ankur Duggal 回应了关于智能体是否容易被代码格式化或语法检查(linting)分散注意力的疑问。他解释道,现代编程智能体具备足够的推理能力,能够理解代码变更的根本原因,并不会仅仅因为代码格式规范(linting)的要求就盲目行动。正因如此,在配合专门的 Skills 使用时,这类无意义的格式修复行为在实际测试中鲜少发生。
Duggal 强调,工具与 Skills 的设计能有效引导 Agent 聚焦于高价值的逻辑与架构问题,而非陷入琐碎的语法噪音。
- 编程智能体具备较强的上下文推理能力,能明确辨识错误的核心起因与单纯 linting 报警的差异。 - 借助 Arize 提供的专用 Skills,Agent 能更稳定地将精力倾注在真正的缺陷修复上。
---
[30:21](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=1821s) 评估成本追踪与采样控制机制
现场观众提问系统是否能方便地了解运行评估(Evals)的成本。Duggal 对此给予了极其肯定的答复,指出在平台上运行评估最大的优势之一,就是能够获得评估执行过程的完整追踪历史(Trace History)。每一次调用评审模型(LLM Judge)的动作都会被系统如实记录,并在界面中直观地展示出所产生的精确开销数值。Duggal 提醒道:“当然,无论何时只要你在运行另一个大语言模型(LLM),都会带来额外的开销”,因此清楚掌握每一次评估的具体费用至关重要。
为了避免评估成本失控,无论是在图形界面中配置还是通过编码智能体下发指令,系统都支持设置基础的过滤与采样规则。例如,开发者可以强制限制评估仅针对特定比例的样本运行,而不必覆盖 100% 的追踪数据和调用。同时,评估也能被精确指定去针对某些特定组件或业务区域,从而在严密监控与经济成本之间取得最佳平衡。
```mermaid flowchart TD accTitle: Evaluation Cost and Sampling Flow accDescr: Shows traces passing through sampling filters into LLM judges, which log costs and traces into Arize.
subgraph Ingestion["追踪捕获与采样"] T["生产环境调用 Traces"] --> S{"采样与过滤策略"} S -->|"抽样比例 (如 10%)"| E["目标评估集"] S -->|"未选中样本"| B["旁路存储 (不调 Judge)"] end
subgraph EvalEngine["评审与监控"] E --> J["LLM Judge 评估"] J --> R["完整 Trace 历史记录"] J --> C["实时成本核算面板"] end ```
- 平台内提供完整的 Trace 历史,每一笔由评估引起的 LLM 调用都会附带清晰明确的成本(Cost)展示。 - 支持基于业务需求设定采样率(Sampling),防止在海量生产流量上盲目执行 100% 的评估调用。 - 可以在 Arize 平台界面或直接通过编码智能体指定评估重点关注的代码逻辑区域。
---
[31:28](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=1888s) 自动化闭环与人工兜底复核
在对全场分享进行梳理时,Duggal 为听众提炼出了一套核心逻辑。他直言不讳地指出:“这些 AI 智能体非常出色。它们基本上能做到你要求的一切,但它们绝对不是魔法。”诚如大家所担忧的那样,智能体确实有可能陷入琐碎的细节中,或者仅仅关注格式优化;但它们真正的不可替代之处,在于能够将从端到端的完整改进闭环实现彻底的自动化。
这个闭环涵盖了观测问题的起源、定位缺陷位置、将生产追踪数据拉取到本地环境进行深入剖析、构建复现数据集、编写出精确的补丁修复,以及在修改后再次执行测试以确保方案生效。Duggal 强调,在这套高强度自动化的流程末端,开发者应该扮演起“人工复核者(Manual Human)”的最后防线,亲自审查代码变更以确认智能体并没有偷懒只改动格式,确保所提方案是真正提升系统健壮性而非导致性能回退。在演示现场,前一次尝试发起的修复任务仍在后台执行,整个端到端过程耗时已超过 14 分钟,这也体现了深度推理与实验验证所消耗的时间成本。
```mermaid flowchart LR accTitle: Agent Automated Improvement Loop accDescr: End-to-end loop from observing issues to human review.
subgraph AutoLoop["智能体自动化执行闭环"] A["观测线上问题 (Observe)"] --> B["拉取 Traces 并定位缺陷"] B --> C["构建专用数据集 (Datasets)"] C --> D["生成针对性修复代码"] D --> E["运行自动化实验与测试"] end
E --> H["工程师人工审核 (Human Review)"] H -->|"防止 Regression 确认生效"| P["发布至生产环境"] ```
- 端到端闭环涵盖六大阶段:发现问题、拉取数据、定位根因、生成数据集、构建修复、实验检验。 - 强调人类工程师在最后环节的介入必要性:“最终你可以介入并充当那个进行人工审查的人,以确保它不仅仅是回滚去修改 linting 变更,并确认改动切实帮助改进了智能体,而没有引入性能倒退。” - 现场实时调试与评估任务通常涉及多步推理与执行,演示中一次深度的自动修复与评估迭代约耗时 14 分钟左右。
---
[33:19](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=1999s) 定制化评估与通用 Benchmark 的局限性
在最后的观众问答环节,有人询问系统是否主要依赖 Claude 等编码智能体来自行评判修复是否达标。Duggal 澄清说,团队完全可以让 Claude 独立设计全套评估,也可以由工程师手动定义指标,或者让人类设定核心标准后交由模型去补齐实现。在演示中展示的清晰指标表格,正是他和团队提前预设好的评估规则,覆盖了总结质量、智能体健康状况、工具调用是否正确等常见风险维度。而 Claude 的不可替代之处,在于它能够迅速查阅海量生产 Trace,挖掘出现实运行中隐蔽的失败模式,这是人类工程师在大规模流量下极难通过肉眼手动完成的。
当现场有人问起是否存在某种通用的 Benchmark 数据集或选型图表,以帮助判断哪些评测大模型既便宜又优质时,Duggal 直言这种标准“现实中并不存在”,台下随之发出一阵会心的轻笑。他给出了整场演讲中最关键的论断:“如果你打算使用开箱即用的评估标准来衡量你的智能体,你只会得到千篇一律的平庸结果;而当你在构建量身定制、专属于你业务的 AI 智能体时,这绝不是你想要的结果。”通用的基准测试只能体现一个模型宏观上的泛化能力,开发者必须深入自身的特定业务场景(无论是普通金融业务还是专有金融法律合规领域)进行细致分析,找到真正适配当前垂直应用的最优模型。Duggal 在热烈的掌声中向现场观众致谢并结束了本次演讲。
- 评估指标可以由团队手动构建或通过提示词驱动编码智能体编写,结合了工程经验与自动化提取的双重优势。 - 编码智能体最大的“超能力”在于能不知疲倦地解析真实生产 Trace,提炼出人类肉眼极易漏查的系统弱点。 - 拒绝盲从公开的标准化 Benchmark:“通用的基准测试固然不错,它们能告诉你‘这是一个优秀的 LLM’,但实际上你真正需要知道的是‘它对我来说是否是个优秀的 LLM’,而这必须针对你自己的业务用例进行深度定制。”
## Notable quotes > [33:19](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=1999s) 通用的基准测试固然不错,它们能告诉你‘这是一个优秀的 LLM’,但实际上你真正需要知道的是‘它对我来说是否是个优秀的 LLM’,而这必须针对你自己的业务用例进行深度定制。 — Ankur Duggal
> [33:19](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=1999s) 如果你打算使用开箱即用的评估标准来衡量你的智能体,你只会得到千篇一律的平庸结果;而当你在构建量身定制、专属于你业务的 AI 智能体时,这绝不是你想要的结果。 — Ankur Duggal
> [22:23](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=1343s) ultimately they know their agent's only going to be as good as their evals so they use the highest end models for their evals even if they're not necessarily using those in production. — Ankur Duggal
> [00:12](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=12s) It’s very hard to really trust your evals because they’re hard to build. You don’t really know what you’re looking for. It’s not a deterministic use case. — Ankur Duggal
> [31:28](https://www.youtube.com/watch?v=_zUp6y9bDU8&t=1888s) 这些 AI 智能体非常出色。它们基本上能做到你要求的一切,但它们绝对不是魔法。 — Ankur Duggal
## Mentioned Ankur Duggal, Arize AI, Claude Code, Cursor, Codex, Anthropic, OpenAI, Phoenix, Tata Motors, NVIDIA, Jira, MCP
## Video description A financial agent invents answers, repeats tool calls and produces summaries that its own evaluations flag as wrong. Ankur Duggal connects those failures to a coding agent through Arize's CLI and skills, then asks it to investigate traces, change the application and run experiments. The demo begins with an investment question that looks reasonable at the surface but lacks enough context to support its recommendation. Traces reveal the supervisor, specialist agents, model calls and tools underneath that answer. They turn a vague complaint about quality into evidence about the exact steps that failed.
Duggal sets up the CLI profile and skills, then shows the coding agent pulling spans and evaluation results into its local workspace. The investigation uncovers numeric grounding problems, fabricated responses, redundant searches and failures that the agent silently works around. An earlier experiment targets stock queries outside the United States: changing the country context alone is insufficient until the underlying tool is also updated. Dataset, evaluator and experiment skills make those proposed fixes testable rather than a collection of unverified edits. Questions cover local experiment execution, judge models, evaluation costs, sampling and the risk that a coding agent spends its effort on linting instead of the actual defect. The live repair is still running at the close. Duggal recommends human review of proposed changes and evaluations tailored to the application's failures, so later regressions can be detected as traffic and models change.
Speaker info: - https://github.com/Arize-ai/arize-skills
Timestamps: 0:00 - From vibes to trusted evaluations 1:58 - Traces reveal an agent's actual decisions 3:19 - A refund question and the wrong tool 4:15 - The improvement loop 6:03 - Bring traces, evaluations, and code together 7:27 - CLI and skills as the interface 8:06 - A flawed financial agent 11:05 - Set up a profile and install skills 13:19 - Inspect supervisor and specialist traces 16:03 - Grounding, fabrication, and silent failures 18:24 - Build evaluations and run experiments 20:05 - An earlier fix for international stock queries 22:23 - Where experiments and judges run 23:31 - Choose an evaluation model 24:37 - More context than the code alone 26:13 - What makes a summary good? 28:35 - Avoid focusing only on linting 30:21 - Evaluation costs and sampling 31:28 - Review the proposed changes 33:19 - Tailor evaluations to your application
---
Watch along with the corrected transcript, summary, timestamps and resources on this talk's official AIE page: https://ai.engineer/talks/_zUp6y9bDU8-youtube-4370c85de7d8cca2895b
Join our upcoming AI Engineer conferences (see https://ai.engineer landing page):
- AIEi Shanghai, November 5–6 — the first for meeting top Chinese labs and engineers - AIE CODE in SF, November 10–12 — the top AI Coding conference returns - AIEi Sydney, December 7–8 — the first AIEi run alongside NeurIPS 2026 in Sydney
---
[Source](https://www.youtube.com/watch?v=_zUp6y9bDU8)