LangChain
AI工程盲目依赖通用指标与LLM自动裁判导致评估失真,开发团队必须借助探索性数据分析和二元分类方法亲自深入真实数据。
AI-assisted summary of Getting Evals Right for LLM Applications | Interrupt 26 — original source. Check the original for full context.
Source published:
Key ideas
- 大模型应用的评估陷阱频发,核心根源在于工程实践丢弃了数据科学素养,退步至依赖盲目自评与开箱即用指标的“凭感觉(Vibes-based)”评估模式。 (1:27)
- 团队应将 LLM 裁判视为不完美的分类器,通过构建二元分类任务并切分 Train/Dev/Test 数据集,重点监控精确率与召回率等失衡分类指标以防止过拟合。 (6:04)
- 合成数据生成需避免单条 Prompt 泛化生成,应从真实调用链中提炼至少 3 个用户变异维度,采用属性笛卡尔积组合并配合严格的人工质检。 (8:26)
- 评估体系存在“标准漂移(Criteria Drift)”现象:人类在直面真实数据前无法准确预设评分准则,因此绝不可将标注完全外包或盲目依赖全自动化大模型裁判。 (12:00)
Detailed notes
## Background 本内容由 LangChain 官方频道于 2026 年 6 月 12 日发布在 YouTube 上,记录了在 Agent 开发者大会 Interrupt 26 上的主题演讲。演讲者 Shreya Shankar 与 Hamel Husain 结合他们面向数十家公司、超过 4500 名专业人员讲授评估课程的实战经验,系统剖析了 LLM 应用在评估(Evals)过程中最常见的五大误区,并阐明了为何需要用经典数据科学思维来解决这些工程痛点。
## TL;DR 演讲旗帜鲜明地提出当前 AI 工程正从严谨的数据科学退步为“凭感觉(Vibes-based)”评估,并指出保障自主 Agent 系统不脱轨的核心“束具(Harness)”本质上正是数据科学。主讲人详细拆解了五大典型误区:滥用模糊通用的开箱即用指标、盲目信任未经校验的 LLM 裁判、粗糙的实验设计与合成数据泛滥、任用缺乏业务背景的工程师打标(导致忽视标准漂移),以及试图过度自动化全盘托管给大模型。对应的破局之道在于回归数据科学的基本功——亲手深入查看真实 Trace、搭建内部标注界面、将打分任务收敛为明确的二元分类、像对待不完美分类器那样切分测试集并严密验证,并始终坚持让人类领域专家校准业务标准。
## Atmosphere & style 整场演讲节奏明快、直击要害,洋溢着资深从业者对业内浮躁现状的“爱之深、责之切”。Shreya Shankar 与 Hamel Husain 的配合默契流畅,既有严谨的学术洞察与实战数据支撑,又穿插着风趣犀利的行业梗图与真实吐槽。现场氛围既像是一堂高密度的工业界大师课,又带着一种振聋发聩的技术呼吁,让听众在会心一笑的同时深刻意识到“亲手去看你的数据”这一朴素法则的分量。
## Bulletin - [01:27](https://www.youtube.com/watch?v=QDQT99csHJQ&t=87s) 大模型应用的评估陷阱频发,核心根源在于工程实践丢弃了数据科学素养,退步至依赖盲目自评与开箱即用指标的“凭感觉(Vibes-based)”评估模式。 - [06:04](https://www.youtube.com/watch?v=QDQT99csHJQ&t=364s) 团队应将 LLM 裁判视为不完美的分类器,通过构建二元分类任务并切分 Train/Dev/Test 数据集,重点监控精确率与召回率等失衡分类指标以防止过拟合。 - [08:26](https://www.youtube.com/watch?v=QDQT99csHJQ&t=506s) 合成数据生成需避免单条 Prompt 泛化生成,应从真实调用链中提炼至少 3 个用户变异维度,采用属性笛卡尔积组合并配合严格的人工质检。 - [12:00](https://www.youtube.com/watch?v=QDQT99csHJQ&t=720s) 评估体系存在“标准漂移(Criteria Drift)”现象:人类在直面真实数据前无法准确预设评分准则,因此绝不可将标注完全外包或盲目依赖全自动化大模型裁判。
## Key takeaways - [00:06](https://www.youtube.com/watch?v=QDQT99csHJQ&t=6s) 构建自主 Agent 的核心支撑系统“束具(Harness)”不仅是规范与单元测试,更涵盖日志、指标与调用追踪构成的完整可观测性技术栈,其实质就是数据科学。 - [01:27](https://www.youtube.com/watch?v=QDQT99csHJQ&t=87s) AI 工程现状相比四年前的严谨 ML 工作流出现明显倒退,团队普遍缺乏对数据的审查与对齐,严重依赖 1-100 的粗糙自评或开源指标包进行“凭感觉(Vibes)”评估。 - [03:28](https://www.youtube.com/watch?v=QDQT99csHJQ&t=208s) 如“有用性(Helpfulness)”或“幻觉(Hallucination)”等通用、开箱即用的评估指标过于模棱两可,在具体业务场景中缺乏可操作性,容易导致评估失真。 - [04:47](https://www.youtube.com/watch?v=QDQT99csHJQ&t=287s) 定位 Agent 缺陷需要利用辅助编程工具构建自定义内部界面,通过逐条查看真实 Traces 深入探索数据(EDA),归纳并提炼专属于该业务的独特失效模式。 - [06:04](https://www.youtube.com/watch?v=QDQT99csHJQ&t=364s) 不可盲目信任 LLM 裁判,必须将其视作机器学习分类器,严格采用严密的数据集切分(Train/Dev/Test)来调试提示词并检验其对齐泛化能力。 - [08:09](https://www.youtube.com/watch?v=QDQT99csHJQ&t=489s) 在真实调用链路中失效模式往往极少发生,面对这种严重类别不平衡问题,应放弃表面准确率,转而评估精确率、召回率、假阳性与假阴性指标。 - [08:26](https://www.youtube.com/watch?v=QDQT99csHJQ&t=506s) 低劣的合成数据生成缺乏多样性,正确做法是人工提炼至少 3 个核心变异维度,用 LLM 局部生成取值并进行笛卡尔积交叉组合,最后人工审查质量。 - [10:13](https://www.youtube.com/watch?v=QDQT99csHJQ&t=613s) 指标设计应避免采用不可解释的 1-100 连续评分,遵循奥卡姆剃刀原则将其简化为判定特定失效模式的二元分类任务,使判定结果直连业务修复。 - [10:55](https://www.youtube.com/watch?v=QDQT99csHJQ&t=655s) 编写高质量的 LLM 裁判提示词无法一蹴而就,必须通过亲手标注数据并聚焦于极简的二元通过/失败任务,来系统校验裁判与人类标准的对齐程度。 - [11:27](https://www.youtube.com/watch?v=QDQT99csHJQ&t=687s) 让缺乏业务上下文的工程师或外包团队打标会导致数据失真,标注人员必须具备领域专业知识,且研发团队需持续抽查与审核标签。 - [12:00](https://www.youtube.com/watch?v=QDQT99csHJQ&t=720s) 根据“标准漂移(Criteria Drift)”理论,人类在直面真实数据前无法凭空预设完美的评分准则,必须通过接触真实边界用例来动态迭代评估标准。 - [13:03](https://www.youtube.com/watch?v=QDQT99csHJQ&t=783s) 过度追求端到端全自动化评估不可行,大模型无法感知深层业务逻辑;同时需警惕 ROUGE/BLEU 滥用、让标注人员直视 Raw JSON 以及汇报未校准评分等工程误区。 - [15:34](https://www.youtube.com/watch?v=QDQT99csHJQ&t=934s) 解决 LLM 评估难题本质上是数据科学基本功的回归:EDA 对应 Trace 溯源、业务指标设计替代宽泛打分、模型验证确保裁判可靠性,核心准则是永远深入查看数据。
## Detailed walkthrough ### [00:06](https://www.youtube.com/watch?v=QDQT99csHJQ&t=6s) 数据科学家的回归与“束具(Harness)”的本质
演讲开场,主讲人将本次分享的主题定为“数据科学家的回归(The Return of the Data Scientist)”。为了引出核心议题,讲者首先提到了近期关于“束具工程(Harness Engineering)”的热门文章,并现场让听众举手示意,大约有一半的人读过该文章。该文章记录了 OpenAI 内部的一个团队,他们在数月的时间里完全依靠自主 Agent 构建了非常实质性、规模可观的内部软件。他们能够保证 Agent 不脱轨的关键,就是使用了一套“束具(Harness)”。
很多人在听到“束具(Harness)”这个词时,往往只会联想到规范(Specifications)和单元测试(Unit Tests)。但讲者特别指出,其背后一个极其重要但经常被忽略的细节是:束具本身还囊括了日志(Logs)、指标(Metrics)和调用追踪(Traces),也就是整套完整的可观测性技术栈(Observability Stack)。讲者在此旗帜鲜明地阐述了自己的核心论点:“And what I'm here to convince you of today is that the harness is data science, or at least a big part of it is data science.”(我今天想要让大家确信的是,这套束具就是数据科学,或者至少其中很大一部分是数据科学。)
[01:27](https://www.youtube.com/watch?v=QDQT99csHJQ&t=87s) 从严谨的数据科学退步为“凭感觉(Vibes-based)”评估
回顾四年前的机器学习工程与数据科学实践,研发团队有着极为严密且规范的标准作业流:人们会非常细致地审查数据、进行可视化;一旦模型做出任何预测,工程师都会极其谨慎地确保其与人类标注(Human Labels)高度对齐;大家会为特定的任务精挑细选最合适的工具;而在设计度量指标时,团队会倾注大量心血,确保指标不仅合乎逻辑,而且能与核心业务目标对齐。
然而对比当下,当今的 AI 工程在某些方面却暴露出明显的退步。现在的开发流程往往充斥着“凭感觉(Vibes)”来判断系统是否走在正轨上。团队经常做的事情,就是拿另一个大语言模型(甚至就是同一个模型)去问它自己的输出到底好不好。在指标设计层面更是缺乏深思熟虑,很多人要么直接让 LLM 在 1 到 100 之间随意打个分,要么随手引入别人的开源指标包开箱即用。工程师往往对自己无法理解的领域感到畏惧,而评估(Evals)和检索(Retrieval)等原本属于数据科学的核心板块在工程实践中经历了无数次被放弃又重拾的循环。在教授了来自众多公司的 4500 多名学员后,讲者发现大家在评估环节总是一再踩入同样的坑。随后,演讲交接给 Shreya Shankar,系统剖析这些高频陷阱及数据科学视角的解法。
```mermaid flowchart LR accTitle: Four Years Ago vs Today in AI Evaluation accDescr: A comparison between data science four years ago and AI engineering today.
subgraph PAST["四年前:传统 ML / 数据科学"] direction TB P1["仔细查看与可视化数据"] --> P2["对齐人类黄金标注"] P2 --> P3["指标与实际业务目标强对齐"] end
subgraph TODAY["当今:AI 工程现状"] direction TB T1["靠感觉评估 (Vibes-based)"] --> T2["盲目让模型自我打分"] T2 --> T3["开箱即用套件 / 1-100 随意打分"] end
PAST -.->|"工程化后退"| TODAY ```
[03:28](https://www.youtube.com/watch?v=QDQT99csHJQ&t=208s) 错误一:滥用通用、开箱即用的度量指标
Shreya 指出,很多团队在刚接触评估时犯的第一个大错,就是使用所谓的“通用指标(Generic Metrics)”或开箱即用(Off-the-shelf)指标来衡量 Agent 的准确性或对齐度。这种做法极具诱惑力,因为在传统软件工程中,人们早已习惯了通用的基础设施指标,比如延迟(Latency)或正常运行时间(Uptime)。
但在 AI 领域,这类套路彻底失灵了。市面上常见的通用评估指标包括“有用性(Helpfulness)”、“幻觉(Hallucination)”或“连贯性(Coherence)”。这些词看似重要,但本质上极端模棱两可: - 没有人能精确界定“幻觉”在具体业务中到底意味着什么。 - 业务语境差异巨大:如果 Hamel 在构建一个医疗场景应用,而 Shreya 在构建一个法律场景应用,二者对于幻觉的定义、依赖的数据和工具截然不同。直接套用同一个现成评估器去测幻觉毫无意义。
正确的做法是戴上数据科学家的帽子,深入探索数据(Explore the Data),亲自找出系统具体的崩溃点,并为系统的独特失效模式(Failure Modes)精准命名。具体操作上,可以利用 Codex、Claude Code 或 Cursor 等 AI 编程辅助工具快速搭建自定义内部界面(Custom Interfaces),把 Agent 的执行链路(Traces)一条条加载进来,逐条阅读对话消息,并把自己代入真实用户的视角去体验。开发人员应当与产品经理(PM)密切沟通,记录下哪里不对劲,先写下自由格式的开放式笔记(Open Notes),积累到一定数量后,再归纳提炼出专属于当前应用的失效模式集合。例如在房地产经纪代看应用中,专属的失效模式可能是“在没有房源时擅自重新安排看房时间”或者“捏造看房时间点”。正如 Shreya 强调的:“Hamel and I always say, look at your data. And this is exactly what we mean by look at your data.”(Hamel 和我总是在说,‘看看你的数据’。这就是我们所说的‘看看你的数据’的真正含义——不是漫无目的地扫一眼,而是构建自己的界面,规模化地去定位失效模式。)
[06:04](https://www.youtube.com/watch?v=QDQT99csHJQ&t=364s) 错误二:盲目信任 LLM 裁判(LLM Judges)
第二个高频陷阱是:团队好不容易通过人工看数据归纳出了失效模式,转头就直接让 LLM 裁判去统计该问题发生的频次,完全没有对这个裁判本身建立任何信任机制。Shreya 澄清自己并不反对使用 LLM 作为裁判,而是反对不经校验就盲信校验者:“I'm not saying that using LLM judges are bad. I'm saying that using LLM judges kind of blindly without validating your validators is bad.”(我并不是说使用 LLM 裁判不好,我是说盲目使用 LLM 裁判而不去验证你的验证器,这很糟糕。)
多数团队的做法是让 LLM 按照 1 到 5 分对好坏程度打分,然后画出柱状图并据此做业务决策。这种数值不仅难以令人信服,更无法转化为可落地的业务行动。数据科学家的应对思路是:将 LLM 裁判视为一个“不完美的分类器(Imperfect Classifier)”,按照传统机器学习模型的严密流程来管理它: - **数据集切分**:针对每种具体的失效模式收集带有标签的 Traces 样本,严格切分为训练集(Train)、开发集(Dev)和测试集(Test)。 - **防止过拟合**:在训练集和开发集上调试提示词(Prompt)或评估模型,随后在保留的测试集上检验其对齐泛化能力,严防对评判偏好产生过拟合。 - **应对类别不平衡(Imbalanced Classification)**:在真实场景的调用链路中,特定失效模式往往只占很小一部分样本。此时绝不能只看粗糙的“准确率(Accuracy)”,而必须使用针对不平衡分类任务的标准指标,如精确率(Precision)、召回率(Recall)、假阳性(False Positives)和假阴性(False Negatives),以确保 LLM 裁判真正符合人类的判定标准。
[08:26](https://www.youtube.com/watch?v=QDQT99csHJQ&t=506s) 错误三:低劣的实验设计与合成数据泛滥
第三个普遍存在的陷阱是粗糙的实验设计,主要体现在合成数据生成和指标刻画两个层面:
在**合成数据生成(Synthetic Data Generation)**方面,很多团队在测试文档问答聊天机器人等系统时,图省事直接给大模型发一条指令,比如“给我 5 个通用问题”或“给我生成一些测试数据”。这种方式生成的 Traces 结构雷同、毫无多样性。数据科学的做法是:采用系统化的方法生成数据,让 LLM 仅参与整个生成链路中非常局部的微小环节: 1. **假设关键维度**:进入真实业务系统中审查链路,提炼出用户输入发生变异的至少 3 个核心维度(例如用户画像维度,是新手还是资深专家)。 2. **局部生成属性值**:用 LLM 为各个变异维度分别生成多样化的取值。 3. **笛卡尔积交叉组合**:对这些不同维度的取值做笛卡尔积(Cross Product)组合,拼接成完整的合成数据测试集。 4. **严格质量审查**:人工校验所有合成数据的质量与多样性分布,再次回到“看数据”的基本盘。
```mermaid flowchart TD accTitle: Systematic Synthetic Data Generation Workflow accDescr: Workflow showing how to systematically generate synthetic data using dimensions and cross product.
subgraph DEFINE["第一阶段:提炼维度"] A["人工深入分析真实 Traces"] --> B["假设核心可变维度<br/>(例如:用户熟练度、问题复杂度、领域意图)"] end
subgraph GEN["第二阶段:模块化生成与组合"] B --> C["使用 LLM 生成每个维度的具体取值"] C --> D["对各维度取值计算笛卡尔积 (Cross Product)"] end
subgraph REVIEW["第三阶段:质检闭环"] D --> E["生成多样化测试样本集"] E --> F["人工审查数据质量与覆盖度"] end ```
在**度量指标设计(Metric Design)**方面,团队经常要求模型给出 1 到 5 分或 1 到 100 分的连续评分。这种长标尺评分既不具备可解释性,也无法指导具体行动。数据科学家的方法是遵循奥卡姆剃刀原则,最大限度降低问题复杂度: - 将模糊的连续打分简化为**二元分类问题(Binary Classification Problem)**,即明确询问裁判系统该样本到底是否触发了特定的失效模式(是/否),而不是让模型评判“这次失败值 37 分还是 42 分”。 - 让分类结果直接对齐业务成果(Business Outcomes),使每一个 False 都能直接对应到具体的功能退化或策略修复上。
- **核心数据与技术要点补充**: - **受训学员规模**:Hamel 与 Shreya 已向数十家公司的超过 4500 名专业人员讲授过系统化 Evals 课程。 - **核心评估工具推荐**:使用 Codex、Claude Code、Cursor 等 AI 辅助编程工具快速自建内部标注和 Review 界面。 - **失衡分类指标**:评估 LLM Judge 时需重点考察 Precision、Recall、False Positive Rate 及 False Negative Rate,避免 Accuracy 带来的度量幻觉。 - **维度提炼基准**:构建合成评估集时,至少需要提炼 3 个及以上随用户真实行为变异的独立特征维度。
[10:55](https://www.youtube.com/watch?v=QDQT99csHJQ&t=655s) 打造对齐的 LLM 裁判:聚焦二元任务与亲手标注
Shreya Shankar 指出,构建可靠的评估体系绝非能够一蹴而就(one-shot)的事情。在尝试让 LLM 裁判(LLM as a judge)与人类意图对齐时,绝大多数团队都会陷入苦战,即使是经验丰富的专家也不例外。Shreya 坦言,甚至连他们自己在初次编写裁判提示词时,也根本写不出一个好用的 Prompt。
为了突破这一瓶颈,Shreya 分享了两项极其关键的实践准则:第一,将 LLM 裁判的职责范围收窄到极致,专攻明确的二元任务(binary tasks),例如只判断某一输出是“通过(pass)”还是“失败(fail)”;第二,必须由开发团队自己亲手标注大量数据,以此来系统性衡量和校验裁判与人类标准之间的对齐程度。
Shreya Shankar 总结道: > “Like we can never write a good LLM judge prompt on the first time.”
---
[11:27](https://www.youtube.com/watch?v=QDQT99csHJQ&t=687s) 陷阱四与标准漂移:别让工程师盲目打标,人类必须面对真实数据
随后演讲交还给 Hamel Husain,探讨第四个高频踩坑点:找错了数据标注人员。现实中,许多团队出于各种原因极其抗拒亲自看数据,倾向于将其外包出去,或者直接丢给 AI 工程师和后端开发人员打标。Hamel 直言,除非你正在构建的是一款编程辅助工具,否则让工程师标注业务数据就是个糟糕的决定,因为他们根本缺乏业务场景的领域专业知识(domain expertise)。
数据科学的核心素养是“怀疑一切”:不能盲目信任标签,更不能盲目信任打标的人。团队必须确保标注者具备真正的领域洞见,同时必须抽查并审核这些标注结果,因为实际数据中往往潜藏着意想不到的问题。
```mermaid flowchart TD accTitle: 评估体系中的标准漂移循环 accDescr: 展示人类在接触实际数据前后评估标准发生漂移并推动提示词更新的反馈循环 subgraph PreEval ["先验设定阶段"] A["预先设定的评估准则<br>(Rubric)"] --> B["接触真实数据与用户输出"] end subgraph DriftLoop ["认知修正与迭代"] B --> C["发现边缘案例与未预期问题"] C --> D["标准漂移<br>(Criteria Drift)"] D --> E["业务方明晰真实诉求<br>重构评估标准与裁判 Prompt"] end ```
必须亲自看数据的另一大理论依据,是源自论文《Who Validates the Validators?》(Shreya Shankar 为合著者之一)中提出的“标准漂移”(Criteria drift)现象。该理论指出:**人类在真正看到数据之前,根本不知道自己到底想要什么**。试图在项目开始前就凭空制定一套完美的评分准则(rubric)是不现实的;业务人员必须直面真实数据,才能理清真实的验收边界。
Hamel Husain 强调: > “This idea that you're going to specify a rubric up front, and that's enough, is really problematic.”
---
[13:03](https://www.youtube.com/watch?v=QDQT99csHJQ&t=783s) 陷阱五与常见误区合集:不要过度自动化,警惕指标幻觉
第五个严重误区是过度自动化。很多人幻想能否直接把所有评估工作丢给 Claude 等高规格大模型全权搞定,答案是绝不可能。通用大模型无法读取人类心思,更无法感知具体业务场景中极其细微的产品逻辑陷阱。LLM 或许能轻松挑出代码报错或完全崩溃等显而易见的问题(low-hanging fruits),但涉及真正影响用户的产品体验缺陷时,必须依赖人工把业务上下文结构化地外化给评估体系。
Hamel 进一步盘点了业内极为普遍的评估“重灾区”: - **滥用表面相似度指标**:盲目使用 ROUGE 或 BLEU 等传统 NLP 指标,这些在现代 LLM 业务看板上往往毫无实际指导意义。 - **宽泛无意义的裁判 Prompt**:直接向模型提问“这段内容是否有帮助(is this helpful?)”,这类未针对具体业务定制的问题无法带来稳定反馈。 - **让标注人员硬啃原始 JSON**:强迫人工审查嵌套复杂的 raw JSON 会极大地增加认知负荷;团队应构建专用的标注界面,让查看数据变得顺畅愉悦。 - **汇报未校准的评分**:从未与人类专家的判断进行对齐与标定,导致看板上的数字只是主观臆测。 - **忽视标准漂移**:没有动态追踪和记录人类评估标准随时间的变化。 - **过拟合裁判提示词**:如同传统机器学习一样,不能拿同一批样本反复爬山调优(hill-climbing);必须严格切分保留集(test split),确保裁判具备泛化能力。 - **低劣的数据抽样与指标冗余**:看板上的每一个指标都必须“凭实力赢得自己的位置(earning its place)”,确保其真正具备业务信号。
Hamel Husain 在谈到自动化幻觉时指出: > “Like, Claude can't read your mind.”
---
[15:34](https://www.youtube.com/watch?v=QDQT99csHJQ&t=934s) 数据科学素养的回归:EDA、指标设计与核心总结
将上述所有大模型评估问题升华来看,本质上都对应着经典数据科学的核心技能。构建稳健的 LLM 应用,实际上正是数据科学基本功的全面回归:
| LLM 评估挑战 | 对应的数据科学核心方法 | 具体工程实践 | |:--- |:--- |:--- | | **排查 Trace 异常与失败用例** | 探索性数据分析 (EDA) | 深入下钻运行追踪记录,挖掘错误模式与系统性偏置 | | **告别模糊宽泛的通用打分** | 业务指标设计 (Metric Design) | 将业务痛点收敛为细分、可量化的二元任务 | | **校验 LLM 裁判的判定信度** | 模型验证 (Model Validation) | 严密检验 LLM 裁判输出与人类专家判定的一致性与对齐度 | | **防止裁判过拟合调优样本** | 数据集管理与切分 (Curation) | 严谨划分 Train/Dev/Test 测试集,保证评估的泛化性 | | **掌控生产环境与业务指标漂移** | 监控与可观测性 (Observability) | 长期跟踪评估信号质量,秉持科学实验与对照思维持续迭代 |
Hamel 总结道,整个 LLM 工程最需要的正是这种数据科学家的专业直觉:不断提出假设、设计实验、度量效果并持续优化。
在演讲尾声,Hamel 强调整场分享最核心的一句箴言就是“永远去看你的数据(Always look at your data)”。针对每位参会者每次必问的“哪里能拿到 PPT 课件”,现场放出了二维码供大家获取幻灯片、评估技能审计清单(evals-skills)以及演讲中出现的各种梗图(memes),演讲在全场掌声中正式结束。
Hamel Husain 总结了本场分享最核心的认知法则: > “But most importantly, if you want to come away with something from this talk, is to always look at your data.”
## Notable quotes > [06:04](https://www.youtube.com/watch?v=QDQT99csHJQ&t=364s) I'm not saying that using LLM judges are bad. I'm saying that using LLM judges kind of blindly without validating your validators is bad. — Shreya Shankar
> [11:27](https://www.youtube.com/watch?v=QDQT99csHJQ&t=687s) This idea that you're going to specify a rubric up front, and that's enough, is really problematic. — Hamel Husain
> [00:06](https://www.youtube.com/watch?v=QDQT99csHJQ&t=6s) And what I'm here to convince you of today is that the harness is data science, or at least a big part of it is data science. — Hamel Husain
## Mentioned Shreya Shankar, Hamel Husain, OpenAI, LangChain, Codex, Claude Code, Cursor, Claude, Who Validates the Validators?, Interrupt
## Video description Shreya Shankar and Hamel Husain have taught evals to over 4,500 people across dozens of companies, and they keep seeing the same mistakes. This talk walks through five of the most common pitfalls and how thinking like a data scientist fixes them.
At Interrupt, the agent conference by LangChain, they covered: • Why generic metrics like "helpfulness" and "hallucination" are too ambiguous to use off the shelf • How to treat LLM judges as imperfect classifiers with train/dev/test splits • Why synthetic data generation goes wrong and how to fix it • Who should actually be labeling your data • What criteria drift is and why it happens • Why fully automating evals misses the product failures that matter most
The Return of the Data Scientist | Interrupt 26 0:00 Introduction 0:38 What is the harness? Logs, metrics, and traces 1:17 The harness is data science 1:27 How we got here: ML engineering 4 years ago 2:05 AI engineering today: vibes-based evaluation 2:37 What this talk covers: evals and common mistakes 3:28 Mistake 1: using generic or off-the-shelf metrics 4:47 How to fix it: explore data, build custom interfaces 6:04 Mistake 2: blindly trusting LLM judges 7:03 Treating LLM judges like ML classifiers 8:09 LLM judges as imbalanced classification problems 8:26 Mistake 3: bad experimental design 9:04 How to fix it: systematic synthetic data generation 10:13 Bad metric design: 1-to-100 scales 10:33 How to fix it: binary classification problems 11:23 Mistake 4: wrong people labeling data 12:00 Criteria drift 13:03 Mistake 5: automating too much 13:45 Other pitfalls: ROUGE/BLEU, unhelpful judge prompts, raw JSON, uncalibrated scores 15:34 The data science corollary: EDA, metric design, model validation 16:47 Summary: always look at your data 17:00 Where to get the slides
Extra resources: • Evals skills: https://github.com/hamelsmu/evals-skills • Everything mentioned during the session: https://maven.com/parlance-labs/o/0cb2fa • Everything we shipped at Interrupt: https://www.langchain.com/blog/interr... • Meet LangSmith Engine: https://www.langchain.com/blog/introd... • About LangChain: https://www.langchain.com/
[Source](https://www.youtube.com/watch?v=QDQT99csHJQ)