LangChain
通用模型无法形成竞争壁垒,企业唯有将专有上下文与治理深度嵌入自控外壳架构,并借由可观测性飞轮实现闭环修复,才能建立真正属于自己的垂直智能体系。
AI-assisted summary of Why Own Your Intelligence? Harrison Chase Keynote | Interrupt London — original source. Check the original for full context.
Source published:
Key ideas
- LangChain 创始人兼 CEO Harrison Chase 认为,通用大模型无法解决所有垂直业务问题,企业真正的护城河在于通过特化模型、Harness 架构和专有上下文来“拥有自己的智能”(Own Your Intelligence)。 (3:12)
- LangChain 推出 Managed Deep Agents,将开源框架 Deep Agents 与托管式云端多租户基础设施(部署、MCP 鉴权、沙箱代理、网关)合二为一,支持单行命令快速上线全天候主动式 Agent。 (12:04)
- LangSmith 围绕高嵌套、高载荷且富含自然语言的 Agent Trace 数据湖打造了专属架构,引入 Jev 决策模型降低在线评估成本,并上线基于 Prompt 流式判定的 AI Search 与自定义前端 Custom Apps。 (19:18)
- 全新发布的 LangSmith Engine v2 实现了主动生成测试、在预览环境中自我测试修复方案以及自动化红队测试;配合新上线的 Agent 运行时自报工具,Engine 累计已扫描超 7000 万条 Trace 并识别逾 2.1 万个缺陷。 (28:53)
Detailed notes
## Background 本内容由 LangChain 官方频道于 2026 年 10 月 30 日在 YouTube 发布。视频记录了 LangChain 联合创始人兼 CEO Harrison Chase 在伦敦 Interrupt 大会上的主题演讲,系统阐述了企业如何通过模型、Harness 与上下文的专业化来“拥有自己的智能”,并全面介绍了包括 Managed Deep Agents、SmithDB 可观测性体系以及能够主动测试与红队探测的 LangSmith Engine v2 等全栈产品矩阵。
## TL;DR Harrison Chase 强调,真正决定 Agent 生产力与落地的并非单一的大语言模型,而是围绕模型构建的 Harness、上下文治理与基础设施。他详细拆解了 LangChain 的三层技术体系:底层的 Managed Deep Agents 实现了从单机脚本到多租户云端沙箱的轻量托管部署;中间层的 SmithDB 与 Trajectories 标准重构了针对自然语言 Traces 的高并发摄取、Jev 决策模型快速评估与 AI Search 语义排查;顶层的 LangSmith Engine v2 则能主动发起红队测试并在预览环境中自动验证修复方案。他断言未来的商业价值将由数以千计的垂直领域 Agent 共同驱动,而敏捷的数据迭代飞轮是企业构建独特智能壁垒的核心关键。
## Atmosphere & style 整场演讲充满务实且极具前瞻性的工程技术氛围,Harrison 的表达沉稳自信、逻辑严密,在拆解复杂的系统架构时节奏从容。现场既有对行业从原型玩具走向生产深水区的清醒研判,也不乏调侃内部 GTM Agent 主动发消息提醒自己上台的轻松幽默。观众能真切感受到一家身处 AI 浪潮核心的基建领军者正以极快的敏捷节奏构建全套工具链,给听众带来一种技术正在加速闭环、自动化软件工程时代呼之欲出的切实震撼。
## Bulletin - [03:12](https://www.youtube.com/watch?v=XOUSuxY074U&t=192s) LangChain 创始人兼 CEO Harrison Chase 认为,通用大模型无法解决所有垂直业务问题,企业真正的护城河在于通过特化模型、Harness 架构和专有上下文来“拥有自己的智能”(Own Your Intelligence)。 - [12:04](https://www.youtube.com/watch?v=XOUSuxY074U&t=724s) LangChain 推出 Managed Deep Agents,将开源框架 Deep Agents 与托管式云端多租户基础设施(部署、MCP 鉴权、沙箱代理、网关)合二为一,支持单行命令快速上线全天候主动式 Agent。 - [19:18](https://www.youtube.com/watch?v=XOUSuxY074U&t=1158s) LangSmith 围绕高嵌套、高载荷且富含自然语言的 Agent Trace 数据湖打造了专属架构,引入 Jev 决策模型降低在线评估成本,并上线基于 Prompt 流式判定的 AI Search 与自定义前端 Custom Apps。 - [28:53](https://www.youtube.com/watch?v=XOUSuxY074U&t=1733s) 全新发布的 LangSmith Engine v2 实现了主动生成测试、在预览环境中自我测试修复方案以及自动化红队测试;配合新上线的 Agent 运行时自报工具,Engine 累计已扫描超 7000 万条 Trace 并识别逾 2.1 万个缺陷。
## Key takeaways - [00:06](https://www.youtube.com/watch?v=XOUSuxY074U&t=6s) Agent 的落地瓶颈不在于基础模型本身,而在于围绕模型包裹的整个外围系统(Harness),包括技能工具、执行上下文与合规治理。 - [03:12](https://www.youtube.com/watch?v=XOUSuxY074U&t=192s) 成本压力、开放权重模型的崛起以及私有数据的独特性,是驱动企业掌控自主智能的三大现实动力。 - [03:12](https://www.youtube.com/watch?v=XOUSuxY074U&t=192s) “拥有智能”包含三大核心支柱:自由切换最佳模型与 Harness 的开放性、借助反馈与记忆持续增益的可复利性,以及明确权限与审计的受治理性。 - [06:59](https://www.youtube.com/watch?v=XOUSuxY074U&t=419s) 组织落地需要核心平台团队、业务线工程团队与无代码领域专家协同配合,并尽可能加速“构建-测试-部署-监控”的迭代飞轮。 - [09:56](https://www.youtube.com/watch?v=XOUSuxY074U&t=596s) 开源框架 Deep Agents 内建生产级沙箱、长期记忆、上下文卸载与 Prompt Caching,将底层系统与业务专属逻辑解耦。 - [12:04](https://www.youtube.com/watch?v=XOUSuxY074U&t=724s) 未来的企业级 Agent 绝非仅在个人电脑本地运行,而是以多租户模式部署在云端,全天候主动响应并处理多用户并发请求。 - [14:06](https://www.youtube.com/watch?v=XOUSuxY074U&t=846s) 架构上提倡将 Agent 运行在外部沙箱之外,仅把隔离沙箱作为外部工具连接,从而简化部署并借助 Secrets Proxy 杜绝凭据外泄。 - [16:49](https://www.youtube.com/watch?v=XOUSuxY074U&t=1009s) LangChain 内部广泛运行全自动化软件助手 Open SWE,以及用于自主调研和多渠道跟进的主动式 GTM Agent。 - [18:23](https://www.youtube.com/watch?v=XOUSuxY074U&t=1103s) Agent Trace 是一种包含深层嵌套、大 Payload 及丰富自然语言线索的新型数据,LangSmith 为此研发了专用数据库底座 SmithDB。 - [19:18](https://www.youtube.com/watch?v=XOUSuxY074U&t=1158s) 利用 Jev 等做离散选择的决策模型替代前沿大语言模型充当评测评审员(Judge),能以极低成本和超高速度实现实时在线打分。 - [21:27](https://www.youtube.com/watch?v=XOUSuxY074U&t=1287s) 针对 Trace 中的敏感数据,LangSmith 支持 BYOC 隔离架构,并在骨架展示上引入仅脱敏输入输出的 RBAC 与即将上线的属性级 ABAC 机制。 - [21:27](https://www.youtube.com/watch?v=XOUSuxY074U&t=1287s) LangSmith Trajectories 将复杂的调用堆栈压平成标准化消息序列,既方便领域专家参与标注,也能天然作为后训练数据集格式。 - [23:55](https://www.youtube.com/watch?v=XOUSuxY074U&t=1435s) AI Search 不依赖传统结构化 SQL 转换,而是以 Prompt 为判定标准直接对流式 Trace 进行语义分析,快速揪出“用户被回复绕晕”等隐性问题。 - [26:01](https://www.youtube.com/watch?v=XOUSuxY074U&t=1561s) Custom Apps 允许企业通过自然语言“Vibe Coding”直接在控制台内生成定制化前端视图,满足法务、金融等领域差异化的审查审计诉求。 - [27:38](https://www.youtube.com/watch?v=XOUSuxY074U&t=1658s) LangSmith Engine 定位为主动式智能体工程师,全天候扫描异常链路,自动完成问题聚类诊断并生成修复 Pull Request,跳出人工调试的死循环。 - [28:53](https://www.youtube.com/watch?v=XOUSuxY074U&t=1733s) Engine v2 具备自主验证闭环,能在生成修复后自动在 Deployments 启动预览实例重新测试用例,并主动发起对抗性探测(红队测试)。 - [30:30](https://www.youtube.com/watch?v=XOUSuxY074U&t=1830s) 新上线的 Self-report 接口允许 Agent 在卡住或出错时现场上报错误与推导逻辑,方便离线批处理任务直接调取上下文完成精准定障。 - [32:10](https://www.youtube.com/watch?v=XOUSuxY074U&t=1930s) 未来的企业生产力将由数以千计的特定垂直领域 Agent 共同驱动,唯有将专有业务深度沉淀至模型与上下文中才能确立核心竞争壁垒。
## Detailed walkthrough ### [00:06](https://www.youtube.com/watch?v=XOUSuxY074U&t=6s) 开场与演进历程:从简单 LLM 链路到 Agent 的落地
Harrison Chase 在伦敦 Interrupt 大会现场向观众致辞,指出去年大会仅在旧金山举办,而今年已拓展至旧金山、纽约和伦敦三地。在短暂调适幻灯片翻页器后,他带领全场回顾了 LangChain 与 Agent 技术自 2023 年以来的关键演进节点:2023 年是 LangChain 创立之初,当时行业普遍聚焦于构建 Agent 原型;2024 年,上线部署的应用逐渐增多,但大多局限在单一 LLM 调用、线性链路(chains)以及基础对话机器人等相对简单的形态;到了 2025 年,开发者开始初步探索具备一定自主性的 Agent。
进入这一年后,Harrison 认为 Agent 终于真正焕发生机,并在业务应用层(Application Layer)展现出颠覆性影响。大量面向特定垂直场景的 Agent 开始接连涌现。Harrison 强调,尽管 Agent 核心由大语言模型驱动,但真正让垂直领域 Agent 脱颖而出、在生产环境发挥实效的绝非单一模型,而是包裹在模型外部的整套系统——即系统的底座与外壳(Harness)。
```mermaid flowchart LR accTitle: Agent Evolution Timeline accDescr: Timeline showing the evolution of Agent applications from 2023 prototypes to specialized 2026 application layer agents. Y23["2023: 原型探索<br/>(Prototypes)"] --> Y24["2024: 简单调用链<br/>(Single LLM / Chains)"] Y24 --> Y25["2025: 初步探索<br/>(Early Agents)"] Y25 --> Y26["近期: 垂直深耕<br/>(Application Layer Agents)"] ```
Harrison 列举了三家通过搭建 LLM 外部系统取得突破的典型企业: - **monday.com**:构建了紧密结合自动化评测(Evals)的持续反馈闭环,以此驱动 Agent 的持续迭代升级。 - **Harvey**:不仅依赖基础模型,还为其专业任务建立了专门的微调系统,从而满足法律等严苛领域的专业需求。 - **Orange**:打造了高度定制化的 Harness,并在其中深度整合了治理(Governance)能力,确保系统运行合规受控。
正如 Harrison Chase 所总结的那样:“And when we see these agents start to come into production and really transform what's happening, it's really everything around the model.” 真正让 Agent 在生产中产生质变的,正是围绕大模型构建的技能、工具、上下文、控制与治理体系。
---
[03:12](https://www.youtube.com/watch?v=XOUSuxY074U&t=192s) 拥有智能(Own Your Intelligence)的三大驱动力与三大核心支柱
Harrison 强调,模型、Harness 与上下文层面的深度专业化(Specialization),构成了“拥有自己的智能”(Own Your Intelligence)的核心要义。当前有三大关键趋势正推动企业牢牢把握这一能力: 1. **成本压力(Cost)**:随着 AI 工具被广泛采纳,调用成本水涨船高;如果企业无法从全局把控这套 Agent 系统,成本将迅速失控。 2. **开源开放模型崛起(Open Models)**:NVIDIA、Kimi、DeepSeek 等机构发布了大量性能强劲的开源及开放权重模型,企业不仅能以更低成本运行它们,还能开展后训练(Post-training)打造高专业度模型。 3. **私有数据价值凸显(Impact of Data)**:通用的 ChatGPT 或 Claude 无法替代业务积累,企业独有的数据、知识沉淀以及为业务定制的上下文,才是区分通用对话与高价值垂直 Agent 的决定性壁垒。
基于此,LangChain 将自身使命确立为:赋能每一家企业拥有属于自己的智能,进而催生数以千计面向垂直领域或特定企业的 Agent Harness。
```mermaid flowchart TD accTitle: Three Pillars of Owning Your Intelligence accDescr: Diagram illustrating the three pillars of owning intelligence: Open, Compounding, and Governed. subgraph Pillars ["拥有自身智能的三大支柱"] direction TB P1["开放性 (Open)<br/>• 模型可选性 (Model Optionality)<br/>• 可控 Harness (Controllable Harness)<br/>• 全渠道上下文 (Flexible Context)"] P2["可复利 (Compounding)<br/>• 可观测性驱动人工调优<br/>• 自动化记忆与持续沉淀"] P3["受治理 (Governed)<br/>• 明确执行身份 (Agent Identity)<br/>• 成本核算与链路审计"] end ```
为了实现这一目标,Harrison 阐释了支撑“拥有智能”的三大核心支柱: - **开放(Open)**:整个 Agent 架构必须保持开放。这不仅指开放权重,更关键的是模型可选性(Model Optionality)——能够根据速度、成本和效果自由切换最佳模型;Harness 也必须开源且高度可控,以便开发者精准调节业务逻辑;同时,上下文必须能够无缝对接既有数据库、第三方 API 或沉淀的记忆库。 - **可复利(Compounding)**:初版 Agent 往往达不到服务百万用户的成熟度,因此系统的智能化程度必须随时间产生复利——既可通过可观测性发现问题并持续修复,也可借助自主记忆机制自发增强。 - **受治理(Governed)**:在企业内部,必须清楚知晓 Agent 代表谁的权限执行操作、产生了多少运行成本以及具体执行了什么行为。
Harrison Chase 明确指出:“And when we think of that specialization at the harness layer, at the model layer, at the context layer, when we think of that specialization, to us, that's what it really means to own your intelligence.”
---
[06:59](https://www.youtube.com/watch?v=XOUSuxY074U&t=419s) 组织落地模型:人才、流程与技术底座
要在企业内部真正实现“拥有智能”,不能依赖单一动作,而必须协同推进三项关键要素:**人员(People)**、**流程(Process)**与**技术(Technology)**。
在人员协同层面,Harrison 梳理了三个核心角色环: 1. **核心 GenAI 平台团队(Core GenAI Platform Team)**:作为 Agent 专家,负责搭建技术底座与工程范式,供全公司复用。 2. **业务线 Agent 工程师(Agent Engineers in Business Units)**:将平台技术与具体的业务用例相融合,打造实用的垂类应用。 3. **非技术类业务专家(Non-technical Builders)**:他们虽然不写代码,但最清楚业务场景下“什么是好的输出、什么是差的交付”,在评估基准与质量把控中扮演着决定性角色。
在流程机制层面,Agent 开发具有极强的迭代特性。初版应用不可能完美支撑海量用户,团队必须建立敏捷飞轮:快速构建版本、迅速推向测试、灰度发布给少量用户、监控运行指标,并将生产中获取的洞察立即反馈到下一轮构建中。“I think the best teams that we see shipping agents, they're the ones who spin this flywheel as quickly as possible.” Harrison 如此评价道。
```mermaid flowchart TD accTitle: Agent Development Flywheel accDescr: The iterative flywheel of Agent building: Build, Test, Deploy, and Monitor. B["构建 (Build)"] --> T["测试 (Test)"] T --> D["小范围部署 (Deploy)"] D --> M["监控与洞察 (Monitor)"] M --> B ```
在技术体系层面,LangChain 的布局涵盖三大模块: - **运行环境(Runtime)**:涵盖开源基础库与自动化部署能力,负责 Agent 的编写与云端运行。 - **可观测性与评测(Observability and Evals)**:构成闭环复利的核心支撑,负责捕获调用轨迹并完成效果衡量。 - **上层智能辅助(Intelligence Layer)**:正如整个软件研发流程(SDLC)都在走向自动化,Agent 构建本身也应被赋予自主智能。LangChain 在底层运行时与可观测性之上,叠加了自动化智能层,协同工程师自动完成 Agent 调试与修复,加速飞轮运转。 Harrison 表示,后续主题演讲将围绕这三大板块展开深度剖析。
[09:56](https://www.youtube.com/watch?v=XOUSuxY074U&t=596s) Agent 构建的三层架构与 Deep Agents 开源框架
构建 Agent 需要采用分层的视角进行解构:顶层是业务逻辑(Business Logic),中间是驾驭框架层(Harness),底层则是基础设施(Infrastructure)。顶层的业务逻辑涵盖提示词指令、工具、技能(Skills)以及针对框架的钩子函数(Hooks),这部分属于企业内部专家独有的领域知识,“这是我们永远无法直接给你的东西,这是特定领域的知识,由你们或你们的团队成员所精通,并将这些沉淀为各种规则来驱动特定领域的 Agent。”中间的 Harness 框架则围绕模型构建,负责将模型连接到外部数据源、计算资源、上下文及业务逻辑。
为了让模型在最合适的原语中运行并采取行动,LangChain 推出了最新的开源框架 Deep Agents。Deep Agents 作为一个稳固的基础 Harness,既支持开箱即用,又便于开发者灵活修改和在其上扩展。该框架内建了生产级的上下文管理原语:支持文件系统、轻量级代码解释器乃至完整隔离沙箱等多种执行环境;具备自动技能库管理、长期记忆存储、对话超长时的智能摘要,以及在大模型工具调用返回超大载荷时的上下文卸载(Context Offloading)功能;全套架构还深度适配了 Prompt Caching(提示词缓存),并内置了 Human-in-the-loop(人工介入把关)、任务规划以及拆解小型子 Agent(Subagents)的能力。当然,如果团队需要更细粒度的控制,也可以通过底层的 LangGraph 和 LangChain 进行定制。
```mermaid flowchart TD accTitle: Agent三层构建架构 accDescr: 展示从业务逻辑到Harness再到基础设施的三层构建图
subgraph L1["业务逻辑 (Business Logic)"] A["领域专家知识 / 指令 / 工具 / 技能 (Skills)"] end
subgraph L2["框架层 (Harness - Deep Agents)"] B["执行环境 (沙箱 / 文件系统)"] C["上下文管理 (摘要 / 记忆 / 缓存)"] D["规划机制 / 人工介入 / 子Agent"] end
subgraph L3["基础设施层 (Infrastructure)"] E["LangSmith 部署 / 鉴权工具服务 / 网关"] end
L1 --> L2 L2 --> L3 ```
- **Harness 核心特性**:内建文件系统与沙箱环境、轻量代码解释器、自动长文本摘要、超大工具调用结果卸载(Context Offloading)。 - **性能与协同优化**:全链路适配 Prompt Caching 降低推理延迟与成本,集成 Human-in-the-loop 人工干预与多子 Agent 协同机制。
---
[12:04](https://www.youtube.com/watch?v=XOUSuxY074U&t=724s) 云端运行与 Managed Deep Agents 的集成突破
Harrison Chase 明确反驳了“Agent 未来只会在个人笔记本上本地运行”的观点,他强调:“我不认为未来只是 Agent 运行在你的笔记本电脑上为你一个人服务,我认为 Agent 将运行在云端,在后台主动且全天候工作,以多租户模式为大量用户服务。”从单机脚本跨越到可规模化运行的云端多租户系统,团队必须面对一整套极其繁重的底层基建:需要专门的 Agent 运行环境、具备严格权限认证和治理审计的工具连接通道、安全执行代码的隔离沙箱,以及管理模型访问容灾与成本的 LLM Gateway。
LangSmith 逐步将这些基建模块化:LangSmith Deployments 负责将 Agent 代码打包上线,提供流式传输、凭据管理、检查点(Checkpointing)与任务队列;工具服务端采用 MCP(Model Context Protocol)协议处理安全鉴权与审计日志;代码沙箱配备了机密代理(Secrets Proxy),阻断凭据渗入沙箱以防被模型读取;LLM Gateway 则提供回退保障和花销控制。以往开发者在编写完业务逻辑后,需要自行挑选 Harness 并苦苦拼装四五种基础服务。现在 LangChain 通过 **Managed Deep Agents** 将 Harness 层与托管基础设施层合二为一,开发者只需专注在业务逻辑上,就能借助单一方案直接发布高可用的多租户生产系统。
```mermaid flowchart LR accTitle: Managed Deep Agents 架构集成 accDescr: 展示业务逻辑如何通过Managed Deep Agents直达生产部署
A["业务逻辑 (Business Logic)"] --> B["Managed Deep Agents"]
subgraph MDA["托管一体化环境 (MDA)"] C["Deep Agents Harness"] D["云端托管基建 (Deployments / MCP / 沙箱 / 网关)"] C --- D end
B --> E["多租户云端生产服务 (Always-on / Proactive)"] ```
- **LangSmith 基础服务矩阵**: - **LangSmith Deployments**:提供打包容器、流式响应、密钥存储、状态检查点机制与任务队列调度。 - **Tool Server**:基于开源标准 MCP 协议,统一管理工具授权鉴权并保留完整操作审计日志。 - **沙箱隔离机制**:内置 Secrets Proxy,敏感凭证无需注入运行时容器,防止 Agent 读取泄漏。 - **LLM Gateway**:提供跨模型供应商的自动故障转移(Fallbacks)和消费配额拦截。
---
[14:06](https://www.youtube.com/watch?v=XOUSuxY074U&t=846s) 敏捷连接、沙箱解耦与企业级治理控制
为了大幅缩短系统的价值落地时间(Time to Value),Managed Deep Agents 在三个关键工程维度上进行了深度打磨:
第一是**通道集成与开箱即用的连接能力**。为多租户系统搭建通道不仅需要进行提示词上下文工程,更耗费精力的是外部通信和触发器的安全接入。无论 Agent 是挂载在 Slack、Microsoft Teams、监听新邮件通知还是订阅 GitHub Webhook 事件,系统都提供了开箱即用的封装连接器,并内建端到端的身份认证机制。
第二是**运行时与沙箱的架构解耦**。在业界常见的生产沙箱实践中,许多人直接将 Agent 塞进沙箱内运行,但 LangChain 倡导更优的架构模式:“我们认为更好的模式实际上是将 Agent 运行在沙箱外部,并将沙箱作为一种工具连接进去。”这种分离使得整个系统部署被提炼得极其轻量,开发者只需在终端敲入一行简单的命令行指令: ```bash mda deploy ```
第三是**全生命周期的企业级治理(Governance)**。当 Agent 深入企业内部重塑工作流时,权限边界变得至关重要: - **身份代行人设**:明确 Agent 是以独立系统身份运行,还是以当前交互用户的身份进行代理; - **权限边界与工具访问**:精确限定其允许调用的 API、允许调用的底层模型及单次运行消费上限; - **数据合规与影响评估**:严密防护输入数据,结合全链路追踪(Tracing)和自动化评测评估 Agent 产生的实际业务效能。
---
[16:49](https://www.youtube.com/watch?v=XOUSuxY074U&t=1009s) LangChain 内部 Agent 实践:Open SWE 与 GTM Agent
为了验证这套技术栈,LangChain 在内部全量运行了两款旗舰级 Agent: 1. **Open SWE(已开源)**:定位于全流程软件工程助手,不仅协助工程师编写代码,更常态化参与代码评审(Code Review)、线上突发故障定障(Incident Triage),并正在扩展至端到端 QA 自动化测试。 2. **GTM Agent(内部驱动,暂未开源)**:全面接管市场与销售团队的日常运营。它是一款始终在线、主动式(Proactive)的 Agent,无需人类随时发指令就会主动巡航业务指标。Harrison 在台上笑着调侃道:“它刚才还主动发消息提醒我今天有一场大型演讲,真的非常感谢它。”
在具体执行上,GTM Agent 能够自主开展客户调研、跨多个渠道触达跟进,并在隔离沙箱中动态生成各类业务报告与产物(Artifacts),沙箱会对外输出即时访问链接以供团队查验。Harrison 指出,这种深度融合公司上下文、全天候主动响应的内部 Agent,正是未来组织形态演进的典型缩影。
---
[18:23](https://www.youtube.com/watch?v=XOUSuxY074U&t=1103s) Agent Trace:蕴含自然语言与执行意图的新型数据
在 Agent 生命周期闭环中,观测(Observability)与评测(Eval)是核心驱动齿轮,而 Traces(执行链路追踪)正处于这一循环的正中心。Harrison 强调:“Agent Traces 是一种全新的数据类型。”与传统的微服务分布式跟踪日志相比,Agent Trace 具有截然不同的技术特征: - 结构极度深层嵌套(Deeply Nested); - 每次工具调用或推理都伴随极其庞大的数据载荷(Large Payloads); - 涉及文本、代码、文件等多模态混合,查询访问模式完全颠覆了以往的关系型或时序检索; - 最关键的是,Trace 中承载着大量的非结构化**自然语言**,这些对话记录直接折射出终端用户的真实意图、复杂的逻辑中断与失败现场,以及用户是在正确探索还是异常滥用系统。
为了驾驭这种复杂的数据形态,LangSmith 平台自研了专门面向 Agent Trace 存储与分析的高性能底层数据库——**SmithDB**,在多维高并发写入、海量深层嵌套分析及复杂过滤查询场景下,提供极高的执行吞吐性能。
[19:18](https://www.youtube.com/watch?v=XOUSuxY074U&t=1158s) Agent Trace 数据湖与 Jev 决策模型的实时在线评估
Harrison Chase 讨论了如何围绕智能体追踪(Agent Traces)构建平台。他明确指出,SmithDB 以及建立在其之上的 LangSmith 的核心目标,是成为承载这些 Agent Traces 的最佳智能体平台和数据湖。Agent Traces 与传统的系统可观测性数据或常规指标有着本质的不同——它们包含大量自然语言线索,记录着系统的实际行为、用户的交互意图以及智能体的响应逻辑。为了应对这些独特性,LangChain 团队从四个关键维度对平台进行创新:数据摄入(Ingest)、存储(Store)、查询(Query)和可视化(Visualize)。
在数据摄入阶段,以往通常采用前沿大语言模型(Frontier Models)作为 LLM-as-a-judge 来运行在线评估(Online Evals),但这带来了极高的推理成本和显著的延迟。最近,以 Jev 为代表的决策模型(Decision Models)彻底改变了这一现状。与传统文本生成模型不同,决策模型不输出自由格式的文本,而是专门用于“做决定”。用户传入当前状态并附上一组带有候选答案的问题,模型便会直接从中挑选最合适的答案,这使得评估速度极快且成本极低。在 LangSmith 中,开发者可以直接使用 Jev 作为评审器,快速配置标准答案类型、选项以及评分维度。Harrison Chase 强调:“There are so many clues in the natural language of these agent traces that you want to score, and things like decision models we think are a great step forward in doing that reliably.”
- Jev 的核心工作模式:接收输入状态与问题清单,直接从预设的候选项或打分区间中做出离散决策,跳过了高成本的文本生成步骤。 - 在线评估效率:大幅降低了大并发量下的实时在线 Trace 质检与打分成本。 - LangSmith 原生集成:现已在 LangSmith 中正式可用,提供标准化的回答类型与直观的评分维度配置界面。
```mermaid flowchart LR accTitle: Trace Ingestion with Jev Decision Model accDescr: Agent traces flow into SmithDB where Jev decision model evaluates them cheaply and rapidly.
subgraph Ingestion ["Trace 摄入流程"] T["Agent Traces<br/>(包含自然语言线索)"] --> J["Jev 决策模型<br/>(状态 + 预设问题/答案)"] J -->|"极速低成本评估"| S["评分与分类结果"] S --> DB["SmithDB 数据湖"] end ```
[21:27](https://www.youtube.com/watch?v=XOUSuxY074U&t=1287s) 敏感数据存储:BYOC 架构、细粒度权限控制与 Trajectories 格式
在存储层面,Agent Traces 相比传统日志最棘手的问题在于其中混杂了海量的用户输入和企业私密上下文等敏感数据。为了确保安全性,LangSmith 提供了极其灵活的部署形态:除了原生的多租户云端部署和全本地化的 On-Premises 部署,还推出了 Bring Your Own Cloud(BYOC)模式,使客户的全部实际数据完全留存在其自有的云基础设施内,而控制面(Control Plane)仍托管在 LangChain 端。
为了进一步控制权限,LangSmith 最近新增了针对输入和输出的基于角色的访问控制(RBAC)。该功能允许工程团队查看 Trace 的骨架信息——包括工具调用调用栈、Token 消耗量、网络延迟等系统健康指标,同时对敏感的原始 Input 和 Output 进行脱敏或屏蔽。此外,团队即将推出更精细的属性基访问控制(ABAC),允许通过元数据为 Trace 打标签,并设定仅允许特定人员或用户组访问匹配标签的规则。Harrison Chase 坦言:“This type of, like, RBAC and ABAC is not usually something that I see people getting excited about, but it is so key for dealing with this sensitive information that's in all these traces.”
除了访问安全,Trace 的底层存储与交互格式也迎来了重大更新,即 LangSmith Trajectories。Trajectories 将复杂的调用树重新整理并标准化为清晰易读的消息列表(List of Messages)。用户既能以简洁友好的时间线视图浏览上下文,也能随时下钻查看原始底层调用细节。这种标准化的消息列表不仅极大提升了工程师的调试效率,还能让领域专家(SME)无门槛地参与到标注工作中,甚至可以直接作为模型后训练(Post-Training)的标准数据集格式。
- 灵活的托管方案:公有云(Cloud)、纯私有化(On-Premises)以及控制面与数据面分离的 Bring Your Own Cloud(BYOC)。 - RBAC/ABAC 数据安全机制:支持仅隐藏 Trace 输入输出文本、保留结构骨架;即将支持基于 Trace 元数据标签的细粒度 ABAC 策略。 - LangSmith Trajectories 特性: - 将嵌套调用抽象为标准消息列表,呈现直观友好的交互界面。 - 支持多层级下钻查看原始底层 Payload。 - 方便非技术背景的业务专家(SMEs)进行数据标注。 - 格式天然对齐大模型 Post-training 训练集的输入格式。
[23:55](https://www.youtube.com/watch?v=XOUSuxY074U&t=1435s) AI Search:通过决策模型在语义中“大海捞针”
在查询层面,Trace 包含海量的长文本乃至多模态数据,其检索挑战与传统结构化日志截然不同。用户对智能体的绝大部分调用是常规且标准的,但总有一小部分交互会表现出异常。关键在于,这些异常往往不会抛出传统编程语言意义上的系统错误或网络报错,而是隐藏在深层的自然语言交互语义之中——比如用户被智能体的某个含糊回答搞懵了。
虽然 LangSmith 已经具备了全文搜索、元数据过滤以及针对大载荷 Payload 的过滤能力,但 Harrison Chase 最为兴奋的是新推出的 AI Search(又称 AI Query)。它并非把用户的自然语言简单转换成传统的 SQL 或结构化查询语句,而是直接以 Prompt 的形式作用于流式返回的数据上。现场演示中,用户在搜索框输入自然语言需求(例如“user got confused by agent response”),后台在拉取数据的同时,利用底层的决策模型实时对每一条 Trace 进行判定,给出匹配置信度,并直接高亮标出存在困惑证据的具体文本片段。这种流式语义评估支持与其他传统元数据过滤器叠加使用,帮助开发者在海量调用记录中高效定位那些无法通过指标阈值监控到的隐形语义故障。
- 核心痛点:智能体运行中的失常和混淆往往以语义形式出现,不产生传统错误日志(Logs),犹如“大海捞针”。 - 检索原理对比:AI Search 并非将自然语言转化为数据库结构化查询,而是将提示词(Prompt)作为判定规则,流式穿透每条 Trace 进行语义决策与置信度打分。 - 交互与高亮:在返回的结果卡片中,自动标出命中用户检索意图(如“用户被绕晕”)的具体交互上下文证据。
[26:01](https://www.youtube.com/watch?v=XOUSuxY074U&t=1561s) LangSmith Custom Apps 与前端 Vibe Coding
智能体正在渗透进垂直行业的各个角落,不同业务领域对于调试和审计数据的呈现方式有着截然不同的诉求。例如,法务团队希望重点对比合同条款的多轮修订,而金融团队则需要以表格或对账单的方式查看结构化数字。通用的 Trace 查看面板很难满足所有场景,很多团队不得不在外部自行编写独立的前端工具。
为了解决这个问题,LangSmith 推出了 Custom Apps 功能。在大会现场展示的视频中,用户可以在平台内直接进行全定制的 HTML 前端开发——即当下流行的“Vibe Coding”。用户只需在应用编辑界面中用自然语言描述自己希望调整的前端布局或展示逻辑,后台的自动化智能体就会开始探索代码文件、生成前端组件,并实时将渲染出的全新 UI 呈现出来。更关键的是,该页面可以直接作为企业工作区中的一个受管新视图保存下来,供整个组织的同事直接查看。LangSmith 同时开源了其设计系统(Design System),确保这些用户生成的自定义页面能与 LangSmith 原生界面的视觉风格保持高度一致,并规范调用受治理的内部 API。
- 驱动背景:各垂直领域(如法律、金融)对 Trace 数据的审计视角需求千差万别。 - Vibe Coding 体验:内置智能体根据自然语言 Prompt 自动修改和新增前端代码,无需离开 LangSmith 平台。 - 组织级治理与美学统一:保存为受管的协作页面,借助已开源的 LangSmith Design System 实现视觉规范与 API 权限的统一管理。
[27:38](https://www.youtube.com/watch?v=XOUSuxY074U&t=1658s) LangSmith Engine:从被动排障到主动提 PR 的“智能体工程师”
数据可观测性目前已成为行业的基本盘,真正的难点在于如何对这些数据采取行动。Harrison Chase 剖析了智能体开发中普遍遭遇的困境:首先是发现问题极其困难;其次是理解问题困难,即便通过 Trajectories 简化了视图,Trace 的上下文依然非常庞大;最困难的是修复问题——面对错误的输出,开发者很难快速断定病因究竟出在系统提示词、检索到的上下文、基础模型本身,还是工具调用的检索逻辑上。更糟糕的是,人工修复极易陷入“打地鼠”(Whack-a-mole)死循环:好不容易修复了一个 Prompt 缺陷,两个月后随着另一处业务调整,该问题又在新的角落重新暴露。
为了打破这种反复人工调试的飞轮,LangChain 在几个月前推出了 LangSmith Engine。Harrison Chase 明确将其定位为一个“主动式智能体工程师”(Proactive Agent Engineer)。它在后台持续监控和扫描海量的 Trace 数据流,自动对发现的潜在问题进行聚类和根因诊断,并能针对受影响的环节直接生成 Pull Request(PR)来提出具体的代码和配置修复方案,将传统的被动日志排查彻底推进到了自主诊断与修复的新阶段。
- “打地鼠”困境:开发者在提示词、上下文、模型选择和检索模块之间来回猜测根因,局部修补往往在后续迭代中引发新的回退故障。 - LangSmith Engine 定位:常驻后台的主动式智能体工程师,全天候监听分析数据湖内的调用记录。 - 自主闭环机制:自动对海量异常 Trace 进行聚类分组、分析诊断症结所在,并自动提代码 PR 提供修复建议。
[28:53](https://www.youtube.com/watch?v=XOUSuxY074U&t=1733s) LangSmith Engine v2:主动测试修复与红队测试
在回顾了 LangSmith Engine 如何自动扫描 trace 并生成评测后,Harrison Chase 介绍了大约一周前刚刚发布的 Engine v2。该版本带来了一系列关键的架构增强与新能力,最突出的亮点之一是其能够“主动测试自己的修复方案”(test its fixes proactively)。此功能与 LangSmith Deployments 深度绑定:当 Engine 提出代码或 prompt 的修改方案时,系统会在 LangSmith Deployments 中自动启动一个全新的预览部署(preview deployment),并针对该预览环境重新运行之前暴露问题的测试用例,以此验证那些错误是否已被彻底消除,从而向开发者提供实打实的代码修复证据。
```mermaid flowchart TD accTitle: Engine v2 自动化测试与红队测试流程 accDescr: 展示 Engine v2 从生成修复、部署预览到自动化红队探测发现问题的完整闭环。
subgraph FixLoop ["主动修复闭环 (Deployments)"] A["发现 Trace 问题"] --> B["生成修复补丁"] B --> C["启动 Preview Deployment"] C --> D["重跑问题用例验证消除"] end
subgraph RedTeam ["主动红队测试 (Red Teaming)"] E["红队探测引擎"] -->|"多策略探测"| F["发送对抗性 Probes"] F --> G["捕获输出与 Judge 判定"] G --> H["生成证据、建议与 Trace 详情"] end ```
除了被动分析线上 traces,Engine v2 还引入了全自动化的“红队测试”(Red Teaming)。Harrison 强调这是一种完全主动的工作模式:“它不仅是在 traces 上运行分析,而是会主动构思新的探测样本(probes),将其发送到系统里,并观察系统如何响应。”现场演示视频展示了红队测试启动后的完整排查链条:后台采用多种策略生成具有攻击性或边界情况的请求,精准找出系统的薄弱环节。系统不仅会列出发送的 Prompt、观察到的实际输出与预期输出,还会给出 Judge 模型的裁定依据以及后续处置建议,开发者可以直接点击跳转查看当时的完整 trace,实现主动的压力测试。
- **测试用例生成能力**:Engine 可以主动生成测试数据点(data points)、构建 evals,并与部署流水线打通,直接触发更新。 - **红队测试证据链**:系统不仅指出 Agent 失败,还会详细对比实际输出与期望输出,并提供 Judge 的决策依据。 - **压力测试定位**:红队测试旨在“主动给 Agent 做压力测试,提前发现潜在崩溃点”,防止未知漏洞流入生产环境。
---
[30:30](https://www.youtube.com/watch?v=XOUSuxY074U&t=1830s) Agent 运行时自主上报与 Engine 成本优化
团队在生产实践中观察到一个普遍现象:许多 Agent 在执行任务的过程中,自己其实能感知到陷入了困境或出现了错误。为了不让这些宝贵的信息在后续分析中被二次“重复排查”,LangChain 在大会当天正式推出了“自主上报”(self-report)工具与接口。Agent 在执行中一旦检测到异常,就可以直接调用该工具上报当前的运行状态以及问题推理过程(reasoning)。该标注信息会在后台与对应的 trace 自动关联绑定;当 LangSmith Engine 在夜间定时任务运行时,就会直接提取 Agent 在运行瞬间所记录的逻辑,以此为线索展开精准归因与修复。
```mermaid flowchart LR accTitle: Agent 自主上报与 Engine 批处理流水线 accDescr: 展示 Agent 运行时如何通过 self-report 接口关联 trace,并由 Engine 在夜间批处理中读取。
subgraph Runtime ["运行时阶段"] A["Agent 执行任务"] -->|"遇到错误/异常"| B["调用 Self-Report Tool"] B --> C["注入推理分析与上下文"] end
subgraph Observability ["LangSmith 数据层"] C --> D["Trace 自动关联错误标签"] end
subgraph Analysis ["离线分析阶段"] D --> E["夜间定时 Engine 任务"] E --> F["直接提取 Agent 现场逻辑进行修复"] end ```
在工程架构层面,Engine 也进行了重大降本与性能重构,不仅在运行开销上显著降低,在寻找与实施修复方案的质量上也经过了主流代码基准(coding benchmarks)的严格验证。面对现场众多私有化部署(self-hosted)企业客户,Harrison 宣布最新的 v7 私有化版本已全面支持“自带密钥”(Bring Your Own Key, BYOK)。Harrison 对 Engine 的发展前景表达了极高的信心,他指出开发 Agent 的迭代上限在本质上取决于团队转动“数据飞轮”的速度:“我们非常非常看好 Engine……因为我认为你构建 Agent 的速度,本质上受限于你转动飞轮的速度有多快。”
- **自主上报工具上线**:大会当天正式推出,允许 Agent 在运行时主动调用该端点,传入错误描述与推导原因。 - **海量生产扫描数据**:LangSmith Engine 迄今已扫描了超过 7000 万条 traces,累计识别出逾 21,000 个问题。 - **Self-Hosted v7 发布**:正式为私有化客户支持 Bring Your Own Key(BYOK),让企业可在本地环境使用 Engine。
---
[32:10](https://www.youtube.com/watch?v=XOUSuxY074U&t=1930s) 总结:构建拥有自身智能的数千个垂直领域 Agent
在演讲尾声,Harrison 系统性地串联了整套产品技术栈的设计理念。从底层开始,Runtime 层的核心目标是借助 Managed Deep Agents 将 Agent 从本地笔记本迁移到云端,提供原生具备多租户、多人协同、第三方服务集成与身份权限认证(identity and auth)能力的现代化托管环境;在中间的数据与可观测层,LangSmith 则致力于成为专为 Agent Traces 打造的最佳数据平台,重构摄取、查询、存储与可视化的整套链路;在顶层,通过注入自动化智能能力来驱动系统自主演进。
Harrison 重申了团队终极的“北极星指标”——帮助企业真正掌控自己的智能(own your intelligence)。他坚信通用模型无法通吃所有场景,未来的企业生产力必将由数以千计的垂直领域 Agent 共同驱动。他总结道:“我百分之百相信,未来无论在企业外部还是内部,都会涌现出数以千计的垂直、特定领域的 Agent,它们将真正推动变革、优化流程并创造新价值。”想要构建出稳定可靠的 Agent,唯一的路径就是将企业专有的上下文、行业技能和专有知识深度嵌入到模型权重、外围框架(harness)以及上下文系统中。Harrison 感谢了伦敦首届 Interrupt 大会的参会者,并鼓励大家持续保持密切反馈,共同塑造 Agent 基础设施的演进方向。
- **三层架构栈**: 1. **Runtime**:基于 Managed Deep Agents 实现云端多租户、多协作者、内置身份认证的执行环境。 2. **Data Platform**:围绕 Agent Traces 独特的数据特性构建摄取、存储与查询管道。 3. **Intelligence**:利用 Engine v2 等工具实现自动测试、红队探测与自我迭代。 - **专有化智能三大载体**:企业独有的专有上下文必须通过模型微调权重(model weights)、框架架构工程(harness)或上下文注入(context)转化为护城河。 - **社区与用户反馈**:Interrupt London 大会的核心意义在于倾听第一线工程团队的痛点,通过真实反馈持续修正 LangChain 的开发路线图。
## Notable quotes > [00:06](https://www.youtube.com/watch?v=XOUSuxY074U&t=6s) And when we see these agents start to come into production and really transform what's happening, it's really everything around the model. — Harrison Chase
> [03:12](https://www.youtube.com/watch?v=XOUSuxY074U&t=192s) And when we think of that specialization at the harness layer, at the model layer, at the context layer, when we think of that specialization, to us, that's what it really means to own your intelligence. — Harrison Chase
> [12:04](https://www.youtube.com/watch?v=XOUSuxY074U&t=724s) 我不认为未来只是 Agent 运行在你的笔记本电脑上为你一个人服务,我认为 Agent 将运行在云端,在后台主动且全天候工作,以多租户模式为大量用户服务。 — Harrison Chase
> [14:06](https://www.youtube.com/watch?v=XOUSuxY074U&t=846s) 我们认为更好的模式实际上是将 Agent 运行在沙箱外部,并将沙箱作为一种工具连接进去。 — Harrison Chase
> [19:18](https://www.youtube.com/watch?v=XOUSuxY074U&t=1158s) There are so many clues in the natural language of these agent traces that you want to score, and things like decision models we think are a great step forward in doing that reliably. — Harrison Chase
> [21:27](https://www.youtube.com/watch?v=XOUSuxY074U&t=1287s) This type of, like, RBAC and ABAC is not usually something that I see people getting excited about, but it is so key for dealing with this sensitive information that's in all these traces. — Harrison Chase
> [30:30](https://www.youtube.com/watch?v=XOUSuxY074U&t=1830s) 我认为你构建 Agent 的速度,本质上受限于你转动飞轮的速度有多快。 — Harrison Chase
> [32:10](https://www.youtube.com/watch?v=XOUSuxY074U&t=1930s) 我百分之百相信,未来无论在企业外部还是内部,都会涌现出数以千计的垂直、特定领域的 Agent,它们将真正推动变革、优化流程并创造新价值。 — Harrison Chase
## Mentioned Harrison Chase, LangChain, LangSmith, Deep Agents, Managed Deep Agents, SmithDB, LangSmith Engine, LangSmith Deployments, Open SWE, Jev, monday.com, Harvey, Orange, NVIDIA, Kimi, DeepSeek, LangGraph, Model Context Protocol (MCP), Slack, Microsoft Teams, GitHub, Interrupt London
## Video description Harrison Chase, Co-Founder and CEO of LangChain, explains what it means to own your intelligence, the specialization a team builds into the model, the harness, and the context, why he thinks agents need to be open, compounding, and governed to get there, and points to monday.com, Harvey, and Orange as examples of companies building the system around the model. He then walks through the LangSmith stack: Managed Deep Agents, which combines the Deep Agents harness and managed infrastructure into one, plus two agents LangChain built internally, Open SWE and its GTM Agent; observability on SmithDB, with Jev as a judge, RBAC on trace inputs and outputs, LangSmith Trajectories, the new AI Search, and LangSmith Custom Apps; and LangSmith Engine, where Engine v2 tests its own fixes on LangSmith Deployment and red teams your agent. He also introduces a self-report tool that agents can call to flag what went wrong while they run, and shares that Engine has scanned over 70 million traces and detected over 21,000 issues.
This session was captured at Interrupt London, the agent conference by LangChain.
Chapters: 0:00 Why the system around the LLM is what makes agents work 3:12 Why own your intelligence, and what does it take? 6:59 How to organize people, process, and technology for agents 9:56 What goes into a harness like Deep Agents? 12:04 How Managed Deep Agents runs your agent in the cloud 16:49 Inside LangChain's own coding and GTM agents 18:23 Why agent traces are a new type of data 19:57 How decision models like Jev make online evals cheaper 21:27 Storing sensitive traces, from BYOC to trajectories 23:55 Finding needles in a haystack with AI Search 26:01 Building your own trace views with Custom Apps 27:38 How LangSmith Engine finds issues and tests its own fixes 30:30 Letting agents self-report what went wrong 32:58 Why the future is thousands of vertical agents
Resources: → LangSmith Engine: https://www.langchain.com/langsmith/engine → Managed Deep Agents: https://docs.langchain.com/langsmith/python/managed-deep-agents-overview → AI Search in LangSmith: https://www.langchain.com/blog/agent-traces-ai-search-langsmith → LangSmith: https://www.langchain.com/langsmith → Interrupt, the agent conference by LangChain: https://interrupt.langchain.com
[Source](https://www.youtube.com/watch?v=XOUSuxY074U)