LangChain
随着底层基础模型加速同质化,垂直智能体的核心壁垒已转移至外围线束与运行时数据,企业必须通过模型中立架构与持续复利机制掌控自主智能。
AI-assisted summary of Interrupt NYC: Opening Keynote — original source. Check the original for full context.
Source published:
Key ideas
- LangChain 正式发布 Managed Deep Agents,将 Deep Agents 开源线束与托管基础设施结合,并内置企业级鉴权原语(Connections、Identity、Channels)、细粒度用户级记忆,以及通过 Parallel 提供的免单独密钥 Web 搜索工具。 (12:42)
- 针对现代智能体长上下文与循环调用的排查痛点,LangSmith 推出 Trajectories 标准格式与配套的 smithtune 命令行工具,支持将 Trace 数据一键管道化推送到 Fireworks 或 Baseten 进行模型微调,底层由专有数据库 SmithDB 提供高并发吞吐保障。 (19:50)
- LangSmith Engine 升级至 v2 版本,新增通过预览分支进行物理验证的自动化代码修复功能以及前置红队演练能力;该引擎目前已扫描超 7000 万条 Trace 并检出逾 21,000 个缺陷,即将支持带 BYOK 的私有化部署。 (26:03)
- LangSmith LLM Gateway 在支持 OpenAI 与 Anthropic 协议对齐的基础上,新增针对提供商宕机的状态化故障转移机制,可在检测到连续错误时自动切流 10 至 30 分钟以保障企业级系统高可用。 (18:44)
Detailed notes
## Background 本内容由 LangChain 官方频道于 2026 年 10 月 5 日发布在 YouTube 上,记录了 LangChain 联合创始人兼 CEO Harrison Chase 在纽约举办的 Interrupt 大会开幕主题演讲。视频简介显示,Harrison 结合 Rogo、Harvey 和摩根大通的实践,系统阐释了企业掌握自主智能所需的三大支柱,并全面拆解了 LangSmith 平台在托管运行时、可观测性与自动化引擎层面的最新产品矩阵。
## TL;DR Harrison Chase 回顾了 AI 从原型探索向重塑应用层的演进历程,提出企业必须通过中立 Harness、持续复合的学习闭环及严密治理来实现“掌握属于你自己的智能”。随后,他逐层发布了 LangSmith 的重磅升级:在运行时推出支持鉴权、用户级记忆与内置搜索的 Managed Deep Agents,以及集成 Jev 和 SemIf 决策模型的 LLM Gateway;在观测评估层上线了 Trajectories 标准格式、配套的 smithtune 微调工具链与 Custom Apps 对话式应用生成;最后推出升级版 LangSmith Engine v2,实现基于部署分支的自动化代码修复验证与前置红队演练。
## Atmosphere & style 整个演讲节奏紧凑且充满技术干货,Harrison Chase 以极具感染力且务实的工程师视角主导全场,开场即以极高的行业洞察力点燃大会氛围。叙述风格层层递进,既有对宏观架构哲学的清晰抽象,又有深入代码工具链与产品原语的硬核拆解,向开发者传递出极强的执行力与技术确定性。现场听感既像是一场前沿 AI 基础设施的密集巡礼,又是一份直击企业落地痛点的实操工程指南。
## Bulletin - [12:42](https://www.youtube.com/watch?v=950byF7njfw&t=762s) LangChain 正式发布 Managed Deep Agents,将 Deep Agents 开源线束与托管基础设施结合,并内置企业级鉴权原语(Connections、Identity、Channels)、细粒度用户级记忆,以及通过 Parallel 提供的免单独密钥 Web 搜索工具。 - [19:50](https://www.youtube.com/watch?v=950byF7njfw&t=1190s) 针对现代智能体长上下文与循环调用的排查痛点,LangSmith 推出 Trajectories 标准格式与配套的 smithtune 命令行工具,支持将 Trace 数据一键管道化推送到 Fireworks 或 Baseten 进行模型微调,底层由专有数据库 SmithDB 提供高并发吞吐保障。 - [26:03](https://www.youtube.com/watch?v=950byF7njfw&t=1563s) LangSmith Engine 升级至 v2 版本,新增通过预览分支进行物理验证的自动化代码修复功能以及前置红队演练能力;该引擎目前已扫描超 7000 万条 Trace 并检出逾 21,000 个缺陷,即将支持带 BYOK 的私有化部署。 - [18:44](https://www.youtube.com/watch?v=950byF7njfw&t=1124s) LangSmith LLM Gateway 在支持 OpenAI 与 Anthropic 协议对齐的基础上,新增针对提供商宕机的状态化故障转移机制,可在检测到连续错误时自动切流 10 至 30 分钟以保障企业级系统高可用。
## Key takeaways - [00:06](https://www.youtube.com/watch?v=950byF7njfw&t=6s) AI 应用层发展在三年内完成了从 2023 年原型、2024 年单次调用、2025 年智能体探索,到 2026 年智能体全面重塑应用层的演进。 - [02:43](https://www.youtube.com/watch?v=950byF7njfw&t=163s) 企业构建竞争壁垒的核心转向“掌握属于你自己的智能”(Owning your intelligence),即围绕同质化的基础模型构建领域专有数据、上下文控制与工作流线束。 - [04:25](https://www.youtube.com/watch?v=950byF7njfw&t=265s) 实现智能自主需要三大支柱:保持模型中立且精细可控的 Harness、从生产错误中持续进化的智能复利闭环,以及严格的企业级治理体系。 - [07:22](https://www.youtube.com/watch?v=950byF7njfw&t=442s) 智能体落地要求重构组织架构,由内至外形成核心平台工程师、融合多技术栈的 Agent 工程师,以及作为效果最终裁判的领域专家(SME)三层分工体系。 - [09:38](https://www.youtube.com/watch?v=950byF7njfw&t=578s) LangSmith 确立了三层平台全栈架构:底层的运行时(Runtime)、中间层的可观测性与评估(Observability & Eval),以及贯穿全流程赋能的智能层(Intelligence Layer)。 - [12:42](https://www.youtube.com/watch?v=950byF7njfw&t=762s) Managed Deep Agents 将业务逻辑与托管基础设施解耦,通过开箱即用的方式大幅缩短企业内部智能体从原型到生产投产的周期。 - [15:51](https://www.youtube.com/watch?v=950byF7njfw&t=951s) 以 Jev 和 SemIf 为代表的纯决策模型正在崛起,不负责文本生成,专精于在评估、安全护栏和模型路由等轻量控制流中提供极低延迟的打分与裁决。 - [18:00](https://www.youtube.com/watch?v=950byF7njfw&t=1080s) LangSmith LLM Gateway 建议企业统一归集全部模型流量,通过预算上限、速率限制及状态化自动降级切流实现深度的成本控制与安全性治理。 - [19:50](https://www.youtube.com/watch?v=950byF7njfw&t=1190s) 可观测性范式从传统的单次 Trace 升级为消息序列 Trajectories,通过折叠上千步工具调用加速复杂智能体的调试、标注与后训练数据转化。 - [22:57](https://www.youtube.com/watch?v=950byF7njfw&t=1377s) smithtune CLI 打通了从追踪数据筛选、清洗预处理到外部 GPU 集群训练的闭环,降低了基于真实线上数据微调专用模型的门槛。 - [24:44](https://www.youtube.com/watch?v=950byF7njfw&t=1484s) LangSmith Custom Apps 结合开源设计系统与企业权限(RBAC/ABAC),支持用户通过自然语言快速为 LangSmith 数据搭建定制化看板以实现人机协同。 - [26:03](https://www.youtube.com/watch?v=950byF7njfw&t=1563s) LangSmith Engine v2 实现了从被动错误监控到主动验证修复(在动态预览分支复现并跑通测试)以及前置红队演练的主动演进,降低了初始评测数据集的构建难度。
## Detailed walkthrough ### [00:06](https://www.youtube.com/watch?v=950byF7njfw&t=6s) 开场致辞与过去三年 AI 的演进
Harrison Chase 走上讲台,对现场观众致以热烈欢迎,惊呼在纽约举办本次大会的盛况令人难以置信。Interrupt 大会过去两年一直在旧金山举办,而本次是团队首次将整整一天的议程带到纽约。大会不仅安排了一系列重磅发布,还邀请了众多业内实战专家进行炉边谈话,并由前沿 Agent 构建者分享实践心得。在展望未来之前,Harrison 先带大家回顾了过去几年令人眩晕的发展历程。虽然感觉技术迭代飞快,但这一切真正爆发其实不过三年左右的时间:
- **2023 年**:整个行业主要聚焦于构建原型(Prototypes)。 - **2024 年**:团队开始将简单的应用推向生产环境,但当时绝大多数依旧局限于单次 LLM 调用(Single LLM calls)。 - **2025 年**:行业正式开启对智能体(Agents)的深度探索。 - **2026 年(今年)**:智能体彻底重塑了应用层(Application Layer)。
Harrison 强调,如今走在前面的公司不再只是向客户交付裸模型,而是围绕模型构建高度差异化的体验。垂直领域的专业 Agent 绝非简单的套壳工具(Wrappers),它们正在创造真金白银的商业价值。Harrison 重点列举了三家典型企业: 1. **Rogo**:构建了具备模型路由(Model Routing)能力的专用 harness(外围框架与调度体系),打造面向金融垂直领域的专业 Agent。 2. **Harvey**:针对专业任务对模型进行微调(Fine-tuning),从而在法律垂直领域取得顶尖表现。 3. **摩根大通(JPMorgan Chase)**:代表了企业内部场景,通过深度定制模型外围的 harness,为其内部著名的“Jarvis 装配线”提供巨大支持。
这些案例的共性在于:企业围绕基础模型搭建了大量配套能力,使其真正属于自己。正如 Harrison Chase 所言:“All of these are examples of companies taking the model, building a lot of stuff around it to make it truly theirs, and the phrase that has been going around to really exemplify all of this is owning your intelligence.”(这些都是企业采用现有模型、并在其周围构建大量配套设施使其真正属于自己的例子;而最能精准概括这一切的流行表述就是——掌握属于你自己的智能。)
---
[02:43](https://www.youtube.com/watch?v=950byF7njfw&t=163s) 为何当下必须“掌握属于你自己的智能”
“掌握属于你自己的智能”(Owning your intelligence)之所以成为当下所有团队的核心诉求,主要由三大驱动力决定:
1. **Token 成本飙升**:企业在 AI 上的支出呈指数级增长,迫切需要衡量并确保真正的 ROI(投资回报率)。具备掌控与监控 Token 支出的能力,是实现智能自主的关键前提。 2. **开源/权重开放模型(Open-weight Models)的爆发**:开源不仅提供了廉价的基础设施替代方案,更带来了深度的定制自由度。随着基础开源模型性能不断跃升,团队可以进行后训练(Post-training)或针对特定流程进行特化调用,让自研智能的门槛大幅降低。 3. **基础模型的同质化(Commoditization)**:过去一年行业形成共识,基础模型本身正在快速商品化、平庸化。真正的核心壁垒转移到了模型周围的系统设计上——特别是提供给模型的特有数据上下文(Context),以及硬编码进 harness 中的特定行业处理路径(Domain-specific paths)。
Harrison 回顾道,LangChain 虽在 ChatGPT 问世前一个月便已创建,但真正腾飞正是因为 ChatGPT 爆火后,各行各业都渴望为自身领域定制专属应用。LangChain 从诞生之日起,核心价值主张就是保持“模型选择灵活性(Model optionality)”,让领域逻辑在架构上天然与底层模型解耦。
---
[04:25](https://www.youtube.com/watch?v=950byF7njfw&t=265s) 自主掌握智能的三大核心支柱
实现“掌握属于你自己的智能”,需要建立在三个核心技术支柱之上:
```mermaid flowchart TD accTitle: 三大核心支柱架构 accDescr: 展示实现掌握自身智能所需的三大支柱:开放且可控的 Harness、持续复合的学习闭环,以及严格的内部治理。
subgraph P1["第一支柱:开放且可控的 Harness"] A1["模型中立 (Model Neutral)"] A2["确定性与上下文控制 (LangGraph / Deep Agents)"] end
subgraph P2["第二支柱:智能复合闭环 (Compounding Loop)"] B1["捕获真实生产交互与错误"] B2["评测驱动 (Evals) 优化 Prompt / 权重 / 记忆"] end
subgraph P3["第三支柱:完善治理 (Governance)"] C1["统一身份鉴权与权限控制 (Auth)"] C2["资产盘点、生命周期与成本监控"] end
P1 --> P2 P2 --> P3 ```
1. **开放且可控的 Harness(Open and Controllable Harness)**: - **模型中立(Model-neutral)**:兼具进攻与防御双重意义。进攻端,无论 OpenAI、Anthropic 还是像 TypeSafe 的 Jev 这类新兴决策模型推出最新突破,系统都能在第一时间无缝热切换;防御端,可防止被单一模型供应商绑定,丧失议价权。 - **细粒度控制**:构建领域 Agent 的精髓,在于能在最准确的时间节点把最精准的垂直上下文喂给模型。这可以通过像 LangGraph 这样的有向图框架实现高度确定性的控制,也可以利用 Deep Agents 等开源 harness,通过类似 Middleware(中间件)的机制动态介入 Agent 核心循环的决策逻辑。
2. **智能复利/持续复合(Compounding Intelligence)**: Agent 部署上线绝非终点,而仅仅是起点。系统必须能从真实交互行为中持续提取经验,捕捉失误。这种复利进化既可以通过工程师排查错误后手动修改代码或优化 Prompt,也可以借助 Memory(记忆系统)或自动 Prompt 优化算法完成自动化自愈与升级。Harrison 旗帜鲜明地指出:“If you can define what better and what best looks like for your domain better than anyone else, you will be able to build the best agent for that domain.”(如果你能比任何人都更精准地定义在你所在的领域里什么是‘更好’、什么是‘最好’,你就必然能为该领域打造出最强大的 Agent。)
3. **完善治理(Governed)**: 在企业内部 Agent 爆发式增长的背景下,治理成为刚需。企业必须清晰掌握内部存活着多少 Agent、成本消耗在何处,并且必须具备严密的身份认证(Auth)机制,确保员工只能访问自身权限允许的上下文和工具。
---
[07:22](https://www.youtube.com/watch?v=950byF7njfw&t=442s) 落地 Agent 的组织架构、迭代流程与技术栈初探
要全面落实上述三大支柱,企业需要从“人员(People)”、“流程(Process)”和“技术(Technology)”三个维度进行协同重构:
- **人员分工模式(三层同心圆)**: - **核心平台工程师(Core Platform Engineers)**:位于最内层,负责建设底座工具,为上层提供统一的评测体系、复利迭代闭环以及治理平台。 - **Agent 工程师(Agent Engineers)**:位于中间层,这是融合了数据科学家、传统软件工程师与机器学习工程师的“奇特混合体(weird hybrid mix)”新型角色,他们基于平台层工具直接开发与调优具体 Agent。 - **领域专家(Subject Matter Experts, SMEs)**:位于最外层,分布在业务一线,他们虽非程序员,却是定义“什么是合格输出”的最终裁判,因此技术平台必须延伸支持这类非开发人员。
- **构建流程闭环**: Agent 开发高度依赖敏捷试错,初始版本往往不尽如人意。业界正在形成标准生命周期闭环:**构建(Build) $\rightarrow$ 测试(Test) $\rightarrow$ 部署(Deploy) $\rightarrow$ 监控(Monitor)**,并将监控中捕获的生产数据直接反哺至新一轮的 Build 环节,全流程均在严密治理的框架下运行。
- **底层技术支柱**: 技术底座可拆解为两大部分:其一是提供运行环境与流程控制的**运行时(Runtime)**(包括 LangChain 开源库、LangGraph 以及 Deep Agents);其二则是支撑智能进化、评测与落地的支撑体系。
[09:38](https://www.youtube.com/watch?v=950byF7njfw&t=578s) LangSmith 平台的三大核心支柱与 Agent 运行时架构
Harrison Chase 将话题引向 LangSmith 商业平台的核心演进。在早期构想中,平台主要聚焦于两大支柱:一是“运行时(Runtime)”,即确保 Agent 不仅能跑在工程师的本地笔记本电脑上,更能稳定部署在云端,为整个组织内部的员工或外部客户提供服务;二是“可观测性与评估(Observability & Eval)”,这是构建飞轮效应与持续复利层的关键,让开发者能看清 Agent 的具体行为并精确衡量其表现。而近期,LangChain 在这两者之上又构建了第三层——贯穿整个平台的“智能层(Intelligence Layer)”,旨在利用平台自带的智能加速整个 Agent 开发生命周期。
```mermaid flowchart TD accTitle: LangSmith Platform Architecture accDescr: The three core layers of LangSmith: Runtime, Observability & Eval, and the Intelligence layer.
subgraph TopLayer["顶层赋能"] IL["智能层 (Intelligence Layer)"] end
subgraph CorePillars["核心底座"] RT["运行时 (Runtime)<br/>部署与持久化执行"] OE["可观测性与评估 (Observability & Eval)<br/>追踪、衡量与数据复利"] end
IL -->|"全流程加速"| RT IL -->|"洞察与提效"| OE ```
在剖析 Agent 运行时结构时,Harrison Chase 指出其通常由三个基础组件构成: 1. **业务逻辑(Business Logic)**:包含指令、工具、技能(Skills)和钩子(Hooks)。这是构建垂直领域 Agent 时必须由业务方提供的核心要素,例如金融类 Agent 与法律类 Agent 所需的技能完全不可同日而语。 2. **线束/框架(Harness)**:负责将底层模型与领域上下文串联在一起,“基本把它们全连起来,让模型能在正确的时间点看到正确的上下文”(“basically wires it all up so that the model can see the right context at the right point in time”)。开发者既可以用 LangGraph 编写高度定制化的 Harness,也可以采用如 Deep Agents 这类通用线束。Deep Agents 深度借鉴了代码智能体(Coding Agents)的设计哲学,内建沙箱文件系统并支持基于压实的上下文管理。 3. **基础设施(Infrastructure)**:支持 Agent 从本地走向云端生产环境所需的持久化执行运行时服务器、安全访问工具的网络层、代码执行沙箱以及模型访问网关等。
- LangSmith 针对基础设施各模块推出了对应的产品矩阵:负责 Agent 云端运行时的 LangSmith Deployment、目前处于 Beta 测试用于代码安全执行的 LangSmith Sandboxes,以及用于模型路由与访问的 LangSmith LLM Gateway。 - 团队正在开发专用的工具服务器(Tool Server),以进一步简化 Agent 对各类外部工具的安全调用。
---
[12:42](https://www.youtube.com/watch?v=950byF7njfw&t=762s) Managed Deep Agents 全新发布:身份鉴权、用户级记忆与内置网络搜索
为了降低组装基础设施的高昂门槛,Harrison Chase 重点介绍了 Managed Deep Agents。该产品将 Deep Agents 开源线束与云端全托管基础设施深度融为一体。开发者不再需要分别对接线束和三四个基础设施模块,只需直接输入自己的业务逻辑,即可一键获得开箱即用的线上 Agent。Harrison Chase 表示,此方案能极大缩短从原型到生产投产的时间,成为企业内部共享与开发 Agent 的理想基座。
围绕最新发布的 Managed Deep Agents,LangChain 针对构建企业级内部 Agent 的核心痛点推出了三大全新能力:
```mermaid flowchart LR accTitle: Managed Deep Agents Components accDescr: How Managed Deep Agents combines business logic with harness, infrastructure, auth, memory, and tools.
subgraph Input["用户提供"] BL["业务逻辑<br/>(指令 / 技能 / 钩子)"] end
subgraph Platform["Managed Deep Agents 托管层"] direction TB HN["Deep Agents Harness<br/>(沙箱 / 上下文压实)"] INF["托管基础设施<br/>(运行时 / 工具服务)"] FEAT["新功能特性:<br/>1. 鉴权体系 (Connections/Identity/Channels)<br/>2. 用户级记忆 (User-level Memory)<br/>3. 内置搜索 (Parallel Web Search MCP)"] end
Input --> Platform ```
1. **企业级鉴权原语(Auth Primitives)**:针对 Agent 连接 Notion、Jira 等系统时权限归属不明的难题,平台推出了“连接(Connections)”(定义终端用户向工具服务器授权的方式)、“Agent 身份(Identity)”(支持将 Agent 设定为用户代理授权或固定服务账号授权)以及“渠道(Channels)”(原生解决在公共 Slack 共享频道中多个同事与同一个 Agent 交互时的鉴权上下文隔离问题)。 2. **用户级记忆(User-level Memory)**:此前版本仅具备智能体维度的记忆(Agent-level Memory),新版本增加了针对交互个体的细粒度用户级记忆,使内部 Agent 能精准记住不同同事的习惯与历史偏好,极大增强了个性化定制能力。 3. **内置 Web 搜索(Built-in Tools via Parallel)**:集成了 Parallel 提供的 Web 搜索 MCP 工具,用户直接复用自身的 LangSmith API 密钥即可直接调用网络检索,无需单独申请和管理第三方搜索服务密钥。
“这就是我们对 Managed Deep Agents 的定位,它是一个企业级线束,让在组织内部开始构建和共享 Agent 变得异常简单。”(“and that's how we think about Managed Deep Agents, is this company harness that makes it really easy to get started building and sharing agents inside an org.”)
---
[15:51](https://www.youtube.com/watch?v=950byF7njfw&t=951s) 决策模型(Jev / SemIf)的崛起与轻量化控制流
随后,Harrison Chase 谈及周末发布的全新架构模型 Jev,并将其归类为“决策模型(Decision Model)”。不同于传统的文本生成模型,决策模型接收系统当前状态以及一系列问题列表,然后对这些问题进行评估打分——可以输出布尔值(Boolean)、连续分值或分类选择(Categorical Choice)。它虽然不具备自然语言生成能力,却专注于极其纯粹的“做决定(Make Decisions)”。
Harrison Chase 认为未来的 Agent 架构不仅需要依赖 Claude Code、Codex 或 Deep Agents 所采用的复杂前沿生成模型(Frontier Models),同样需要大量快速、轻量的辅助判断逻辑。决策模型能够与 LangGraph 的认知架构和条件路由完美互补,其最核心的落地场景涵盖三大方向: - **评估(Eval)**:支持离线评估与运行时在环(In-the-loop)实时打分,在 Agent 执行链路中以极低开销快速捕捉逻辑偏差与错误。 - **安全护栏(Guardrails)**:以极高吞吐量快速标记与过滤恶意用户输入。传统护栏的一大痛点是“总是会增加延迟”(“One of the downsides of guardrails is that it always adds latency”),而决策模型以极低延迟打破了这一性能瓶颈。 - **模型路由(Model Routing)**:在复杂工作流中动态裁决调度哪个特定 Agent、大模型、领域技能或外部工具。
目前用户已可直接通过 LangSmith LLM Gateway 接入 Jev,同时平台还托管并支持了在 Jev 问世后迅速爆发的开源决策模型 SemIf。
---
[18:00](https://www.youtube.com/watch?v=950byF7njfw&t=1080s) LangSmith LLM Gateway:统一流量归集与企业级治理
在运行时的最后一个环节,Harrison Chase 快速回顾了在一两个月前进入 Beta 测试的 LangSmith LLM Gateway。针对无论是面向客户还是企业内部的 LLM 应用,该网关重点提供了双重接入优势:一方面在接口协议层面支持针对 OpenAI 以及 Anthropic 消息格式的全面归一化对齐,同时提供直通(Pass-through)机制,确保开发者能够第一时间无缝体验各底层厂商刚推出的前沿 API 新特性;另一方面,网关已深度集成包括 Codex、Claude Code 以及 Cursor 在内的各类主流代码智能体工具。
Harrison Chase 强烈呼吁工程团队将全部模型请求集中接入网关进行统一调度:“出于治理和成本控制的考虑,我们认为你应该把所有的流量都路由过去。”(“Again, we think you should be routing all of your traffic, for governance and cost control reasons.”)通过集中式的网关代理,企业能够在底层全面沉淀请求轨迹,为后续的安全审计、限流降级及数据复利打下坚实基础。
[18:44](https://www.youtube.com/watch?v=950byF7njfw&t=1124s) LangSmith LLM Gateway 的企业级治理与状态化故障转移
Harrison Chase 阐述了统一模型接入层的必要性。为了管理企业内所有的 AI 应用,LLM Gateway 必须能够无缝集成到每一个正在使用 AI 的系统中。团队针对网关重点打磨了三大核心功能:首先是成本控制(Cost Controls),不仅提供实时的成本可见性,还支持针对不同团队、特定用户乃至单独的 API Key 设置严格的花费上限;其次是速率限制(Rate Limiting),防止单个应用无节制调用而导致资源耗尽或服务限流;第三则是故障转移(Fallbacks),当某个模型提供商报错时能够自动降级切换至备用提供商。
针对故障转移,Harrison 预告了一项即将推出的关键更新——“更有状态的故障转移”(Stateful Fallbacks)。在传统实现中,每一次调用报错后才会尝试回退,但在新机制下,一旦网关检测到请求持续失败、判断 Anthropic 可能发生宕机,系统后续甚至不会再去尝试发送请求,而是直接在接下来的 10 分钟或 30 分钟内无缝切流至 OpenAI,并允许团队按需高度自定义切流策略。Harrison 强调:“And so we want to make LangSmith LLM Gateway the most kind of like secure and reliable way to monitor and govern and fall back on different LLM providers when you're using them.” 这标志着 LangSmith 在运行时(Runtime)层面的产品布局基本成型,随后演讲转向了可观测性(Observability)与评估(Eval)领域。
- **成本控制**:为不同的团队、用户和 API Key 划分预算上限与花费可见性。 - **速率限制**:防止个别应用过度消耗配额,保障系统整体稳定性。 - **状态化故障转移**:智能感知提供商整体可用性,实现自动定时切流(如在提供商故障时直接停用并切流 10 至 30 分钟)。
---
[19:50](https://www.youtube.com/watch?v=950byF7njfw&t=1190s) 核心观测标准升级:从 Trace 到 Trajectories
在探讨如何构建让智能体不断进化的“复利循环”(Compounding Loop)时,Harrison 指出 Trace(追踪记录)始终是这套学习飞轮的底层事实来源(System of Record)。以往 LangSmith 依赖三层抽象基语:单个 LLM 调用的 Run、单次智能体执行的 Trace,以及多轮交互组成的 Thread。然而过去一年的行业实践表明,业界需要一种更适合现代智能体运行特征的标准表示格式——“Trajectories”(轨迹)。当前无论是编码智能体还是专有业务智能体,基本都在循环调用 LLM 并持续积累消息列表,这一标准格式蕴含着极大的利用价值,为此 LangSmith 正式发布了 LangSmith Trajectories。
```mermaid flowchart LR accTitle: 传统 Trace 与现代 Trajectories 的对比架构 accDescr: 展示了从低层级 Run 和 Trace 向标准压缩消息格式 Trajectories 的抽象升级路径
subgraph LegacyPrimitives ["传统观测抽象"] R["Run (单次调用)"] --> T["Trace (单次执行)"] T --> TH["Thread (多轮会话)"] end
subgraph TrajectoryStandard ["现代 Trajectories 标准"] direction TB M["循环消息序列 (Messages List)"] TC["折叠工具调用 (Tool Calls)"] M --- TC end
LegacyPrimitives -->|"抽象聚合与标准化"| TrajectoryStandard TrajectoryStandard --> F1["加速调试与直观排查"] TrajectoryStandard --> F2["降低人工标注与反馈门槛"] TrajectoryStandard --> F3["直接作为后训练微调数据"] ```
Harrison 详细拆解了 Trajectories 带来的三重核心收益。首先是极大加快调试排查效率。面对包含数千次迭代的复杂 Trace,旧版界面解析极其吃力,而 Trajectories UI 借鉴了 Coding Agent 和 Chat Agent 的交互风格,将冗长的工具调用进行视觉折叠与精简展示,让开发者能快速扫读全局。其次,直观的可视化让给运行记录打标签、留反馈变得非常简单,降低了人工标注门槛。第三项也是影响深远的一点,它天然为模型后训练(Post-Training)铺平了道路。后端负责抹平各类 SDK 和编码智能体复杂的原生 Trace 差异,将其统一解析为标准的 Trajectory 格式,供模型微调直接使用。
- **调试提速**:直观展示智能体上下文演进,高度折叠数百上千步冗余工具调用。 - **轻量标注**:使业务专家与工程师能够针对特定步骤精准留下反馈数据。 - **标准化数据输出**:将异构 SDK 的执行链路转换为符合后训练规范的统一消息轨迹。
---
[22:57](https://www.youtube.com/watch?v=950byF7njfw&t=1377s) 通过 smithtune CLI 打造模型微调闭环与底层 SmithDB
为了让沉淀在 LangSmith 中的海量 Trajectory 数据真正转化为模型能力的提升,Harrison 宣布正式推出 LangSmith Fine-Tuning 解决方案以及配套的 `smithtune` 命令行工具。微调通常涵盖“数据源”与“训练/推理基础设施”两个割裂的部分,新工具链旨在将二者无缝缝合:开发者使用 `smithtune` CLI 挑选优质 Trace,筛选相关样本并自动执行数据预处理,随后直接管道化推送到 Fireworks 或 Baseten 等专业算力平台上执行训练与推理,随后系统对其进行评估打分,最终交付一个针对特定领域优化的高性能模型。Harrison 阐述道:“And so we think this is a really powerful way to get started fine-tuning, whether it's on agents or classification tasks or guardrails or anything like that.”
所有这些 Trajectory 的高速存储与检索,均由 LangChain 自研的专有数据库 SmithDB 提供支撑。SmithDB 在几个月前的 Interrupt 大会上首次公开,专为智能体工作负载设计,在摄取、存储和复杂查询高并发智能体 Trace 时表现出极高吞吐。在 UI 层面,开发者不仅能纵览折叠后的整条 Trajectory 链路,还可以随时点击展开任意底层的工具详情,甚至一键钻取到最底层的单次 LLM 调用。
```mermaid flowchart LR accTitle: 基于 smithtune 的模型微调与优化流水线 accDescr: 展示了从 SmithDB 轨迹数据提取到第三方训练平台并最终产出优化模型的全流程
subgraph DataLayer ["数据资产层 (LangSmith)"] SDB["SmithDB 底层存储"] --> TR["Trajectories 标准轨迹"] end
subgraph Pipeline ["微调流水线 (smithtune CLI)"] TR --> CLI["筛选、过滤与数据预处理"] CLI --> TRAIN["Fireworks / Baseten 训练集群"] TRAIN --> EVAL["自动评估与基准测试"] end
EVAL --> OUT["优化后的专用模型 (Agent / 守卫 / 分类)"] ```
- **统一微调工具链**:发布 `smithtune` CLI,负责将 Trajectory 数据清洗转换为即插即用的微调格式。 - **基础设施联动**:与 Fireworks、Baseten 深度打通,实现从追踪数据到算力训练的一体化流转。 - **专有存储引擎**:依赖自研的 SmithDB,解决大规模长上下文智能体调用链路的写入与查询性能瓶颈。
---
[24:44](https://www.youtube.com/watch?v=950byF7njfw&t=1484s) LangSmith Custom Apps:用自然语言构建定制化数据看板
尽管官方 Trajectories 界面极大优化了可视化,但企业内部对智能体运行数据的消费与审查需求千差万别。针对这一痛点,Harrison 现场发布了 LangSmith Custom Apps,并形容道:“So, LangSmith Custom Apps you can basically think of as Lovable, but for your data that's already on LangSmith.” 用户可以直接通过自然语言聊天对话,让系统为现存的 LangSmith 数据实时生成专属的可视化应用。
为了保证生成的 UI 美观且风格一致,LangChain 彻底开源了自己的设计系统(Design System),以便底层驱动的 Coding Agent 能够直接调用该组件库进行代码生成。此外,自动生成的应用原生集成了企业级安全体系,完全继承用户预先配置的工作空间隔离策略,以及基于角色(RBAC)和基于属性(ABAC)的细粒度访问控制边界,使团队成员可以在权限隔离的前提下无缝共享看板、审查数据,真正实现了人机协同闭环(Human-in-the-loop)。
- **对话式生成**:类 Lovable 的交互体验,通过 Prompt 即时搭建个性化数据分析应用。 - **开源设计系统**:开放 LangChain 官方 UI 组件库,让底层 Coding Agent 生成高质量前端界面。 - **原生企业权限**:深度适配已有 Workspace、RBAC 与 ABAC 权限策略,安全共享审查面板。
---
[26:03](https://www.youtube.com/watch?v=950byF7njfw&t=1563s) LangSmith Engine v2:自动化代码修复、分支验证与前置红队演练
在谈及平台的最上层——智能(Intelligence)时,Harrison 回顾了此前发布的 LangSmith Engine。它驻留在 Tracing 项目后台,模拟一名专职 AI 工程师的日常工作:在追踪数据中挖掘异常、对错误自动聚类、生成 Issue 看板、编写修复代码、创建自动化评估器并将坏案例提取到测试集。在经历了团队六个月的集中攻坚后,现场正式发布了 LangSmith Engine v2,带来了主动验证修复和主动红队测试(Red Teaming)两项颠覆性突破。
```mermaid flowchart TD accTitle: LangSmith Engine v2 自动化闭环流程 accDescr: 说明 Engine v2 如何从监控线上错误到验证修复分支,以及如何通过红队模拟主动制造故障
subgraph PassiveFix ["主动修复验证链路"] TR["监控线上 Traces"] --> DETECT["识别潜在 Issue"] DETECT --> PREVIEW1["在 LangSmith Deployment 启动 Issue 复现分支"] PREVIEW1 --> CONFIRM["实测确认问题真实存在"] CONFIRM --> CODE["编写代码补丁"] CODE --> PREVIEW2["启动 Patch 预览分支并回归测试"] PREVIEW2 --> PR["提交附带完整证据链的修复方案"] end
subgraph ActiveRedTeam ["前置红队测试链路"] HYP["自主构建攻击假设与极端场景"] --> SIM["在 Deployment 模拟调用并压力测试"] SIM --> FLAG["捕获越权学习、不良输出及违规行为"] FLAG --> DATASET["自动生成前置评估数据集 (Eval Dataset)"] end ```
以往的 Engine 仅能被动分析线上已产生的失败 Trace,而 Engine v2 实现了高度主动化: 1. **闭环修复测试**:与 LangSmith Deployment 深度结合。当 Engine 发现可疑缺陷时,会在部署环境中启动一个预览分支(Preview Branch)复现并坐实该问题;随后系统自动编写代码补丁,再启动一个新的修复预览分支跑测试,验证无误后向开发者呈现完整的证明链条——证实“该 Bug 曾切实施加了负面影响,且当前补丁已彻底修复它”。 2. **主动红队测试**:在尚未上线或问题尚未在生产环境暴露之前,Engine 可直接调取 Deployment 接口,自主生成各类边缘假设发起模拟攻击,探测智能体是否意外习得了违规信息、产生了偏离品牌调性的内容或遭遇执行逻辑崩溃。Harrison 特别指出,这彻底化解了开发者编写初始 Eval 数据集时的巨大痛苦。
在性能和经济性方面,团队使 Engine v2 在提高检出率和修复率的同时大幅拉低了运行成本。该引擎目前已累计扫描超过 7000 万条 Trace,检测出逾 21,000 个复杂缺陷,成为众多高速增长的 AI 独角兽加速迭代的核心利器。Harrison 强调:“That iteration cycle is everything when you're building agents. And so anything we can do to help speed that up, we will absolutely do.” 最后,Harrison 宣布 Engine 即将正式支持带有 Bring Your Own Key (BYOK) 的私有化部署(Self-Hosted),该能力将在随后的 V17 版本中全面交付。
- **实测验证修复**:通过部署平台的动态预览分支机制,实现问题复现与补丁验证的双重物理确认。 - **前置红队模拟**:上线前自主注入极端用例与安全性攻击,自动化合成高价值评估数据集。 - **落地规模与指标**:已扫描超 7000 万条 Trace,累计捕获并辅助解决超 21,000 个智能体漏洞。 - **私有化支持**:Engine 正式引入 Bring Your Own Key 自带密钥模式,预计在一到两周内的 Self-Hosted V17 中落地。
[30:52](https://www.youtube.com/watch?v=950byF7njfw&t=1852s) 掌控自主智能:全栈平台架构与大会展望
Harrison Chase 在开幕演讲的尾声对 LangChain 的完整产品层级进行了系统性梳理,展示了从底层运行环境到顶层自主智能的清晰路线图。他指出,在最底层的运行时与部署方面,除了广受认可的开源框架之外,官方托管的运行环境正在发挥核心作用:“More and more we're seeing that these managed agent runtimes are becoming really powerful for going to production.” 在中间的可观测性与评估层(Observability and Eval),团队持续聚焦于打造原生适配 Agent 交互特性的基础设施——通过 Trajectories 实现对复杂决策路径的原生追踪,借助 Custom Apps 提供高度灵活的定制化界面,并利用这些真实的线上交互数据来微调专门模型,从而完美匹配各企业的具体业务负载。
位于最上层的则是全新的智能层(Intelligence Layer)。LangChain 期望让 LangSmith Engine 逐步分担目前大量由 Agent 工程师与 AI 工程师手动承担的繁重工作;对 Trace 的异常扫描以及全自动红队测试(Red Teaming)仅仅是这一演进路径的起点。Harrison Chase 强调,构建这一整套技术栈的终极目标,是帮助团队打造真正具备领域专业性的 Agent,并牢牢掌控属于自己的智能体系,无论这些 Agent 是最终交付给客户的核心产品,还是用于重塑公司内部运营效率的基础设施。在演讲结束之际,Harrison 对全场参会者表达了由衷的感谢,并把舞台正式交接给全天活动的主持人 Jake。
```mermaid flowchart TD accTitle: LangChain全栈平台层级架构 accDescr: 展示运行时、可观测性与评估、以及顶层智能层的全栈产品架构
subgraph IntelligenceLayer ["顶层:智能层 (Intelligence Layer)"] direction TB Engine["LangSmith Engine"] EngineTasks["Trace 扫描 / 根因归因 / 自动化红队测试"] Engine --> EngineTasks end
subgraph EvalLayer ["中间层:可观测性与评估 (Observability & Eval)"] direction TB Trajectories["LangSmith Trajectories<br/>(Agent 原生轨迹追踪)"] CustomApps["Custom Apps<br/>(定制化数据看板)"] FineTuning["smithtune 微调<br/>(驱动领域特定模型)"] end
subgraph RuntimeLayer ["底层:运行时与部署 (Runtime & Deployment)"] direction TB OpenSource["开源生态<br/>(LangGraph / Deep Agents)"] ManagedRuntimes["托管运行时<br/>(Managed Deep Agents / Deployment)"] end
RuntimeLayer --> EvalLayer EvalLayer --> IntelligenceLayer ```
- **三层架构设计**:平台自底向上由托管部署与运行时(Runtime/Deployment)、Agent 原生可观测性与评估(Trajectories、Custom Apps、模型微调),以及顶层自动化运维的智能层(LangSmith Engine)共同构成。 - **赋能领域特定 Agent**:整套产品设计的核心逻辑在于协助开发者“拥有自己的智能”(Own your intelligence),无论是面向外部商业产品的端到端集成,还是针对企业内部工作流的深层次运营改造。 - **大会后续议程**:纽约 Interrupt 大会接下来的专题演讲与圆桌论坛将围绕具体的落地技术、前沿开发策略以及企业成功范式展开深度分享。
## Notable quotes > [04:25](https://www.youtube.com/watch?v=950byF7njfw&t=265s) If you can define what better and what best looks like for your domain better than anyone else, you will be able to build the best agent for that domain. — Harrison Chase
## Mentioned Harrison Chase, Jake, LangChain, LangSmith, LangSmith Engine, LangGraph, Deep Agents, Managed Deep Agents, LangSmith LLM Gateway, LangSmith Trajectories, LangSmith Fine-Tuning, smithtune, LangSmith Custom Apps, SmithDB, LangSmith Deployment, LangSmith Sandboxes, Rogo, Harvey, JPMorgan Chase, OpenAI, Anthropic, Parallel, Jev, SemIf, TypeSafe, Claude Code, Codex, Cursor, Fireworks, Baseten, Lovable, Notion, Jira, Slack
## Video description Harrison Chase, Co-Founder and CEO of LangChain, uses examples from Rogo, Harvey, and JPMorgan Chase to explain owning your intelligence, which means building domain-specific pieces in and around the model, and the three pillars it takes: an open, model-neutral harness such as LangGraph or Deep Agents, a loop that compounds what you learn from how people use your agents, and governance for internal agents.
He then walks through the LangSmith platform layer by layer: a new Managed Deep Agents release with auth primitives, user-level memory, and built-in web search via Parallel, decision models like Jev and SemIf through the LangSmith LLM Gateway, and three launches for observability and evals: LangSmith Trajectories, LangSmith Fine-Tuning with the smithtune CLI, and LangSmith Custom Apps. He closes with LangSmith Engine v2, which adds red teaming and tests its own fixes on LangSmith Deployment, and shares that Engine has scanned over 70 million traces and detected over 21,000 issues.
This session was captured at Interrupt New York City, the agent conference by LangChain.
LangChain products in this talk: LangSmith, LangSmith Engine, Managed Deep Agents, Deep Agents, LangGraph, LangSmith Deployment, LangSmith Sandboxes, LangSmith LLM Gateway, LangSmith Trajectories, LangSmith Fine-Tuning, LangSmith Custom Apps, SmithDB
Speakers: Harrison Chase, Co-Founder and CEO, LangChain
Chapters: 0:00 How agents went from prototypes to the application layer 2:43 Why teams want to own their intelligence now 4:25 What it takes to own your intelligence 7:22 How to organize your people and process around agents 9:20 What LangChain builds for runtime, evals, and intelligence 12:42 How Managed Deep Agents handles auth, memory, and web search 15:51 What a decision model like Jev is good for 18:00 Routing every model call through the LangSmith LLM Gateway 19:50 Why trajectories make agent debugging faster 22:57 Turning trajectories into optimized models with smithtune 24:44 Building custom UIs on your LangSmith data 26:03 How LangSmith Engine clusters issues and proposes fixes 28:04 How Engine v2 tests its fixes and red teams your agent 30:45 What LangChain wants Engine to take on next
Resources: → LangSmith Engine: https://www.langchain.com/langsmith/engine → Managed Deep Agents: https://docs.langchain.com/langsmith/python/managed-deep-agents-overview → LangSmith Fine-Tuning (smithtune): https://docs.langchain.com/langsmith/smithtune → LangSmith: https://www.langchain.com/langsmith → Interrupt, the agent conference by LangChain: https://interrupt.langchain.com
[Source](https://www.youtube.com/watch?v=950byF7njfw)