LangChain
吴恩达指出企业自下而上用AI节省工时难见成效,唯有打破既有流程重构端到端业务,并投资数千万美元重塑非结构化数据架构,才能释放真正的商业增长。
AI-assisted summary of The Future of AI Agents with Andrew Ng | Interrupt 26 — original source. Check the original for full context.
Source published:
Key ideas
- 编程 Agent 将软件研发速度提升了 10 至 100 倍,使得组织瓶颈从代码实现迅速外溢至产品管理、法务合规与市场营销等下游环节。 (2:01)
- 为解决大模型知识截止期导致无法调用最新 API 的痛点,吴恩达与 Rohit Prasad 合作推出了面向 Agent 的上下文库 Context Hub。 (6:02)
- 企业级 AI 落地若仅停留在自下而上的局部单点提效(如贷款审批缩短 1 小时),难以带来实质回报;必须依靠自顶向下的流程推倒重构(如打造“10分钟贷款”)以开拓增长空间。 (13:29)
- 为防范云厂商与模型供应商锁定,吴恩达主张绝不签署超过 1 年的合同以保留技术选择权,并提倡使用 LangSmith 等中立观测评估层。 (23:36)
- 未来数年各行业将掀起数千万至数亿美元级的数据架构重构潮,重点解决非结构化数据治理以实现对 Agent 的就绪(Agent-ready)。 (26:38)
Detailed notes
## Background 本期视频由 LangChain 于 2026 年 6 月 17 日发布在 YouTube 平台上,记录了其主办的智能体大会 Interrupt 26 上的一场炉边对话。视频简介指出,LangChain 创始人 Harrison Chase 与 AI 领域先驱 Andrew Ng(吴恩达)展开了广泛交流,重点探讨了编程智能体的迅猛演进、软件开发加速带来的“产品管理与下游瓶颈”、企业级 AI 落地中的增量优化误区,以及即将到来的企业非结构化数据架构重构等核心议题。
## TL;DR 在对话中,Andrew Ng 指出编程智能体已将软件构建速度提升了 10 到 100 倍,这导致组织瓶颈从代码编写转移到了产品管理、市场营销与法务等下游职能,从而催生了高度授权的小型复合通才团队。针对企业级 AI 落地,他批判了自下而上仅节省微小工时的单点增量优化,呼吁管理层自顶向下进行端到端业务工作流重构,通过大胆下注追求指数级商业增长。此外,他还深入分析了前向部署工程师(FDE)的利弊与厂商锁定风险,呼吁行业警惕针对开源模型的监管政策战,并预言未来数年内企业界将掀起数千万至亿美元级别的非结构化数据架构重塑浪潮,以真正实现智能体就绪(Agent-ready)。
## Atmosphere & style 对谈整体洋溢着深厚务实的技术洞察与轻松默契的行业老友氛围,Harrison Chase 穿针引线、适时互动,而 Andrew Ng 则娓娓道来,既有对技术狂热炒作的清醒祛魅,也有对一线工程落地的敏锐直觉。交流中穿插着诸如用手机写代码、乐高积木组合、以及 AI 执行数据库迁移时“删光数据库”等生动风趣的实操轶事,令现场笑声不断。整场对谈在理性审慎与前瞻雄心之间保持了极佳的平衡,既坦诚指出当前教育与企业方案的不足,又为开发者和决策者勾勒出充满变革机遇的技术蓝图。
## Bulletin - [02:01](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=121s) 编程 Agent 将软件研发速度提升了 10 至 100 倍,使得组织瓶颈从代码实现迅速外溢至产品管理、法务合规与市场营销等下游环节。 - [06:02](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=362s) 为解决大模型知识截止期导致无法调用最新 API 的痛点,吴恩达与 Rohit Prasad 合作推出了面向 Agent 的上下文库 Context Hub。 - [13:29](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=809s) 企业级 AI 落地若仅停留在自下而上的局部单点提效(如贷款审批缩短 1 小时),难以带来实质回报;必须依靠自顶向下的流程推倒重构(如打造“10分钟贷款”)以开拓增长空间。 - [23:36](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=1416s) 为防范云厂商与模型供应商锁定,吴恩达主张绝不签署超过 1 年的合同以保留技术选择权,并提倡使用 LangSmith 等中立观测评估层。 - [26:38](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=1598s) 未来数年各行业将掀起数千万至数亿美元级的数据架构重构潮,重点解决非结构化数据治理以实现对 Agent 的就绪(Agent-ready)。
## Key takeaways - [00:14](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=14s) 过去一年公众舆论对 AI“就业末日论”的过度炒作远超预期,但编程 Agent 的实际演进速度极其迅猛,已深度重塑开发者的工作流。 - [02:01](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=121s) 代码构建提速将组织的交付瓶颈转移到了法务、营销和设计;传统分工体系失效,正倒逼企业建立 1 到 10 人、高度授权的跨职能“通才团队”。 - [02:01](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=121s) 在鸽巢原理驱动下,团队成员需身兼多职,借助 AI 跨界起草营销文案和服务条款,大幅压缩产品推向市场的等待周期。 - [04:50](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=290s) 目前最成功的高语境复合型通才主要仍源自深厚工程背景人员,同时具备代码能力的产品经理、运营与营销人员也开始展现强劲产出。 - [06:02](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=362s) 现代软件开发正在转向“乐高积木式”组合模型,开发者的核心优势在于熟练掌握大量新型构件并通过 Agent 完成指数级排列组合。 - [06:02](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=362s) Context Hub 旨在充当“AI Agent 的 Stack Overflow”,通过向 Agent 注入最新 API 与 SDK 文档,解决模型知识滞后的核心障碍。 - [10:05](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=605s) AI 时代的技术教育重点已从死记语法转向掌握编程 Agent 与综合构件组合;CodeDream.ai 尝试通过内嵌 JavaScript 的双向模拟视频对话颠覆传统网课模式。 - [13:29](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=809s) 企业推行自下而上“百花齐放”的单点优化往往 ROI 极低,削减成本存在物理上限,而自顶向下重构工作流以驱动业务增长几乎没有天花板。 - [17:11](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=1031s) 追求 2% 的微小增量容易演变成存量内卷且阻力极大,设定 20% 至 50% 的跃升目标反而能倒逼团队打破惯性进行破坏式创新。 - [20:15](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=1215s) 从上百个分散的 AI 设想中筛选出核心战役,必须在技术可行性验证与商业增长空间评估两条战线上进行双轨严密推演。 - [21:07](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=1267s) 原型验证成本虽大幅下降,但高价值落地依赖自上而下的资本倾斜,企业应建立由少数高质量下注构成的投资组合。 - [22:00](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=1320s) 前向部署工程师(FDE)对工程落地具有关键的技术判断与变革管理价值,但硅谷对其有些过度吹捧,未来大多数企业仍将依赖内部团队。 - [23:36](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=1416s) 面对日新月异的技术迭代,企业切忌为了折扣签署长约而牺牲架构选择权,应采用中立工具构建防御层以防绑定。 - [25:27](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=1527s) 开放权重模型虽然落后顶尖闭源模型 6 到 9 个月,但具有高性价比与防锁定价值,全行业需警惕政策监管对开源生态的隐性收紧。 - [26:38](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=1598s) 生成式 AI 的核心价值在于处理非结构化数据,现有数据资产与权限体系的割裂正倒逼企业发起耗资巨大的“Agent 就绪”架构重构。 - [29:27](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=1767s) 在与编程 Agent 协同进行早期原型设计时,选用 MongoDB 等 NoSQL 数据库能避免频繁变更 Schema 的负担,规避 AI 自动迁移误删数据库的工程风险。
## Detailed walkthrough ### [00:14](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=14s) 欢迎致辞与过去一年 AI 领域的快与慢
在 LangChain 举办的 Interrupt 26 大会上,创始人 Harrison Chase 热情欢迎 Andrew Ng(吴恩达)再次回归炉边对谈。Harrison Chase 提到,在上一年的第一届大会上,Andrew Ng 的对谈视频成为了 YouTube 上点赞最多、观看量最高的内容,因此大家对第二年的交流充满期待。
当被问及过去一年中 AI 领域的发展究竟什么比预期更快、什么比预期更慢时,Andrew Ng 指出,公众舆论的炒作(hype)以及末日论调(doomsaying narratives)的传播速度和影响力远远超出了他的预期,特别是所谓的“就业末日论”(job apocalypse),直言:“And then also the doomsaying narratives also got more traction, unfortunately, that would have guessed, including the job apocalypse, which I don't think is going to be a thing.”
在积极的一面,编程 Agent(Coding Agents)的爆发速度也远超他的设想。虽然外界常说“AI 每三个月就会彻底翻盘一次”这类说法存在炒作成分,但对于前沿的编程 Agent 而言,这种激烈的迭代演进却十分真实: - 约六个月前,Andrew Ng 的主力工具几乎完全是 Claude Code。 - 如今,他依然重度使用 Claude Code,但 OpenAI 的工具、Gemini CLI,以及针对开放代码生态的一系列分支(Open Code)也越来越频繁地加入工作流。 - 他在过去一年完全没料到自己会花大量时间用手机直接写代码;在办公室里,他像许多开发者一样常备一台 Mac Mini 来承载远程工作流。 - Agentic workflow(智能体工作流)正真正深入企业端落地,带来了非常扎实的进展。
---
[02:01](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=121s) 软件工程的未来与“全方位瓶颈”的转移
随着编程 Agent 将开发速度提升了 10 倍乃至 100 倍,整个团队的制约因素发生了根本性位移。大约一年前,Andrew Ng 曾撰文提出“产品管理瓶颈”(Product Management Bottleneck)——即当把东西造出来的速度大幅提升后,决定“到底造什么”、项目范围界定以及获取客户反馈的 PM 环节便成为了瓶颈。但在过去一年里,不仅产品管理,几乎所有下游职能都变成了瓶颈: - **营销瓶颈**:工程师交付功能的速度极快,营销人员甚至来不及搞清楚新功能的作用,更无法及时构思传播方案。 - **法务合规瓶颈**:以往一个产品需要三个月开发,等法务审核一周不算什么;如今只要一天就能构建出来,再等法务审核一周就成了不可承受的停滞。 - **设计瓶颈**等也随之接连爆发。
面对这种剧烈变化,传统的组织结构不再适用。Andrew Ng 探索出了一种新型组织形态:建立 1 到 10 人的超小型跨职能团队,团队成员由“高语境、被高度授权的通才”(high context, highly empowered generalists)组成。组织为他们设定较宽的安全护栏(wide guardrails),让他们在内部全力狂奔并交付代码,甚至直接承担以往被认为不属于工程职责的决策(如撰写营销文案)。
```mermaid flowchart TD accTitle: AI 加速下的组织瓶颈转移与超小型通才团队模式 accDescr: 展示了开发速度提升 10 到 100 倍后,瓶颈如何从研发外溢至营销、法务和设计,以及小型高语境团队如何通过 AI 拓展边界解决该问题。
subgraph SpeedUp ["开发提速 (10x - 100x)"] direction LR A["编程 Agent 工具流"] --> B["极速代码构建"] end
subgraph Bottlenecks ["外溢瓶颈 (全流程堵塞)"] direction TB C["产品管理 (做什么/需求界定)"] D["市场营销 (理解新功能/撰写宣传)"] E["法务合规 (审核周期拖累交付)"] F["产品设计 (界面与交互滞后)"] end
subgraph Solution ["破局组织架构"] G["1-10 人超小型通才团队"] --> H["高度授权 + 宽泛护栏"] H --> I["工程师借助 AI 起草文案与法务条款"] end
B --> Bottlenecks Bottlenecks --> Solution ```
Andrew Ng 戏称根据“鸽巢原理”(Pigeonhole Principle),如果一个项目需要软件工程、产品管理、服务条款(Terms of Service)、营销文案和产品设计五种职能,但团队总共只有两个人,那么每个人就必须身兼数职。在谈到跨界效果时,他坦承:“I don't think I'm a very good marketer. But when I use AI, I'm still not a good marketer. But I'm slightly less bad compared to what I had to do with my AI assistant.”例如,团队里的工程师会借助 AI 写出服务条款的初稿,然后再交给专业律师做最后的润色审核,从而大幅加速产品推向市场的节奏。
---
[04:50](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=290s) 新一代复合型工程师的背景来源
关于这类高语境通才主要来自何种背景,Harrison Chase 询问他们究竟是原有工程师在跨界,还是非技术人员学了编程。Andrew Ng 回应称,目前与他紧密合作且最成功的群体,大部分依然是拥有深厚工程和技术底底色的人: - 具备深厚工程基础的专业人员,由于对前沿技术的理解天然占据优势,在获得高度授权后,更容易借助 AI 的辅助拓展至其他职能领域。 - 尽管人数相对较少,但他也见到了不少产品经理显著提升代码能力后加入此类团队。 - 运营人员与市场营销人员同样开始展现出极具成效的编程与产品构建能力。
Andrew Ng 强调,虽然当前最庞大的人才群落仍然具有纯工程背景,但这种向跨领域融合的路径向所有背景开放,团队也鼓励非工程人员积极尝试。
---
[06:02](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=362s) 乐高积木式开发与 Context Hub 的诞生
谈到新进入这一领域软件工程人员的技能路径,Andrew Ng 提出了一个“乐高积木组合”的心智模型。现代软件开发不仅拥有像 RAG、Agent 框架、评估(Evals)、安全护栏(Guardrails)这样的 AI 级构件,还拥有 UI 组件、鉴权机制、前后端以及持久化数据库等传统非 AI 构件。计算机领域一直拥有优质的构件库,而当前以开源或专有 API 形式发布的构件正在以前所未有的速度暴增。
“If all I have is like a white colored LEGO brick, I can build some stuff that's not that interesting. But I'm mixing a black LEGO brick, a yellow one, and a brown one, and a green one, and throwing some squiggly pieces of Lego, then what I can build grows combinatorially or grows exponentially as a function of the number of Lego bricks I have.” Andrew Ng 用这个生动的比喻指出,现代开发者的核心竞争力在于熟练掌握足够多的关键构件,并通过编程 Agent 将它们进行指数级的排列组合,极速搭建出完整软件。
然而,Agent 协同开发面临着一个致命痛点:许多关键构件(API、SDK)发布太新,已经超出了前沿模型的知识截止日期(Knowledge Cutoff Date),以至于编程 Agent 根本不知道如何调用它们。针对这一问题,Andrew Ng 与好友 Rohit Prasad 合作发起了 **Context Hub** 项目: - 定位相当于“为 AI Agent 打造的 Stack Overflow”。 - 旨在为各类 Agent 注入最新的 API、SDK 文档与构件上下文,同时支持 Agent 反馈调用遇到的问题,共同完善开发者生态。 - 他在个人开发时,经常遇到一些语法繁琐难记的新 API,通过 Context Hub 加载最新文档后,直接由 Agent 顺畅完成调用,极大地提升了研发效率。
Harrison Chase 随即插话打趣道,LangChain 内部其实也碰巧上线过一个名为 Context Hub 的产品,但二者机制完全不同;Andrew Ng 做的方案专注于服务编程 Agent,价值非常高,推荐大家去使用。此外,Harrison Chase 回忆道,LangChain 曾经是继 OpenAI 之后第二家与 DeepLearning.AI 合作推出微课程的机构,很多开发者都是通过那门课首次了解 LangChain 的。
---
[10:05](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=605s) AI 时代下技术教育的内容重构
针对教育如何在 AI 浪潮下演进的讨论,Andrew Ng 表示团队正在尝试多种方式来改进学习体验。在培训体系中,最确定无疑的变革在于人们所需要学习的内容本身已经发生了剧烈转变:
“So in terms of training, the thing that's clear is that what people have to learn has changed significantly.”
对于当下的软件开发者而言,单纯记忆具体代码语法的必要性在降低,学习如何使用编程 Agent、如何熟练掌握并组合各种新型构件、以及汲取产品管理和全栈综合能力,已成为当下建立个人核心效能的必修课。
[10:24](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=624s) 线上教育的演进与 CodeDream.ai 的交互式尝试
Andrew Ng 谈到了教育领域发生的深刻变化。随着技术发展,大家所需要学习的内容本身在快速改变,DeepLearning.AI 与 Coursera 也在持续提供这类新型训练。然而,相比于“学什么”(what to learn),培训的交付形式(delivery of training)同样面临变革。长期以来,业内一直在思考学习模式该如何颠覆,但真正理想的形态其实尚未完全到来。为了打破传统在线课程单向灌输的局限,团队上线了一个名为 CodeDream.ai(亦称 LearnDream.ai)的早期预览网站,其核心理念不是让用户去“上一门网课”,而是去“展开一场对话”。
在这种全新设计中,学习者进入的是一个模拟的一对一视频通话界面。如果用户想放松下来,可以靠在椅背上听 Andrew Ng 的数字分身讲解 Context Hub 和编码智能体(coding agents);但只要用户想打断,随时可以向这个 AI 提问。Andrew Ng 提到他个人非常热衷的一项探索是用运行中的 JavaScript 替代死板的预制视频与幻灯片:当演示界面进行“屏幕共享”时,它背后实际上在跑前端代码,用户可以直接点击视频窗口内部,键入自己的 prompt 或查询语句进行实时交互。Harrison Chase 追问这项在视频窗口中打字交互的功能是已经上线还是未来的方向,Andrew Ng 确认这已经处于实时可用状态,并向观众征集体验反馈。
虽然现在的网课已经比十年前好得多——例如当天早晨 DeepLearning.AI 刚由 Sharon Zhou 推出了一门关于 Transformers 的新课,里面融入了大量十年前所没有的交互式可视化组件——但 Andrew Ng 坦言,教育变革目前整体上仍然存在过度吹捧(over-hyped)的成分。正如 Andrew Ng 所评价的那样:“I wish we had something way better than online courses.”(我真希望我们能拥有比在线课程好得多的东西。)
- CodeDream.ai 的核心模式是将单向的视频授课重塑为可随时打断的双向模拟视频对话。 - 视频区域直接内嵌可运行的 JavaScript,使用户能直接在演示画面中点击并键入 prompt 进行实机操作。 - 当天清晨 DeepLearning.AI 发布了由 Sharon Zhou 主讲的全新 Transformers 交互课程。
---
[13:29](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=809s) 企业级 AI 落地陷阱:自下而上单点优化与贷款审批实例
讨论转向了企业对 AI 的实际采用情况。作为与商业伙伴 Chris Tan 共同创立的 AI 战略咨询机构 AI Aspire 的联合创始人,Andrew Ng 经常与 Fortune 50、Fortune 500 以及 Global 2000 的超大型跨国企业高管交流。他观察到一个极其普遍的困境:过去几年几乎所有企业都在推行自下而上、让“百花齐放”(thousand flowers bloom)的创新策略,但这种模式并没有给大盘带来预期的丰厚回报。董事会和 CEO 们如今都在尖锐地质问 AI 的投资回报率(ROI)究竟在哪里。
自下而上的探索往往只能催生孤立的“单点方案”(point solutions),带来局部的效率微调,却无法兑现颠覆性的商业变革。Andrew Ng 以他们为多家银行等金融机构做贷款审批(loan underwriting)的实战为例展开分析。传统贷款通常分为五个阶段:产品营销、收集申请材料、贷款审核与批准、最终尽职调查、贷款执行发放。许多团队第一反应是利用 AI 自动化第三步中的审核审批环节,把原本人工耗时 1 小时的案头审核交给模型完成。但如果整套业务流程丝毫不变,仅仅节省了那 1 小时的人工审核,最终带来的不过是极其边缘化的效率改善。真正具有前瞻性的银行则选择推倒重构整个工作流,直接向市场推出“10分钟内极速获批”的颠覆性贷款产品。
```mermaid flowchart TD accTitle: 传统贷款审批单点优化与端到端工作流重构对比 accDescr: 展示了自下而上单点优化与顶层重构端到端全流程在业务时效上的本质差异
subgraph Incremental ["自下而上:单点微调 (耗时数天至一周)"] direction LR A1["1. 营销推广"] --> B1["2. 收集申请"] B1 --> C1["3. AI审批 (省1小时人工)"] C1 --> D1["4. 尽调"] D1 --> E1["5. 放款执行"] end
subgraph Transformative ["自顶向下:业务重构 (10分钟极速获批)"] direction LR A2["1. 10分钟极速营销"] --> B2["2. 实时路由数据底座"] B2 --> C2["3. AI秒级决策"] C2 --> D2["4. 弹性尽调"] D2 --> E2["5. 自动化放款"] end ```
这种系统级的重构绝非基层工程师做个单点工具所能完成,它必须依赖自顶向下的战略推力。正如 Andrew Ng 所指出的:“Because we can only save so much money, but growth has almost no practical ceiling.”(因为我们能省下的钱总归是有限的,但驱动增长几乎没有实际的上限。)
- 传统贷款审批流程五个步骤:营销贷款、获取申请、审查批准、最终尽职调查、签约放款。 - 单纯用 AI 替代人工审批 1 小时只是局部的增量提效,申请人依然需要为排期等待数天或一周。 - 全新的“10分钟贷款”要求市场营销、底层数据管道(Data Infra)、实时路由、实时风控及后端快速放款全链路打通。
---
[17:11](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=1031s) 驱动业务增长的场景案例与 ROI 衡量之道
针对企业究竟应该瞄准哪些能真正拉动业务增长的场景,Andrew Ng 列举了几个正在发生的模式。除了上述银行将审批提速转化为全新获客利器的例子外,呼叫中心与客户服务是另一个典型分水岭。大多数企业习惯将客服中心单纯视作压缩人力成本的包袱,但当客服流程实现高度自动化或被 AI 深度赋能之后,企业能以极快速度服务远超以往规模的客户群体,从而显著提升用户满意度并反哺业务增量。类似的情况还出现在汽车穿梭餐厅(drive-through)的语音点餐自动化改造中,流畅愉悦的点餐体验能够直接拉升门店的下单量与复购率。
当 Harrison Chase 问及企业该如何精准衡量 AI 项目的 ROI 时,Andrew Ng 坦言由于商业形态千差万别,根本不存在放之四海皆准的标准公式。但他强调,真正令人振奋的从来不是在财务报表里锱铢必较,去争论某项投入究竟是带来了 2% 的增长还是被 1% 的实施成本所抵消;真正出色的战略是“全力冲刺全垒打”(swinging for the fences),创造出显而易见、不容置疑的跃升价值。
在经验层面,Andrew Ng 分享了一个违反直觉的洞见:“Sometimes driving incremental gains is harder than driving transformative gains.”(有时候争取微小的增量改善,反而比追求变革性的跃升更加困难。)如果你要求团队明年把业绩指标提高 2%,大家通常只会抱怨老板又在逼所有人多加班 2% 到 5%;但如果你设定的目标是寻找驱动 20% 甚至 50% 爆发式增长的路径,单纯逼员工多拼命 50% 在物理上是不可能的,大家反而被迫打破惯性,跳出既有框架去构思更具创造力的变革性方案。
- 追求 2% 的渐进式优化往往沦为存量内卷,而设定 20% 至 50% 的跃升目标能倒逼出真正的破坏式架构重组。 - 智能客服与穿梭餐厅车载语音识别不应仅仅作为压降编制的成本中心,而应作为提升交付吞吐与获客体验的增长引擎。
---
[20:15](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=1215s) 筛选 AI 战略下注点的严苛挑战
谈到企业在具体执行 AI 转型中遇到的实操瓶颈,Andrew Ng 分享了 AI Aspire 顾问业务一线的一手经历。许多大型机构在推行了自下而上的号召后,最终汇总上来的是令人眼花缭乱的巨型表格。曾有一家大型金融机构直接给 AI Aspire 发来了一份罗列了超过 300 个 AI 项目构想的 Excel 电子表格,希望顾问团队能帮他们从这 300 多个点子中沙里淘金,挑选出真正值得重金投入的攻坚方向。
这绝非仅凭聪明才智草草扫一眼就能得出结论的工作。Andrew Ng 解释道,面对海量的碎片化构想,企业必须耐下心来同时进行极其繁重的两套分析:一套是深入的技术可行性分析(technical analysis),严格推演当前大模型与工程基础设施究竟能不能稳定支撑;另一套是严肃的商业模式分析(business analysis),评估该功能一旦做成到底能不能带来实质性的商业增量或战略壁垒。只有通过将自上而下的商业视野与自下而上的技术验证深度咬合,才能将几百个毫无章法的单点设想逐步收敛,最终筛选出屈指可数、值得公司调集精锐资本去押注的核心战役。
- 某知名金融机构曾单次提交一份包含 300 多个分散 AI 概念的电子表格以寻求筛选决策。 - 从海量方案中收敛出核心发力点,必须双轨并行推进:技术可行性评估与商业增长潜力推演。 - 最终目标是避免资金与精力被几百个局部工具稀释,而是把资源密集倾注在极少数能够重构端到端业务的大赌注(meaningful bets)上。
[21:07](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=1267s) 大胆下注与自上而下的资源分配
Harrison Chase 提到,那些旨在取得突破性成果的大胆尝试(“swing for the fences”),往往是由企业高层自上而下驱动的。Andrew Ng 对此表示认同,并进一步阐明,企业不应指望毕其功于一役地进行某一次狂热的孤注一掷,而应该建立一个由少数经过深思熟虑的下注所组成的“投资组合”。在这个组合中,只要有任何一项尝试取得突破,就能为整家企业带来极其显著的价值回报。
Andrew Ng 特别强调,Coding Agent 的一大魅力在于让团队能够开展大量的低成本实验。原型的构建成本已经大幅暴跌,但企业的预算终归有限,不可能用 10 万美元的预算把所有想法都做一遍。当原型验证成功、需要为精选出的少数高潜力项目投入实质性资源时,这就必须依赖自上而下的决策机制来完成重资产和核心资源的调配。
“Yeah, I find that businesses, hopefully not take one wild swing for the fences, is more a portfolio of a handful of thoughtful beds where if anyone pays off, it will be meaningful for the business.” —— Andrew Ng
---
[22:00](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=1320s) 前向部署工程师(FDE)的价值与现实考量
Harrison Chase 将话题转向硅谷当下备受热议的“前向部署工程师”(Forward Deployed Engineer,简称 FDE),询问是否每家公司都需要 FDE,以及该角色在企业落地中的长期影响。Andrew Ng 承认 FDE 目前确实正迎来高光时刻,像 Aaron 等从业者也对此进行了深刻的探讨。然而他认为,硅谷对于 FDE 的炒作有些言过其实。未来企业的人员结构更可能由大量内部自研 AI 工程师主导,而仅外包或嵌入极少数的 FDE 团队。
尽管如此,Andrew Ng 仍然非常认可 FDE 的核心价值。构建 Agent 工作流并非易事,它要求工程师既具备对业务的深刻理解,又拥有面向客户的沟通与交付能力。FDE 需要负责端到端的可观测性与评估(Evals)、协助企业进行变革管理,甚至在客户提出技术上不可行的伪需求时能够果断予以回击。这种深度的技术判断力和现场工程能力,确实能够大幅加快项目落地的进度。
“So this is a very valuable role that takes deep technical judgment.” —— Andrew Ng
---
[23:36](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=1416s) 供应商锁定、保留技术选择权与 LangSmith
Andrew Ng 指出,引入 FDE 给企业带来了一个深层次的架构挑战:如何获得一个“中立于供应商(Vendor Neutral)”的 FDE?目前的 AI 领域格局瞬息万变,无论是处于霸主地位的底层基础大模型,还是领先的代码生成 Agent,一年之后究竟是谁领跑,业内没有人能给出确切答案。因此,在高度不确定的技术浪潮中,“选择权(Optionality)”具有极高的商业价值。
许多云厂商或模型供应商为了锁定客户,常常会给出 20% 至 30% 的折扣以换取企业签署为期三年的长约。但 Andrew Ng 直言,出于保留自由切换最佳技术方案的考量,他自己的公司原则上绝不签署超过一年的合同。如果企业让特定模型供应商的 FDE 进驻并重构系统,很可能会导致未来的架构被严重绑定。为了防范这一风险,像 LangSmith 这类厂商中立的工具就显得尤为宝贵,它们不仅好用,而且能够帮助团队在模型监控、评估与迭代中保持长期的架构自主性。
“I personally almost never signed longer than a one-year contract, regardless of the discounts offered, because I value that optionality to work with whatever vendor would be the best in the year's time that I don't know about.” —— Andrew Ng
- **长约陷阱**:供应商常用 20%~30% 的折扣换取 3 年长约,但代价是彻底丧失技术迭代期的架构灵活性。 - **中立工具的防御价值**:采用 LangSmith 等独立观测和评估平台,能够防止单一模型生态深度侵入企业系统,避免日后难以割舍。
---
[25:27](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=1527s) 开源与开放权重模型面临的政策战
针对开源(Open Source)与开放权重(Open-weight)模型的发展态势,Andrew Ng 指出,目前开放权重模型依然稳定地落后前沿闭源旗舰模型约 6 到 9 个月的时间。然而,前沿闭源模型的调用成本极其昂贵,在实际落地中,他的团队广泛采用了基于开源权重的方案(部分经过微调,部分直接开箱即用)。
与此同时,Andrew Ng 对监管政策的收紧表达了深切的忧虑。他提到,最近白宫传出了一些令人担忧的风向,政策层面开始酝酿在模型公开发布前对其进行强制审查。他正在与政府部门内的朋友积极保持沟通,并指出目前有一场针对开源与开放权重模型的无形战争正在打响,政策制定者常常以“中美竞争”等各种由头试图对其加以限制。他大声呼吁生态各方共同保护开源模型,因为这不仅让全世界的创新生态更加繁荣,也是所有企业保持自主选择权的关键底线。
“And I feel like a lot of war on open-source open-weight models is still being waged, sometimes in the name of US China, or sometimes in the name of whatever arguments people are coming up with.” —— Andrew Ng
---
[26:38](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=1598s) 非结构化数据与企业级数据架构重构浪潮
谈及 Agent 落地前的数据战略,Andrew Ng 分享了他在 AI Aspire 和 AI Fund 与大型企业接触时的深刻体会:当下最普遍的阻碍在于落后的数据架构。过去一二十年间,整个科技界倾注了海量资源去整理结构化数据——搭建关系型数据库、数据表和电子表格。但生成式 AI 的核心能力在于处理非结构化数据(文本、PDF 文档、图像、音频与视频),如何将这些庞杂的非结构化资产在正确的时间、以正确的上下文喂给 Agent,成为了新的核心痛点。
Andrew Ng 坦言,虽然市场上很多厂商都声称自己在做非结构化数据管理,但他尚未找到哪怕一个真正让自己感到满意的成熟商业方案。为此,他的团队正在内部开展大量前沿实验来探索重构方案。他预言,就像当年企业耗费巨资整理关系型数据库一样,未来几年内,各行各业将掀起耗资数千万乃至数亿美元的项目浪潮,专门用于重构企业内部数据架构以使其满足“Agent-ready(就绪于 Agent)”的要求。
```mermaid flowchart TD accTitle: 企业数据架构重构演进 accDescr: 展示企业从传统结构化数据阶段向 Agent-ready 非结构化数据架构的升级路径
subgraph Legacy["过去10-20年:传统结构化阶段"] A["结构化数据\n(关系型数据库 / 表格)"] B["为人类设计的权限体系"] end
subgraph PainPoints["当前阻碍 Agent 落地的核心痛点"] C["沉睡的非结构化数据\n(合规留存的 PDF / 图像 / 音视频)"] D["碎片化、孤立、权限混乱\n缺乏统一治理与上下文投递"] end
subgraph Future["未来数年:数千万/亿美元级重构"] E["新一代非结构化数据架构\n(Agent-Ready Data Architecture)"] F["AI Agent 自动化工作流与价值变现"] end
A --> C B --> D C --> E D --> E E --> F ```
- **遗留数据资产的沉睡**:在金融等强监管行业,海量 PDF 文件因合规要求被封存了 20 年而无人问津;如今借助 AI 重新挖掘这些数据,能释放巨大的商业价值。 - **权限与治理脱节**:现有的数据权限系统完全是为人类雇员设计的,并未考虑 Agent 如何继承权限、审计治理与追踪可观测性。
“Over the next few years there will be very large, I'm going to say tens of millions, maybe hundreds of millions of dollars types of projects in many businesses to rethink the data architecture to make the data more AI ready or more agent ready.” —— Andrew Ng
---
[29:27](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=1767s) Coding Agent 时代的技术栈选择:以 MongoDB 为例
在对谈尾声,Andrew Ng 分享了一个与 Coding Agent 协同工作时的务实工程心得:他在原型设计阶段重度依赖 MongoDB 等 NoSQL 数据库。虽然关系型数据库具备优秀的严谨性,但在借助 Agent 快速迭代原型时,频繁变动的需求使得每次修改数据库 Schema 变得极其折磨人。
更现实的痛点在于工程稳定性:让 AI 自动化执行数据库迁移(Migration)时,虽然 99% 的情况下表现良好,但偶尔会有那么一次,AI Agent 会做出诸如“误删整个数据库”的荒唐操作。为了消除这种隐患并保证敏捷性,Andrew Ng 倾向于在开发早期采用 NoSQL——在写入时不预设死板的 Schema,等读取时再去解析数据结构。这样当团队想临时新增字段时,完全不需要重构整套数据库。虽然极度庞大的生产环境最终仍可能迁移回关系型数据库,但 NoSQL 在初期能完美匹配 Coding Agent 的超高写代码速度,避免底层工具拖累整体研发节奏。Harrison Chase 对此深表赞同,感叹 Coding Agent 不仅重塑了开发方式,也正在倒逼开发者重新评估最适合的技术栈选型。
“And we've all had that, one in a hundred times that we asked AI to do a database migration and did something clever like, erase my whole database instead, right?” —— Andrew Ng
## Notable quotes > [13:29](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=809s) Because we can only save so much money, but growth has almost no practical ceiling. — Andrew Ng
> [17:11](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=1031s) Sometimes driving incremental gains is harder than driving transformative gains. — Andrew Ng
> [23:36](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=1416s) I personally almost never signed longer than a one-year contract, regardless of the discounts offered, because I value that optionality to work with whatever vendor would be the best in the year's time that I don't know about. — Andrew Ng
> [26:47](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=1607s) Over the next few years there will be very large, I'm going to say tens of millions, maybe hundreds of millions of dollars types of projects in many businesses to rethink the data architecture to make the data more AI ready or more agent ready. — Andrew Ng
> [10:24](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=624s) I wish we had something way better than online courses. — Andrew Ng
> [25:27](https://www.youtube.com/watch?v=OaRhpwz_TGM&t=1527s) And I feel like a lot of war on open-source open-weight models is still being waged, sometimes in the name of US China, or sometimes in the name of whatever arguments people are coming up with. — Andrew Ng
## Mentioned Andrew Ng, Harrison Chase, Rohit Prasad, Chris Tan, Sharon Zhou, LangChain, LangSmith, DeepLearning.AI, Coursera, AI Aspire, AI Fund, Claude Code, OpenAI, Gemini CLI, Context Hub, CodeDream.ai, MongoDB
## Video description Andrew Ng sat down with Harrison Chase for a wide-ranging fireside chat at Interrupt, the agent conference by LangChain.
Watch the full session and get insights on: - How fast coding agents have evolved and how the way small teams ship is being reshaped - The "product management bottleneck" and why accelerating software development just moves the constraint somewhere else - How enterprises are getting incremental AI wins but missing the bigger transformation - The data architecture rework most companies haven't started yet ...and so much more
The Future of AI Agents with Andrew NG | Interrupt 26 0:00 Welcome and intro 0:39 What surprised Andrew most in the past year 1:06 The rise of coding agents 2:01 The product management bottleneck 4:50 What background do these new generalist engineers come from 6:02 How to get into AI software engineering 7:50 Building blocks, LEGO bricks, and combinatorial development 8:34 Context Hub and keeping agents up to date 9:50 DeepLearning.AI, LangChain, and short courses 10:05 How education is changing with AI 11:46 LearnDream.ai and interactive learning 13:29 Enterprise AI adoption: what's working and what isn't 14:46 The loan underwriting example 16:44 Cost savings vs. driving growth 17:11 Good examples of AI driving business growth 18:27 Measuring ROI 19:07 Swinging for the fences vs. incremental gains 22:00 Forward deployed engineers: hype vs. reality 23:01 Vendor lock-in and preserving optionality 25:04 LangSmith as a vendor-neutral layer 25:27 Open source and open-weight models 26:38 Data strategy before building agents 28:17 Unstructured data and the coming rearchitecture 31:22 Closing thoughts
Extra resources: • Everything we shipped at Interrupt: https://www.langchain.com/blog/interrupt-2026-overview • Meet LangSmith Engine: https://www.langchain.com/blog/introducing-langsmith-engine • About LangChain: https://www.langchain.com/
[Source](https://www.youtube.com/watch?v=OaRhpwz_TGM)