Rasa联合创始人警告企业AI栈半衰期仅18个月 胶水代码将遭模型吞噬

Palm Reading and Other Skills: Agent Architectures in 2027 With Rasa — Ai4

Ai4

大模型快速演进必将吞噬手写外围逻辑,企业若沉溺于底层能力层修补,将陷入交付迟滞与技术折旧的恶性循环,唯有构建业务可复用的速度层才能实现规模化落地。

AI-assisted summary of Palm Reading and Other Skills: Agent Architectures in 2027 With Rasa — original source. Check the original for full context.

Source published:

Detailed notes

## Background 本视频由 Ai4 于 2026 年 8 月 15 日发布在 YouTube 平台。内容记录了 Rasa 联合创始人兼 CTO Alan Nichol 的主题演讲,聚焦企业级 AI Agent 为何难以走向持久生产,并深入探讨项目前 90 天的架构决策如何左右智能体在受监管大型企业中的最终命运。

## TL;DR Alan Nichol 剖析了工程交付与业务诉求脱节的核心痛点,指出大模型正在不断吞噬外围胶水代码,导致 AI 技术栈面临仅有 18 个月的半衰期。为了打破深陷底层重构的“仓鼠滚轮”,他提出了“三层蛋糕模型”,呼吁企业从易过时的基础能力层转向构建以敏捷复用为核心的“速度层”。速度层能彻底终结“改提示词并祈祷”的脆弱调试模式,并提供深度的决策推理可观测性。最终通过联邦开发模式与生产闭环仿真赋能业务专家,让企业交付第 10 个用例时实现十倍级的敏捷与稳健。

## Atmosphere & style 演讲以幽默自嘲的“算命师预言”轻巧开场,随后迅速切入刺痛当前企业的工程现实,整体基调兼具技术老兵的洞察敏锐与从容幽默。Alan 善用诸如“仓鼠滚轮”、“打地鼠”和“煎第一块松饼”等生动隐喻,将枯燥严肃的系统架构与合规治理讲得妙趣横生。整场分享由浅入深,在唤起技术栈快速贬值的危机感后,又为在场者指明了一条清晰笃定的破局架构路径。

## Key takeaways - [00:04](https://www.youtube.com/watch?v=2hO01YhyWCo&t=4s) 企业 AI Agent 当前的核心矛盾在于:工程团队对交付成果倍感自豪,业务部门却始终抱怨新用例落地周期过长、迭代太慢。 - [01:42](https://www.youtube.com/watch?v=2hO01YhyWCo&t=102s) 大模型的演进规律表明,模型正在不断“吞噬”外围的技术栈,手写胶水代码、规则策略和工具编排正逐步被模型内建能力取代。 - [01:42](https://www.youtube.com/watch?v=2hO01YhyWCo&t=102s) 向量数据库的前车之鉴证明,过度押注单一特定基础设施存在风险,随着模型演进与经典搜索的结合,专用组件极易贬值。 - [01:42](https://www.youtube.com/watch?v=2hO01YhyWCo&t=102s) 现代 AI 技术栈的半衰期仅有 18 个月,今天搭建的代码组件有一半在一年半后将失去存在价值,且无法预知具体是哪一部分。 - [05:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=340s) Agent 平台的三层蛋糕模型包含基础能力层、企业就绪层和速度层,其中只有速度层能真正充当业务 ROI 的乘数放大器。 - [05:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=340s) 工程团队极易被困在底层运行时组件的“仓鼠滚轮”中,陷入不断重构代码的死循环,无暇沉淀具有差异化竞争力的业务资产。 - [06:52](https://www.youtube.com/watch?v=2hO01YhyWCo&t=412s) 速度层通过沉淀可复用技能库,终结了“修改 Prompt 然后祈祷”的脆弱维护方式,避免修复单点问题时引发未知连锁回归。 - [06:52](https://www.youtube.com/watch?v=2hO01YhyWCo&t=412s) 高阶可观测性应当超越底层 Token/Trace 级日志,清晰呈现 Agent 做出特定决策的推理链路与假设改变后的替代分支。 - [06:52](https://www.youtube.com/watch?v=2hO01YhyWCo&t=412s) 业务团队需要直接基于真实生产对话建立反馈飞轮,实现宏观业务指标与微观对话实例的下钻对齐,缩短上线链条。 - [08:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=520s) 联邦开发模式(Federated Development Model)将 Agent 交付能力下放给领域业务专家,打破由中央 IT 团队全权包办的交付瓶颈。 - [08:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=520s) 自动化的生产学习闭环能够自主识别对话盲区、生成处理策略并基于历史数据运行沙盒仿真,在确保无回归后推向生产。 - [08:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=520s) 遵循“第一块松饼”规律,首个 Agent 用例探索往往耗时且不完美,架构的核心目标是保证构建第 10 个用例时能以极快速度稳健上线。 - [08:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=520s) Agent 架构必须尊重企业现有的技术资产沉淀,避免推倒重来(Rip and Replace),提供高度开放和可解构定制的能力。

## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=2hO01YhyWCo&t=4s) 算命师的预言与企业 AI Agent 的核心矛盾

Alan Nichol 以展位上的占卜师 Mystic Mona 开场。当天早晨 Mona 为他算了命并给出两点预言:第一,在场的所有人都在对抗同一条“恶龙”(the same dragon);第二,他这场演讲会彻底搞砸(bomb)。Alan 笑称希望她只猜对了一半。作为 Rasa 的创始人兼 CTO,Alan 介绍 Rasa 是一个专门为企业构建面向客户与员工的 AI Agent 平台。他们早在 ChatGPT 问世之前就已经深耕此领域,与全球诸多要求严苛的顶尖机构合作,可以说是“在聊天机器人好用之前就在做聊天机器人了”。

在频繁接触各大企业的 IT 高管(CTO、CIO、Chief AI Officer)过程中,Alan 发现了一个普遍存在的紧张关系,这就是大家正在共同搏斗的“恶龙”。AI Agent 早已越过概念验证(POC)和实验阶段,企业内部搭建了自己的 Agent 平台,并交付了面向客服或员工支持的智能体。然而,矛盾随之显现:一方面,工程团队对自己交付的优秀成果倍感自豪;另一方面,业务端却永远不满意,抱怨上线新用例太慢、将新 Agent 推向生产环境的周期太长。

- **核心矛盾**:工程团队认为技术交付成果显著,业务部门却始终抱怨应用落地与迭代速度不足。 - **业务诉求**:跨越原型阶段后,如何高频、敏捷地交付面向生产环境的真实场景。

---

[01:42](https://www.youtube.com/watch?v=2hO01YhyWCo&t=102s) 大模型正在吞噬技术栈:从单 Token 到全栈 Agent

Alan 抛出一个问题:“如果上下文窗口只有一个 Token,你能否构建出一个 Agent?”在 Rasa 刚写下第一行代码的早期阶段,语言模型的能力极其微弱,单次只能观察并分析一个 Token。当时为了将模型包装成可交互、可调 API、可完成任务的完整 Agent,开发者必须在模型外围编写海量的手写胶水代码。当时模型的唯一任务是将用户输入匹配到数百个预定义分类中的一个(即 Intent,意图识别),例如判断是打招呼、回答“是/否”、道别还是询问退款。所有分支判断、上下文管理、多轮对话衔接和 API 调用编排,全都依赖开发者或平台硬编码的逻辑。

伴随技术演进,大模型不仅变得更强大,还在不断“吞噬”外围的技术栈。BERT 的出现让模型能够处理整句话并理解上下文与否定句,使原本需要手动处理的一大批规则直接作废;随后 GPT-3 能够通读整个对话历史并自行调用工具,状态跟踪(State Tracking)、对话策略(Dialogue Policies)乃至手写模板回复都被模型原生能力取代。如今业内看似只需“模型在循环中调用工具”即可构成 Agent,但现实生产中周围依然堆叠了大量用于落地的手写外围代码。Alan 强调,历史规律表明这些外围手写逻辑迟早也会在未来一两个版本中被模型自身吃掉。

```mermaid flowchart TD accTitle: 模型演进吞噬外围技术栈架构图 subgraph S1["早期架构:手写代码驱动"] direction TB M1["单 Token 模型\n(仅识别预设 Intent)"] C1["外围手写胶水逻辑\n(状态跟踪 / 策略规则 / 模板生成)"] M1 --- C1 end

subgraph S2["现代/未来架构:能力内聚"] direction TB M2["现代大模型\n(内建上下文记忆 / 工具调用 / 自然语言生成)"] C2["待被吞噬的外围手写代码\n(当前临时补丁)"] M2 -.逐步取代.-> C2 end ```

- **历史例证**:从单 Token 分类到句子级理解(BERT),再到对话历史感知与自主工具调用(GPT 系列),外围专用模块被逐步淘汰。 - **向量数据库的前车之鉴**:向量搜索曾被视为 RAG 和 Agent 绝对不可或缺的基础设施,但随后实践证明传统的经典搜索在绝大多数场景下表现更好或旗鼓相当,导致相关专门投入迅速贬值。 - **AI 栈的半衰期**:当前构建 AI Agent 所依赖的技术组件,其“半衰期仅有 18 个月”;今天搭建的模块,有一半在 18 个月后将彻底失去存在价值,且无法预知是哪一半。

---

[05:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=340s) Agent 平台的三层蛋糕模型

针对技术快速过时带来的挫败感,Alan 提出了评估 Agent 平台的三层架构模型(Three Tiers of the Cake)。大多数工程团队沉溺并引以为豪的部分,往往集中在最底层,从而陷入不断重构的“仓鼠滚轮”(hamster wheel)。

```mermaid flowchart TD accTitle: Agent 平台三层蛋糕模型 L3["速度层 (Velocity Layer)\n复用资产 / 敏捷交付 / 业务赋能 / 价值倍增器"] L2["企业就绪层 (Enterprise Readiness)\n安全合规 / 权限治理 / 非功能性硬指标 (无差异化)"] L1["基础能力层 (Capabilities Layer)\n运行时组件 / 提示词工程 (半衰期 18 个月,易被模型吞噬)"]

L3 --- L2 L2 --- L1 ```

1. **基础能力层(Capabilities Layer)**:围绕模型运行时的微观组件与胶水代码。这部分组件更新迭代最快、最容易被模型新能力吞噬,导致团队陷入不断推翻重构的死循环。 2. **企业就绪层(Enterprise Readiness Layer)**:落地生产必不可少的非功能性需求(如安全合规、权限治理等),属于刚性门槛,但不具备业务差异化竞争力。 3. **速度层(Velocity Layer)**:让团队成为业务英雄的关键层级。它能保证团队在构建第 10 个 Agent 或第 10 个用例时,交付速度远超第 1 个用例,是撬动业务投资回报率(ROI)的真正杠杆。

- **核心陷阱**:底层的两层架构吞噬了团队几乎所有的时间与精力,使技术人员困在重复造轮子的滚轮上,无暇构建能够让业务 ROI 产生乘数效应的资产。

---

[06:52](https://www.youtube.com/watch?v=2hO01YhyWCo&t=412s) 速度层对工程与业务的核心价值

一个健全的“速度层”能彻底重塑工程师和业务人员的协作范式:

对于工程团队,速度层意味着拥有经过验证、可自由组合的“可复用技能库”(例如占卜技能 Palm Reading)。更重要的是,它终结了“调整 Prompt 然后祈祷”(prompt and pray)的盲目维护模式——即在一个地方改提示词修复缺陷,却在另外三个地方引发未知回归。速度层能确保“一处修复,永久生效”。此外,它提供了超越基础微观 Trace(仅展示 LLM 输入输出)的抽象可观测性,能够让开发者清晰审视 Agent 的整体推理逻辑,明确“它为何做出该决策”以及“条件改变后会做出何种替代分支”。

对于业务团队,速度层让产品路线图建立在真实的生产对话数据之上,构建学习飞轮。业务人员能够自上而下将驱动商业回报的宏观指标逐级下钻到具体的对话实例,也能自下而上判断单次异常对话是偶发特例还是系统性趋势。更关键的是,它打通了“从想法直达生产”的路径,无需凡事都走漫长繁琐的 Jira 工单流程。

- **打地鼠困境**:缺乏结构化保障时,基于 Prompt 的补丁常常演变成修一个引发三个 Regression 的打地鼠游戏。 - **高阶可观测性**:摆脱底层 Token/Trace 级日志的干扰,聚焦在业务决策链与推理归因。

---

[08:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=520s) 联邦开发模式与生产闭环学习

高效的速度层依托于“联邦开发模型”(Federated Development Model),打破依赖单一中央 IT 团队交付所有用例的瓶颈,直接赋能业务领域的专家。业务专家无需具备手写代码的能力,系统应当以主动、自动化的方式协助他们完成闭环演进:

```mermaid flowchart LR accTitle: 自动化生产学习飞轮 D1["生产真实对话流"] --> D2["自动洞察 Gap\n(识别无法处理的新诉求)"] D2 --> D3["智能生成策略建议\n(提供 Agent 处理方案)"] D3 --> D4["历史数据沙盒仿真\n(验证无回归后推送到业务端确认)"] D4 -.上线应用.-> D1 ```

Alan 强调,新版 Rasa 在设计哲学上高度尊重企业已有的技术投资,绝不强制企业“推倒重来”(rip and replace)。平台必须允许用户自由打破边界(color outside the lines),随意解构并按自身方式定制组件。

首个用例的上线周期往往漫长,如同“煎第一块松饼”(the first pancake)难免不尽如人意。企业真正应该追求的是:构建第 10 个用例时,核心价值能够由懂业务的业务专家利用真实数据驱动上线,且从第一天起就具备生产级健壮性。当这种体系建立后,业务端对工程团队的态度也会从质疑性的“为什么你们这么慢?”转变为积极支持的“这个成果太棒了,我们怎样才能继续扩大规模?”

演讲尾声,Alan 开玩笑地回应开场的占卜师 Mona,称大家未来 AI 命运的答案就藏在五个字里:“来我们展位找我”(Find me at the booth),并邀请在场听众扫码获取个性化的占卜签文与资料。

- **自主进化的三步飞轮**:检测生产语料盲区 $\to$ 给出修改建议 $\to$ 基于历史数据跑仿真测试,验证通过后由业务专家一键合并。 - **架构哲学**:避免推倒重来,兼顾对现有架构的兼容性与开箱可定制性。

## Notable quotes > [00:04](https://www.youtube.com/watch?v=2hO01YhyWCo&t=4s) 在场的所有人都在对抗同一条“恶龙”。 — Mystic Mona

> [00:04](https://www.youtube.com/watch?v=2hO01YhyWCo&t=4s) 在聊天机器人好用之前就在做聊天机器人了。 — Alan Nichol

> [01:42](https://www.youtube.com/watch?v=2hO01YhyWCo&t=102s) 如果上下文窗口只有一个 Token,你能否构建出一个 Agent? — Alan Nichol

> [01:42](https://www.youtube.com/watch?v=2hO01YhyWCo&t=102s) 当前构建 AI Agent 所依赖的技术组件,其半衰期仅有 18 个月。 — Alan Nichol

> [01:42](https://www.youtube.com/watch?v=2hO01YhyWCo&t=102s) 今天搭建的模块,有一半在 18 个月后将彻底失去存在价值,且无法预知是哪一半。 — Alan Nichol

> [05:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=340s) 大多数工程团队沉溺并引以为豪的部分,往往集中在最底层,从而陷入不断重构的“仓鼠滚轮”。 — Alan Nichol

> [05:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=340s) 速度层能保证团队在构建第 10 个 Agent 或第 10 个用例时,交付速度远超第 1 个用例,是撬动业务投资回报率的真正杠杆。 — Alan Nichol

> [06:52](https://www.youtube.com/watch?v=2hO01YhyWCo&t=412s) 调整 Prompt 然后祈祷(prompt and pray)。 — Alan Nichol

> [06:52](https://www.youtube.com/watch?v=2hO01YhyWCo&t=412s) 一处修复,永久生效。 — Alan Nichol

> [08:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=520s) 平台必须允许用户自由打破边界,随意解构并按自身方式定制组件。 — Alan Nichol

> [08:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=520s) 首个用例的上线周期往往漫长,如同“煎第一块松饼”(the first pancake)难免不尽如人意。 — Alan Nichol

> [08:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=520s) 业务端对工程团队的态度也会从质疑性的“为什么你们这么慢?”转变为积极支持的“这个成果太棒了,我们怎样才能继续扩大规模?” — Alan Nichol

> [08:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=520s) 来我们展位找我(Find me at the booth)。 — Alan Nichol

## Mentioned Alan Nichol, Rasa, Mystic Mona, ChatGPT, BERT, GPT-3, Jira

## Video description Alan Nichol - CTO & Co-founder, Rasa

Most enterprise AI agents being built right now won't make it to durable production. Not because the models aren't good enough, but because the architectural choices made in the first 90 days quietly seal the project's fate.

Alan Nichol, founder of Rasa, has spent over a decade reading the leaves: watching enterprise agents get built through the chatbot era, the LLM shift, and now the agent era. In this session, he'll share the pattern recognition: which architectural bets pay off, which ones are cursed from the start, and what separates the agents running at the world's largest banks, telcos, and healthcare companies from those that never made it out of the cards.

If you're building or operating AI agents in a regulated enterprise, this talk will tell you with uncomfortable specificity what your agent's future holds — and how to change it.

[Source](https://www.youtube.com/watch?v=2hO01YhyWCo)

中文简报

Rasa CTO警告:50%的企业AI Agent代码每18个月就会失效 由于基础模型正迅速吞噬运行时脚手架,企业容易陷入无休止重写的困境;若要实现生产级规模化部署,组织必须将重心转向可复用的速度层与联邦化开发。 Alan Nichol 剖析了企业 AI 领域的核心矛盾:工程团队热衷于交付复杂的底层脚手架,而业务干系人却对缓慢的交付速度倍感沮丧。他解释称,基础模型正持续“吞噬技术栈”,导致自定义运行时代码的半衰期仅有 18 个月,并使底层脚手架迅速被淘汰。为了构建具备持久生命力的系统,Nichol 提出了一套三层架构,主张将重心从短暂易逝的模型包装器和同质化的合规层,转移到高投资回报率的“速度层”(Velocity Layer)。该层级通过联邦化开发、可组合技能、推理级可观测性,以及能够利用真实生产对话日志模拟修复的自主飞轮,全面赋能业务领域专家。 企业级 AI 当前普遍存在工程团队以自建复杂基础设施为傲,而业务高管则对用例上线速度迟缓极为不满的结构性矛盾。 (0:04) 基座模型持续“吞噬”外围技术栈,使得大量手动编写的状态跟踪与对话管理层被原生能力取代,企业 AI 技术栈的半衰期仅为 18 个月。 (1:46) 现代企业级 Agent 平台划分为三层架构:快速被模型淘汰的能力层、作为准入门槛的合规就绪层,以及能倍增商业 ROI 的敏捷交付速度层。 (4:37) 实现可持续工程落地需要可组合的技能库与推理级可观测性,同时摆脱事事提交 Jira 工单的桎梏,赋能领域专家基于真实数据持续迭代优化。 (6:52)

精炼阅读摘要

Rasa 创始人兼首席技术官 Alan Nichol 指出,企业在推进 AI Agent 时普遍遭遇工程架构与业务交付速度脱节的矛盾;由于底层基础模型持续吞噬上层定制代码,企业 AI 技术栈的半衰期仅有 18 个月,组织必须将技术重心转向支持快速复用与业务专家参与的“速度层”。 交付张力与基础模型对技术栈的吞噬 (0:04) Nichol 指出,当前企业已从早期的概念验证转向构建内部 Agent 平台,技术团队往往为其搭建的高级架构和工具调用管线感到自豪,但高管与业务部门却持续抱怨新用例与生产 Agent 的上线速度严重滞后。这种组织摩擦的核心原因在于定制化运行时代码的快速贬值。十年前 Rasa 成立时,语言模型仅有单 Token 的上下文窗口,系统处理多轮对话、状态追踪与后端 API 调用等所有交互逻辑完全依赖手工编写的代码,模型仅负责将意图分类到预设类别中。 随着技术演进,基础模型开始迅速“吞噬技术栈”。BERT 的出现让模型具备就地理解完整句子的能力并原生解决否定句等复杂句式,使大段手写解析代码瞬间失效;GPT-3 与后续模型进一步扩展了上下文并原生集成了工具调用能力,逐步取代了原本需要人工编写的状态机和响应模板。Nichol 警告称,当前围绕模型构建的大量手工粘合代码和提示词脚手架同样难逃被后续版本淘汰的命运,正如过去被过度热炒的向量数据库与向量搜索,最终被不少团队发现其表现并不优于传统检索方式。 18 个月半衰期与三层平台架构 (4:37) 由于模型创新周期已缩短至数月,Nichol 为工程管理者提出了“AI 技术栈半衰期为 18 个月”的经验法则:企业当前自研的运行时脚手架中,约有 50% 会在一年半内变得完全多余,且工程团队无法预判究竟是哪一半会被淘汰。过度专注于底层运行时的拼接,会导致技术团队陷入无休止重写组件以适配新模型的被动循环中。 为打破这一循环,Nichol 主张将企业 Agent 平台划分为三层蛋糕架构:底层是围绕模型运行时的“能力层”(Capabilities Layer),包含提示词包装器和工具编排,该层折旧极快且易被模型迭代吞噬;中间层是涵盖合规、安全和访问控制的“企业就绪层”(Enterprise Readiness Layer),这是投产的必要门槛但无法形成业务差异化;顶层则是作为核心投资回报杠杆的“速度层”(Velocity Layer),其核心目标是确保企业构建第十个 Agent 的速度和成本相较第一个实现指数级优化。 面向工程与业务需求的高速度层规范 (6:52) 有效构建的速度层必须同时解决工程研发与业务运营两套截然不同的诉求。在工程维度,平台需要提供经过验证、可在多 Agent 间无缝复用的企业级技能库(涵盖从身份验证到交易流程等功能模块),彻底摒弃针对特定边缘案例反复微调提示词的“祈祷式修补”(Prompt and Pray),确保系统性修复不会引发其他退化。同时,团队需要深入决策机理的“推理级可观测性”,不仅追踪输入输出字符,更能掌握 Agent 的决策逻辑以及改变其决策轨迹的反事实条件。 在业务维度,产品路线图必须扎根于真实的生产交互数据而非主观推测,形成持续学习的正向飞轮。业务人员需要具备双向指标钻取能力:既能从高层业务 KPI 穿透至底层驱动该指标的具体会话,也能从孤立的异常对话向上判定其是否代表全局性趋势。更为关键的是,速度层必须打破每一次业务微调都需要向技术团队提交 Jira 工单的传统研发瓶颈。 联邦式开发与自愈型仿真闭环 (8:40) 为了真正提升交付速度,企业需采用联邦式开发模式,赋予深度理解业务流程但不会编写代码的领域专家直接定义和调整 Agent 行为的权限。现代速度层应当基于真实生产日志构建自动化的三阶段闭环:首先主动分析线上对话,自动定位未处理的用户意图与故障断点;其次自动起草具体的逻辑修正方案;最后在历史对话数据集上执行仿真测试,验证修改在彻底修复缺陷的同时不会导致功能回归,最终交由业务专家完成一键部署。 Nichol 强调,平台架构应兼容企业过去数年的既有资产,支持在预设框架外进行定制与组件重写,而非推倒重来。他借用“第一块煎饼往往做坏”的比喻指出,企业首个 Agent 的交付难免杂乱且缓慢,但长期价值取决于后续能力复制的敏捷度。当 Agent 能够依托真实业务数据自愈并由业务人员驱动时,管理层的态度才会从质疑研发进度缓慢转变为积极寻求规模化复制。 Nichol 总结认为,企业 Agent 的长期成败取决于构建后续用例的速度飞轮,而非执着于自研极易被模型迭代所吞噬的底层运行时脚手架。不过,在基础模型持续快速演进的背景下,企业如何在保障合规与防范回归风险的前提下,真正将控制权安全下放给无代码经验的业务领域专家,仍是这一架构在各行业深度落地时需直面的核心工程课题。

Detailed notes — zh

## Background 本视频由 Ai4 于 2026 年 8 月 15 日发布在 YouTube 平台。内容记录了 Rasa 联合创始人兼 CTO Alan Nichol 的主题演讲,聚焦企业级 AI Agent 为何难以走向持久生产,并深入探讨项目前 90 天的架构决策如何左右智能体在受监管大型企业中的最终命运。 ## TL;DR Alan Nichol 剖析了工程交付与业务诉求脱节的核心痛点,指出大模型正在不断吞噬外围胶水代码,导致 AI 技术栈面临仅有 18 个月的半衰期。为了打破深陷底层重构的“仓鼠滚轮”,他提出了“三层蛋糕模型”,呼吁企业从易过时的基础能力层转向构建以敏捷复用为核心的“速度层”。速度层能彻底终结“改提示词并祈祷”的脆弱调试模式,并提供深度的决策推理可观测性。最终通过联邦开发模式与生产闭环仿真赋能业务专家,让企业交付第 10 个用例时实现十倍级的敏捷与稳健。 ## Atmosphere & style 演讲以幽默自嘲的“算命师预言”轻巧开场,随后迅速切入刺痛当前企业的工程现实,整体基调兼具技术老兵的洞察敏锐与从容幽默。Alan 善用诸如“仓鼠滚轮”、“打地鼠”和“煎第一块松饼”等生动隐喻,将枯燥严肃的系统架构与合规治理讲得妙趣横生。整场分享由浅入深,在唤起技术栈快速贬值的危机感后,又为在场者指明了一条清晰笃定的破局架构路径。 ## Key takeaways - [00:04](https://www.youtube.com/watch?v=2hO01YhyWCo&t=4s) 企业 AI Agent 当前的核心矛盾在于:工程团队对交付成果倍感自豪,业务部门却始终抱怨新用例落地周期过长、迭代太慢。 - [01:42](https://www.youtube.com/watch?v=2hO01YhyWCo&t=102s) 大模型的演进规律表明,模型正在不断“吞噬”外围的技术栈,手写胶水代码、规则策略和工具编排正逐步被模型内建能力取代。 - [01:42](https://www.youtube.com/watch?v=2hO01YhyWCo&t=102s) 向量数据库的前车之鉴证明,过度押注单一特定基础设施存在风险,随着模型演进与经典搜索的结合,专用组件极易贬值。 - [01:42](https://www.youtube.com/watch?v=2hO01YhyWCo&t=102s) 现代 AI 技术栈的半衰期仅有 18 个月,今天搭建的代码组件有一半在一年半后将失去存在价值,且无法预知具体是哪一部分。 - [05:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=340s) Agent 平台的三层蛋糕模型包含基础能力层、企业就绪层和速度层,其中只有速度层能真正充当业务 ROI 的乘数放大器。 - [05:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=340s) 工程团队极易被困在底层运行时组件的“仓鼠滚轮”中,陷入不断重构代码的死循环,无暇沉淀具有差异化竞争力的业务资产。 - [06:52](https://www.youtube.com/watch?v=2hO01YhyWCo&t=412s) 速度层通过沉淀可复用技能库,终结了“修改 Prompt 然后祈祷”的脆弱维护方式,避免修复单点问题时引发未知连锁回归。 - [06:52](https://www.youtube.com/watch?v=2hO01YhyWCo&t=412s) 高阶可观测性应当超越底层 Token/Trace 级日志,清晰呈现 Agent 做出特定决策的推理链路与假设改变后的替代分支。 - [06:52](https://www.youtube.com/watch?v=2hO01YhyWCo&t=412s) 业务团队需要直接基于真实生产对话建立反馈飞轮,实现宏观业务指标与微观对话实例的下钻对齐,缩短上线链条。 - [08:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=520s) 联邦开发模式(Federated Development Model)将 Agent 交付能力下放给领域业务专家,打破由中央 IT 团队全权包办的交付瓶颈。 - [08:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=520s) 自动化的生产学习闭环能够自主识别对话盲区、生成处理策略并基于历史数据运行沙盒仿真,在确保无回归后推向生产。 - [08:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=520s) 遵循“第一块松饼”规律,首个 Agent 用例探索往往耗时且不完美,架构的核心目标是保证构建第 10 个用例时能以极快速度稳健上线。 - [08:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=520s) Agent 架构必须尊重企业现有的技术资产沉淀,避免推倒重来(Rip and Replace),提供高度开放和可解构定制的能力。 ## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=2hO01YhyWCo&t=4s) 算命师的预言与企业 AI Agent 的核心矛盾 Alan Nichol 以展位上的占卜师 Mystic Mona 开场。当天早晨 Mona 为他算了命并给出两点预言:第一,在场的所有人都在对抗同一条“恶龙”(the same dragon);第二,他这场演讲会彻底搞砸(bomb)。Alan 笑称希望她只猜对了一半。作为 Rasa 的创始人兼 CTO,Alan 介绍 Rasa 是一个专门为企业构建面向客户与员工的 AI Agent 平台。他们早在 ChatGPT 问世之前就已经深耕此领域,与全球诸多要求严苛的顶尖机构合作,可以说是“在聊天机器人好用之前就在做聊天机器人了”。 在频繁接触各大企业的 IT 高管(CTO、CIO、Chief AI Officer)过程中,Alan 发现了一个普遍存在的紧张关系,这就是大家正在共同搏斗的“恶龙”。AI Agent 早已越过概念验证(POC)和实验阶段,企业内部搭建了自己的 Agent 平台,并交付了面向客服或员工支持的智能体。然而,矛盾随之显现:一方面,工程团队对自己交付的优秀成果倍感自豪;另一方面,业务端却永远不满意,抱怨上线新用例太慢、将新 Agent 推向生产环境的周期太长。 - **核心矛盾**:工程团队认为技术交付成果显著,业务部门却始终抱怨应用落地与迭代速度不足。 - **业务诉求**:跨越原型阶段后,如何高频、敏捷地交付面向生产环境的真实场景。 --- ### [01:42](https://www.youtube.com/watch?v=2hO01YhyWCo&t=102s) 大模型正在吞噬技术栈:从单 Token 到全栈 Agent Alan 抛出一个问题:“如果上下文窗口只有一个 Token,你能否构建出一个 Agent?”在 Rasa 刚写下第一行代码的早期阶段,语言模型的能力极其微弱,单次只能观察并分析一个 Token。当时为了将模型包装成可交互、可调 API、可完成任务的完整 Agent,开发者必须在模型外围编写海量的手写胶水代码。当时模型的唯一任务是将用户输入匹配到数百个预定义分类中的一个(即 Intent,意图识别),例如判断是打招呼、回答“是/否”、道别还是询问退款。所有分支判断、上下文管理、多轮对话衔接和 API 调用编排,全都依赖开发者或平台硬编码的逻辑。 伴随技术演进,大模型不仅变得更强大,还在不断“吞噬”外围的技术栈。BERT 的出现让模型能够处理整句话并理解上下文与否定句,使原本需要手动处理的一大批规则直接作废;随后 GPT-3 能够通读整个对话历史并自行调用工具,状态跟踪(State Tracking)、对话策略(Dialogue Policies)乃至手写模板回复都被模型原生能力取代。如今业内看似只需“模型在循环中调用工具”即可构成 Agent,但现实生产中周围依然堆叠了大量用于落地的手写外围代码。Alan 强调,历史规律表明这些外围手写逻辑迟早也会在未来一两个版本中被模型自身吃掉。 ```mermaid flowchart TD accTitle: 模型演进吞噬外围技术栈架构图 subgraph S1["早期架构:手写代码驱动"] direction TB M1["单 Token 模型\n(仅识别预设 Intent)"] C1["外围手写胶水逻辑\n(状态跟踪 / 策略规则 / 模板生成)"] M1 --- C1 end subgraph S2["现代/未来架构:能力内聚"] direction TB M2["现代大模型\n(内建上下文记忆 / 工具调用 / 自然语言生成)"] C2["待被吞噬的外围手写代码\n(当前临时补丁)"] M2 -.逐步取代.-> C2 end ``` - **历史例证**:从单 Token 分类到句子级理解(BERT),再到对话历史感知与自主工具调用(GPT 系列),外围专用模块被逐步淘汰。 - **向量数据库的前车之鉴**:向量搜索曾被视为 RAG 和 Agent 绝对不可或缺的基础设施,但随后实践证明传统的经典搜索在绝大多数场景下表现更好或旗鼓相当,导致相关专门投入迅速贬值。 - **AI 栈的半衰期**:当前构建 AI Agent 所依赖的技术组件,其“半衰期仅有 18 个月”;今天搭建的模块,有一半在 18 个月后将彻底失去存在价值,且无法预知是哪一半。 --- ### [05:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=340s) Agent 平台的三层蛋糕模型 针对技术快速过时带来的挫败感,Alan 提出了评估 Agent 平台的三层架构模型(Three Tiers of the Cake)。大多数工程团队沉溺并引以为豪的部分,往往集中在最底层,从而陷入不断重构的“仓鼠滚轮”(hamster wheel)。 ```mermaid flowchart TD accTitle: Agent 平台三层蛋糕模型 L3["速度层 (Velocity Layer)\n复用资产 / 敏捷交付 / 业务赋能 / 价值倍增器"] L2["企业就绪层 (Enterprise Readiness)\n安全合规 / 权限治理 / 非功能性硬指标 (无差异化)"] L1["基础能力层 (Capabilities Layer)\n运行时组件 / 提示词工程 (半衰期 18 个月,易被模型吞噬)"] L3 --- L2 L2 --- L1 ``` 1. **基础能力层(Capabilities Layer)**:围绕模型运行时的微观组件与胶水代码。这部分组件更新迭代最快、最容易被模型新能力吞噬,导致团队陷入不断推翻重构的死循环。 2. **企业就绪层(Enterprise Readiness Layer)**:落地生产必不可少的非功能性需求(如安全合规、权限治理等),属于刚性门槛,但不具备业务差异化竞争力。 3. **速度层(Velocity Layer)**:让团队成为业务英雄的关键层级。它能保证团队在构建第 10 个 Agent 或第 10 个用例时,交付速度远超第 1 个用例,是撬动业务投资回报率(ROI)的真正杠杆。 - **核心陷阱**:底层的两层架构吞噬了团队几乎所有的时间与精力,使技术人员困在重复造轮子的滚轮上,无暇构建能够让业务 ROI 产生乘数效应的资产。 --- ### [06:52](https://www.youtube.com/watch?v=2hO01YhyWCo&t=412s) 速度层对工程与业务的核心价值 一个健全的“速度层”能彻底重塑工程师和业务人员的协作范式: 对于工程团队,速度层意味着拥有经过验证、可自由组合的“可复用技能库”(例如占卜技能 Palm Reading)。更重要的是,它终结了“调整 Prompt 然后祈祷”(prompt and pray)的盲目维护模式——即在一个地方改提示词修复缺陷,却在另外三个地方引发未知回归。速度层能确保“一处修复,永久生效”。此外,它提供了超越基础微观 Trace(仅展示 LLM 输入输出)的抽象可观测性,能够让开发者清晰审视 Agent 的整体推理逻辑,明确“它为何做出该决策”以及“条件改变后会做出何种替代分支”。 对于业务团队,速度层让产品路线图建立在真实的生产对话数据之上,构建学习飞轮。业务人员能够自上而下将驱动商业回报的宏观指标逐级下钻到具体的对话实例,也能自下而上判断单次异常对话是偶发特例还是系统性趋势。更关键的是,它打通了“从想法直达生产”的路径,无需凡事都走漫长繁琐的 Jira 工单流程。 - **打地鼠困境**:缺乏结构化保障时,基于 Prompt 的补丁常常演变成修一个引发三个 Regression 的打地鼠游戏。 - **高阶可观测性**:摆脱底层 Token/Trace 级日志的干扰,聚焦在业务决策链与推理归因。 --- ### [08:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=520s) 联邦开发模式与生产闭环学习 高效的速度层依托于“联邦开发模型”(Federated Development Model),打破依赖单一中央 IT 团队交付所有用例的瓶颈,直接赋能业务领域的专家。业务专家无需具备手写代码的能力,系统应当以主动、自动化的方式协助他们完成闭环演进: ```mermaid flowchart LR accTitle: 自动化生产学习飞轮 D1["生产真实对话流"] --> D2["自动洞察 Gap\n(识别无法处理的新诉求)"] D2 --> D3["智能生成策略建议\n(提供 Agent 处理方案)"] D3 --> D4["历史数据沙盒仿真\n(验证无回归后推送到业务端确认)"] D4 -.上线应用.-> D1 ``` Alan 强调,新版 Rasa 在设计哲学上高度尊重企业已有的技术投资,绝不强制企业“推倒重来”(rip and replace)。平台必须允许用户自由打破边界(color outside the lines),随意解构并按自身方式定制组件。 首个用例的上线周期往往漫长,如同“煎第一块松饼”(the first pancake)难免不尽如人意。企业真正应该追求的是:构建第 10 个用例时,核心价值能够由懂业务的业务专家利用真实数据驱动上线,且从第一天起就具备生产级健壮性。当这种体系建立后,业务端对工程团队的态度也会从质疑性的“为什么你们这么慢?”转变为积极支持的“这个成果太棒了,我们怎样才能继续扩大规模?” 演讲尾声,Alan 开玩笑地回应开场的占卜师 Mona,称大家未来 AI 命运的答案就藏在五个字里:“来我们展位找我”(Find me at the booth),并邀请在场听众扫码获取个性化的占卜签文与资料。 - **自主进化的三步飞轮**:检测生产语料盲区 $\to$ 给出修改建议 $\to$ 基于历史数据跑仿真测试,验证通过后由业务专家一键合并。 - **架构哲学**:避免推倒重来,兼顾对现有架构的兼容性与开箱可定制性。 ## Notable quotes > [00:04](https://www.youtube.com/watch?v=2hO01YhyWCo&t=4s) 在场的所有人都在对抗同一条“恶龙”。 — Mystic Mona > [00:04](https://www.youtube.com/watch?v=2hO01YhyWCo&t=4s) 在聊天机器人好用之前就在做聊天机器人了。 — Alan Nichol > [01:42](https://www.youtube.com/watch?v=2hO01YhyWCo&t=102s) 如果上下文窗口只有一个 Token,你能否构建出一个 Agent? — Alan Nichol > [01:42](https://www.youtube.com/watch?v=2hO01YhyWCo&t=102s) 当前构建 AI Agent 所依赖的技术组件,其半衰期仅有 18 个月。 — Alan Nichol > [01:42](https://www.youtube.com/watch?v=2hO01YhyWCo&t=102s) 今天搭建的模块,有一半在 18 个月后将彻底失去存在价值,且无法预知是哪一半。 — Alan Nichol > [05:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=340s) 大多数工程团队沉溺并引以为豪的部分,往往集中在最底层,从而陷入不断重构的“仓鼠滚轮”。 — Alan Nichol > [05:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=340s) 速度层能保证团队在构建第 10 个 Agent 或第 10 个用例时,交付速度远超第 1 个用例,是撬动业务投资回报率的真正杠杆。 — Alan Nichol > [06:52](https://www.youtube.com/watch?v=2hO01YhyWCo&t=412s) 调整 Prompt 然后祈祷(prompt and pray)。 — Alan Nichol > [06:52](https://www.youtube.com/watch?v=2hO01YhyWCo&t=412s) 一处修复,永久生效。 — Alan Nichol > [08:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=520s) 平台必须允许用户自由打破边界,随意解构并按自身方式定制组件。 — Alan Nichol > [08:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=520s) 首个用例的上线周期往往漫长,如同“煎第一块松饼”(the first pancake)难免不尽如人意。 — Alan Nichol > [08:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=520s) 业务端对工程团队的态度也会从质疑性的“为什么你们这么慢?”转变为积极支持的“这个成果太棒了,我们怎样才能继续扩大规模?” — Alan Nichol > [08:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=520s) 来我们展位找我(Find me at the booth)。 — Alan Nichol ## Mentioned Alan Nichol, Rasa, Mystic Mona, ChatGPT, BERT, GPT-3, Jira ## Video description Alan Nichol - CTO & Co-founder, Rasa Most enterprise AI agents being built right now won't make it to durable production. Not because the models aren't good enough, but because the architectural choices made in the first 90 days quietly seal the project's fate. Alan Nichol, founder of Rasa, has spent over a decade reading the leaves: watching enterprise agents get built through the chatbot era, the LLM shift, and now the agent era. In this session, he'll share the pattern recognition: which architectural bets pay off, which ones are cursed from the start, and what separates the agents running at the world's largest banks, telcos, and healthcare companies from those that never made it out of the cards. If you're building or operating AI agents in a regulated enterprise, this talk will tell you with uncomfortable specificity what your agent's future holds — and how to change it. [Source](https://www.youtube.com/watch?v=2hO01YhyWCo)

Source quotes

[0:04] Mystic Mona: 在场的所有人都在对抗同一条“恶龙”。 [0:04] Alan Nichol: 在聊天机器人好用之前就在做聊天机器人了。 [1:42] Alan Nichol: 如果上下文窗口只有一个 Token,你能否构建出一个 Agent? [1:42] Alan Nichol: 当前构建 AI Agent 所依赖的技术组件,其半衰期仅有 18 个月。 [1:42] Alan Nichol: 今天搭建的模块,有一半在 18 个月后将彻底失去存在价值,且无法预知是哪一半。 [5:40] Alan Nichol: 大多数工程团队沉溺并引以为豪的部分,往往集中在最底层,从而陷入不断重构的“仓鼠滚轮”。 [5:40] Alan Nichol: 速度层能保证团队在构建第 10 个 Agent 或第 10 个用例时,交付速度远超第 1 个用例,是撬动业务投资回报率的真正杠杆。 [6:52] Alan Nichol: 调整 Prompt 然后祈祷(prompt and pray)。 [6:52] Alan Nichol: 一处修复,永久生效。 [8:40] Alan Nichol: 平台必须允许用户自由打破边界,随意解构并按自身方式定制组件。 [8:40] Alan Nichol: 首个用例的上线周期往往漫长,如同“煎第一块松饼”(the first pancake)难免不尽如人意。 [8:40] Alan Nichol: 业务端对工程团队的态度也会从质疑性的“为什么你们这么慢?”转变为积极支持的“这个成果太棒了,我们怎样才能继续扩大规模?” [8:40] Alan Nichol: 来我们展位找我(Find me at the booth)。