Ai4
大模型快速演进必将吞噬手写外围逻辑,企业若沉溺于底层能力层修补,将陷入交付迟滞与技术折旧的恶性循环,唯有构建业务可复用的速度层才能实现规模化落地。
AI-assisted summary of Palm Reading and Other Skills: Agent Architectures in 2027 With Rasa — original source. Check the original for full context.
Source published:
Detailed notes
## Background 本视频由 Ai4 于 2026 年 8 月 15 日发布在 YouTube 平台。内容记录了 Rasa 联合创始人兼 CTO Alan Nichol 的主题演讲,聚焦企业级 AI Agent 为何难以走向持久生产,并深入探讨项目前 90 天的架构决策如何左右智能体在受监管大型企业中的最终命运。
## TL;DR Alan Nichol 剖析了工程交付与业务诉求脱节的核心痛点,指出大模型正在不断吞噬外围胶水代码,导致 AI 技术栈面临仅有 18 个月的半衰期。为了打破深陷底层重构的“仓鼠滚轮”,他提出了“三层蛋糕模型”,呼吁企业从易过时的基础能力层转向构建以敏捷复用为核心的“速度层”。速度层能彻底终结“改提示词并祈祷”的脆弱调试模式,并提供深度的决策推理可观测性。最终通过联邦开发模式与生产闭环仿真赋能业务专家,让企业交付第 10 个用例时实现十倍级的敏捷与稳健。
## Atmosphere & style 演讲以幽默自嘲的“算命师预言”轻巧开场,随后迅速切入刺痛当前企业的工程现实,整体基调兼具技术老兵的洞察敏锐与从容幽默。Alan 善用诸如“仓鼠滚轮”、“打地鼠”和“煎第一块松饼”等生动隐喻,将枯燥严肃的系统架构与合规治理讲得妙趣横生。整场分享由浅入深,在唤起技术栈快速贬值的危机感后,又为在场者指明了一条清晰笃定的破局架构路径。
## Key takeaways - [00:04](https://www.youtube.com/watch?v=2hO01YhyWCo&t=4s) 企业 AI Agent 当前的核心矛盾在于:工程团队对交付成果倍感自豪,业务部门却始终抱怨新用例落地周期过长、迭代太慢。 - [01:42](https://www.youtube.com/watch?v=2hO01YhyWCo&t=102s) 大模型的演进规律表明,模型正在不断“吞噬”外围的技术栈,手写胶水代码、规则策略和工具编排正逐步被模型内建能力取代。 - [01:42](https://www.youtube.com/watch?v=2hO01YhyWCo&t=102s) 向量数据库的前车之鉴证明,过度押注单一特定基础设施存在风险,随着模型演进与经典搜索的结合,专用组件极易贬值。 - [01:42](https://www.youtube.com/watch?v=2hO01YhyWCo&t=102s) 现代 AI 技术栈的半衰期仅有 18 个月,今天搭建的代码组件有一半在一年半后将失去存在价值,且无法预知具体是哪一部分。 - [05:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=340s) Agent 平台的三层蛋糕模型包含基础能力层、企业就绪层和速度层,其中只有速度层能真正充当业务 ROI 的乘数放大器。 - [05:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=340s) 工程团队极易被困在底层运行时组件的“仓鼠滚轮”中,陷入不断重构代码的死循环,无暇沉淀具有差异化竞争力的业务资产。 - [06:52](https://www.youtube.com/watch?v=2hO01YhyWCo&t=412s) 速度层通过沉淀可复用技能库,终结了“修改 Prompt 然后祈祷”的脆弱维护方式,避免修复单点问题时引发未知连锁回归。 - [06:52](https://www.youtube.com/watch?v=2hO01YhyWCo&t=412s) 高阶可观测性应当超越底层 Token/Trace 级日志,清晰呈现 Agent 做出特定决策的推理链路与假设改变后的替代分支。 - [06:52](https://www.youtube.com/watch?v=2hO01YhyWCo&t=412s) 业务团队需要直接基于真实生产对话建立反馈飞轮,实现宏观业务指标与微观对话实例的下钻对齐,缩短上线链条。 - [08:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=520s) 联邦开发模式(Federated Development Model)将 Agent 交付能力下放给领域业务专家,打破由中央 IT 团队全权包办的交付瓶颈。 - [08:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=520s) 自动化的生产学习闭环能够自主识别对话盲区、生成处理策略并基于历史数据运行沙盒仿真,在确保无回归后推向生产。 - [08:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=520s) 遵循“第一块松饼”规律,首个 Agent 用例探索往往耗时且不完美,架构的核心目标是保证构建第 10 个用例时能以极快速度稳健上线。 - [08:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=520s) Agent 架构必须尊重企业现有的技术资产沉淀,避免推倒重来(Rip and Replace),提供高度开放和可解构定制的能力。
## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=2hO01YhyWCo&t=4s) 算命师的预言与企业 AI Agent 的核心矛盾
Alan Nichol 以展位上的占卜师 Mystic Mona 开场。当天早晨 Mona 为他算了命并给出两点预言:第一,在场的所有人都在对抗同一条“恶龙”(the same dragon);第二,他这场演讲会彻底搞砸(bomb)。Alan 笑称希望她只猜对了一半。作为 Rasa 的创始人兼 CTO,Alan 介绍 Rasa 是一个专门为企业构建面向客户与员工的 AI Agent 平台。他们早在 ChatGPT 问世之前就已经深耕此领域,与全球诸多要求严苛的顶尖机构合作,可以说是“在聊天机器人好用之前就在做聊天机器人了”。
在频繁接触各大企业的 IT 高管(CTO、CIO、Chief AI Officer)过程中,Alan 发现了一个普遍存在的紧张关系,这就是大家正在共同搏斗的“恶龙”。AI Agent 早已越过概念验证(POC)和实验阶段,企业内部搭建了自己的 Agent 平台,并交付了面向客服或员工支持的智能体。然而,矛盾随之显现:一方面,工程团队对自己交付的优秀成果倍感自豪;另一方面,业务端却永远不满意,抱怨上线新用例太慢、将新 Agent 推向生产环境的周期太长。
- **核心矛盾**:工程团队认为技术交付成果显著,业务部门却始终抱怨应用落地与迭代速度不足。 - **业务诉求**:跨越原型阶段后,如何高频、敏捷地交付面向生产环境的真实场景。
---
[01:42](https://www.youtube.com/watch?v=2hO01YhyWCo&t=102s) 大模型正在吞噬技术栈:从单 Token 到全栈 Agent
Alan 抛出一个问题:“如果上下文窗口只有一个 Token,你能否构建出一个 Agent?”在 Rasa 刚写下第一行代码的早期阶段,语言模型的能力极其微弱,单次只能观察并分析一个 Token。当时为了将模型包装成可交互、可调 API、可完成任务的完整 Agent,开发者必须在模型外围编写海量的手写胶水代码。当时模型的唯一任务是将用户输入匹配到数百个预定义分类中的一个(即 Intent,意图识别),例如判断是打招呼、回答“是/否”、道别还是询问退款。所有分支判断、上下文管理、多轮对话衔接和 API 调用编排,全都依赖开发者或平台硬编码的逻辑。
伴随技术演进,大模型不仅变得更强大,还在不断“吞噬”外围的技术栈。BERT 的出现让模型能够处理整句话并理解上下文与否定句,使原本需要手动处理的一大批规则直接作废;随后 GPT-3 能够通读整个对话历史并自行调用工具,状态跟踪(State Tracking)、对话策略(Dialogue Policies)乃至手写模板回复都被模型原生能力取代。如今业内看似只需“模型在循环中调用工具”即可构成 Agent,但现实生产中周围依然堆叠了大量用于落地的手写外围代码。Alan 强调,历史规律表明这些外围手写逻辑迟早也会在未来一两个版本中被模型自身吃掉。
```mermaid flowchart TD accTitle: 模型演进吞噬外围技术栈架构图 subgraph S1["早期架构:手写代码驱动"] direction TB M1["单 Token 模型\n(仅识别预设 Intent)"] C1["外围手写胶水逻辑\n(状态跟踪 / 策略规则 / 模板生成)"] M1 --- C1 end
subgraph S2["现代/未来架构:能力内聚"] direction TB M2["现代大模型\n(内建上下文记忆 / 工具调用 / 自然语言生成)"] C2["待被吞噬的外围手写代码\n(当前临时补丁)"] M2 -.逐步取代.-> C2 end ```
- **历史例证**:从单 Token 分类到句子级理解(BERT),再到对话历史感知与自主工具调用(GPT 系列),外围专用模块被逐步淘汰。 - **向量数据库的前车之鉴**:向量搜索曾被视为 RAG 和 Agent 绝对不可或缺的基础设施,但随后实践证明传统的经典搜索在绝大多数场景下表现更好或旗鼓相当,导致相关专门投入迅速贬值。 - **AI 栈的半衰期**:当前构建 AI Agent 所依赖的技术组件,其“半衰期仅有 18 个月”;今天搭建的模块,有一半在 18 个月后将彻底失去存在价值,且无法预知是哪一半。
---
[05:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=340s) Agent 平台的三层蛋糕模型
针对技术快速过时带来的挫败感,Alan 提出了评估 Agent 平台的三层架构模型(Three Tiers of the Cake)。大多数工程团队沉溺并引以为豪的部分,往往集中在最底层,从而陷入不断重构的“仓鼠滚轮”(hamster wheel)。
```mermaid flowchart TD accTitle: Agent 平台三层蛋糕模型 L3["速度层 (Velocity Layer)\n复用资产 / 敏捷交付 / 业务赋能 / 价值倍增器"] L2["企业就绪层 (Enterprise Readiness)\n安全合规 / 权限治理 / 非功能性硬指标 (无差异化)"] L1["基础能力层 (Capabilities Layer)\n运行时组件 / 提示词工程 (半衰期 18 个月,易被模型吞噬)"]
L3 --- L2 L2 --- L1 ```
1. **基础能力层(Capabilities Layer)**:围绕模型运行时的微观组件与胶水代码。这部分组件更新迭代最快、最容易被模型新能力吞噬,导致团队陷入不断推翻重构的死循环。 2. **企业就绪层(Enterprise Readiness Layer)**:落地生产必不可少的非功能性需求(如安全合规、权限治理等),属于刚性门槛,但不具备业务差异化竞争力。 3. **速度层(Velocity Layer)**:让团队成为业务英雄的关键层级。它能保证团队在构建第 10 个 Agent 或第 10 个用例时,交付速度远超第 1 个用例,是撬动业务投资回报率(ROI)的真正杠杆。
- **核心陷阱**:底层的两层架构吞噬了团队几乎所有的时间与精力,使技术人员困在重复造轮子的滚轮上,无暇构建能够让业务 ROI 产生乘数效应的资产。
---
[06:52](https://www.youtube.com/watch?v=2hO01YhyWCo&t=412s) 速度层对工程与业务的核心价值
一个健全的“速度层”能彻底重塑工程师和业务人员的协作范式:
对于工程团队,速度层意味着拥有经过验证、可自由组合的“可复用技能库”(例如占卜技能 Palm Reading)。更重要的是,它终结了“调整 Prompt 然后祈祷”(prompt and pray)的盲目维护模式——即在一个地方改提示词修复缺陷,却在另外三个地方引发未知回归。速度层能确保“一处修复,永久生效”。此外,它提供了超越基础微观 Trace(仅展示 LLM 输入输出)的抽象可观测性,能够让开发者清晰审视 Agent 的整体推理逻辑,明确“它为何做出该决策”以及“条件改变后会做出何种替代分支”。
对于业务团队,速度层让产品路线图建立在真实的生产对话数据之上,构建学习飞轮。业务人员能够自上而下将驱动商业回报的宏观指标逐级下钻到具体的对话实例,也能自下而上判断单次异常对话是偶发特例还是系统性趋势。更关键的是,它打通了“从想法直达生产”的路径,无需凡事都走漫长繁琐的 Jira 工单流程。
- **打地鼠困境**:缺乏结构化保障时,基于 Prompt 的补丁常常演变成修一个引发三个 Regression 的打地鼠游戏。 - **高阶可观测性**:摆脱底层 Token/Trace 级日志的干扰,聚焦在业务决策链与推理归因。
---
[08:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=520s) 联邦开发模式与生产闭环学习
高效的速度层依托于“联邦开发模型”(Federated Development Model),打破依赖单一中央 IT 团队交付所有用例的瓶颈,直接赋能业务领域的专家。业务专家无需具备手写代码的能力,系统应当以主动、自动化的方式协助他们完成闭环演进:
```mermaid flowchart LR accTitle: 自动化生产学习飞轮 D1["生产真实对话流"] --> D2["自动洞察 Gap\n(识别无法处理的新诉求)"] D2 --> D3["智能生成策略建议\n(提供 Agent 处理方案)"] D3 --> D4["历史数据沙盒仿真\n(验证无回归后推送到业务端确认)"] D4 -.上线应用.-> D1 ```
Alan 强调,新版 Rasa 在设计哲学上高度尊重企业已有的技术投资,绝不强制企业“推倒重来”(rip and replace)。平台必须允许用户自由打破边界(color outside the lines),随意解构并按自身方式定制组件。
首个用例的上线周期往往漫长,如同“煎第一块松饼”(the first pancake)难免不尽如人意。企业真正应该追求的是:构建第 10 个用例时,核心价值能够由懂业务的业务专家利用真实数据驱动上线,且从第一天起就具备生产级健壮性。当这种体系建立后,业务端对工程团队的态度也会从质疑性的“为什么你们这么慢?”转变为积极支持的“这个成果太棒了,我们怎样才能继续扩大规模?”
演讲尾声,Alan 开玩笑地回应开场的占卜师 Mona,称大家未来 AI 命运的答案就藏在五个字里:“来我们展位找我”(Find me at the booth),并邀请在场听众扫码获取个性化的占卜签文与资料。
- **自主进化的三步飞轮**:检测生产语料盲区 $\to$ 给出修改建议 $\to$ 基于历史数据跑仿真测试,验证通过后由业务专家一键合并。 - **架构哲学**:避免推倒重来,兼顾对现有架构的兼容性与开箱可定制性。
## Notable quotes > [00:04](https://www.youtube.com/watch?v=2hO01YhyWCo&t=4s) 在场的所有人都在对抗同一条“恶龙”。 — Mystic Mona
> [00:04](https://www.youtube.com/watch?v=2hO01YhyWCo&t=4s) 在聊天机器人好用之前就在做聊天机器人了。 — Alan Nichol
> [01:42](https://www.youtube.com/watch?v=2hO01YhyWCo&t=102s) 如果上下文窗口只有一个 Token,你能否构建出一个 Agent? — Alan Nichol
> [01:42](https://www.youtube.com/watch?v=2hO01YhyWCo&t=102s) 当前构建 AI Agent 所依赖的技术组件,其半衰期仅有 18 个月。 — Alan Nichol
> [01:42](https://www.youtube.com/watch?v=2hO01YhyWCo&t=102s) 今天搭建的模块,有一半在 18 个月后将彻底失去存在价值,且无法预知是哪一半。 — Alan Nichol
> [05:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=340s) 大多数工程团队沉溺并引以为豪的部分,往往集中在最底层,从而陷入不断重构的“仓鼠滚轮”。 — Alan Nichol
> [05:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=340s) 速度层能保证团队在构建第 10 个 Agent 或第 10 个用例时,交付速度远超第 1 个用例,是撬动业务投资回报率的真正杠杆。 — Alan Nichol
> [06:52](https://www.youtube.com/watch?v=2hO01YhyWCo&t=412s) 调整 Prompt 然后祈祷(prompt and pray)。 — Alan Nichol
> [06:52](https://www.youtube.com/watch?v=2hO01YhyWCo&t=412s) 一处修复,永久生效。 — Alan Nichol
> [08:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=520s) 平台必须允许用户自由打破边界,随意解构并按自身方式定制组件。 — Alan Nichol
> [08:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=520s) 首个用例的上线周期往往漫长,如同“煎第一块松饼”(the first pancake)难免不尽如人意。 — Alan Nichol
> [08:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=520s) 业务端对工程团队的态度也会从质疑性的“为什么你们这么慢?”转变为积极支持的“这个成果太棒了,我们怎样才能继续扩大规模?” — Alan Nichol
> [08:40](https://www.youtube.com/watch?v=2hO01YhyWCo&t=520s) 来我们展位找我(Find me at the booth)。 — Alan Nichol
## Mentioned Alan Nichol, Rasa, Mystic Mona, ChatGPT, BERT, GPT-3, Jira
## Video description Alan Nichol - CTO & Co-founder, Rasa
Most enterprise AI agents being built right now won't make it to durable production. Not because the models aren't good enough, but because the architectural choices made in the first 90 days quietly seal the project's fate.
Alan Nichol, founder of Rasa, has spent over a decade reading the leaves: watching enterprise agents get built through the chatbot era, the LLM shift, and now the agent era. In this session, he'll share the pattern recognition: which architectural bets pay off, which ones are cursed from the start, and what separates the agents running at the world's largest banks, telcos, and healthcare companies from those that never made it out of the cards.
If you're building or operating AI agents in a regulated enterprise, this talk will tell you with uncomfortable specificity what your agent's future holds — and how to change it.
[Source](https://www.youtube.com/watch?v=2hO01YhyWCo)