Ramp转向单智能体架构 自研AI接管过半生产代码合并

Ramp: Lessons from Building a New AI Product - The Pragmatic Summit — The Pragmatic Engineer

The Pragmatic Engineer

编写代码早已不再是研发中最困难的部分,AI接管低阶编码不仅不会使团队规模减半,反而能将工程师的核心价值重塑为技术判断力,并释放产能攻坚此前因成本过高而无法涉足的核心业务。

AI-assisted summary of Ramp: Lessons from Building a New AI Product - The Pragmatic Summit — original source. Check the original for full context.

Source published:

Key ideas

  • Ramp 放弃了为每个独立业务编写专属 Agent 的分散策略,全面转向“单一 Agent 承载上千种技能”的集中式编排架构与统一的 OmniChat 入口。 (3:31)
  • 团队将自然语言政策直接作为执行代码,配合每周跨职能标注与仅包含 5 个关键测试用例的最小评估集(Evals),成功克服了冷启动难题并实现快速迭代。 (9:22)
  • Ramp 内部研发的自主后台编码 Agent“Ramp Inspect”目前已贡献了全公司合并入主分支的生产环境 Pull Request 的 50% 以上。 (27:25)
  • 针对 AI 导致的行业焦虑,Ramp 认为工程效率的倍增不会带来人员减半,而是会推动团队进军高价值相邻市场,重构过去成本过高而不敢触碰的复杂遗留系统。 (35:54)

Detailed notes

## Background 该内容由 The Pragmatic Engineer 于 2026 年 3 月 9 日在 YouTube 平台发布,记录了在 The Pragmatic Summit 峰会上的技术分享。视频由 Ramp 工程执行副总裁 Nik Koblov、应用 AI 与支出总监 Veeral Patel、主任工程师 Will Koh 及主任软件工程师 Ian Tracey 共同主讲,深入复盘了 Ramp 构建全新 AI 产品的实战工程经验。

## TL;DR Ramp 团队详细分享了他们如何从早期为每个任务构建独立 Agent 的陷阱中突围,转型为打造“拥有数千项技能的单一 Agent”,并通过 OmniChat 统一交互入口与 Policy Agent 实现了企业报销的毫秒级合规审计。他们摒弃了传统规则引擎,将自然语言报销政策直接作为代码运行,并依靠仅 5 个用例起步的高频评测(Eval)与 Streamlit 内部打标工具快速验证基准。在底层,团队搭建了统一的模型代理与工具目录(Tool Catalog),并自研了贡献全司超 50% 生产 PR 的后台编码智能体 Ramp Inspect。最终他们有力反驳了“AI 将淘汰软件工程”的悲观论调,指出技术判断力与消除业务模糊性才是工程师不可替代的核心护城河。

## Atmosphere & style 整场演讲呈现出一种极其务实、充满硅谷硬核工程黑客气息的技术分享氛围,没有任何空洞的宏大叙事或 PPT 假大空展示。四位讲者轮番登台,配合默契,用充满极客幽默的内部切身教训(如调侃财务人员把报销政策当作 CLAUDE.md 来配置、对比两类不同技术文化的研发团队)生动还原了技术攻坚的真实场景。现场既有经历过无数深坑后的冷静反思,又洋溢着对“软件永无止境”这一开发本质的坚定乐观,让听众不仅能学到扎实的架构细节,更能真切感受到顶尖工程团队在 AI 原生时代全速前进的澎湃心跳。

## Bulletin - [03:31](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=211s) Ramp 放弃了为每个独立业务编写专属 Agent 的分散策略,全面转向“单一 Agent 承载上千种技能”的集中式编排架构与统一的 OmniChat 入口。 - [09:22](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=562s) 团队将自然语言政策直接作为执行代码,配合每周跨职能标注与仅包含 5 个关键测试用例的最小评估集(Evals),成功克服了冷启动难题并实现快速迭代。 - [27:25](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1645s) Ramp 内部研发的自主后台编码 Agent“Ramp Inspect”目前已贡献了全公司合并入主分支的生产环境 Pull Request 的 50% 以上。 - [35:54](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=2154s) 针对 AI 导致的行业焦虑,Ramp 认为工程效率的倍增不会带来人员减半,而是会推动团队进军高价值相邻市场,重构过去成本过高而不敢触碰的复杂遗留系统。

## Key takeaways - [02:29](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=149s) 企业支出与后台记账流程中存在海量低价值机械劳动,Ramp 旨在通过端到端 Agent 自动化将企业从结账平账中解放出来,聚焦核心业务造血。 - [03:31](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=211s) 构建一千个独立 Agent 是弯路,架构演进的终局应是构建一个拥有上千种工具和技能的统一 Agent 系统(System of Action)。 - [05:11](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=311s) 通过统一的 OmniChat 交互入口与自研轻量框架,自然语言需求可直接与 HRIS 等工具交互并编译为确定性可执行的业务 Playbook。 - [09:22](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=562s) 践行“英语是新的编程语言”,Ramp 放弃了硬编码规则分支的传统工程路径,直接将自然语言形式的企业报销政策转化为底层运行规则。 - [10:40](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=640s) 智能体早期犯错的主要症结在于上下文信息缺失而非 LLM 推理缺陷,通过补全收据细节与 HRIS 员工职级等维度可显著修正决策偏差。 - [12:32](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=752s) 随着系统从简单线性链路走向全自主 Agentic 架构,模型获得了更强的行动力,但同时也带来了可解释性与确定性控制权的丧失。 - [15:29](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=929s) 真实用户的操作历史并不等同于真值(Ground Truth),通过跨职能标注会与轻量自研标注工具能更精准地定义系统正确性基准。 - [18:04](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1084s) 评估(Evals)启动不需要一开始就具备上千条数据,从 5 个绝对不容出错的核心边界用例起步即可有效支撑快速工程迭代。 - [19:15](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1155s) 将离线评估纳入 CI 流程并在线追踪“不确定决策率”,是保障底层前沿模型无缝敏捷升级的基础安全网。 - [20:46](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1246s) 通过从“仅提供建议”到“客户自主设定额度滑块”的渐进式放权路径,Ramp 成功建立了企业客户对自动审批的信任阶梯。 - [22:42](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1362s) 统一的“应用级 AI 即服务”中间层抹平了各大模型厂商的 API 差异,提供标准结构化输出、批处理编排与精细化成本追踪。 - [25:52](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1552s) 内部标准化的“工具目录”(Tool Catalog)建立了清晰的业务边界,既保障了敏感财务数据的安全,又支持了沙盒环境下的低门槛原型实验。 - [29:11](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1751s) 自主后台编码 Agent“Ramp Inspect”结合了隔离的 Modal 沙盒、多人协作机制、只读数据库及 15 万+ 测试套件,接管了公司半数以上的生产 PR。 - [31:17](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1877s) 高阶工程师的核心竞争力在于业务理解、技术判断力与架构决断,而非敲击代码的纯粹速度,缺乏高阶判断力的 Agent 只会更快地制造工程烂摊子。 - [34:16](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=2056s) 软件工程具有永无止境的演进特性,AI 释放的工程生产力将激励企业去攻克更高维度的业务难题,重塑软件产品的体验边界。

## Detailed walkthrough ### [00:05](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=5s) Ramp 的企业定位与基础支出用例

Nik Koblov(工程执行副总裁)首先介绍了 Ramp 的定位与产品核心逻辑。Ramp 是面向现代企业的顶尖金融平台,拥有超过 50,000 家企业客户,其核心使命就是为企业“省钱省时间”。Nik 注意到台下观众正端着咖啡,便以最日常的“买咖啡报销”为例说明传统流程的繁琐:员工买一杯咖啡,后续往往需要耗费大约 15 分钟去完成三项琐碎的合规动作,而这种时间浪费会在全公司范围内呈复利式扩散。Ramp 所做的,就是把漫长分散的时间线大幅压缩,将原本被无意义消耗的时间与资金重新还给企业。

从刷卡动作发生,到撰写报销备忘录(Memo)、按照总账(General Ledger, GL)分类交易、检索发票(Receipt)、附件挂载,再到将消费商家与系统现存的商家库进行标准化匹配归一,Ramp 将这一全套链路完全实现了 Agent 化的自主运转。这项探索并非始于当下,大约在三年前,Ramp 就开始使用 AI 进行单次(one-shot)任务处理,诸如商家名称标准化和备忘录撰写等;随着底层大模型性能的持续攀升,这些基础任务的准确性与自动化效果变得越来越出色。

- **核心价值指标**:服务 50,000+ 家企业客户,核心目标是帮企业客户节省时间和资金。 - **痛点对比**:一杯日常咖啡的报销在传统链路中需耗费约 15 分钟的人力,涉及多环节的手动录入。 - **早期技术实践**:早在三年前就开始采用 one-shot AI 模型处理商家归一化、生成报销说明等轻量级场景。

---

[02:29](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=149s) 繁琐流程的复杂性与对超级 Agent 的探索

在传统企业运作中,几乎所有角色都深陷于低价值的手工劳动之中。不论是应付账款文员(AP clerks)、财务团队、采购团队,还是数据分析团队,都在承担海量机械工作。Nik 回忆道,过去 Ramp 内部曾长期维护着一个名为 `#help-data` 的 Slack 频道,每当其他业务部门需要导出一份 CSV 表格时,就必须有一名数据工程师停下手中的活去手写 SQL 查询并返回数据;这个重度依赖人力的频道在一年半前被彻底用 AI 方案替代。随着面对的具体任务不同,业务处理的复杂度呈现出一条直线上升的斜坡(“Ramp shape”)。

为了化解这些复杂度,Ramp 曾开启了一段密集的智能体开发期。如果观众看过超级碗,可能会熟悉 Ramp 推出的 Agent “Brian”。团队当时试图针对每一个待办任务(Job-to-be-Done)都单独编写一个专属 Agent,旨在端到端接管管理员、普通员工以及财务团队手头所有与“业务赚钱”无关的杂活。Nik 明确强调了团队的愿景:企业的精力应当完全聚焦于自身业务造血与服务客户,而不是把时间耗费在如何结账平账这种繁琐的后台流程上。

- **全员效率消耗**:AP 文员、财务、采购乃至数据团队都在大量消耗工时做支持性脏活。 - **内部工具落地**:原有的 `#help-data` 手工 SQL 查询响应支持频道已在约一年半前被自动化系统替代。 - **业务核心哲学**:让用户全力以赴去开拓客户和创造收入,而非被锁死在后台关账(close the books)流程里。

---

[03:37](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=217s) 架构转向:从成百上千个 Agent 到拥有成百上千个技能的单一 Agent

在近几个月(特别是 2 月 6 日之后)的技术浪潮冲击下,整个软件行业正经历着极其剧烈的范式转移,这要求团队彻底重构并极力简化技术栈。Nik 坦言,Ramp 去年有意放手让各个独立团队自由探索与尝试构建 Agent,结果导致内部野蛮生长,同一个业务需求(无论是同步调用的交互 Agent 还是后台异步 Agent)甚至演变出了四种完全不同的技术实现方案。最终团队得出了一个深刻的教训:盲目构建一千个相互独立的 Agent 是一条弯路。

Nik 总结了这次关键转向:“Instead you want to drive your framework towards a single agent with a thousand skills.”(相反,你应该推动你的架构走向一个拥有上千种技能的单一 Agent。)在传统软件模式中,任何业务流程都可以拆解为事件(Event)、提示词与指令(Prompt instructions)、护栏规则(Guardrails/Policy,如报销或应付账款政策)、数据上下文(Context)以及工具(Tools/APIs)。传统软件以往只聚焦于第四和第五项(数据查询与接口触发),而如今的新范式要求系统成为一个能够自主反应、思考推理并在极少甚至无需人工介入下采取行动的“行动系统(System of Action)”。

```mermaid flowchart TD accTitle: 传统软件范式与现代自主行动系统的边界演进 accDescr: 对比传统软件与现代智能体范式在事件、规则、上下文及工具各阶段的分工转移

subgraph Inputs["输入与约束层"] A["事件 Event<br/>(如:收到发票)"] B["提示词与说明 Prompt Instructions"] C["护栏与政策 Guardrails / Policy<br/>(如:报销政策)"] end

subgraph Execution["上下文与执行层"] D["上下文 Context<br/>(智能体参考的数据)"] E["工具与接口 Tools / APIs<br/>(可执行的具体动作)"] end

A --> D B --> D C --> D D --> E

style Inputs stroke:#999,stroke-dasharray: 5 5 style Execution fill:#eef,stroke:#33a ```

---

[05:11](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=311s) OmniChat、轻量自研框架与可执行 Playbook

为了支撑“单 Agent 多技能”的设计,Ramp 首先对前端交互进行了彻底统一。截至去年年底,系统内存在约五种不同的对话界面;如今这些入口被全部整合进一个名为 “OmniChat” 的通用入口中。“Omni” 寓意无处不在(Omnipresent),它被全面嵌入到产品的各个操作界面中,同时与传统的数据表格和功能按钮无缝配合,因为用户并不想在任何场景下都靠纯文本对话来操作软件。

Nik 现场演示了 OmniChat 的典型使用场景:用户输入“请帮我入职一名新员工”,OmniChat 会自动将自然语言描述的员工姓名解析为系统内部的员工 ID,调用 HRIS(人力资源信息系统)工具检索其组织架构,并自动匹配到此前预设好的自动化工作流——“新员工入职 Playbook(New Hire Playbook)”,随后向管理员发起确认。这套能力依赖于 Ramp 内部自研的轻量级 Agent 编排框架;如今甚至连产品经理(PM)都可以通过 “Vibe coding” 在无工程介入的情况下快速构建出约 20 个可用工具。此外,复杂的业务流程可以被编译为确定性的可运行工作流(Playbook),交由 Agent 调用工具并严格执行。

```mermaid flowchart LR accTitle: OmniChat 入职自动化协同流程 accDescr: 展示 OmniChat 如何从自然语言命令调度工具、解析上下文并拉起确定性 Playbook

A["用户输入指令<br/>'入职新员工'"] --> B["OmniChat 统一入口"] subgraph Engine["Ramp 自研轻量级 Agent 编排层"] B --> C["调用 HRIS 工具<br/>解析员工 ID 与组织架构"] C --> D["匹配并编译 Playbook<br/>(发卡/收据机制/Slack通知)"] end D --> E["生成确定性执行流<br/>(可由 Agent 自动化执行)"] ```

- **交互入口收敛**:从 5 个碎片化的对话框收敛为一个全局嵌入的 OmniChat。 - **全自动入职示例**:包含发卡、强制交易收据回收、Slack 发送欢迎祝贺、入职两周后自动发起回访等步骤。 - **低门槛工具生态**:产品经理借助 Vibe coding 能够独立打造约 20 个标准工具组件。

---

[07:05](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=425s) Policy Agent 的实时拦截与审计原理

随后,Nik 引出了在刷卡瞬间自动运行的“Policy Agent”(政策审查智能体),并把发言权交给了负责该方向的总监 Veeral Patel。Nik 解释道,Policy Agent 会在交易发生的实时阶段把关合规,因此企业可以放心地给全体员工分发 Ramp 企业信用卡。随后它会将交易交接给后台的会计编码智能体(Accounting Code Agent),该 Agent 全面知晓企业的会计科目表(Chart of Accounts)和 ERP 结构,能精确完成记账分类,极大减轻了普通员工根本搞不懂报销科目归属的负担。

Veeral 随后走上台,向大家展示了财务团队每天需要肉眼核对的成百上千张杂乱收据。以一张多人用餐发票为例,人工极易看漏细节,而 Policy Agent 结合图像多模态推理与交易元数据,能精准识别出收据上记载着 8 位用餐客人、人均消费低于公司设定的 80 美元红线、事由为团队欢迎晚宴且商户与金额皆核验一致,从而迅速做出“自动通过(Approve)”的判定。相反,对于一笔 3 美元的面包房刷卡,因为既非加班场景又非周末消费,Policy Agent 则直接给出“拒绝报销(Reject)”的结论。

- **多模态核验**:结合收据图片视觉分析与交易系统元数据,精准识别微小文字(如用餐人数)。 - **规则实测用例**: - 8 人团队迎新晚宴:人均低于 $80 额度上限,数据核验无误,判定为通过。 - OpenAI 测试账单:员工验证 ChatGPT 特性,认定为合理业务支出,判定为通过。 - $3 面包房消费:不符合加班或周末报销细则,判定为拒绝。

---

[09:22](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=562s) 自然语言即代码:与 Fortune 500 客户共建政策引擎

面对日趋繁复的审批逻辑,Ramp 迎来了重新审视系统架构的契机。此前一家 Fortune 500 强级别的标杆客户带着极为详尽复杂的合规条例清单找到 Ramp,要求系统精确拦截特定支出。面对这种需求,传统思路是不断在底层硬编码添加确定性的条件判断分支,但 Veeral 决定彻底跳出这一局限。

Veeral 借鉴了前特斯拉与 OpenAI 研究员 Andrej Karpathy 的核心观点,以此重塑产品路线:“And we kind of saw this as an opportunity not to kind of add more incremental deterministic rules that kind of define our product... but actually kind of take out a page from Andrej Karpathy saying that English is the new programming language and kind of turn the expense policy into the rules themselves.”(我们认为这是一个契机,不再去为产品堆叠更多渐进式的确定性规则,而是践行 Andrej Karpathy 的名言——英语是全新的编程语言,将企业自然语言编写的报销政策直接转化为底层运转规则本身。)

在推进落地的过程中,Ramp 的 AI 团队保持着类似早期初创团队的极客敏捷作风。他们将这家财富 500 强企业作为核心设计伙伴(Design Partner),建立了紧密的每周例会沟通机制,根据企业真实反馈高频迭代,直接在生产环境中以自然语言驱动的 Policy Agent 替代了死板的传统规则引擎。

- **设计范式飞跃**:放弃不断追加 hard-code 规则分支的传统工程路径,转向自然语言政策文本即运行规则。 - **落地组织形态**:与 Fortune 500 强设计伙伴深度绑定,通过高频周会迭代,以早期初创团队的节奏打磨核心体验。

[10:40](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=640s) AI 产品无法一蹴而就:从“一杯咖啡”与上下文补全起步

在 Ramp 打造 AI 产品的过程中,团队形成了一个核心的文化认知:AI 产品绝不可能“一次到位”(one-shotted),必须从一个极其受限的微小问题切入。如果产品经理(PM)、设计师和工程师从第一天起就达成共识,放弃对“首发即完美”的幻想,研发过程就会顺畅得多。为了践行这一点,团队在公司内部进行了大量 Dogfooding(内部试用),挑选了一个财务团队认为风险极低的切入场景:判断员工“与同事喝咖啡”这一单笔小额交易究竟该批准还是拒绝。

在将系统推向生产环境的早期,团队获得了一个深刻教训:策略智能体(Policy Agent)之所以会做出错误决策,核心往往不是底层模型的能力问题,而在于喂给大语言模型(LLM)的上下文信息不完整。团队原本可以闭门造车,在写代码前把所有可能的上下文凭空设想一遍,但最有效的方式是从真实的内部运行数据中学习。例如,团队很快发现员工的职位头衔(title)在对照报销政策时至关重要——像 C-suite 高管通常享有更高的报销额度,甚至允许在特定航班上限坐头等舱。基于这些发现,团队开始从收据中提取更多细节,并自动接入 Ramp 系统中现成的 HRIS(人力资源信息系统)员工层级数据。

```mermaid flowchart LR accTitle: 从收据与HRIS补充上下文到LLM决策流程 accDescr: 展示原始交易数据结合收据提取信息与HRIS员工职级后输入LLM判断报销合规性的流程。 subgraph Input["数据输入"] A["小额咖啡交易"] B["收据信息提取"] C["HRIS职级/头衔"] end subgraph Agent["策略智能体处理"] D["组装完整上下文"] E["LLM 政策判断"] end subgraph Decision["最终输出"] F["批准 / 拒绝"] end A --> D B --> D C --> D D --> E E --> F ```

- 文化共识:团队全员明确接受“AI 产品无法一步到位,必须从极简形态快速迭代”。 - 切入场景:从内部极低风险的单笔小额交易(如与同事喝咖啡)开始验证。 - 误差根源:智能体犯错的主要症结在于上下文缺失,而非大模型本身的推理缺陷。 - 关键补充维度:从收据中提取结构化字段,并拉取 HRIS 中的员工层级(level)与头衔(title)。

---

[12:32](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=752s) 从硬编码链条到全自主智能体:黑盒化与控制权的权衡

工程团队刚立项 Policy Agent 时雄心勃勃,梦想着“自动化整个财务流程、自动化所有审批审查”。但在落地时,他们不得不退回到最务实的起点:先搞清楚那一杯咖啡到底符不符合公司政策。即使将系统在初始阶段设计得面面俱到,一旦推广应用到其他业务线上,原有的预设也会立刻失效。正如 Will Koh 所指出:“系统越简单,在其之上进行迭代就越容易(The simpler the system, I think the easier it is to iterate on top of it)。”

Policy Agent 的架构演进经历了一条清晰的技术轨迹: 1. **基础线性链条**:一笔费用进入后,检索周围上下文,通过一系列定义清晰的 LLM 链式调用(“是否合规?”、“为什么合规?”、“如何向用户展示理由?”),最后输出确定性结果。 2. **条件路由与初级工具**:将费用分类为差旅、餐饮或娱乐,进行条件化 Prompt 引导,并赋予模型自主决定调取工具的权限(例如主动要求查询航班详情或员工职级)。 3. **全自主 Agentic 架构**:构建跨全平台的复杂读取与写入工具,并接入 Ramp 内部共享的通用 Agent 工具箱。智能体不仅能读取信息,还能在循环回路中自主书写决策、阐述推理,甚至代表用户直接自动审批(auto-approving)账单。

但这种演进伴随着显著的代价。随着系统从简单走向复杂,智能体的能力、自主性和表面上的“聪明度”大幅提升,但工程团队却失去了可追溯性(traceability)与可解释性(explainability)。即便如今能够查看模型输出的推理 Token(reasoning tokens),本质上它依然是一个越来越庞大的黑盒子,工程师无法对其执行路径进行绝对控制,只能依赖模型自身判断何时调用工具、如何输出结论。

---

[15:29](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=929s) 用户并不总是对的:内部标注会与 Streamlit 快速打标工具

在构建此类系统时,全流程的可审计性(auditability)必须从第一天就建立起来——即便不了解黑盒内部的具体运转,只要能观察输入与输出,就必须能验证其决策的正确性。在研发初期,团队曾理所当然地认为真实用户的行为就是金标准:“如果用户点了批准,智能体就该批准;如果用户点了拒绝,智能体就该拒绝。”然而事实证明,人类用户经常犯错:他们可能根本不清楚最新的报销政策,或者出于盲目信任下属、图省事、甚至仅仅因为那是疲倦的周日而草率通过。最终财务团队往往会找上门抗议:“这笔开销根本不该刷公司卡。”

为了建立一套真正权威的“正确性定义”,团队推行了跨职能(PM、设计、研发)的每周标注会(weekly labeling session)。这带来了两个关键成果: - **沉淀真实基准数据集(ground truth data set)**:提供可随时回归测试的标准答案。 - **拉齐团队共识**:一旦智能体出现误判或缺少上下文,跨职能团队能在第一时间对齐痛点,减少沟通损耗,全力攻关最高优先级的缺陷。

由于每周把所有人召集起来给 100 条数据打标签极为枯燥且耗时,团队最初试图采购第三方标注平台,但发现市面上的工具要么过于通用,要么过于垂直。与其耗费数周选型,团队索性借助 Streamlit 构建了内部专用的打标工具(Clockwork),甚至让非技术人员基于 Claude Opus 直接通过“氛围编码”(vibe coding / clock coding)来定制功能。这套轻量级工具部署在独立的代码仓库中,秒级部署、低维护成本且极度灵活,极大地降低了数据标注的门槛。

---

[18:04](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1084s) 拒绝完美主义:以 5 个用例开启高频 Eval 循环

有了打标沉淀下来的 Ground Truth 数据集后,团队的工程迭代节奏被彻底盘活。例如,当怀疑缺少员工职级信息时,工程师可以把职级数据加进上下文,立即在评测集上跑一遍,观察智能体是否成功修正了对特定报销的判定。这种高频反馈赋予了团队极强的早期确定性,不仅加速了功能演进,也让 Ramp 得以迅速赢得早期设计伙伴(design partners)和种子客户的信任并将其引入系统。

在评估(Evals)的建设上,团队极力反对被完美主义绑架。业内很多团队认为没有上千条样本就无法开始做评测,但 Will Koh 强调绝对不要让完美主义阻碍前行:“我们一开始只用了 5 个测试用例。我们知道这 5 个用例绝对不能挂。然后我们不断地、不断地往里面追加(We started with five. You know, and we knew that those five we were not going to fail. We kept adding and adding and adding)。”在工程落地层面,评测体系必须满足两个核心要求:第一,极简的执行成本,任何非技术成员敲一行命令就能跑起来;第二,高度直观的可视化结果,能让人一眼看懂模型当前究竟是变好了还是变差了。

- 启动门槛:Evals 无需初始拥有上千条数据,从 5 个绝对不容出错的核心边界用例起步即可。 - 研发闭环:增加上下文(如 HRIS 字段) $\rightarrow$ 运行小型 Eval 测试集 $\rightarrow$ 验证是否正确转化为合规判定。 - 工具设计原则:一键运行命令,输出直观透明的结果对比,让全团队都能实时理解模型行为偏好。

[19:15](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1155s) 持续集成中的评估(Evals)、线上健康监控与模型敏捷升级

将评估集成到 CI 流程中,是工程团队安全合并代码的关键底线。在针对大语言模型或智能体(Agent)开发系统时,开发者往往直觉地认为提供更多的上下文或工具肯定是好事,但现实往往相反——增加的上下文可能引入未预见的错误、工具使用说明可能存在歧义、甚至函数注释(docstring)稍有冲突,就会导致智能体产生意料之外的恶劣后果。因此,离线评测集是守护代码变更的第一道防线。除了基于历史数据集的离线评测外,线上评估(Online Evals)虽然衡量难度更高、指标更复杂,但作为前置指标同样至关重要。Ramp 在线上追踪的一项关键健康指标是智能体的“不确定决策率”(unsure decision rate):一旦智能体判定自身缺乏足够信息给出明确结论,系统就会记录该决策,从而形成即时的系统健康度监控。

严密的基准评测体系还带来了一个巨大的收益:让团队能够毫不犹豫地更换和升级底层前沿模型(例如未来的 Opus 4.6 或 GPT-5.3)。新模型的到来可能瞬间将系统原先做错的任务纠正过来,但若没有充分的评测,直接切换模型也可能在未修改 Prompt 或系统架构的情况下导致原有功能恶化。只有依托可靠的 CI 评测与自动化基准,团队才能对模型升级抱有充分信心。

- 离线评估(Offline Evals)依托历史数据,在 CI 合并前拦截因上下文冲突或工具文档模糊导致的回归问题。 - 线上评估(Online Evals)通过追踪“不确定”(unsure)决策的发生频率,直接反映智能体运行时的健康度。 - “每当有新模型发布时——无论是 Opus 4.6 还是 GPT-5.3——你都希望能够利用这些新模型,因为有时候这可能决定了你的系统在某个问题上是答对还是答错。”(“Whenever a new model comes out, Opus 46, GPT-53, you want to make sure that you can leverage those new models because sometimes that could be the difference between, you know, your system getting one part of the problem right to wrong...”)

[20:46](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1246s) 策略智能体的落地实践:从建议到自动审批的信任阶梯

在策略智能体(Policy Agent)推向 Ramp 平台的过程中,团队发现了一个极具戏剧性的用户心理现象:工程师热衷于在 `CLAUDE.md` 等配置文件中调优指令(比如命令模型不要乱写注释),而财务团队对待其企业报销政策文档(Expense Policy Doc)的态度也如出一辙。起初,让财务人员去修改这篇形同法律条文的政策文档是一件令人生畏的事;但一旦向他们展示了即时的正向反馈闭环——“去改一下文档,你马上就能看到判定效果的变化”——财务人员便立刻对这种掌控感产生了极大的热情。

在推广策略上,Ramp 率先选择了《财富》500 强等大型企业客户进行试点。这些巨头每天产生海量的报销单,在审核咖啡等琐碎开销上耗费了大量工时,对提效的渴求最为迫切。为了消除客户对 AI 的戒备,Ramp 在初期完全不执行任何自动化操作,仅仅将判定结果以“建议”(Suggestions)的形式呈现。随着准确率在长周期内得到验证,大企业客户主动提出提高权限,希望将 200 美元以下的常见开支直接转为自动审批。通过在产品中提供“自主权滑块”(Autonomy Slider),Ramp 让客户按照自身信任节奏逐步放权,并借助应用内反馈闭环让客户自主迭代、个性化微调智能体的行为规则。

```mermaid flowchart LR accTitle: 从建议到全自主审批的信任进阶路径 accDescr: 展现 Ramp 企业客户如何通过策略文档配置、建议审核逐步过渡到设置阈值的自动化审批。

subgraph Iteration["反馈与调优"] A["修改报销政策文档<br/>(Policy Doc)"] --> B["即时反馈与调整效果"] end

subgraph TrustLadder["信任爬梯"] C["仅提供审批建议<br/>(Suggestions)"] D["设置自主权滑块<br/>(Autonomy Slider)"] E["低于阈值自动审批<br/>(例如 < $200)"] C --> D D --> E end

Iteration --> TrustLadder ```

- “事实证明不仅是我们,财务人员也非常喜欢修改属于他们的 CLAUDE.md,也就是他们的报销政策。”(“Turns out it's just us, finance people also really like to have you know, modify their Claude MD, which is their expense policy.”) - 早期策略严格遵循“人机协同”,不直接赋权自动化操作,待客户主动提出“对于 200 美元以下的报销,你们基本都是对的,我不在乎这个,直接自动审批吧”时,再放开权限。

[22:42](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1362s) 应用级 AI 服务架构:统一 SDK、批处理与成本追踪

随后,Ian Tracey 接过话筒,深入探讨 Ramp 的底层 AI 基础设施与工程文化。支撑 Ramp 绝大部分应用级 AI 运转的核心组件是内部构建的“应用级 AI 即服务”(Applied AI as a Service)。从宏观视角来看,它的外在形态类似于 LiteLLM 等大语言模型代理网关,但 Ramp 在其上进行了三重关键扩展:

1. **跨供应商的结构化输出与统一 SDK**:由于各大模型厂商 API 迭代极其频繁,基础设施层直接抹平了模型间的接口差异,提供统一的结构化输出保障。下游产品研发团队无需为接口兼容分心,只需修改一行配置,即可在 GPT-5.3、Opus 或 Gemini 3 Pro 之间无缝切换。 2. **批处理工作流引擎**:大规模评测以及批量合同/数据分析涉及严苛的速率限制(Rate Limits)与离线任务编排,该服务统一代理并消化了对 Anthropic 等供应商的批量请求,避免各业务团队重复造轮子。 3. **精细化成本与性能追踪**:系统能够跨团队、跨产品线精确追踪 API 成本消耗,借助数据分析绘制帕累托最优边界(Pareto Curve),明确找出哪些模型在特定任务下性价比最高,同时揪出那些长期成本不可持续的产品设计。

- “这个部分非常刻意地命名为‘AI 基础设施与文化’,因为我们认为这不仅是一个极具挑战性的基础设施难题,也是一个极具挑战性的文化难题,改变你的工作方式同样是整个故事的重要组成部分。”(“And this slide is this section is pretty intentionally named AI infrastructure and culture cuz we think that this is both like a really challenging infrastructure problem, but it's also a really challenging culture problem and changing how you work as well is a big part of the story.” — Ian Tracey) - 基础设施消除了几十处代码调用点的修改负担,使全公司能在前沿模型发布当天通过一行配置直接完成全量升级。

[25:52](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1552s) 内部工具目录(Tool Catalog)与安全性保障

面对涉及敏感财务数据和关键业务流的安全挑战与模型幻觉问题,Ramp 坚信解法在于标准化、模块化的“工具目录”(Tool Catalog)。团队并未让模型直接接触底层裸数据,而是由应用 AI 团队与一线业务团队紧密配合,封装出具有明确业务边界的操作工具——例如“获取政策片段”(get a policy snippet)、“查询每日津贴标准”(per diem rate)以及“拉取近期交易明细”(recent transactions)。

```mermaid flowchart TD accTitle: Ramp 工具目录的复用与支撑架构 accDescr: 说明内部工具目录如何同时支撑核心业务产品与内部实验性 Agent 原型。

subgraph Catalog["内部工具目录 (Tool Catalog)"] T1["获取政策片段<br/>(Policy Snippet)"] T2["查询每日津贴<br/>(Per Diem Rate)"] T3["近期交易明细<br/>(Recent Transactions)"] end

subgraph Consuming["下游应用场景"] P1["核心线上产品<br/>(策略智能体/审核)"] P2["内部沙盒与实验<br/>(报销 Agent 原型 / Vibe Coding)"] end

Catalog --> P1 Catalog --> P2 ```

该工具目录为整个工程组织提供了两大核心能力:首先,它使平台能力一目了然,工程团队能够清晰洞察当前工具集的空缺;其次,这些工具同时对核心生产环境代码和内部实验性仓库开放。开发者若想构建一个全新的报销智能体原型,完全可以在沙盒环境中直接借助既有工具进行“氛围编码”(Vibe Coding),无需从零对接复杂的财务数据源与底层 API。目前 Ramp 内部已积累了数百个标准化工具,未来预计这一规模将拓展至数千个,从而构建起支撑多智能体生态的坚实底座。

[27:25](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1645s) 碎片化上下文困境与内部自主编码智能体 Ramp Inspect 的诞生

在日常工程实践中,即便工程师借助了类似 Cloud Code 或 GitHub Copilot 等工具,实际完成工作所依赖的大量上下文依然处于严重的碎片化状态。日常工作中,排错与开发需要四处拼凑信息:Datadog 里的应用日志、生产环境数据库中正在发生的事务、林林总总的告警系统、incident.io 上的事件工单、散落在 Slack 频道中的讨论记录、沉淀在 Notion 里的需求与架构文档,更不用说各业务线专属的技术认知与隐性规则。

面对这种割裂,Ramp 在去年底决定正面攻克这个难题:如何将分散在各处的全部上下文深度整合,打造一套专属于公司内部的后台编码智能体——**Ramp Inspect**。演讲者透露,Ramp 已经在社交媒体(X 和 LinkedIn)上公开讨论过这个项目,并将该方案的技术蓝图(Blueprint)彻底开源。Ramp Inspect 作为后台智能体在系统底层自主运转:在工程师开会沟通或者处理线上缺陷时,它在后台持续执行分析与代码修复。目前,Ramp Inspect 在公司内部取得的进展极其显著,“目前这个月,Ramp Inspect 已经贡献了我们合并到生产环境所有 PR(Pull Request)的 50% 以上。”

团队内部专门建立了一套数据看板,一方面满足工程师对指标和数据的“技术极客”嗜好,另一方面既打造出微妙而健康的良性竞争氛围,也激发了其他非技术职能部门尝试使用。看板数据显示,虽然工程团队在调用 Session 数量上遥遥领先,但产品(Product)、设计(Design)、风控(Risk)、法务(Legal)、企业财务(Corporate Finance),甚至市场营销与客户体验(CX)团队也都在高频使用 Ramp Inspect。非技术同事借助它完成文案改动、修复业务逻辑、甚至直接针对 Bug 或故障事件做出响应。

- **多部门使用场景**:产品与运营人员用其完成简单的文案调整(Copy changes)、修复边缘业务逻辑、协助响应生产线上缺陷。 - **开箱即用的技术蓝图**:Ramp 在其技术博客及社区公开了整个系统的设计思路,证明后台无人值守型 AI 智能体能够真正深度渗透企业主干开发流。

---

[29:11](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1751s) 架构设计核心:沙盒隔离、跨职能协作与全栈能力

Ramp Inspect 在系统工程上贯彻了数项核心原则,以支撑安全、可靠的后台执行。当用户发起任务(例如修复一条耗时或报错的数据库查询)时,系统会在后台以极高的速度拉起一个基于 Modal 的独立代码沙盒(Modal Code Sandbox)。这种沙盒环境能够瞬时创建、暂停(Resume)或销毁,并为代码执行提供与 Ramp 工程师本地完全一致的隔离开发环境。

沙盒启动后,智能体会围绕一系列预定义任务目标推进,自动拉取 GitHub 分支,同时连接至内部的 Datadog 监控日志、数据库只读副本(Read Replica,用于验证和编写查询)以及产品团队汇总的各类上下文说明。在交互层面,团队做出了一个极其微妙却影响深远的设计决策——**多人协作优先(Multiplayer-first)**。该模式下,工程师可以与设计师或产品经理协同结对,实时指导非技术人员优化 Prompt 技巧;业务方也可以直接在会话中标记:“点击这个链接,它出现了一个我没预料到的错误。”这种跨职能即时反馈机制,使系统成为了团队协作效率倍增器。

```mermaid flowchart TD accTitle: Ramp Inspect 系统执行架构 accDescr: 展示任务触发、沙盒运行、上下文整合及全栈调试的闭环流程

subgraph Trigger["触发入口"] A["看板界面 (Kanban UI)"] B["API 自动化调用"] C["Slack 讨论串 (自动继承上下文)"] end

subgraph Core["执行核心 (Modal 隔离沙盒)"] D["任务列表与规划"] E["读副本数据库 (Read Replica)"] F["Datadog 日志与文档"] G["虚拟网络计算 (VNC) + Chrome DevTools + MCP"] end

subgraph CI_CD["交付与自愈"] H["GitHub 分支与 150,000+ 自动化测试"] I["自动捕获 CI 报错并自愈修复"] J["推送到最终生产 PR (占公司总量 >50%)"] end

Trigger --> Core D --> E D --> F Core --> H H --> I I -->|修复后通知| J ```

在交互入口方面,用户可通过看板界面(Kanban UI)、内部 API,或是直接在 Slack 讨论串中触发智能体;当从 Slack 启动时,它会自动捕获当前线程的全部历史上下文,免去了重复贴聊天记录和重新组织 Prompt 的麻烦。更强大的是,沙盒内部配置了完整的 VS Code 环境,并通过 VNC 技术运行无头图形化环境,挂载 Chrome DevTools 与模型上下文协议(Model Context Protocol, MCP),赋予智能体执行完整端到端全栈开发任务的能力。它能够访问仓库中超过 15 万(150k+)个测试用例,一旦 GitHub CI 报错,它能在向工程师发送通知之前,主动定位问题并推送补丁进行自愈修复。

- **开源实现**:Ramp 将系统构建蓝图发布在官方开发者博客 `builders.ramp.com`,并在 GitHub 上维护了一个名为 `open-inspect` 的开源参考实现。 - **全栈调试能力**:结合 VNC 与 Chrome DevTools,智能体能真正像人类开发者一样检查前端渲染、排查网络请求,实现前后端联调。 - **庞大的测试套件作为安全网**:15 万多个测试用例让后台自主开发不再是“盲人骑瞎马”,为无人值守的代码重构与补丁生成提供了高强度的确定性保障。

---

[31:17](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1877s) 研发思维分水岭:A 队与 B 队的技术哲学辩析

随着 Ramp Inspect 接管了每周超过 50% 的 PR 合并,工程团队从低维度的线上救火和琐碎修补中彻底解脱出来。面对这种“AI 原生未来”,Ramp 开始全面反思工程师角色的真正价值所在。为了阐述工程团队在新范式下的分化,演讲者提出了一个耐人寻味的思维实验,对比了日常工作中常见的两类典型团队:

- **Team A(卓越团队)**:极度关注业务实际影响力(Impact),善于在充满模糊性(Ambiguity)的边界问题中破局;深入理解产品、商业逻辑和底层数据;主动拥抱并应用新工具,总能构思出富有创造力的解决方案,并且对最终用户的真实体验近乎执念(Obsess over user experience)。 - **Team B(泥潭团队)**:无休止地争论第三方类库选型;一旦遇到混乱不是去理清本质,而是不断堆砌行政流程;将业务无法推进归咎于 Headcount(编制)不足;沉迷于“自行车棚效应”(Bikeshedding)扣技术细节,争执诸如“这里是否必须严格遵循函数式编程范式”或“TypeScript 某个包应该升级到哪个次版本号”;在没摸透真实需求前就盲目动手(“别担心,兄弟,我们直接 Vibe Code 一把梭!”);把精力耗费在表演式的代码质量审查与主观琐碎的挑刺(Nitpicks)上。

演讲者坦言自己在这两种团队中都工作过,并敏锐地断言:AI 时代正在促成工程师阵营的剧烈分化。针对哈佛大学去年底关于初级(Junior)与高级(Senior)工程师就业招聘趋势受 AI 冲击的研究,演讲者提出了针锋相对的见解:行业分化绝非仅仅是“工龄或资历年限(Years of experience)的问题”。“在很长一段时间里,写代码其实从来都不是许多技术岗位中最困难的部分。”真正决定上限的,是 Team A 所展现的那些核心工程原则,而非键盘敲击速度。

- **Staff+ 级工程师的核心护城河**:企业向高阶工程师支付高薪,购买的从来不是纯粹的写代码速度,而是他们的**技术判断力(Judgment)**、全局上下文洞察、预判潜在技术风险的能力,以及多年踩坑沉淀下来的“技术疤痕(Scar tissue)”。 - **媒体舆论对 Coding Agent 的误解**:公共语境往往只鼓吹代码生成的极速,却忽略了残酷的工程现实——缺乏高阶判断力,开发者只会“以数倍的速度构建出完全错误的东西,并制造出规模更庞大的工程烂摊子”。

---

[34:16](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=2056s) “软件永无止境”:高杠杆时代工程师的真正战场

AI 时代下的真实软件开发到底需要什么?演讲者强调,高阶工程师的真正精力正被重新分配到最核心的高杠杆工作上:深度理解用户痛点并搞清楚“究竟该构建什么”;在方向不明朗时,向心存疑虑的利益相关方(Stakeholders)推销技术愿景——例如在 Ramp 当初决定自研后台编码智能体时,这在内部绝非一个显而易见的必选项目;在信息不完备(Incomplete information)的严苛条件下做出合理稳健的架构设计决策;以及在漫长、曲折且充满未知的技术中盘阶段(The long middle of the project)牢牢维持住项目向前推进的势头。

针对当前华尔街、SaaS 板块以及二级市场上弥漫的“AI 砸烂软件工程饭碗”的悲观叙事,演讲者予以了直接反驳。外行人往往认为用自然语言“Vibe Code 一下”就把产品做出来了,但从原型到真正跨越磨难、找到产品市场契合点(Product-Market Fit, PMF)、让企业级客户真正放心依赖并愿意付费的部署落地,中间那段无比复杂的工程攻坚过程,正是必须依赖顶级工程师的原因所在。

面对外界铺天盖地的“末日论(Doomerism)”与焦虑感,演讲者表达了极具建设性的乐观态度。与制造业装配流水线或传统农业完全不同,软件工程具备无限演进的特性。Ramp 内部甚至有一个深植于团队文化与市场宣发中的著名梗(Meme):“工作尚未完成(Job's not finished)”。软件世界永远处在“未完工”的迭代状态。当繁琐的低层级编码被 AI 智能体接管后,释放出的巨大工程师智力产能并不会带来岗位终结,反而会让企业具备前所未有的余裕去大举进军那些过去受限于人力成本而根本不敢涉足的全新业务机会。正如演讲者总结道:“我认为软件在本质上是永远无法做完的。”

[35:54](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=2154s) 重塑软件开发边界与未来十年的产品叙事

演讲者在总结时深入探讨了 AI 技术如何从根本上改变软件开发与工程效率的底层逻辑。很多人可能会简单地认为,当所有人的生产力提升两倍时,公司就可以缩减一半的人员规模,但实际的行业发展方向并非如此。现实情况是,团队将利用这种新型能力去进军相邻市场,为客户串联并提供更多复合价值,甚至去解决那些如果这项技术不存在就根本无力在金融技术栈(financial stack)中触碰的问题。正如演讲者所言:“It's not going to be like because everyone's 2x more productive, you need two less or half the people.” 生产力的质变催生的是更宏大的工程野心,而非单纯的人员精简。

这种能力飞跃让团队能够着手重构过去那些因为成本过高而不敢触碰的遗留系统。演讲者以 Ramp 自身的实践为例指出,在一家主营财务运营(financial operations)软件的公司内部,去构建一个在后台运行的代码编写代理(internal background coding agent),在过去听起来几乎是个不可思议的疯狂想法,但在当下却变得极为合理且极具价值。正如演讲者所总结:“You're going to rebuild systems that are too expensive to touch.”

最后,演讲者强调了这项技术对产品体验标准的彻底拉高。在未来的软件竞争中,“足够好(good enough)”的门槛已经被大幅提升,工程师与产品团队现在的目标是为用户打造令人惊叹的全新体验,并提供呈数量级增长的实际价值。正如演讲者在演讲尾声所展望的那样:“I think, you know, being able to kind of build more mind-blowing experiences for users, provide a lot more value is going to be the narrative of the next decade.” 演讲者表示,自己对能够参与构建这些突破性产品感到无比兴奋,同时也非常期待在场的各位同行在接下来的十年中能创造出怎样改变行业的技术与应用。

- 团队将利用 AI 释放的生产力进军相邻市场,为客户串联更深度的价值链路,解决以往受技术限制而无法涉足的金融栈难题。 - “效率提升导致裁员”是一种狭隘的误解,真正的趋势是企业得以重构过往维护成本极其高昂的核心系统。 - 研发像内部后台编码代理这类以往看似脱离金融业务主线的工具,如今已成为构建下一代企业应用壁垒的合理选择。 - 未来十年的核心叙事是彻底颠覆“足够好”的体验标准,通过生成式与代理技术为终端用户带来颠覆性的产品体验。

## Notable quotes > [03:37](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=217s) you want to drive your framework towards a single agent with a thousand skills. — Nik Koblov

> [12:32](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=752s) The simpler the system, I think the easier it is to iterate on top of it — Will Koh

> [35:54](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=2154s) You're going to rebuild systems that are too expensive to touch.

> [34:16](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=2056s) 我认为软件在本质上是永远无法做完的。

> [31:17](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1877s) 在很长一段时间里,写代码其实从来都不是许多技术岗位中最困难的部分。

## Mentioned Ramp, Nik Koblov, Veeral Patel, Will Koh, Ian Tracey, The Pragmatic Engineer, Brian, OmniChat, Andrej Karpathy, Claude, Claude Opus, Streamlit, Clockwork, LiteLLM, GPT-5.3, Opus 4.6, Gemini 3 Pro, Anthropic, OpenAI, Ramp Inspect, Modal, GitHub, Datadog, Slack, Notion, incident.io, Chrome DevTools, Model Context Protocol (MCP), open-inspect, Harvard University

## Video description With Nik Koblov (EVP Engineering), Veeral Patel (Director, Applied AI and Spend), Will Koh (Staff Engineer, Applied AI), and Ian Tracey (Staff Software Engineer). Recorded at The Pragmatic Summit www.pragmaticsummit.com

Watch the session with Q&A also included: https://newsletter.pragmaticengineer.com/p/the-pragmatic-summit-recordings

0:00 Intro 3:31 Pivot: from many agents to one agent with many skills 7:17 Policy Agent 12:21 Tooling lessons 22:46 Infrastructure + culture 26:13 Tool catalogs, sandboxing, and reliability at scale

[Source](https://www.youtube.com/watch?v=NMs8C2_3M0w)

中文简报

Ramp放弃多智能体策略,转向整合统一工具引擎 AI带来的生产力提升将把工程雄心扩展至以往不可行的产品和系统重构,而非削减开发人员数量。 Ramp工程团队详细介绍了构建AI原生金融软件的历程,重点阐述了其架构转型:从碎片化的微型智能体转向由大量确定性工具库支撑的统一基础智能体。团队以自动化Policy Agent为主要案例,说明了自然语言如何充当编程接口、为何上下文缺失而非模型局限才是导致大多数智能体失败的原因,以及为何在缺乏严格、持续评估的情况下依赖历史用户行为作为基准真值会失效。发言人还解释了用于模型路由、速率限制和成本追踪的集中式Applied AI基础设施,以及名为Ramp Inspect的内部自主编码智能体——该智能体目前贡献了公司50%以上合并到生产环境的PR。最终,他们认为AI工具不会消灭开发岗位,反而会拉大死板遵循流程的程序员与上下文驱动型工程师之间的绩效差距,同时大幅提升软件业务范围的野心。 Ramp将其核心AI架构从构建数十个专门、割裂的智能体,转变为由数百种确定性技能和工具库支撑的单一统一智能体框架。 (3:31) 早期的生产环境内部试用表明,智能体错误几乎完全源于缺失领域上下文(例如HRIS员工头衔)而非模型缺陷,同时人工审批因过于不一致而无法作为基准真值。 (10:40) Ramp Inspect是一款在隔离的Modal沙箱中运行、可访问超过15万项自动化测试的内部后台编码智能体,目前每周贡献了公司超过50%已合并的拉取请求。 (27:25) Ramp管理层驳斥了AI将减少工程人员数量的说法,认为软件需求是无止境的,生产力提升正被转而用于攻克以往因成本过高而无法进行的遗留系统重写和复杂工作流。 (35:54)

精炼阅读摘要

Ramp 团队在 Pragmatic Summit 上指出,构建实用级企业 AI 产品的关键,不在于堆砌孤立的独立模型或追求一步到位的全盘自动化,而在于将架构收敛为具备丰富工具集的单一核心 Agent,并通过注入业务上下文与建立不依赖用户行为的严格评测体系,逐步赢得自动化信任。 架构演进:从众多独立Agent到单一核心引擎 (3:31) 结合 Nik Koblov 的回顾,Ramp 在早期曾尝试为各类业务角色分别构建专用 Agent(例如超级碗广告中的“Brian”),去年各产品团队的自主探索导致了至少四种互不连通的独立实现方案。实践表明,孤立 Bot 的无序蔓延并非健康路径,现代 AI 应用必须将技术栈简化为“一个具备数千种专业技能的单一核心 Agent”。传统软件通常仅涉及数据上下文获取与 API 调用,而新范式下的自主系统则需要承担从事件触发(如收到发票或刷卡)、自然语言规则解析、执行合规策略,到多步工具自主调用的完整闭环。 为了统一交互体验,Ramp 将五个分散的原型整合为跨越整个 Web 应用的常驻界面 OmniChat。该系统搭配内部轻量级编排层,允许产品与业务人员用纯自然语言编写业务流程(如新员工入职卡片发放与对账规则),并将其编译为核心 Agent 可执行的确定性工作流。在真实交易发生时,策略 Agent 负责实时合规校验,记账 Agent 负责映射会计科目与 ERP 记录,两者顺畅串联以实现自动化审批或转交人工介入。 业务上下文:从极简场景与自然语言规则起步 (10:40) 在报销策略 Agent(Policy Agent)的研发中,Veeral Patel 强调企业必须克服在第一天就自动化所有流程的冲动,而应从极度收敛的低风险场景(例如“与同事喝咖啡”)启动内部试用。面对世界 500 强企业繁复多样的报销规则,Ramp 放弃了硬编码脆弱确定性逻辑树的做法,转而实践“英语即新编程语言”的理念,直接将自然语言制度文档作为规则本身运行,由模型同时解析小票图片与交易元数据。 在实践运行中,团队发现 Agent 决策失误的根因极少源于底层大语言模型的能力缺陷,绝大多数情况是因为模型缺失必要的业务上下文。例如,高管与初级员工在差旅舱位和用餐标准上享有不同权限,若不注入 HRIS 职级数据,模型便无法准确判断。为此,Staff 工程师 Will Koh 介绍,系统从最初的线性顺序提示链,演进为包含用餐或差旅分类的条件化工具调用链,最终拓展为具备全公司工具库读写权限的完整 Agentic 循环,尽管这一跃迁也在一定程度上增大了系统的“黑盒”体积,降低了内部可追溯性。 评测与信任:识破不可靠人类基准并渐进放权 (15:29) Will Koh 指出,团队在早期曾错误地将审批经理的人工操作视作标准答案,但在实际比对中发现,人类审批者往往存在怠惰、对下属盲目信任、不熟悉合规制度或在周末随意批量放行等行为。因此,模仿人类行为无法得出正确答案,团队必须确立严格的独立客观标准。为了解决这一问题,Ramp 组织跨职能团队开展每周标注对齐,并借助 Claude Opus 快速搭建了内部标注工具 Clockwork;在评测起步阶段,团队故意仅选用 5 个核心测试用例进行快速验证,以此对抗因追求完美数据集而带来的行动迟缓。 为防范 Prompt 调整或工具修改带来的回归副作用,Ramp 将离线评估套件部署于 CI 流水线中,阻止存在性能倒退的代码合入主干,同时在线上监控“不确定(unsure)”决策的比例作为运行健康指标。而在企业客户侧建立自动化信任时,Ramp 采取渐进策略:初期系统仅输出非约束性的“审批建议”;待管理员验证其长期准确性后,再通过在系统内配置“自主权滑块(autonomy slider)”,自主选择针对特定金额阈值(如 200 美元以下)开启全自动静默审批,从而实现风险可控的自动化让渡。 平台级底座:以统一服务解耦模型并遏制幻觉 (22:46) Ian Tracey 介绍了支撑产品创新的底层架构——Ramp 内部应用 AI 服务(Applied AI Service)。该服务通过统一 SDK 提供跨厂商的结构化输出保障,隔离模型提供商频繁的 API 变更;集中管理大批量文档解析与评测任务的限流排队与异步批处理;并提供精细至具体团队和功能的成本追踪看板,便于分析成本收益帕累托前沿。该抽象层使下游业务在接入新一代底层模型时,仅需更改一行全局配置即可无缝切换。 在严肃的金融数据场景中,防范模型幻觉是首要工程考量。Ramp 的核心手段是建立一个包含数百个标准业务组件的内部工具目录,涵盖政策检索、津贴计算及流水查询等。Agent 并不被允许进行无约束的自由发挥,而是必须调用这些经过检验的确定性业务工具。该目录不仅直接保障生产逻辑的安全可控,还显著提升了内部原型开发效率,非工程师或领域产品经理可以利用现成的数据连接器在极短时间内完成业务逻辑验证。 研发范式:自主编程Agent与工程判断力重塑 (27:25) 为解决日常开发中日志、数据库、警报与讨论散落在 Datadog、Slack、Notion 等工具中的上下文碎片化问题,Ramp 研发了在隔离沙箱中运行的后台编程 Agent——Ramp Inspect。该系统支持多人实时协作,集成了包含 15 万多项自动化测试的测试套件,能够监控 CI 状态并在测试失败时自主修改代码。目前,Ramp 每周合并至生产环境的 Pull Request 中有超过 50% 由 Inspect 产出,产品、设计、法务等非研发部门也在频繁调用它来独立排查故障与调整业务逻辑。 常规编码与排错任务的自动化,使得工程人员的价值评估体系发生深刻转变。团队提出,专注于业务影响、深入理解产品与数据、能够驾驭模糊问题并迅速采纳新工具的“A 类团队”,其优势将进一步拉大;相反,纠结于语法美学、依赖官僚流程与人头扩张的“B 类团队”将面临被动局面。发言人强调,软件开发具有无限的需求容量,绝不会因为单兵效率翻倍而缩减团队,相反,节约出来的工程生产力将被投入到重构高风险历史技术债与拓展全新业务边界中,推动整个行业的产品体验标准全面提升。 Ramp 的实践表明,企业级 AI 的竞争本质是业务上下文工程与底层确定性基础设施的建设,而非单纯追逐前沿模型的单点突破。然而,随着 Agentic 循环的自主性与复杂性攀升,系统不可避免地面临可追溯性变弱与“黑盒”扩大的工程妥协;在追求端到端自动化的同时,如何长期平衡系统的可审查性与金融级合规要求,仍是该演进路线中悬而未决的核心命题。

Detailed notes — zh

## Background 该内容由 The Pragmatic Engineer 于 2026 年 3 月 9 日在 YouTube 平台发布,记录了在 The Pragmatic Summit 峰会上的技术分享。视频由 Ramp 工程执行副总裁 Nik Koblov、应用 AI 与支出总监 Veeral Patel、主任工程师 Will Koh 及主任软件工程师 Ian Tracey 共同主讲,深入复盘了 Ramp 构建全新 AI 产品的实战工程经验。 ## TL;DR Ramp 团队详细分享了他们如何从早期为每个任务构建独立 Agent 的陷阱中突围,转型为打造“拥有数千项技能的单一 Agent”,并通过 OmniChat 统一交互入口与 Policy Agent 实现了企业报销的毫秒级合规审计。他们摒弃了传统规则引擎,将自然语言报销政策直接作为代码运行,并依靠仅 5 个用例起步的高频评测(Eval)与 Streamlit 内部打标工具快速验证基准。在底层,团队搭建了统一的模型代理与工具目录(Tool Catalog),并自研了贡献全司超 50% 生产 PR 的后台编码智能体 Ramp Inspect。最终他们有力反驳了“AI 将淘汰软件工程”的悲观论调,指出技术判断力与消除业务模糊性才是工程师不可替代的核心护城河。 ## Atmosphere & style 整场演讲呈现出一种极其务实、充满硅谷硬核工程黑客气息的技术分享氛围,没有任何空洞的宏大叙事或 PPT 假大空展示。四位讲者轮番登台,配合默契,用充满极客幽默的内部切身教训(如调侃财务人员把报销政策当作 CLAUDE.md 来配置、对比两类不同技术文化的研发团队)生动还原了技术攻坚的真实场景。现场既有经历过无数深坑后的冷静反思,又洋溢着对“软件永无止境”这一开发本质的坚定乐观,让听众不仅能学到扎实的架构细节,更能真切感受到顶尖工程团队在 AI 原生时代全速前进的澎湃心跳。 ## Bulletin - [03:31](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=211s) Ramp 放弃了为每个独立业务编写专属 Agent 的分散策略,全面转向“单一 Agent 承载上千种技能”的集中式编排架构与统一的 OmniChat 入口。 - [09:22](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=562s) 团队将自然语言政策直接作为执行代码,配合每周跨职能标注与仅包含 5 个关键测试用例的最小评估集(Evals),成功克服了冷启动难题并实现快速迭代。 - [27:25](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1645s) Ramp 内部研发的自主后台编码 Agent“Ramp Inspect”目前已贡献了全公司合并入主分支的生产环境 Pull Request 的 50% 以上。 - [35:54](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=2154s) 针对 AI 导致的行业焦虑,Ramp 认为工程效率的倍增不会带来人员减半,而是会推动团队进军高价值相邻市场,重构过去成本过高而不敢触碰的复杂遗留系统。 ## Key takeaways - [02:29](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=149s) 企业支出与后台记账流程中存在海量低价值机械劳动,Ramp 旨在通过端到端 Agent 自动化将企业从结账平账中解放出来,聚焦核心业务造血。 - [03:31](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=211s) 构建一千个独立 Agent 是弯路,架构演进的终局应是构建一个拥有上千种工具和技能的统一 Agent 系统(System of Action)。 - [05:11](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=311s) 通过统一的 OmniChat 交互入口与自研轻量框架,自然语言需求可直接与 HRIS 等工具交互并编译为确定性可执行的业务 Playbook。 - [09:22](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=562s) 践行“英语是新的编程语言”,Ramp 放弃了硬编码规则分支的传统工程路径,直接将自然语言形式的企业报销政策转化为底层运行规则。 - [10:40](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=640s) 智能体早期犯错的主要症结在于上下文信息缺失而非 LLM 推理缺陷,通过补全收据细节与 HRIS 员工职级等维度可显著修正决策偏差。 - [12:32](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=752s) 随着系统从简单线性链路走向全自主 Agentic 架构,模型获得了更强的行动力,但同时也带来了可解释性与确定性控制权的丧失。 - [15:29](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=929s) 真实用户的操作历史并不等同于真值(Ground Truth),通过跨职能标注会与轻量自研标注工具能更精准地定义系统正确性基准。 - [18:04](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1084s) 评估(Evals)启动不需要一开始就具备上千条数据,从 5 个绝对不容出错的核心边界用例起步即可有效支撑快速工程迭代。 - [19:15](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1155s) 将离线评估纳入 CI 流程并在线追踪“不确定决策率”,是保障底层前沿模型无缝敏捷升级的基础安全网。 - [20:46](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1246s) 通过从“仅提供建议”到“客户自主设定额度滑块”的渐进式放权路径,Ramp 成功建立了企业客户对自动审批的信任阶梯。 - [22:42](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1362s) 统一的“应用级 AI 即服务”中间层抹平了各大模型厂商的 API 差异,提供标准结构化输出、批处理编排与精细化成本追踪。 - [25:52](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1552s) 内部标准化的“工具目录”(Tool Catalog)建立了清晰的业务边界,既保障了敏感财务数据的安全,又支持了沙盒环境下的低门槛原型实验。 - [29:11](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1751s) 自主后台编码 Agent“Ramp Inspect”结合了隔离的 Modal 沙盒、多人协作机制、只读数据库及 15 万+ 测试套件,接管了公司半数以上的生产 PR。 - [31:17](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1877s) 高阶工程师的核心竞争力在于业务理解、技术判断力与架构决断,而非敲击代码的纯粹速度,缺乏高阶判断力的 Agent 只会更快地制造工程烂摊子。 - [34:16](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=2056s) 软件工程具有永无止境的演进特性,AI 释放的工程生产力将激励企业去攻克更高维度的业务难题,重塑软件产品的体验边界。 ## Detailed walkthrough ### [00:05](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=5s) Ramp 的企业定位与基础支出用例 Nik Koblov(工程执行副总裁)首先介绍了 Ramp 的定位与产品核心逻辑。Ramp 是面向现代企业的顶尖金融平台,拥有超过 50,000 家企业客户,其核心使命就是为企业“省钱省时间”。Nik 注意到台下观众正端着咖啡,便以最日常的“买咖啡报销”为例说明传统流程的繁琐:员工买一杯咖啡,后续往往需要耗费大约 15 分钟去完成三项琐碎的合规动作,而这种时间浪费会在全公司范围内呈复利式扩散。Ramp 所做的,就是把漫长分散的时间线大幅压缩,将原本被无意义消耗的时间与资金重新还给企业。 从刷卡动作发生,到撰写报销备忘录(Memo)、按照总账(General Ledger, GL)分类交易、检索发票(Receipt)、附件挂载,再到将消费商家与系统现存的商家库进行标准化匹配归一,Ramp 将这一全套链路完全实现了 Agent 化的自主运转。这项探索并非始于当下,大约在三年前,Ramp 就开始使用 AI 进行单次(one-shot)任务处理,诸如商家名称标准化和备忘录撰写等;随着底层大模型性能的持续攀升,这些基础任务的准确性与自动化效果变得越来越出色。 - **核心价值指标**:服务 50,000+ 家企业客户,核心目标是帮企业客户节省时间和资金。 - **痛点对比**:一杯日常咖啡的报销在传统链路中需耗费约 15 分钟的人力,涉及多环节的手动录入。 - **早期技术实践**:早在三年前就开始采用 one-shot AI 模型处理商家归一化、生成报销说明等轻量级场景。 --- ### [02:29](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=149s) 繁琐流程的复杂性与对超级 Agent 的探索 在传统企业运作中,几乎所有角色都深陷于低价值的手工劳动之中。不论是应付账款文员(AP clerks)、财务团队、采购团队,还是数据分析团队,都在承担海量机械工作。Nik 回忆道,过去 Ramp 内部曾长期维护着一个名为 `#help-data` 的 Slack 频道,每当其他业务部门需要导出一份 CSV 表格时,就必须有一名数据工程师停下手中的活去手写 SQL 查询并返回数据;这个重度依赖人力的频道在一年半前被彻底用 AI 方案替代。随着面对的具体任务不同,业务处理的复杂度呈现出一条直线上升的斜坡(“Ramp shape”)。 为了化解这些复杂度,Ramp 曾开启了一段密集的智能体开发期。如果观众看过超级碗,可能会熟悉 Ramp 推出的 Agent “Brian”。团队当时试图针对每一个待办任务(Job-to-be-Done)都单独编写一个专属 Agent,旨在端到端接管管理员、普通员工以及财务团队手头所有与“业务赚钱”无关的杂活。Nik 明确强调了团队的愿景:企业的精力应当完全聚焦于自身业务造血与服务客户,而不是把时间耗费在如何结账平账这种繁琐的后台流程上。 - **全员效率消耗**:AP 文员、财务、采购乃至数据团队都在大量消耗工时做支持性脏活。 - **内部工具落地**:原有的 `#help-data` 手工 SQL 查询响应支持频道已在约一年半前被自动化系统替代。 - **业务核心哲学**:让用户全力以赴去开拓客户和创造收入,而非被锁死在后台关账(close the books)流程里。 --- ### [03:37](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=217s) 架构转向:从成百上千个 Agent 到拥有成百上千个技能的单一 Agent 在近几个月(特别是 2 月 6 日之后)的技术浪潮冲击下,整个软件行业正经历着极其剧烈的范式转移,这要求团队彻底重构并极力简化技术栈。Nik 坦言,Ramp 去年有意放手让各个独立团队自由探索与尝试构建 Agent,结果导致内部野蛮生长,同一个业务需求(无论是同步调用的交互 Agent 还是后台异步 Agent)甚至演变出了四种完全不同的技术实现方案。最终团队得出了一个深刻的教训:盲目构建一千个相互独立的 Agent 是一条弯路。 Nik 总结了这次关键转向:“Instead you want to drive your framework towards a single agent with a thousand skills.”(相反,你应该推动你的架构走向一个拥有上千种技能的单一 Agent。)在传统软件模式中,任何业务流程都可以拆解为事件(Event)、提示词与指令(Prompt instructions)、护栏规则(Guardrails/Policy,如报销或应付账款政策)、数据上下文(Context)以及工具(Tools/APIs)。传统软件以往只聚焦于第四和第五项(数据查询与接口触发),而如今的新范式要求系统成为一个能够自主反应、思考推理并在极少甚至无需人工介入下采取行动的“行动系统(System of Action)”。 ```mermaid flowchart TD accTitle: 传统软件范式与现代自主行动系统的边界演进 accDescr: 对比传统软件与现代智能体范式在事件、规则、上下文及工具各阶段的分工转移 subgraph Inputs["输入与约束层"] A["事件 Event<br/>(如:收到发票)"] B["提示词与说明 Prompt Instructions"] C["护栏与政策 Guardrails / Policy<br/>(如:报销政策)"] end subgraph Execution["上下文与执行层"] D["上下文 Context<br/>(智能体参考的数据)"] E["工具与接口 Tools / APIs<br/>(可执行的具体动作)"] end A --> D B --> D C --> D D --> E style Inputs stroke:#999,stroke-dasharray: 5 5 style Execution fill:#eef,stroke:#33a ``` --- ### [05:11](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=311s) OmniChat、轻量自研框架与可执行 Playbook 为了支撑“单 Agent 多技能”的设计,Ramp 首先对前端交互进行了彻底统一。截至去年年底,系统内存在约五种不同的对话界面;如今这些入口被全部整合进一个名为 “OmniChat” 的通用入口中。“Omni” 寓意无处不在(Omnipresent),它被全面嵌入到产品的各个操作界面中,同时与传统的数据表格和功能按钮无缝配合,因为用户并不想在任何场景下都靠纯文本对话来操作软件。 Nik 现场演示了 OmniChat 的典型使用场景:用户输入“请帮我入职一名新员工”,OmniChat 会自动将自然语言描述的员工姓名解析为系统内部的员工 ID,调用 HRIS(人力资源信息系统)工具检索其组织架构,并自动匹配到此前预设好的自动化工作流——“新员工入职 Playbook(New Hire Playbook)”,随后向管理员发起确认。这套能力依赖于 Ramp 内部自研的轻量级 Agent 编排框架;如今甚至连产品经理(PM)都可以通过 “Vibe coding” 在无工程介入的情况下快速构建出约 20 个可用工具。此外,复杂的业务流程可以被编译为确定性的可运行工作流(Playbook),交由 Agent 调用工具并严格执行。 ```mermaid flowchart LR accTitle: OmniChat 入职自动化协同流程 accDescr: 展示 OmniChat 如何从自然语言命令调度工具、解析上下文并拉起确定性 Playbook A["用户输入指令<br/>'入职新员工'"] --> B["OmniChat 统一入口"] subgraph Engine["Ramp 自研轻量级 Agent 编排层"] B --> C["调用 HRIS 工具<br/>解析员工 ID 与组织架构"] C --> D["匹配并编译 Playbook<br/>(发卡/收据机制/Slack通知)"] end D --> E["生成确定性执行流<br/>(可由 Agent 自动化执行)"] ``` - **交互入口收敛**:从 5 个碎片化的对话框收敛为一个全局嵌入的 OmniChat。 - **全自动入职示例**:包含发卡、强制交易收据回收、Slack 发送欢迎祝贺、入职两周后自动发起回访等步骤。 - **低门槛工具生态**:产品经理借助 Vibe coding 能够独立打造约 20 个标准工具组件。 --- ### [07:05](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=425s) Policy Agent 的实时拦截与审计原理 随后,Nik 引出了在刷卡瞬间自动运行的“Policy Agent”(政策审查智能体),并把发言权交给了负责该方向的总监 Veeral Patel。Nik 解释道,Policy Agent 会在交易发生的实时阶段把关合规,因此企业可以放心地给全体员工分发 Ramp 企业信用卡。随后它会将交易交接给后台的会计编码智能体(Accounting Code Agent),该 Agent 全面知晓企业的会计科目表(Chart of Accounts)和 ERP 结构,能精确完成记账分类,极大减轻了普通员工根本搞不懂报销科目归属的负担。 Veeral 随后走上台,向大家展示了财务团队每天需要肉眼核对的成百上千张杂乱收据。以一张多人用餐发票为例,人工极易看漏细节,而 Policy Agent 结合图像多模态推理与交易元数据,能精准识别出收据上记载着 8 位用餐客人、人均消费低于公司设定的 80 美元红线、事由为团队欢迎晚宴且商户与金额皆核验一致,从而迅速做出“自动通过(Approve)”的判定。相反,对于一笔 3 美元的面包房刷卡,因为既非加班场景又非周末消费,Policy Agent 则直接给出“拒绝报销(Reject)”的结论。 - **多模态核验**:结合收据图片视觉分析与交易系统元数据,精准识别微小文字(如用餐人数)。 - **规则实测用例**: - 8 人团队迎新晚宴:人均低于 $80 额度上限,数据核验无误,判定为通过。 - OpenAI 测试账单:员工验证 ChatGPT 特性,认定为合理业务支出,判定为通过。 - $3 面包房消费:不符合加班或周末报销细则,判定为拒绝。 --- ### [09:22](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=562s) 自然语言即代码:与 Fortune 500 客户共建政策引擎 面对日趋繁复的审批逻辑,Ramp 迎来了重新审视系统架构的契机。此前一家 Fortune 500 强级别的标杆客户带着极为详尽复杂的合规条例清单找到 Ramp,要求系统精确拦截特定支出。面对这种需求,传统思路是不断在底层硬编码添加确定性的条件判断分支,但 Veeral 决定彻底跳出这一局限。 Veeral 借鉴了前特斯拉与 OpenAI 研究员 Andrej Karpathy 的核心观点,以此重塑产品路线:“And we kind of saw this as an opportunity not to kind of add more incremental deterministic rules that kind of define our product... but actually kind of take out a page from Andrej Karpathy saying that English is the new programming language and kind of turn the expense policy into the rules themselves.”(我们认为这是一个契机,不再去为产品堆叠更多渐进式的确定性规则,而是践行 Andrej Karpathy 的名言——英语是全新的编程语言,将企业自然语言编写的报销政策直接转化为底层运转规则本身。) 在推进落地的过程中,Ramp 的 AI 团队保持着类似早期初创团队的极客敏捷作风。他们将这家财富 500 强企业作为核心设计伙伴(Design Partner),建立了紧密的每周例会沟通机制,根据企业真实反馈高频迭代,直接在生产环境中以自然语言驱动的 Policy Agent 替代了死板的传统规则引擎。 - **设计范式飞跃**:放弃不断追加 hard-code 规则分支的传统工程路径,转向自然语言政策文本即运行规则。 - **落地组织形态**:与 Fortune 500 强设计伙伴深度绑定,通过高频周会迭代,以早期初创团队的节奏打磨核心体验。 ### [10:40](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=640s) AI 产品无法一蹴而就:从“一杯咖啡”与上下文补全起步 在 Ramp 打造 AI 产品的过程中,团队形成了一个核心的文化认知:AI 产品绝不可能“一次到位”(one-shotted),必须从一个极其受限的微小问题切入。如果产品经理(PM)、设计师和工程师从第一天起就达成共识,放弃对“首发即完美”的幻想,研发过程就会顺畅得多。为了践行这一点,团队在公司内部进行了大量 Dogfooding(内部试用),挑选了一个财务团队认为风险极低的切入场景:判断员工“与同事喝咖啡”这一单笔小额交易究竟该批准还是拒绝。 在将系统推向生产环境的早期,团队获得了一个深刻教训:策略智能体(Policy Agent)之所以会做出错误决策,核心往往不是底层模型的能力问题,而在于喂给大语言模型(LLM)的上下文信息不完整。团队原本可以闭门造车,在写代码前把所有可能的上下文凭空设想一遍,但最有效的方式是从真实的内部运行数据中学习。例如,团队很快发现员工的职位头衔(title)在对照报销政策时至关重要——像 C-suite 高管通常享有更高的报销额度,甚至允许在特定航班上限坐头等舱。基于这些发现,团队开始从收据中提取更多细节,并自动接入 Ramp 系统中现成的 HRIS(人力资源信息系统)员工层级数据。 ```mermaid flowchart LR accTitle: 从收据与HRIS补充上下文到LLM决策流程 accDescr: 展示原始交易数据结合收据提取信息与HRIS员工职级后输入LLM判断报销合规性的流程。 subgraph Input["数据输入"] A["小额咖啡交易"] B["收据信息提取"] C["HRIS职级/头衔"] end subgraph Agent["策略智能体处理"] D["组装完整上下文"] E["LLM 政策判断"] end subgraph Decision["最终输出"] F["批准 / 拒绝"] end A --> D B --> D C --> D D --> E E --> F ``` - 文化共识:团队全员明确接受“AI 产品无法一步到位,必须从极简形态快速迭代”。 - 切入场景:从内部极低风险的单笔小额交易(如与同事喝咖啡)开始验证。 - 误差根源:智能体犯错的主要症结在于上下文缺失,而非大模型本身的推理缺陷。 - 关键补充维度:从收据中提取结构化字段,并拉取 HRIS 中的员工层级(level)与头衔(title)。 --- ### [12:32](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=752s) 从硬编码链条到全自主智能体:黑盒化与控制权的权衡 工程团队刚立项 Policy Agent 时雄心勃勃,梦想着“自动化整个财务流程、自动化所有审批审查”。但在落地时,他们不得不退回到最务实的起点:先搞清楚那一杯咖啡到底符不符合公司政策。即使将系统在初始阶段设计得面面俱到,一旦推广应用到其他业务线上,原有的预设也会立刻失效。正如 Will Koh 所指出:“系统越简单,在其之上进行迭代就越容易(The simpler the system, I think the easier it is to iterate on top of it)。” Policy Agent 的架构演进经历了一条清晰的技术轨迹: 1. **基础线性链条**:一笔费用进入后,检索周围上下文,通过一系列定义清晰的 LLM 链式调用(“是否合规?”、“为什么合规?”、“如何向用户展示理由?”),最后输出确定性结果。 2. **条件路由与初级工具**:将费用分类为差旅、餐饮或娱乐,进行条件化 Prompt 引导,并赋予模型自主决定调取工具的权限(例如主动要求查询航班详情或员工职级)。 3. **全自主 Agentic 架构**:构建跨全平台的复杂读取与写入工具,并接入 Ramp 内部共享的通用 Agent 工具箱。智能体不仅能读取信息,还能在循环回路中自主书写决策、阐述推理,甚至代表用户直接自动审批(auto-approving)账单。 但这种演进伴随着显著的代价。随着系统从简单走向复杂,智能体的能力、自主性和表面上的“聪明度”大幅提升,但工程团队却失去了可追溯性(traceability)与可解释性(explainability)。即便如今能够查看模型输出的推理 Token(reasoning tokens),本质上它依然是一个越来越庞大的黑盒子,工程师无法对其执行路径进行绝对控制,只能依赖模型自身判断何时调用工具、如何输出结论。 --- ### [15:29](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=929s) 用户并不总是对的:内部标注会与 Streamlit 快速打标工具 在构建此类系统时,全流程的可审计性(auditability)必须从第一天就建立起来——即便不了解黑盒内部的具体运转,只要能观察输入与输出,就必须能验证其决策的正确性。在研发初期,团队曾理所当然地认为真实用户的行为就是金标准:“如果用户点了批准,智能体就该批准;如果用户点了拒绝,智能体就该拒绝。”然而事实证明,人类用户经常犯错:他们可能根本不清楚最新的报销政策,或者出于盲目信任下属、图省事、甚至仅仅因为那是疲倦的周日而草率通过。最终财务团队往往会找上门抗议:“这笔开销根本不该刷公司卡。” 为了建立一套真正权威的“正确性定义”,团队推行了跨职能(PM、设计、研发)的每周标注会(weekly labeling session)。这带来了两个关键成果: - **沉淀真实基准数据集(ground truth data set)**:提供可随时回归测试的标准答案。 - **拉齐团队共识**:一旦智能体出现误判或缺少上下文,跨职能团队能在第一时间对齐痛点,减少沟通损耗,全力攻关最高优先级的缺陷。 由于每周把所有人召集起来给 100 条数据打标签极为枯燥且耗时,团队最初试图采购第三方标注平台,但发现市面上的工具要么过于通用,要么过于垂直。与其耗费数周选型,团队索性借助 Streamlit 构建了内部专用的打标工具(Clockwork),甚至让非技术人员基于 Claude Opus 直接通过“氛围编码”(vibe coding / clock coding)来定制功能。这套轻量级工具部署在独立的代码仓库中,秒级部署、低维护成本且极度灵活,极大地降低了数据标注的门槛。 --- ### [18:04](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1084s) 拒绝完美主义:以 5 个用例开启高频 Eval 循环 有了打标沉淀下来的 Ground Truth 数据集后,团队的工程迭代节奏被彻底盘活。例如,当怀疑缺少员工职级信息时,工程师可以把职级数据加进上下文,立即在评测集上跑一遍,观察智能体是否成功修正了对特定报销的判定。这种高频反馈赋予了团队极强的早期确定性,不仅加速了功能演进,也让 Ramp 得以迅速赢得早期设计伙伴(design partners)和种子客户的信任并将其引入系统。 在评估(Evals)的建设上,团队极力反对被完美主义绑架。业内很多团队认为没有上千条样本就无法开始做评测,但 Will Koh 强调绝对不要让完美主义阻碍前行:“我们一开始只用了 5 个测试用例。我们知道这 5 个用例绝对不能挂。然后我们不断地、不断地往里面追加(We started with five. You know, and we knew that those five we were not going to fail. We kept adding and adding and adding)。”在工程落地层面,评测体系必须满足两个核心要求:第一,极简的执行成本,任何非技术成员敲一行命令就能跑起来;第二,高度直观的可视化结果,能让人一眼看懂模型当前究竟是变好了还是变差了。 - 启动门槛:Evals 无需初始拥有上千条数据,从 5 个绝对不容出错的核心边界用例起步即可。 - 研发闭环:增加上下文(如 HRIS 字段) $\rightarrow$ 运行小型 Eval 测试集 $\rightarrow$ 验证是否正确转化为合规判定。 - 工具设计原则:一键运行命令,输出直观透明的结果对比,让全团队都能实时理解模型行为偏好。 ### [19:15](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1155s) 持续集成中的评估(Evals)、线上健康监控与模型敏捷升级 将评估集成到 CI 流程中,是工程团队安全合并代码的关键底线。在针对大语言模型或智能体(Agent)开发系统时,开发者往往直觉地认为提供更多的上下文或工具肯定是好事,但现实往往相反——增加的上下文可能引入未预见的错误、工具使用说明可能存在歧义、甚至函数注释(docstring)稍有冲突,就会导致智能体产生意料之外的恶劣后果。因此,离线评测集是守护代码变更的第一道防线。除了基于历史数据集的离线评测外,线上评估(Online Evals)虽然衡量难度更高、指标更复杂,但作为前置指标同样至关重要。Ramp 在线上追踪的一项关键健康指标是智能体的“不确定决策率”(unsure decision rate):一旦智能体判定自身缺乏足够信息给出明确结论,系统就会记录该决策,从而形成即时的系统健康度监控。 严密的基准评测体系还带来了一个巨大的收益:让团队能够毫不犹豫地更换和升级底层前沿模型(例如未来的 Opus 4.6 或 GPT-5.3)。新模型的到来可能瞬间将系统原先做错的任务纠正过来,但若没有充分的评测,直接切换模型也可能在未修改 Prompt 或系统架构的情况下导致原有功能恶化。只有依托可靠的 CI 评测与自动化基准,团队才能对模型升级抱有充分信心。 - 离线评估(Offline Evals)依托历史数据,在 CI 合并前拦截因上下文冲突或工具文档模糊导致的回归问题。 - 线上评估(Online Evals)通过追踪“不确定”(unsure)决策的发生频率,直接反映智能体运行时的健康度。 - “每当有新模型发布时——无论是 Opus 4.6 还是 GPT-5.3——你都希望能够利用这些新模型,因为有时候这可能决定了你的系统在某个问题上是答对还是答错。”(“Whenever a new model comes out, Opus 46, GPT-53, you want to make sure that you can leverage those new models because sometimes that could be the difference between, you know, your system getting one part of the problem right to wrong...”) ### [20:46](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1246s) 策略智能体的落地实践:从建议到自动审批的信任阶梯 在策略智能体(Policy Agent)推向 Ramp 平台的过程中,团队发现了一个极具戏剧性的用户心理现象:工程师热衷于在 `CLAUDE.md` 等配置文件中调优指令(比如命令模型不要乱写注释),而财务团队对待其企业报销政策文档(Expense Policy Doc)的态度也如出一辙。起初,让财务人员去修改这篇形同法律条文的政策文档是一件令人生畏的事;但一旦向他们展示了即时的正向反馈闭环——“去改一下文档,你马上就能看到判定效果的变化”——财务人员便立刻对这种掌控感产生了极大的热情。 在推广策略上,Ramp 率先选择了《财富》500 强等大型企业客户进行试点。这些巨头每天产生海量的报销单,在审核咖啡等琐碎开销上耗费了大量工时,对提效的渴求最为迫切。为了消除客户对 AI 的戒备,Ramp 在初期完全不执行任何自动化操作,仅仅将判定结果以“建议”(Suggestions)的形式呈现。随着准确率在长周期内得到验证,大企业客户主动提出提高权限,希望将 200 美元以下的常见开支直接转为自动审批。通过在产品中提供“自主权滑块”(Autonomy Slider),Ramp 让客户按照自身信任节奏逐步放权,并借助应用内反馈闭环让客户自主迭代、个性化微调智能体的行为规则。 ```mermaid flowchart LR accTitle: 从建议到全自主审批的信任进阶路径 accDescr: 展现 Ramp 企业客户如何通过策略文档配置、建议审核逐步过渡到设置阈值的自动化审批。 subgraph Iteration["反馈与调优"] A["修改报销政策文档<br/>(Policy Doc)"] --> B["即时反馈与调整效果"] end subgraph TrustLadder["信任爬梯"] C["仅提供审批建议<br/>(Suggestions)"] D["设置自主权滑块<br/>(Autonomy Slider)"] E["低于阈值自动审批<br/>(例如 < $200)"] C --> D D --> E end Iteration --> TrustLadder ``` - “事实证明不仅是我们,财务人员也非常喜欢修改属于他们的 CLAUDE.md,也就是他们的报销政策。”(“Turns out it's just us, finance people also really like to have you know, modify their Claude MD, which is their expense policy.”) - 早期策略严格遵循“人机协同”,不直接赋权自动化操作,待客户主动提出“对于 200 美元以下的报销,你们基本都是对的,我不在乎这个,直接自动审批吧”时,再放开权限。 ### [22:42](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1362s) 应用级 AI 服务架构:统一 SDK、批处理与成本追踪 随后,Ian Tracey 接过话筒,深入探讨 Ramp 的底层 AI 基础设施与工程文化。支撑 Ramp 绝大部分应用级 AI 运转的核心组件是内部构建的“应用级 AI 即服务”(Applied AI as a Service)。从宏观视角来看,它的外在形态类似于 LiteLLM 等大语言模型代理网关,但 Ramp 在其上进行了三重关键扩展: 1. **跨供应商的结构化输出与统一 SDK**:由于各大模型厂商 API 迭代极其频繁,基础设施层直接抹平了模型间的接口差异,提供统一的结构化输出保障。下游产品研发团队无需为接口兼容分心,只需修改一行配置,即可在 GPT-5.3、Opus 或 Gemini 3 Pro 之间无缝切换。 2. **批处理工作流引擎**:大规模评测以及批量合同/数据分析涉及严苛的速率限制(Rate Limits)与离线任务编排,该服务统一代理并消化了对 Anthropic 等供应商的批量请求,避免各业务团队重复造轮子。 3. **精细化成本与性能追踪**:系统能够跨团队、跨产品线精确追踪 API 成本消耗,借助数据分析绘制帕累托最优边界(Pareto Curve),明确找出哪些模型在特定任务下性价比最高,同时揪出那些长期成本不可持续的产品设计。 - “这个部分非常刻意地命名为‘AI 基础设施与文化’,因为我们认为这不仅是一个极具挑战性的基础设施难题,也是一个极具挑战性的文化难题,改变你的工作方式同样是整个故事的重要组成部分。”(“And this slide is this section is pretty intentionally named AI infrastructure and culture cuz we think that this is both like a really challenging infrastructure problem, but it's also a really challenging culture problem and changing how you work as well is a big part of the story.” — Ian Tracey) - 基础设施消除了几十处代码调用点的修改负担,使全公司能在前沿模型发布当天通过一行配置直接完成全量升级。 ### [25:52](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1552s) 内部工具目录(Tool Catalog)与安全性保障 面对涉及敏感财务数据和关键业务流的安全挑战与模型幻觉问题,Ramp 坚信解法在于标准化、模块化的“工具目录”(Tool Catalog)。团队并未让模型直接接触底层裸数据,而是由应用 AI 团队与一线业务团队紧密配合,封装出具有明确业务边界的操作工具——例如“获取政策片段”(get a policy snippet)、“查询每日津贴标准”(per diem rate)以及“拉取近期交易明细”(recent transactions)。 ```mermaid flowchart TD accTitle: Ramp 工具目录的复用与支撑架构 accDescr: 说明内部工具目录如何同时支撑核心业务产品与内部实验性 Agent 原型。 subgraph Catalog["内部工具目录 (Tool Catalog)"] T1["获取政策片段<br/>(Policy Snippet)"] T2["查询每日津贴<br/>(Per Diem Rate)"] T3["近期交易明细<br/>(Recent Transactions)"] end subgraph Consuming["下游应用场景"] P1["核心线上产品<br/>(策略智能体/审核)"] P2["内部沙盒与实验<br/>(报销 Agent 原型 / Vibe Coding)"] end Catalog --> P1 Catalog --> P2 ``` 该工具目录为整个工程组织提供了两大核心能力:首先,它使平台能力一目了然,工程团队能够清晰洞察当前工具集的空缺;其次,这些工具同时对核心生产环境代码和内部实验性仓库开放。开发者若想构建一个全新的报销智能体原型,完全可以在沙盒环境中直接借助既有工具进行“氛围编码”(Vibe Coding),无需从零对接复杂的财务数据源与底层 API。目前 Ramp 内部已积累了数百个标准化工具,未来预计这一规模将拓展至数千个,从而构建起支撑多智能体生态的坚实底座。 ### [27:25](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1645s) 碎片化上下文困境与内部自主编码智能体 Ramp Inspect 的诞生 在日常工程实践中,即便工程师借助了类似 Cloud Code 或 GitHub Copilot 等工具,实际完成工作所依赖的大量上下文依然处于严重的碎片化状态。日常工作中,排错与开发需要四处拼凑信息:Datadog 里的应用日志、生产环境数据库中正在发生的事务、林林总总的告警系统、incident.io 上的事件工单、散落在 Slack 频道中的讨论记录、沉淀在 Notion 里的需求与架构文档,更不用说各业务线专属的技术认知与隐性规则。 面对这种割裂,Ramp 在去年底决定正面攻克这个难题:如何将分散在各处的全部上下文深度整合,打造一套专属于公司内部的后台编码智能体——**Ramp Inspect**。演讲者透露,Ramp 已经在社交媒体(X 和 LinkedIn)上公开讨论过这个项目,并将该方案的技术蓝图(Blueprint)彻底开源。Ramp Inspect 作为后台智能体在系统底层自主运转:在工程师开会沟通或者处理线上缺陷时,它在后台持续执行分析与代码修复。目前,Ramp Inspect 在公司内部取得的进展极其显著,“目前这个月,Ramp Inspect 已经贡献了我们合并到生产环境所有 PR(Pull Request)的 50% 以上。” 团队内部专门建立了一套数据看板,一方面满足工程师对指标和数据的“技术极客”嗜好,另一方面既打造出微妙而健康的良性竞争氛围,也激发了其他非技术职能部门尝试使用。看板数据显示,虽然工程团队在调用 Session 数量上遥遥领先,但产品(Product)、设计(Design)、风控(Risk)、法务(Legal)、企业财务(Corporate Finance),甚至市场营销与客户体验(CX)团队也都在高频使用 Ramp Inspect。非技术同事借助它完成文案改动、修复业务逻辑、甚至直接针对 Bug 或故障事件做出响应。 - **多部门使用场景**:产品与运营人员用其完成简单的文案调整(Copy changes)、修复边缘业务逻辑、协助响应生产线上缺陷。 - **开箱即用的技术蓝图**:Ramp 在其技术博客及社区公开了整个系统的设计思路,证明后台无人值守型 AI 智能体能够真正深度渗透企业主干开发流。 --- ### [29:11](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1751s) 架构设计核心:沙盒隔离、跨职能协作与全栈能力 Ramp Inspect 在系统工程上贯彻了数项核心原则,以支撑安全、可靠的后台执行。当用户发起任务(例如修复一条耗时或报错的数据库查询)时,系统会在后台以极高的速度拉起一个基于 Modal 的独立代码沙盒(Modal Code Sandbox)。这种沙盒环境能够瞬时创建、暂停(Resume)或销毁,并为代码执行提供与 Ramp 工程师本地完全一致的隔离开发环境。 沙盒启动后,智能体会围绕一系列预定义任务目标推进,自动拉取 GitHub 分支,同时连接至内部的 Datadog 监控日志、数据库只读副本(Read Replica,用于验证和编写查询)以及产品团队汇总的各类上下文说明。在交互层面,团队做出了一个极其微妙却影响深远的设计决策——**多人协作优先(Multiplayer-first)**。该模式下,工程师可以与设计师或产品经理协同结对,实时指导非技术人员优化 Prompt 技巧;业务方也可以直接在会话中标记:“点击这个链接,它出现了一个我没预料到的错误。”这种跨职能即时反馈机制,使系统成为了团队协作效率倍增器。 ```mermaid flowchart TD accTitle: Ramp Inspect 系统执行架构 accDescr: 展示任务触发、沙盒运行、上下文整合及全栈调试的闭环流程 subgraph Trigger["触发入口"] A["看板界面 (Kanban UI)"] B["API 自动化调用"] C["Slack 讨论串 (自动继承上下文)"] end subgraph Core["执行核心 (Modal 隔离沙盒)"] D["任务列表与规划"] E["读副本数据库 (Read Replica)"] F["Datadog 日志与文档"] G["虚拟网络计算 (VNC) + Chrome DevTools + MCP"] end subgraph CI_CD["交付与自愈"] H["GitHub 分支与 150,000+ 自动化测试"] I["自动捕获 CI 报错并自愈修复"] J["推送到最终生产 PR (占公司总量 >50%)"] end Trigger --> Core D --> E D --> F Core --> H H --> I I -->|修复后通知| J ``` 在交互入口方面,用户可通过看板界面(Kanban UI)、内部 API,或是直接在 Slack 讨论串中触发智能体;当从 Slack 启动时,它会自动捕获当前线程的全部历史上下文,免去了重复贴聊天记录和重新组织 Prompt 的麻烦。更强大的是,沙盒内部配置了完整的 VS Code 环境,并通过 VNC 技术运行无头图形化环境,挂载 Chrome DevTools 与模型上下文协议(Model Context Protocol, MCP),赋予智能体执行完整端到端全栈开发任务的能力。它能够访问仓库中超过 15 万(150k+)个测试用例,一旦 GitHub CI 报错,它能在向工程师发送通知之前,主动定位问题并推送补丁进行自愈修复。 - **开源实现**:Ramp 将系统构建蓝图发布在官方开发者博客 `builders.ramp.com`,并在 GitHub 上维护了一个名为 `open-inspect` 的开源参考实现。 - **全栈调试能力**:结合 VNC 与 Chrome DevTools,智能体能真正像人类开发者一样检查前端渲染、排查网络请求,实现前后端联调。 - **庞大的测试套件作为安全网**:15 万多个测试用例让后台自主开发不再是“盲人骑瞎马”,为无人值守的代码重构与补丁生成提供了高强度的确定性保障。 --- ### [31:17](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1877s) 研发思维分水岭:A 队与 B 队的技术哲学辩析 随着 Ramp Inspect 接管了每周超过 50% 的 PR 合并,工程团队从低维度的线上救火和琐碎修补中彻底解脱出来。面对这种“AI 原生未来”,Ramp 开始全面反思工程师角色的真正价值所在。为了阐述工程团队在新范式下的分化,演讲者提出了一个耐人寻味的思维实验,对比了日常工作中常见的两类典型团队: - **Team A(卓越团队)**:极度关注业务实际影响力(Impact),善于在充满模糊性(Ambiguity)的边界问题中破局;深入理解产品、商业逻辑和底层数据;主动拥抱并应用新工具,总能构思出富有创造力的解决方案,并且对最终用户的真实体验近乎执念(Obsess over user experience)。 - **Team B(泥潭团队)**:无休止地争论第三方类库选型;一旦遇到混乱不是去理清本质,而是不断堆砌行政流程;将业务无法推进归咎于 Headcount(编制)不足;沉迷于“自行车棚效应”(Bikeshedding)扣技术细节,争执诸如“这里是否必须严格遵循函数式编程范式”或“TypeScript 某个包应该升级到哪个次版本号”;在没摸透真实需求前就盲目动手(“别担心,兄弟,我们直接 Vibe Code 一把梭!”);把精力耗费在表演式的代码质量审查与主观琐碎的挑刺(Nitpicks)上。 演讲者坦言自己在这两种团队中都工作过,并敏锐地断言:AI 时代正在促成工程师阵营的剧烈分化。针对哈佛大学去年底关于初级(Junior)与高级(Senior)工程师就业招聘趋势受 AI 冲击的研究,演讲者提出了针锋相对的见解:行业分化绝非仅仅是“工龄或资历年限(Years of experience)的问题”。“在很长一段时间里,写代码其实从来都不是许多技术岗位中最困难的部分。”真正决定上限的,是 Team A 所展现的那些核心工程原则,而非键盘敲击速度。 - **Staff+ 级工程师的核心护城河**:企业向高阶工程师支付高薪,购买的从来不是纯粹的写代码速度,而是他们的**技术判断力(Judgment)**、全局上下文洞察、预判潜在技术风险的能力,以及多年踩坑沉淀下来的“技术疤痕(Scar tissue)”。 - **媒体舆论对 Coding Agent 的误解**:公共语境往往只鼓吹代码生成的极速,却忽略了残酷的工程现实——缺乏高阶判断力,开发者只会“以数倍的速度构建出完全错误的东西,并制造出规模更庞大的工程烂摊子”。 --- ### [34:16](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=2056s) “软件永无止境”:高杠杆时代工程师的真正战场 AI 时代下的真实软件开发到底需要什么?演讲者强调,高阶工程师的真正精力正被重新分配到最核心的高杠杆工作上:深度理解用户痛点并搞清楚“究竟该构建什么”;在方向不明朗时,向心存疑虑的利益相关方(Stakeholders)推销技术愿景——例如在 Ramp 当初决定自研后台编码智能体时,这在内部绝非一个显而易见的必选项目;在信息不完备(Incomplete information)的严苛条件下做出合理稳健的架构设计决策;以及在漫长、曲折且充满未知的技术中盘阶段(The long middle of the project)牢牢维持住项目向前推进的势头。 针对当前华尔街、SaaS 板块以及二级市场上弥漫的“AI 砸烂软件工程饭碗”的悲观叙事,演讲者予以了直接反驳。外行人往往认为用自然语言“Vibe Code 一下”就把产品做出来了,但从原型到真正跨越磨难、找到产品市场契合点(Product-Market Fit, PMF)、让企业级客户真正放心依赖并愿意付费的部署落地,中间那段无比复杂的工程攻坚过程,正是必须依赖顶级工程师的原因所在。 面对外界铺天盖地的“末日论(Doomerism)”与焦虑感,演讲者表达了极具建设性的乐观态度。与制造业装配流水线或传统农业完全不同,软件工程具备无限演进的特性。Ramp 内部甚至有一个深植于团队文化与市场宣发中的著名梗(Meme):“工作尚未完成(Job's not finished)”。软件世界永远处在“未完工”的迭代状态。当繁琐的低层级编码被 AI 智能体接管后,释放出的巨大工程师智力产能并不会带来岗位终结,反而会让企业具备前所未有的余裕去大举进军那些过去受限于人力成本而根本不敢涉足的全新业务机会。正如演讲者总结道:“我认为软件在本质上是永远无法做完的。” ### [35:54](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=2154s) 重塑软件开发边界与未来十年的产品叙事 演讲者在总结时深入探讨了 AI 技术如何从根本上改变软件开发与工程效率的底层逻辑。很多人可能会简单地认为,当所有人的生产力提升两倍时,公司就可以缩减一半的人员规模,但实际的行业发展方向并非如此。现实情况是,团队将利用这种新型能力去进军相邻市场,为客户串联并提供更多复合价值,甚至去解决那些如果这项技术不存在就根本无力在金融技术栈(financial stack)中触碰的问题。正如演讲者所言:“It's not going to be like because everyone's 2x more productive, you need two less or half the people.” 生产力的质变催生的是更宏大的工程野心,而非单纯的人员精简。 这种能力飞跃让团队能够着手重构过去那些因为成本过高而不敢触碰的遗留系统。演讲者以 Ramp 自身的实践为例指出,在一家主营财务运营(financial operations)软件的公司内部,去构建一个在后台运行的代码编写代理(internal background coding agent),在过去听起来几乎是个不可思议的疯狂想法,但在当下却变得极为合理且极具价值。正如演讲者所总结:“You're going to rebuild systems that are too expensive to touch.” 最后,演讲者强调了这项技术对产品体验标准的彻底拉高。在未来的软件竞争中,“足够好(good enough)”的门槛已经被大幅提升,工程师与产品团队现在的目标是为用户打造令人惊叹的全新体验,并提供呈数量级增长的实际价值。正如演讲者在演讲尾声所展望的那样:“I think, you know, being able to kind of build more mind-blowing experiences for users, provide a lot more value is going to be the narrative of the next decade.” 演讲者表示,自己对能够参与构建这些突破性产品感到无比兴奋,同时也非常期待在场的各位同行在接下来的十年中能创造出怎样改变行业的技术与应用。 - 团队将利用 AI 释放的生产力进军相邻市场,为客户串联更深度的价值链路,解决以往受技术限制而无法涉足的金融栈难题。 - “效率提升导致裁员”是一种狭隘的误解,真正的趋势是企业得以重构过往维护成本极其高昂的核心系统。 - 研发像内部后台编码代理这类以往看似脱离金融业务主线的工具,如今已成为构建下一代企业应用壁垒的合理选择。 - 未来十年的核心叙事是彻底颠覆“足够好”的体验标准,通过生成式与代理技术为终端用户带来颠覆性的产品体验。 ## Notable quotes > [03:37](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=217s) you want to drive your framework towards a single agent with a thousand skills. — Nik Koblov > [12:32](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=752s) The simpler the system, I think the easier it is to iterate on top of it — Will Koh > [35:54](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=2154s) You're going to rebuild systems that are too expensive to touch. > [34:16](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=2056s) 我认为软件在本质上是永远无法做完的。 > [31:17](https://www.youtube.com/watch?v=NMs8C2_3M0w&t=1877s) 在很长一段时间里,写代码其实从来都不是许多技术岗位中最困难的部分。 ## Mentioned Ramp, Nik Koblov, Veeral Patel, Will Koh, Ian Tracey, The Pragmatic Engineer, Brian, OmniChat, Andrej Karpathy, Claude, Claude Opus, Streamlit, Clockwork, LiteLLM, GPT-5.3, Opus 4.6, Gemini 3 Pro, Anthropic, OpenAI, Ramp Inspect, Modal, GitHub, Datadog, Slack, Notion, incident.io, Chrome DevTools, Model Context Protocol (MCP), open-inspect, Harvard University ## Video description With Nik Koblov (EVP Engineering), Veeral Patel (Director, Applied AI and Spend), Will Koh (Staff Engineer, Applied AI), and Ian Tracey (Staff Software Engineer). Recorded at The Pragmatic Summit www.pragmaticsummit.com Watch the session with Q&A also included: https://newsletter.pragmaticengineer.com/p/the-pragmatic-summit-recordings 0:00 Intro 3:31 Pivot: from many agents to one agent with many skills 7:17 Policy Agent 12:21 Tooling lessons 22:46 Infrastructure + culture 26:13 Tool catalogs, sandboxing, and reliability at scale [Source](https://www.youtube.com/watch?v=NMs8C2_3M0w)

Source quotes

[3:37] Nik Koblov: you want to drive your framework towards a single agent with a thousand skills. [12:32] Will Koh: The simpler the system, I think the easier it is to iterate on top of it [35:54] You're going to rebuild systems that are too expensive to touch. [34:16] 我认为软件在本质上是永远无法做完的。 [31:17] 在很长一段时间里,写代码其实从来都不是许多技术岗位中最困难的部分。