Ai4
生产级AI推理绝非单纯堆叠GPU硬件与开源框架,企业唯有打通模型运行时深度调优、跨云容量编排及客户端全链路工程,才能以不足百人的微型团队支撑过亿美元ARR的极速扩张。
AI-assisted summary of Inference in the Wild: Lessons from Scaling Real-time AI in Production With Baseten — original source. Check the original for full context.
Source published:
Detailed notes
## Background 本视频由 Ai4 官方频道于 2025 年 8 月 24 日在 YouTube 平台发布,记录了 Baseten 开发者布道师 Philip Kiely 的主题演讲。根据页面简介,演讲结合了 Baseten 在初创企业与大型企业中部署关键 AI 生产负载的实战经验,系统拆解构建生产级推理平台的核心要素与避坑指南。
## TL;DR 演讲探讨了在 AI 原生企业极速崛起与开源模型大爆发的交汇下,如何破解生产级实时 AI 推理的工程瓶颈。Philip 指出单纯依靠“GPU + 现成推理框架”无法满足企业对质量、低延迟、成本经济性及差异化护城河的严苛要求。通过 Sourcegraph 投机采样优化延迟至 200ms、跨云弹性调度 1,800 张 H100 GPU 应对突发流量,以及优化客户端绕过 Python GIL 提升 12 倍吞吐等真实案例,他论证了生产级推理必须深度融合模型运行时调优、分布式多云基础设施与扎实的传统软件工程基本功。
## Atmosphere & style 整场演讲节奏明快、务实且极具工程师洞察力,既有对宏观行业趋势(如微型团队创造过亿营收)的宏大叙事,又有深入底层代码和网络握手协议的硬核剖析。Philip 的分享风格接地气且充满热情,将抽象的架构理论与生动的实战踩坑故事紧密结合,带给观众专业、严谨而又富有启发性的技术临场感。
## Key takeaways - [00:04](https://www.youtube.com/watch?v=xYn20Yv_giE&t=4s) AI 原生时代的推理基础设施需求,由“AI 原生初创公司的爆发式增长”与“开源模型生态的全面繁荣”两大核心趋势共同驱动。 - [01:12](https://www.youtube.com/watch?v=xYn20Yv_giE&t=72s) AI 原生企业打破了传统 SaaS 增长规律,仅需 1 至 2 年即可实现 1 亿美元 ARR,并呈现出人均创造 100 万美元 ARR 的“微型团队”特征。 - [03:00](https://www.youtube.com/watch?v=xYn20Yv_giE&t=180s) 音视频剪辑工具 Descript 与高性能编辑器 Zed 证明,底层极低延迟的实时 AI 推理能力能够直接重塑产品的交互与交付体验。 - [04:50](https://www.youtube.com/watch?v=xYn20Yv_giE&t=290s) AI 原生企业对底层基础设施有着四大核心诉求:垂直领域的极致质量、毫秒级交互延迟、成本自主掌控能力,以及摆脱“ChatGPT 包装工”的技术差异化护城河。 - [06:34](https://www.youtube.com/watch?v=xYn20Yv_giE&t=394s) 开源模型已覆盖全模态且具备模块化组合特性(如基于 Llama 架构微调改造的 Orpheus TTS),成为企业构建差异化壁垒的关键底座。 - [09:15](https://www.youtube.com/watch?v=xYn20Yv_giE&t=555s) 简单的“GPU + 现成开源推理框架(如 vLLM)”拼凑方案在严苛生产环境中极易崩溃,无法单独解决全方位的性能、弹性与工程难题。 - [10:31](https://www.youtube.com/watch?v=xYn20Yv_giE&t=631s) 通过引入 TensorRT-LLM 与重构投机采样算法,Sourcegraph 将代码补全延迟从 700 毫秒压低至 200 毫秒左右,突破了实时交互的心流阈值。 - [12:43](https://www.youtube.com/watch?v=xYn20Yv_giE&t=763s) 依托多云容量管理架构的全局控制面与分布式工作负载面,系统可实现单次发布跨云自动弹性调度超过 1,800 张 H100 GPU,消除硬件库存断点。 - [14:37](https://www.youtube.com/watch?v=xYn20Yv_giE&t=877s) 模型之外的客户端与网络握手损耗常是不可见的性能瓶颈,通过绕过 Python GIL 限制等客户端优化,可在同等硬件配置下实现 12 倍的吞吐量提升。 - [16:33](https://www.youtube.com/watch?v=xYn20Yv_giE&t=993s) 生产级推理绝不仅仅关乎算力芯片(GPU),而是模型运行时优化、分布式多云基础设施与扎实系统软件工程基本功的深度结合。
## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=xYn20Yv_giE&t=4s) 什么是推理:AI 原生时代的两大核心趋势
来自 Baseten 的开发者布道师 Philip Kiely 以公司标志性的户外广告标语“推理就是一切”(inference is everything)开场,深入探讨在当前技术周期下构建生产级 AI 基础设施的核心意义。Baseten 团队专注于为创业公司打造高性能推理平台。Philip 指出,要理解现代 AI 推理平台的重要性,必须把握当前行业发展的两大交汇趋势:第一是“AI 原生”(AI-native)初创公司的爆发式增长,第二是开源模型生态在全球范围内的全面繁荣。
当这两大趋势相互碰撞时,企业对运行在开源模型之上的高可靠性、高弹性扩展能力以及极低延迟推理基础设施产生了前所未有的迫切需求。Philip 强调,本次分享将通过实际客户案例,拆解 Baseten 如何协助前沿团队解决真实生产场景中的工程瓶颈,并最终打通从模型实验到规模化商用的完整链路。
[01:12](https://www.youtube.com/watch?v=xYn20Yv_giE&t=72s) 趋势一:AI 原生企业的极速崛起与“微型团队”现象
在第一大趋势中,AI 原生企业的扩张速度正在彻底颠覆传统商业软件的增长模型。在传统 SaaS 时代,一家顶尖企业从 100 万美元年度经常性收入(ARR)增长到 1 亿美元 ARR 通常需要 5 到 10 年的时间,这已被视为行业标杆;然而在 AI 原生时代,这一周期被压缩到了惊人的 1 至 2 年。这些新兴企业在极其年轻、甚至尚未完全成熟的全新市场中,以月复一月的节奏新增数百万乃至数千万美元的营收。
更引人注目的是伴随高增长而来的“微型团队”(Tiny Teams)现象。传统 SaaS 企业达到 1 亿美元 ARR 时往往需要数百甚至数千名员工,而当下的非官方标准则是人均创造 100 万美元 ARR。许多 AI 原生企业在团队总人数不足 100 人的情况下,就实现了过亿美元的收入规模。“巨额收入增长伴随着极低的人员扩张”,这种反常识的生产力跃迁正是由高密度算力与高度自动化的生产级 AI 系统所驱动的。
- **ARR 扩张周期**:从 100 万美元到 1 亿美元 ARR,传统 SaaS 需 5–10 年,AI 原生企业仅需 1–2 年。 - **人均产出基准**:微型团队以人均 100 万美元 ARR 为特征,百人以内团队即可支撑过亿业务。
[03:00](https://www.youtube.com/watch?v=xYn20Yv_giE&t=180s) 真实生产案例:Descript 与 Zed 的极速体验背后
Baseten 支撑了许多头部 AI 原生团队的核心生产负载,其中最具代表性的是音视频编辑工具 Descript 和高性能代码编辑器 Zed Industries。作为内容创作者,Philip 分享了自己的切身体会:过去使用传统剪辑软件如 iMovie 制作视频时,需要手动剪切素材、逐行添加字幕和标题卡,每产出 1 分钟成品视频往往需要花费 1 个小时进行剪辑;而在 Descript 中,用户只需像编辑文本文档一样直接修改转录脚本,系统便会自动剪辑视频并生成字幕,将原本耗时数小时的工作缩短至不到 1 小时。Baseten 在底层为其提供了强大的音频转录与 AI 功能推理支持。
另一个典型案例是主打极致性能的代码编辑器 Zed Industries。与 Cursor 等竞品类似,Zed 在代码编辑中深度集成了 AI 能力,但其独特之处在于整个编辑器完全基于 Rust 语言构建,对系统资源要求极低且运行极其流畅。为了将这种对“速度”的执着延伸到 AI 交互体验中,Zed 联合 Baseten 优化了后台模型与推理链路,实现了极低延迟的代码自动补全与实时模型响应。
[04:50](https://www.youtube.com/watch?v=xYn20Yv_giE&t=290s) AI 原生企业对基础设施的四大诉求:拒绝只做“包装工”
随着业务的演进,AI 原生企业对底层基础设施的要求高度聚焦在四个核心维度:
```mermaid flowchart LR accTitle: AI Native Infrastructure Priorities A["AI 原生企业底层诉求"] --> B["1. 质量 (Quality)"] A --> C["2. 延迟 (Latency)"] A --> D["3. 经济效益 (Economics)"] A --> E["4. 差异化 (Differentiation)"] B --> B1["垂直领域极致精准(如 OpenEvidence)"] C --> C1["毫秒级交互反馈(语音与代码补全)"] D --> D1["从接受定价转变为自主掌控成本"] E --> E1["摆脱 ChatGPT 包装工,自研/微调专属模型"] ```
在质量层面,以被誉为“医生专用 ChatGPT”的 OpenEvidence 为例,医学场景下的每一个回答都关乎重大决策,对任务特定领域的质量要求容不得丝毫偏差。在延迟层面,特别是在语音代理(Voice Agent)或强交互场景中,用户的反馈循环以毫秒为单位计量,“赢下或输掉市场的差距就在眨眼之间”。
在经济效益与差异化层面,初创企业在高速增长期或许可以暂时容忍高昂的 Token 费用,但商业逻辑终究会回归单位经济学。企业迫切希望从被动接受公有 API 定价的“价格接受者”(price taker),转变为能够自主权衡性能与成本的“价格制定者”(price maker)。更重要的是,AI 原生企业坚决拒绝仅仅做一个简单的“ChatGPT 包装工”(ChatGPT wrapper),他们追求在底层模型与 AI 架构层面构建核心壁垒,全面掌控自身产品的技术命运。
[06:34](https://www.youtube.com/watch?v=xYn20Yv_giE&t=394s) 趋势二:开源模型大爆发与多模态组合创新
为了摆脱对单一闭源 API 的依赖,开源模型成为了企业构建技术护城河的关键支撑。目前 Hugging Face 平台上托管的开源 AI 模型已接近 200 万个,覆盖了几乎所有能够想象到的任务、尺寸和模态。在大型语言模型(LLM)领域,几个月前 DeepSeek 的横空出世震动了整个行业生态;与此同时,智谱 AI 的 GLM 系列、Kimi、阿里通义千问(Qwen / Qwen-Coder / Qwen 2.5)、Mistral、Gemma 以及 OpenAI 最新重返开源赛道推出的 GPT-OSS 等,使得开源模型的竞争力已全面比肩顶级闭源产品。
开源生态的魅力不仅限于文本,还在非 LLM 模态上展现出惊人的创新速度与复合衍生能力: - **图像生成**:基于 Diffusion Transformer 架构的 Qwen-Image 等模型已达到行业 SOTA 水平,引发了广泛的视觉创作潮流。 - **向量表征(Embedding)**:微调与开源向量模型已成为现代 AI 应用不可或缺的底层连接枢纽。 - **语音转录与合成(TTS)**:Whisper 稳居行业转录基准;而在语音合成领域,Orpheus TTS 的诞生被誉为开源语音领域的“Llama 时刻”。
Philip 特别指出,这些开源模型展现出强大的“模块化积木”特性。例如专门输出音频波形的语音合成模型 Orpheus TTS,其底层架构竟然是基于一年前用于处理纯文本的 Llama 3.2 3B 模型微调改造而来。开发者可以基于成熟的开源底座进行激进的架构重塑,直接满足特定业务场景的严苛需求。
[09:15](https://www.youtube.com/watch?v=xYn20Yv_giE&t=555s) 生产级推理之痛:为何“GPU + vLLM”并非终极解法
尽管开源模型生态繁荣,但将开源模型真正推向生产环境的复杂度却呈指数级上升。过去将 AI 接入产品的路径极其单线条:前往 openai.com 注册账号、获取 API Key、写入业务代码并直接上线;而自建开源推理流水线时,企业必须在保证快速上线的同时,兼顾高并发扩展与高可用可靠性。
许多工程团队早期的通用做法是:采购一批 GPU 服务器,拉取开源推理框架(如 vLLM、SGLang 或 TensorRT-LLM),部署后直接对外提供服务。然而 Philip 直言,这种“GPU + 现成推理框架”的拼凑式方案在严苛的生产环境中往往迅速崩溃。面对质量、延迟、经济效益和差异化这四重挑战,简单的技术堆叠无法解决模型性能调优、跨云基础设施编排、系统观测与 AI 工程落地等全方位的现实难题。
[10:31](https://www.youtube.com/watch?v=xYn20Yv_giE&t=631s) 案例一:Sourcegraph 毫秒级代码自动补全与投机采样优化
在实时人机协同场景中,代码自动补全对延迟有着极其严苛的要求。以普通开发者每分钟约 60 个单词的打字速度计算,击键之间的间隔仅在几百毫秒之内,AI 补全必须跟上键盘输入的节奏才能形成无缝心流。Sourcegraph 在为其代码补全功能(Amp Tab)构建推理引擎时,就曾遭遇严重的延迟尖峰,响应时间一度飙升至 700 毫秒。对于开发者而言,每次敲击 Tab 键都需要停顿等待,这种迟滞足以彻底摧毁产品体验。
```mermaid flowchart LR accTitle: Speculative Decoding Architecture subgraph SpeculativeDecoding["投机采样 (Speculative Decoding)"] direction TB A["输入提示词 (Prompt)"] --> B["小型草稿模型 (Draft Model)"] B -->|"快速生成候选 Token"| C["草稿候选 (Draft Tokens)"] C --> D["大型目标模型 (Target Model)"] D -->|"单次前向传播批量验证"| E{"验证是否接受?"} E -- "高接受率通过" --> F["输出最终 Token (大幅缩短耗时)"] E -- "拒绝/修正" --> B end ```
为了突破这一瓶颈,Baseten 团队与 Sourcegraph 深度协同展开了一系列底层优化: 1. **运行时优化**:引入 TensorRT-LLM 作为高性能推理引擎,并配合深度的 KV Cache(键值缓存)管理。 2. **投机采样(Speculative Decoding)算法重构**:编写了超过 1,000 行核心解码算法代码,设计了质量更高的草稿 Token 生成逻辑,显著提升了大模型验证时的命中接受率。
通过由轻量级草稿模型快速生成候选词、大模型单次前向传播统一验证的协作机制,系统将端到端延迟大幅压低至两百毫秒左右,达到了人类反应时间的极限阈值,成功让自动补全从“卡顿等待”转变为“实时行云流水”。
[12:43](https://www.youtube.com/watch?v=xYn20Yv_giE&t=763s) 案例二:1,800 张 GPU 的极速弹性与多云容量调度
除了极致的单请求延迟,面对爆发式流量洪峰时的规模化供给同样是一场严峻考验。某客户在重大产品发布会前夕向 Baseten 提出算力储备诉求,团队面临的是一场横跨千卡级别的动态扩容实战。
```mermaid flowchart TD accTitle: Multi-Cloud Capacity Management subgraph ControlPlane["全局控制面 (Global Control Plane)"] CP["统一流量路由与弹性扩缩容控制器"] end subgraph WorkloadPlanes["分布式工作负载面 (Workload Planes)"] R1["云厂商 A - 主可用区 (400 GPUs 稳态)"] R2["云厂商 A - 溢出可用区"] R3["云厂商 B / C - 跨云溢出节点 (峰值 1,800+ GPUs)"] end CP -->|"流量监控与跨区调度"| R1 CP -->|"算力打满自动溢出"| R2 CP -->|"跨云故障转移与容量补充"| R3 ```
在发布当天,该客户的日常算力稳定在约 400 张 NVIDIA H100 GPU 左右,随后突发流量迅速触发自动化弹性扩容,瞬间飙升并跨地域调度了超过 1,800 张 H100 GPU,并在活动结束后平稳缩容回基准线。整个伸缩过程完全基于实时流量自动触发,无需人工介入。
该案例的核心挑战在于,突发流量所需的 GPU 总量直接击穿了客户主用云服务商在单一地域内的物理机房库存。Baseten 依托“多云容量管理”(Multi-cloud Capacity Management)架构,建立了全局统一的控制平面(Control Plane)与分布于不同云厂商、不同地域的众多工作负载平面(Workload Planes): - **主动-主动(Active-Active)高可用**:单一数据中心或云厂商出现故障时,业务流量无缝切换,避免全局瘫痪。 - **跨云弹性溢出**:本地算力耗尽时,动态调度其他地域与异构云资源,彻底消除硬件供应断点。 - **就近接入与成本优化**:将计算实例部署在物理位置更靠近终端用户的节点,在降低网络往返延迟的同时获取更具优势的算力定价。
[14:37](https://www.youtube.com/watch?v=xYn20Yv_giE&t=877s) 案例三:消灭不可见的性能瓶颈——客户端与全链路优化
在追求极速推理的过程中,真正的性能瓶颈往往潜藏在模型之外的隐蔽角落。Philip 分享了开发者之间经常发生的技术争论:开发者阅读官方博客后预期获得 200 毫秒的端到端延迟,但实际测试却测出 300 毫秒,因而质疑官方数据造假。经排查发现,模型本身的执行耗时与基准测试完全一致,多出的 100 毫秒完全损耗在客户端与网络协议层的“最后一公里”中。
经典的传统软件工程缺陷(如未复用 HTTP 连接、每次请求重新建立 TCP/TLS 握手)会凭空为每次调用增加几十毫秒的开销。此外,Python 的全局解释器锁(GIL)也是限制客户端高并发请求的典型元凶。针对这些痛点,Baseten 工程师专门开发了高性能客户端(Baseten Performance Client):
- **绕过 Python GIL 限制**:利用客户端多 CPU 核心并发调度,突破单线程吞吐极限。 - **高负载压测表现**:在处理 200 万条向量嵌入(Embedding)的大规模数据集回填(Corpus Backfill)与微调预处理基准测试中,在完全相同的硬件配置与模型条件下,仅通过优化客户端发送吞吐与 GPU 饱和度,便实现了整整 12 倍的吞吐量提升(12x improvement in throughput)。
[16:33](https://www.youtube.com/watch?v=xYn20Yv_giE&t=993s) 回归软件工程本质:生产环境推理绝非仅仅关乎 GPU
Philip Kiely 在演讲的尾声部分特别强调,尽管当前的生成式 AI 领域充满了各种新奇、好玩且引人入胜的技术概念,但在落地过程中,开发者绝不能忽视扎实可靠的“传统软件工程基本功”。在构建此类面向真实业务场景的产品时,扎实的软件工程实践不仅没有过时,反而比以往任何时候都更加至关重要。
为了给整场演讲做核心总结,Philip 指出,在生产环境中扩展 AI 工作负载时必须认识到:“推理绝不仅仅关乎 GPU(inference is more than just GPUs)”。一个真正具备生产级韧性的推理平台,本质上是模型运行时优化(runtime)、分布式多云基础设施(infrastructure),以及将这两者紧密编织在一起的高质量系统工程实践(engineering work)的综合体。如果把这一套技术底座构建到位,它将释放出惊人的生产力杠杆——能够支撑起那些“以空前速度爆发式增长、背后却仅由规模极小的敏捷团队(unprecedentedly small teams)所打造”的前沿 AI 产品。
在致谢环节,Philip 对现场观众的聆听表达了感谢,并表示演讲结束后会在会场外停留以回答大家的具体提问。此外,他热情邀请参会者前往展厅的 Baseten 600 号展台(Booth 600)进行深入交流。他和团队同事在当天剩余时间以及次日全天都会驻守展台,现场参会者只需向工作人员说明自己参加了本场演讲,便可免费领取一件 Baseten 的定制 T 恤周边。
- **推理平台的真正构成**:生产环境下的 AI 推理绝非只是购买或租用算力芯片,而是模型运行时优化、弹性和多云基础设施、以及连接两者的系统工程三者的深度结合。 - **技术杠杆与团队规模**:优秀的推理基础设施能够抹平底层复杂性,让极其精简的工程团队承载起前所未有的超大规模用户流量与业务增长。 - **展台交流与福利**:Baseten 在大会展厅设有 600 号展位(Booth 600),听众可前往与工程师交流并凭参会凭证领取定制 T 恤。
## Notable quotes > [00:04](https://www.youtube.com/watch?v=xYn20Yv_giE&t=4s) 推理就是一切 — Philip Kiely
> [01:12](https://www.youtube.com/watch?v=xYn20Yv_giE&t=72s) 巨额收入增长伴随着极低的人员扩张 — Philip Kiely
> [04:50](https://www.youtube.com/watch?v=xYn20Yv_giE&t=290s) 赢下或输掉市场的差距就在眨眼之间 — Philip Kiely
> [04:50](https://www.youtube.com/watch?v=xYn20Yv_giE&t=290s) ChatGPT 包装工 — Philip Kiely
> [04:50](https://www.youtube.com/watch?v=xYn20Yv_giE&t=290s) 价格接受者 — Philip Kiely
> [04:50](https://www.youtube.com/watch?v=xYn20Yv_giE&t=290s) 价格制定者 — Philip Kiely
> [06:34](https://www.youtube.com/watch?v=xYn20Yv_giE&t=394s) Llama 时刻 — Philip Kiely
> [09:15](https://www.youtube.com/watch?v=xYn20Yv_giE&t=555s) GPU + 现成推理框架 — Philip Kiely
> [14:37](https://www.youtube.com/watch?v=xYn20Yv_giE&t=877s) 12x improvement in throughput — Philip Kiely
> [16:33](https://www.youtube.com/watch?v=xYn20Yv_giE&t=993s) 传统软件工程基本功 — Philip Kiely
> [16:33](https://www.youtube.com/watch?v=xYn20Yv_giE&t=993s) inference is more than just GPUs — Philip Kiely
> [16:33](https://www.youtube.com/watch?v=xYn20Yv_giE&t=993s) 以空前速度爆发式增长、背后却仅由规模极小的敏捷团队所打造 — Philip Kiely
## Mentioned Philip Kiely, Baseten, Descript, Zed Industries, OpenEvidence, Sourcegraph, Cursor, iMovie, Rust, Hugging Face, DeepSeek, 智谱 AI (GLM), Kimi, 通义千问 (Qwen / Qwen-Coder / Qwen 2.5 / Qwen-Image), Mistral, Gemma, OpenAI (GPT-OSS / ChatGPT), Whisper, Orpheus TTS, Llama (Llama 3.2 3B), vLLM, SGLang, TensorRT-LLM, Amp Tab, NVIDIA H100, Python GIL, Baseten Performance Client
## Video description Philip Kiely, Developer Advocate, Baseten
Abstracts
Real-time generative AI applications promise transformative user experiences—but scaling inference in production is a constant battle. Demand spikes, infrastructure meltdowns, and unpredictable model behaviors lurk behind every release. Drawing from direct experience deploying mission-critical AI workloads at startups and large enterprises, this talk covers the four essential components of a production-ready inference platform: applied model performance research, distributed multi-cloud infrastructure, model management and observability tooling, and AI engineering expertise. I'll highlight common pitfalls and share concrete advice on how to build robust, resilient systems that thrive under real-world demand.
[Source](https://www.youtube.com/watch?v=xYn20Yv_giE)