Baseten重构AI推理底座 跨云调度千卡助微型团队创亿级营收

Inference in the Wild: Lessons from Scaling Real-time AI in Production With Baseten — Ai4

Ai4

生产级AI推理绝非单纯堆叠GPU硬件与开源框架,企业唯有打通模型运行时深度调优、跨云容量编排及客户端全链路工程,才能以不足百人的微型团队支撑过亿美元ARR的极速扩张。

AI-assisted summary of Inference in the Wild: Lessons from Scaling Real-time AI in Production With Baseten — original source. Check the original for full context.

Source published:

Detailed notes

## Background 本视频由 Ai4 官方频道于 2025 年 8 月 24 日在 YouTube 平台发布,记录了 Baseten 开发者布道师 Philip Kiely 的主题演讲。根据页面简介,演讲结合了 Baseten 在初创企业与大型企业中部署关键 AI 生产负载的实战经验,系统拆解构建生产级推理平台的核心要素与避坑指南。

## TL;DR 演讲探讨了在 AI 原生企业极速崛起与开源模型大爆发的交汇下,如何破解生产级实时 AI 推理的工程瓶颈。Philip 指出单纯依靠“GPU + 现成推理框架”无法满足企业对质量、低延迟、成本经济性及差异化护城河的严苛要求。通过 Sourcegraph 投机采样优化延迟至 200ms、跨云弹性调度 1,800 张 H100 GPU 应对突发流量,以及优化客户端绕过 Python GIL 提升 12 倍吞吐等真实案例,他论证了生产级推理必须深度融合模型运行时调优、分布式多云基础设施与扎实的传统软件工程基本功。

## Atmosphere & style 整场演讲节奏明快、务实且极具工程师洞察力,既有对宏观行业趋势(如微型团队创造过亿营收)的宏大叙事,又有深入底层代码和网络握手协议的硬核剖析。Philip 的分享风格接地气且充满热情,将抽象的架构理论与生动的实战踩坑故事紧密结合,带给观众专业、严谨而又富有启发性的技术临场感。

## Key takeaways - [00:04](https://www.youtube.com/watch?v=xYn20Yv_giE&t=4s) AI 原生时代的推理基础设施需求,由“AI 原生初创公司的爆发式增长”与“开源模型生态的全面繁荣”两大核心趋势共同驱动。 - [01:12](https://www.youtube.com/watch?v=xYn20Yv_giE&t=72s) AI 原生企业打破了传统 SaaS 增长规律,仅需 1 至 2 年即可实现 1 亿美元 ARR,并呈现出人均创造 100 万美元 ARR 的“微型团队”特征。 - [03:00](https://www.youtube.com/watch?v=xYn20Yv_giE&t=180s) 音视频剪辑工具 Descript 与高性能编辑器 Zed 证明,底层极低延迟的实时 AI 推理能力能够直接重塑产品的交互与交付体验。 - [04:50](https://www.youtube.com/watch?v=xYn20Yv_giE&t=290s) AI 原生企业对底层基础设施有着四大核心诉求:垂直领域的极致质量、毫秒级交互延迟、成本自主掌控能力,以及摆脱“ChatGPT 包装工”的技术差异化护城河。 - [06:34](https://www.youtube.com/watch?v=xYn20Yv_giE&t=394s) 开源模型已覆盖全模态且具备模块化组合特性(如基于 Llama 架构微调改造的 Orpheus TTS),成为企业构建差异化壁垒的关键底座。 - [09:15](https://www.youtube.com/watch?v=xYn20Yv_giE&t=555s) 简单的“GPU + 现成开源推理框架(如 vLLM)”拼凑方案在严苛生产环境中极易崩溃,无法单独解决全方位的性能、弹性与工程难题。 - [10:31](https://www.youtube.com/watch?v=xYn20Yv_giE&t=631s) 通过引入 TensorRT-LLM 与重构投机采样算法,Sourcegraph 将代码补全延迟从 700 毫秒压低至 200 毫秒左右,突破了实时交互的心流阈值。 - [12:43](https://www.youtube.com/watch?v=xYn20Yv_giE&t=763s) 依托多云容量管理架构的全局控制面与分布式工作负载面,系统可实现单次发布跨云自动弹性调度超过 1,800 张 H100 GPU,消除硬件库存断点。 - [14:37](https://www.youtube.com/watch?v=xYn20Yv_giE&t=877s) 模型之外的客户端与网络握手损耗常是不可见的性能瓶颈,通过绕过 Python GIL 限制等客户端优化,可在同等硬件配置下实现 12 倍的吞吐量提升。 - [16:33](https://www.youtube.com/watch?v=xYn20Yv_giE&t=993s) 生产级推理绝不仅仅关乎算力芯片(GPU),而是模型运行时优化、分布式多云基础设施与扎实系统软件工程基本功的深度结合。

## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=xYn20Yv_giE&t=4s) 什么是推理:AI 原生时代的两大核心趋势

来自 Baseten 的开发者布道师 Philip Kiely 以公司标志性的户外广告标语“推理就是一切”(inference is everything)开场,深入探讨在当前技术周期下构建生产级 AI 基础设施的核心意义。Baseten 团队专注于为创业公司打造高性能推理平台。Philip 指出,要理解现代 AI 推理平台的重要性,必须把握当前行业发展的两大交汇趋势:第一是“AI 原生”(AI-native)初创公司的爆发式增长,第二是开源模型生态在全球范围内的全面繁荣。

当这两大趋势相互碰撞时,企业对运行在开源模型之上的高可靠性、高弹性扩展能力以及极低延迟推理基础设施产生了前所未有的迫切需求。Philip 强调,本次分享将通过实际客户案例,拆解 Baseten 如何协助前沿团队解决真实生产场景中的工程瓶颈,并最终打通从模型实验到规模化商用的完整链路。

[01:12](https://www.youtube.com/watch?v=xYn20Yv_giE&t=72s) 趋势一:AI 原生企业的极速崛起与“微型团队”现象

在第一大趋势中,AI 原生企业的扩张速度正在彻底颠覆传统商业软件的增长模型。在传统 SaaS 时代,一家顶尖企业从 100 万美元年度经常性收入(ARR)增长到 1 亿美元 ARR 通常需要 5 到 10 年的时间,这已被视为行业标杆;然而在 AI 原生时代,这一周期被压缩到了惊人的 1 至 2 年。这些新兴企业在极其年轻、甚至尚未完全成熟的全新市场中,以月复一月的节奏新增数百万乃至数千万美元的营收。

更引人注目的是伴随高增长而来的“微型团队”(Tiny Teams)现象。传统 SaaS 企业达到 1 亿美元 ARR 时往往需要数百甚至数千名员工,而当下的非官方标准则是人均创造 100 万美元 ARR。许多 AI 原生企业在团队总人数不足 100 人的情况下,就实现了过亿美元的收入规模。“巨额收入增长伴随着极低的人员扩张”,这种反常识的生产力跃迁正是由高密度算力与高度自动化的生产级 AI 系统所驱动的。

- **ARR 扩张周期**:从 100 万美元到 1 亿美元 ARR,传统 SaaS 需 5–10 年,AI 原生企业仅需 1–2 年。 - **人均产出基准**:微型团队以人均 100 万美元 ARR 为特征,百人以内团队即可支撑过亿业务。

[03:00](https://www.youtube.com/watch?v=xYn20Yv_giE&t=180s) 真实生产案例:Descript 与 Zed 的极速体验背后

Baseten 支撑了许多头部 AI 原生团队的核心生产负载,其中最具代表性的是音视频编辑工具 Descript 和高性能代码编辑器 Zed Industries。作为内容创作者,Philip 分享了自己的切身体会:过去使用传统剪辑软件如 iMovie 制作视频时,需要手动剪切素材、逐行添加字幕和标题卡,每产出 1 分钟成品视频往往需要花费 1 个小时进行剪辑;而在 Descript 中,用户只需像编辑文本文档一样直接修改转录脚本,系统便会自动剪辑视频并生成字幕,将原本耗时数小时的工作缩短至不到 1 小时。Baseten 在底层为其提供了强大的音频转录与 AI 功能推理支持。

另一个典型案例是主打极致性能的代码编辑器 Zed Industries。与 Cursor 等竞品类似,Zed 在代码编辑中深度集成了 AI 能力,但其独特之处在于整个编辑器完全基于 Rust 语言构建,对系统资源要求极低且运行极其流畅。为了将这种对“速度”的执着延伸到 AI 交互体验中,Zed 联合 Baseten 优化了后台模型与推理链路,实现了极低延迟的代码自动补全与实时模型响应。

[04:50](https://www.youtube.com/watch?v=xYn20Yv_giE&t=290s) AI 原生企业对基础设施的四大诉求:拒绝只做“包装工”

随着业务的演进,AI 原生企业对底层基础设施的要求高度聚焦在四个核心维度:

```mermaid flowchart LR accTitle: AI Native Infrastructure Priorities A["AI 原生企业底层诉求"] --> B["1. 质量 (Quality)"] A --> C["2. 延迟 (Latency)"] A --> D["3. 经济效益 (Economics)"] A --> E["4. 差异化 (Differentiation)"] B --> B1["垂直领域极致精准(如 OpenEvidence)"] C --> C1["毫秒级交互反馈(语音与代码补全)"] D --> D1["从接受定价转变为自主掌控成本"] E --> E1["摆脱 ChatGPT 包装工,自研/微调专属模型"] ```

在质量层面,以被誉为“医生专用 ChatGPT”的 OpenEvidence 为例,医学场景下的每一个回答都关乎重大决策,对任务特定领域的质量要求容不得丝毫偏差。在延迟层面,特别是在语音代理(Voice Agent)或强交互场景中,用户的反馈循环以毫秒为单位计量,“赢下或输掉市场的差距就在眨眼之间”。

在经济效益与差异化层面,初创企业在高速增长期或许可以暂时容忍高昂的 Token 费用,但商业逻辑终究会回归单位经济学。企业迫切希望从被动接受公有 API 定价的“价格接受者”(price taker),转变为能够自主权衡性能与成本的“价格制定者”(price maker)。更重要的是,AI 原生企业坚决拒绝仅仅做一个简单的“ChatGPT 包装工”(ChatGPT wrapper),他们追求在底层模型与 AI 架构层面构建核心壁垒,全面掌控自身产品的技术命运。

[06:34](https://www.youtube.com/watch?v=xYn20Yv_giE&t=394s) 趋势二:开源模型大爆发与多模态组合创新

为了摆脱对单一闭源 API 的依赖,开源模型成为了企业构建技术护城河的关键支撑。目前 Hugging Face 平台上托管的开源 AI 模型已接近 200 万个,覆盖了几乎所有能够想象到的任务、尺寸和模态。在大型语言模型(LLM)领域,几个月前 DeepSeek 的横空出世震动了整个行业生态;与此同时,智谱 AI 的 GLM 系列、Kimi、阿里通义千问(Qwen / Qwen-Coder / Qwen 2.5)、Mistral、Gemma 以及 OpenAI 最新重返开源赛道推出的 GPT-OSS 等,使得开源模型的竞争力已全面比肩顶级闭源产品。

开源生态的魅力不仅限于文本,还在非 LLM 模态上展现出惊人的创新速度与复合衍生能力: - **图像生成**:基于 Diffusion Transformer 架构的 Qwen-Image 等模型已达到行业 SOTA 水平,引发了广泛的视觉创作潮流。 - **向量表征(Embedding)**:微调与开源向量模型已成为现代 AI 应用不可或缺的底层连接枢纽。 - **语音转录与合成(TTS)**:Whisper 稳居行业转录基准;而在语音合成领域,Orpheus TTS 的诞生被誉为开源语音领域的“Llama 时刻”。

Philip 特别指出,这些开源模型展现出强大的“模块化积木”特性。例如专门输出音频波形的语音合成模型 Orpheus TTS,其底层架构竟然是基于一年前用于处理纯文本的 Llama 3.2 3B 模型微调改造而来。开发者可以基于成熟的开源底座进行激进的架构重塑,直接满足特定业务场景的严苛需求。

[09:15](https://www.youtube.com/watch?v=xYn20Yv_giE&t=555s) 生产级推理之痛:为何“GPU + vLLM”并非终极解法

尽管开源模型生态繁荣,但将开源模型真正推向生产环境的复杂度却呈指数级上升。过去将 AI 接入产品的路径极其单线条:前往 openai.com 注册账号、获取 API Key、写入业务代码并直接上线;而自建开源推理流水线时,企业必须在保证快速上线的同时,兼顾高并发扩展与高可用可靠性。

许多工程团队早期的通用做法是:采购一批 GPU 服务器,拉取开源推理框架(如 vLLM、SGLang 或 TensorRT-LLM),部署后直接对外提供服务。然而 Philip 直言,这种“GPU + 现成推理框架”的拼凑式方案在严苛的生产环境中往往迅速崩溃。面对质量、延迟、经济效益和差异化这四重挑战,简单的技术堆叠无法解决模型性能调优、跨云基础设施编排、系统观测与 AI 工程落地等全方位的现实难题。

[10:31](https://www.youtube.com/watch?v=xYn20Yv_giE&t=631s) 案例一:Sourcegraph 毫秒级代码自动补全与投机采样优化

在实时人机协同场景中,代码自动补全对延迟有着极其严苛的要求。以普通开发者每分钟约 60 个单词的打字速度计算,击键之间的间隔仅在几百毫秒之内,AI 补全必须跟上键盘输入的节奏才能形成无缝心流。Sourcegraph 在为其代码补全功能(Amp Tab)构建推理引擎时,就曾遭遇严重的延迟尖峰,响应时间一度飙升至 700 毫秒。对于开发者而言,每次敲击 Tab 键都需要停顿等待,这种迟滞足以彻底摧毁产品体验。

```mermaid flowchart LR accTitle: Speculative Decoding Architecture subgraph SpeculativeDecoding["投机采样 (Speculative Decoding)"] direction TB A["输入提示词 (Prompt)"] --> B["小型草稿模型 (Draft Model)"] B -->|"快速生成候选 Token"| C["草稿候选 (Draft Tokens)"] C --> D["大型目标模型 (Target Model)"] D -->|"单次前向传播批量验证"| E{"验证是否接受?"} E -- "高接受率通过" --> F["输出最终 Token (大幅缩短耗时)"] E -- "拒绝/修正" --> B end ```

为了突破这一瓶颈,Baseten 团队与 Sourcegraph 深度协同展开了一系列底层优化: 1. **运行时优化**:引入 TensorRT-LLM 作为高性能推理引擎,并配合深度的 KV Cache(键值缓存)管理。 2. **投机采样(Speculative Decoding)算法重构**:编写了超过 1,000 行核心解码算法代码,设计了质量更高的草稿 Token 生成逻辑,显著提升了大模型验证时的命中接受率。

通过由轻量级草稿模型快速生成候选词、大模型单次前向传播统一验证的协作机制,系统将端到端延迟大幅压低至两百毫秒左右,达到了人类反应时间的极限阈值,成功让自动补全从“卡顿等待”转变为“实时行云流水”。

[12:43](https://www.youtube.com/watch?v=xYn20Yv_giE&t=763s) 案例二:1,800 张 GPU 的极速弹性与多云容量调度

除了极致的单请求延迟,面对爆发式流量洪峰时的规模化供给同样是一场严峻考验。某客户在重大产品发布会前夕向 Baseten 提出算力储备诉求,团队面临的是一场横跨千卡级别的动态扩容实战。

```mermaid flowchart TD accTitle: Multi-Cloud Capacity Management subgraph ControlPlane["全局控制面 (Global Control Plane)"] CP["统一流量路由与弹性扩缩容控制器"] end subgraph WorkloadPlanes["分布式工作负载面 (Workload Planes)"] R1["云厂商 A - 主可用区 (400 GPUs 稳态)"] R2["云厂商 A - 溢出可用区"] R3["云厂商 B / C - 跨云溢出节点 (峰值 1,800+ GPUs)"] end CP -->|"流量监控与跨区调度"| R1 CP -->|"算力打满自动溢出"| R2 CP -->|"跨云故障转移与容量补充"| R3 ```

在发布当天,该客户的日常算力稳定在约 400 张 NVIDIA H100 GPU 左右,随后突发流量迅速触发自动化弹性扩容,瞬间飙升并跨地域调度了超过 1,800 张 H100 GPU,并在活动结束后平稳缩容回基准线。整个伸缩过程完全基于实时流量自动触发,无需人工介入。

该案例的核心挑战在于,突发流量所需的 GPU 总量直接击穿了客户主用云服务商在单一地域内的物理机房库存。Baseten 依托“多云容量管理”(Multi-cloud Capacity Management)架构,建立了全局统一的控制平面(Control Plane)与分布于不同云厂商、不同地域的众多工作负载平面(Workload Planes): - **主动-主动(Active-Active)高可用**:单一数据中心或云厂商出现故障时,业务流量无缝切换,避免全局瘫痪。 - **跨云弹性溢出**:本地算力耗尽时,动态调度其他地域与异构云资源,彻底消除硬件供应断点。 - **就近接入与成本优化**:将计算实例部署在物理位置更靠近终端用户的节点,在降低网络往返延迟的同时获取更具优势的算力定价。

[14:37](https://www.youtube.com/watch?v=xYn20Yv_giE&t=877s) 案例三:消灭不可见的性能瓶颈——客户端与全链路优化

在追求极速推理的过程中,真正的性能瓶颈往往潜藏在模型之外的隐蔽角落。Philip 分享了开发者之间经常发生的技术争论:开发者阅读官方博客后预期获得 200 毫秒的端到端延迟,但实际测试却测出 300 毫秒,因而质疑官方数据造假。经排查发现,模型本身的执行耗时与基准测试完全一致,多出的 100 毫秒完全损耗在客户端与网络协议层的“最后一公里”中。

经典的传统软件工程缺陷(如未复用 HTTP 连接、每次请求重新建立 TCP/TLS 握手)会凭空为每次调用增加几十毫秒的开销。此外,Python 的全局解释器锁(GIL)也是限制客户端高并发请求的典型元凶。针对这些痛点,Baseten 工程师专门开发了高性能客户端(Baseten Performance Client):

- **绕过 Python GIL 限制**:利用客户端多 CPU 核心并发调度,突破单线程吞吐极限。 - **高负载压测表现**:在处理 200 万条向量嵌入(Embedding)的大规模数据集回填(Corpus Backfill)与微调预处理基准测试中,在完全相同的硬件配置与模型条件下,仅通过优化客户端发送吞吐与 GPU 饱和度,便实现了整整 12 倍的吞吐量提升(12x improvement in throughput)。

[16:33](https://www.youtube.com/watch?v=xYn20Yv_giE&t=993s) 回归软件工程本质:生产环境推理绝非仅仅关乎 GPU

Philip Kiely 在演讲的尾声部分特别强调,尽管当前的生成式 AI 领域充满了各种新奇、好玩且引人入胜的技术概念,但在落地过程中,开发者绝不能忽视扎实可靠的“传统软件工程基本功”。在构建此类面向真实业务场景的产品时,扎实的软件工程实践不仅没有过时,反而比以往任何时候都更加至关重要。

为了给整场演讲做核心总结,Philip 指出,在生产环境中扩展 AI 工作负载时必须认识到:“推理绝不仅仅关乎 GPU(inference is more than just GPUs)”。一个真正具备生产级韧性的推理平台,本质上是模型运行时优化(runtime)、分布式多云基础设施(infrastructure),以及将这两者紧密编织在一起的高质量系统工程实践(engineering work)的综合体。如果把这一套技术底座构建到位,它将释放出惊人的生产力杠杆——能够支撑起那些“以空前速度爆发式增长、背后却仅由规模极小的敏捷团队(unprecedentedly small teams)所打造”的前沿 AI 产品。

在致谢环节,Philip 对现场观众的聆听表达了感谢,并表示演讲结束后会在会场外停留以回答大家的具体提问。此外,他热情邀请参会者前往展厅的 Baseten 600 号展台(Booth 600)进行深入交流。他和团队同事在当天剩余时间以及次日全天都会驻守展台,现场参会者只需向工作人员说明自己参加了本场演讲,便可免费领取一件 Baseten 的定制 T 恤周边。

- **推理平台的真正构成**:生产环境下的 AI 推理绝非只是购买或租用算力芯片,而是模型运行时优化、弹性和多云基础设施、以及连接两者的系统工程三者的深度结合。 - **技术杠杆与团队规模**:优秀的推理基础设施能够抹平底层复杂性,让极其精简的工程团队承载起前所未有的超大规模用户流量与业务增长。 - **展台交流与福利**:Baseten 在大会展厅设有 600 号展位(Booth 600),听众可前往与工程师交流并凭参会凭证领取定制 T 恤。

## Notable quotes > [00:04](https://www.youtube.com/watch?v=xYn20Yv_giE&t=4s) 推理就是一切 — Philip Kiely

> [01:12](https://www.youtube.com/watch?v=xYn20Yv_giE&t=72s) 巨额收入增长伴随着极低的人员扩张 — Philip Kiely

> [04:50](https://www.youtube.com/watch?v=xYn20Yv_giE&t=290s) 赢下或输掉市场的差距就在眨眼之间 — Philip Kiely

> [04:50](https://www.youtube.com/watch?v=xYn20Yv_giE&t=290s) ChatGPT 包装工 — Philip Kiely

> [04:50](https://www.youtube.com/watch?v=xYn20Yv_giE&t=290s) 价格接受者 — Philip Kiely

> [04:50](https://www.youtube.com/watch?v=xYn20Yv_giE&t=290s) 价格制定者 — Philip Kiely

> [06:34](https://www.youtube.com/watch?v=xYn20Yv_giE&t=394s) Llama 时刻 — Philip Kiely

> [09:15](https://www.youtube.com/watch?v=xYn20Yv_giE&t=555s) GPU + 现成推理框架 — Philip Kiely

> [14:37](https://www.youtube.com/watch?v=xYn20Yv_giE&t=877s) 12x improvement in throughput — Philip Kiely

> [16:33](https://www.youtube.com/watch?v=xYn20Yv_giE&t=993s) 传统软件工程基本功 — Philip Kiely

> [16:33](https://www.youtube.com/watch?v=xYn20Yv_giE&t=993s) inference is more than just GPUs — Philip Kiely

> [16:33](https://www.youtube.com/watch?v=xYn20Yv_giE&t=993s) 以空前速度爆发式增长、背后却仅由规模极小的敏捷团队所打造 — Philip Kiely

## Mentioned Philip Kiely, Baseten, Descript, Zed Industries, OpenEvidence, Sourcegraph, Cursor, iMovie, Rust, Hugging Face, DeepSeek, 智谱 AI (GLM), Kimi, 通义千问 (Qwen / Qwen-Coder / Qwen 2.5 / Qwen-Image), Mistral, Gemma, OpenAI (GPT-OSS / ChatGPT), Whisper, Orpheus TTS, Llama (Llama 3.2 3B), vLLM, SGLang, TensorRT-LLM, Amp Tab, NVIDIA H100, Python GIL, Baseten Performance Client

## Video description Philip Kiely, Developer Advocate, Baseten

Abstracts

Real-time generative AI applications promise transformative user experiences—but scaling inference in production is a constant battle. Demand spikes, infrastructure meltdowns, and unpredictable model behaviors lurk behind every release. Drawing from direct experience deploying mission-critical AI workloads at startups and large enterprises, this talk covers the four essential components of a production-ready inference platform: applied model performance research, distributed multi-cloud infrastructure, model management and observability tooling, and AI engineering expertise. I'll highlight common pitfalls and share concrete advice on how to build robust, resilient systems that thrive under real-world demand.

[Source](https://www.youtube.com/watch?v=xYn20Yv_giE)

中文简报

Baseten 跨云调度 1800 块 H100 GPU 应对推理流量激增 标准生成式 AI 部署在生产环境中往往面临失败,因为实时延迟与扩缩容瓶颈源于多云容量限制、定制推测解码和客户端并发问题,而非仅取决于 GPU 的纯粹数量。 Kiely 探讨了现代 AI 原生初创公司如何依托自动化 AI 基础设施以及爆发式增长的多功能开源模型,凭借不足百人的团队实现 1 亿美元 ARR。他界定了推理策略的四大支柱——质量、延迟、经济效益与差异化,并阐释了简单的开箱即用部署在真实环境中屡屡失效的原因。结合客户实际案例,他详细说明了定制推测解码如何将 Sourcegraph Amp 的延迟大幅缩短至 200 毫秒、多云路由如何在一次重大发布期间调配超过 1800 块 H100 GPU,以及修复客户端瓶颈如何带来 12 倍的吞吐量提升,最终表明生产级推理需要严谨的软件工程,而非仅仅依赖原始 GPU 硬件。 Baseten 提出“推理即一切”,指出 AI 原生初创公司正以不足百人的极小团队在 1 至 2 年内将 ARR 从 100 万美元扩展至 1 亿美元,普遍将人均 100 万美元 ARR 视作效能标杆。 (1:12) 企业评估 AI 推理基础设施需聚焦四大支柱:特定领域的高质量输出、亚秒级交互延迟、从 Token“价格接受者”转向基础设施“定价者”的成本掌控力,以及基于开源权重的差异化产品壁垒。 (4:50) 开箱即用的推理引擎难以承受高并发生产流量,Sourcegraph Amp 通过重构 TensorRT-LLM 与编写逾千行定制化投机解码(Speculative Decoding)代码,将代码补全延迟从 700 毫秒压降至约 200 毫秒。 (10:31) 为应对单一数据中心算力耗尽的风险,Baseten 通过多云容量管理与全局控制平面实现跨区域跨厂商调度,在实际客户发布中将算力动态弹性扩展至超 1,800 张 Nvidia H100 GPU。 (12:43) 推理性能瓶颈常源于客户端而非 GPU 本身,通过绕过 Python GIL 并解决 HTTP 连接复用等传统工程问题,Baseten 在 200 万条 Embedding 处理测试中达成了 12 倍的端到端吞吐量提升。 (14:37)

精炼阅读摘要

Baseten开发者布道师Philip Kiely指出,在AI原生企业爆发式增长与开源模型普及的浪潮下,生产级推理已成为应用落地的核心瓶颈;构建可靠的高性能推理体系不仅依赖GPU算力,更取决于模型运行时优化、多云弹性编排与基础软件工程的深度协同。 AI原生团队超速增长与基建四要素 (1:12) Kiely表示,传统SaaS企业实现1亿美元年度经常性收入(ARR)通常需要5至10年以及数百至上千名员工,而当下的AI原生初创企业仅耗时1至2年、在团队不足百人的情况下便能达到同等规模,并普遍以每名员工创造100万美元ARR为运营目标。这种高人效增长依赖于自动化计算杠杆,例如视频编辑工具Descript将每分钟成品所需的人工剪辑时间由1小时压缩至全流程约1小时,Rust语言编写的高性能编辑器Zed亦通过低时延模型调用实现实时代码补全。 随着业务规模扩张,企业评估底层推理架构的核心维度呈现为四大支柱:输出质量(如医疗问答应用Open Evidence对内容准确性与零幻觉的极高要求)、交互时延(语音代理等交互界面依赖毫秒级响应)、经济效益(从被动接受Token调用定价转向自主调度硬件以控制单位经济成本),以及差异化竞争壁垒(拒绝仅作为基础模型的轻量封装,转向掌握专有权重与微调工作流)。 开源模型生态与开箱即用部署的现实瓶颈 (6:32) 相较于早期单纯调用闭源商用API,当前开源模型生态呈现爆发态势,Hugging Face平台托管了近200万个跨模态与多尺寸模型,涵盖DeepSeek、智谱AI的GLM系列、Kimi、通义千问Qwen 3系列、Mistral、Google Gemma以及OpenAI发布的GPT-OSS。同时,开源架构展现出高度的可组合性,例如Orpheus TTS通过对文本模型Llama 3.2 3B进行微调以直接生成音频Token,打破了既有模态界限。 但Kiely强调,直接采用vLLM、SGLang或TensorRT-LLM等开源推理框架挂载至少量GPU的简易部署方案,在实际生产环境中极易失效。开箱即用的配置往往无法承受真实的突发流量洪峰,也无法同时兼顾亚秒级响应、严苛的成本结构与定制化需求,企业仍须攻克模型性能研究、云基础设施调度与系统工程层面的诸多挑战。 极低时延优化与多云千卡弹性伸缩实践 (10:31) 针对开发者实时编码场景,代码补全时延的微小波动会直接打断工作心流。Baseten协助Sourcegraph解决了其Amp功能时延偶发飙升至700毫秒的严重瓶颈。工程团队引入TensorRT-LLM并重构KV缓存,自主编写了超过1,000行投机解码算法代码,利用小型草稿模型快速生成候选Token并交由主模型并行验证,最终将补全时延压缩至约200毫秒的人类反应极限范围内。 在应对极端流量激增方面,Baseten在某核心客户业务发布期间实现了算力规模从平稳期的约400张GPU动态扩展至超过1,800张Nvidia H100 GPU。面对单家云厂商单个数据中心物理库存耗尽的困境,其多云容量管理架构通过全局控制平面调度,在多区域与其他云服务商之间建立双活架构无缝承接溢出流量,避免了区域单点故障并保障了高可用性。 消除客户端隐藏损耗与坚守工程底座 (14:37) 生产环境中的性能瓶颈往往潜藏在GPU之外。Kiely指出,开发者常遇到模型基准测试为200毫秒但端到端实际耗时却达300毫秒的脱节现象,其主要诱因包括未复用HTTP连接导致的TLS握手额外开销,以及标准Python环境下的全局解释器锁(GIL)对CPU多核并发的制约,导致客户端发送请求速率不足,使远端高性能GPU处于算力饥饿状态。 通过开发绕过GIL限制、利用多核CPU并发执行的Baseten高性能客户端,团队在200万条嵌入向量的回填基准测试中,在硬件与模型完全不变的前提下实现了12倍的吞吐量提升。Kiely总结认为,生产级AI推理绝非简单等同于堆砌GPU,而是由模型运行时调优、分布式基础设施与基础软件工程规范共同构建的严谨工程体系。 Kiely总结指出,团队在追求前沿AI模型能力的同时,绝不能忽视传统软件工程的底层基本功;唯有在运行时调优、弹性分布式架构与系统工程之间保持平衡,小型工程团队才能支撑起AI原生业务的指数级增长。

Detailed notes — zh

## Background 本视频由 Ai4 官方频道于 2025 年 8 月 24 日在 YouTube 平台发布,记录了 Baseten 开发者布道师 Philip Kiely 的主题演讲。根据页面简介,演讲结合了 Baseten 在初创企业与大型企业中部署关键 AI 生产负载的实战经验,系统拆解构建生产级推理平台的核心要素与避坑指南。 ## TL;DR 演讲探讨了在 AI 原生企业极速崛起与开源模型大爆发的交汇下,如何破解生产级实时 AI 推理的工程瓶颈。Philip 指出单纯依靠“GPU + 现成推理框架”无法满足企业对质量、低延迟、成本经济性及差异化护城河的严苛要求。通过 Sourcegraph 投机采样优化延迟至 200ms、跨云弹性调度 1,800 张 H100 GPU 应对突发流量,以及优化客户端绕过 Python GIL 提升 12 倍吞吐等真实案例,他论证了生产级推理必须深度融合模型运行时调优、分布式多云基础设施与扎实的传统软件工程基本功。 ## Atmosphere & style 整场演讲节奏明快、务实且极具工程师洞察力,既有对宏观行业趋势(如微型团队创造过亿营收)的宏大叙事,又有深入底层代码和网络握手协议的硬核剖析。Philip 的分享风格接地气且充满热情,将抽象的架构理论与生动的实战踩坑故事紧密结合,带给观众专业、严谨而又富有启发性的技术临场感。 ## Key takeaways - [00:04](https://www.youtube.com/watch?v=xYn20Yv_giE&t=4s) AI 原生时代的推理基础设施需求,由“AI 原生初创公司的爆发式增长”与“开源模型生态的全面繁荣”两大核心趋势共同驱动。 - [01:12](https://www.youtube.com/watch?v=xYn20Yv_giE&t=72s) AI 原生企业打破了传统 SaaS 增长规律,仅需 1 至 2 年即可实现 1 亿美元 ARR,并呈现出人均创造 100 万美元 ARR 的“微型团队”特征。 - [03:00](https://www.youtube.com/watch?v=xYn20Yv_giE&t=180s) 音视频剪辑工具 Descript 与高性能编辑器 Zed 证明,底层极低延迟的实时 AI 推理能力能够直接重塑产品的交互与交付体验。 - [04:50](https://www.youtube.com/watch?v=xYn20Yv_giE&t=290s) AI 原生企业对底层基础设施有着四大核心诉求:垂直领域的极致质量、毫秒级交互延迟、成本自主掌控能力,以及摆脱“ChatGPT 包装工”的技术差异化护城河。 - [06:34](https://www.youtube.com/watch?v=xYn20Yv_giE&t=394s) 开源模型已覆盖全模态且具备模块化组合特性(如基于 Llama 架构微调改造的 Orpheus TTS),成为企业构建差异化壁垒的关键底座。 - [09:15](https://www.youtube.com/watch?v=xYn20Yv_giE&t=555s) 简单的“GPU + 现成开源推理框架(如 vLLM)”拼凑方案在严苛生产环境中极易崩溃,无法单独解决全方位的性能、弹性与工程难题。 - [10:31](https://www.youtube.com/watch?v=xYn20Yv_giE&t=631s) 通过引入 TensorRT-LLM 与重构投机采样算法,Sourcegraph 将代码补全延迟从 700 毫秒压低至 200 毫秒左右,突破了实时交互的心流阈值。 - [12:43](https://www.youtube.com/watch?v=xYn20Yv_giE&t=763s) 依托多云容量管理架构的全局控制面与分布式工作负载面,系统可实现单次发布跨云自动弹性调度超过 1,800 张 H100 GPU,消除硬件库存断点。 - [14:37](https://www.youtube.com/watch?v=xYn20Yv_giE&t=877s) 模型之外的客户端与网络握手损耗常是不可见的性能瓶颈,通过绕过 Python GIL 限制等客户端优化,可在同等硬件配置下实现 12 倍的吞吐量提升。 - [16:33](https://www.youtube.com/watch?v=xYn20Yv_giE&t=993s) 生产级推理绝不仅仅关乎算力芯片(GPU),而是模型运行时优化、分布式多云基础设施与扎实系统软件工程基本功的深度结合。 ## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=xYn20Yv_giE&t=4s) 什么是推理:AI 原生时代的两大核心趋势 来自 Baseten 的开发者布道师 Philip Kiely 以公司标志性的户外广告标语“推理就是一切”(inference is everything)开场,深入探讨在当前技术周期下构建生产级 AI 基础设施的核心意义。Baseten 团队专注于为创业公司打造高性能推理平台。Philip 指出,要理解现代 AI 推理平台的重要性,必须把握当前行业发展的两大交汇趋势:第一是“AI 原生”(AI-native)初创公司的爆发式增长,第二是开源模型生态在全球范围内的全面繁荣。 当这两大趋势相互碰撞时,企业对运行在开源模型之上的高可靠性、高弹性扩展能力以及极低延迟推理基础设施产生了前所未有的迫切需求。Philip 强调,本次分享将通过实际客户案例,拆解 Baseten 如何协助前沿团队解决真实生产场景中的工程瓶颈,并最终打通从模型实验到规模化商用的完整链路。 ### [01:12](https://www.youtube.com/watch?v=xYn20Yv_giE&t=72s) 趋势一:AI 原生企业的极速崛起与“微型团队”现象 在第一大趋势中,AI 原生企业的扩张速度正在彻底颠覆传统商业软件的增长模型。在传统 SaaS 时代,一家顶尖企业从 100 万美元年度经常性收入(ARR)增长到 1 亿美元 ARR 通常需要 5 到 10 年的时间,这已被视为行业标杆;然而在 AI 原生时代,这一周期被压缩到了惊人的 1 至 2 年。这些新兴企业在极其年轻、甚至尚未完全成熟的全新市场中,以月复一月的节奏新增数百万乃至数千万美元的营收。 更引人注目的是伴随高增长而来的“微型团队”(Tiny Teams)现象。传统 SaaS 企业达到 1 亿美元 ARR 时往往需要数百甚至数千名员工,而当下的非官方标准则是人均创造 100 万美元 ARR。许多 AI 原生企业在团队总人数不足 100 人的情况下,就实现了过亿美元的收入规模。“巨额收入增长伴随着极低的人员扩张”,这种反常识的生产力跃迁正是由高密度算力与高度自动化的生产级 AI 系统所驱动的。 - **ARR 扩张周期**:从 100 万美元到 1 亿美元 ARR,传统 SaaS 需 5–10 年,AI 原生企业仅需 1–2 年。 - **人均产出基准**:微型团队以人均 100 万美元 ARR 为特征,百人以内团队即可支撑过亿业务。 ### [03:00](https://www.youtube.com/watch?v=xYn20Yv_giE&t=180s) 真实生产案例:Descript 与 Zed 的极速体验背后 Baseten 支撑了许多头部 AI 原生团队的核心生产负载,其中最具代表性的是音视频编辑工具 Descript 和高性能代码编辑器 Zed Industries。作为内容创作者,Philip 分享了自己的切身体会:过去使用传统剪辑软件如 iMovie 制作视频时,需要手动剪切素材、逐行添加字幕和标题卡,每产出 1 分钟成品视频往往需要花费 1 个小时进行剪辑;而在 Descript 中,用户只需像编辑文本文档一样直接修改转录脚本,系统便会自动剪辑视频并生成字幕,将原本耗时数小时的工作缩短至不到 1 小时。Baseten 在底层为其提供了强大的音频转录与 AI 功能推理支持。 另一个典型案例是主打极致性能的代码编辑器 Zed Industries。与 Cursor 等竞品类似,Zed 在代码编辑中深度集成了 AI 能力,但其独特之处在于整个编辑器完全基于 Rust 语言构建,对系统资源要求极低且运行极其流畅。为了将这种对“速度”的执着延伸到 AI 交互体验中,Zed 联合 Baseten 优化了后台模型与推理链路,实现了极低延迟的代码自动补全与实时模型响应。 ### [04:50](https://www.youtube.com/watch?v=xYn20Yv_giE&t=290s) AI 原生企业对基础设施的四大诉求:拒绝只做“包装工” 随着业务的演进,AI 原生企业对底层基础设施的要求高度聚焦在四个核心维度: ```mermaid flowchart LR accTitle: AI Native Infrastructure Priorities A["AI 原生企业底层诉求"] --> B["1. 质量 (Quality)"] A --> C["2. 延迟 (Latency)"] A --> D["3. 经济效益 (Economics)"] A --> E["4. 差异化 (Differentiation)"] B --> B1["垂直领域极致精准(如 OpenEvidence)"] C --> C1["毫秒级交互反馈(语音与代码补全)"] D --> D1["从接受定价转变为自主掌控成本"] E --> E1["摆脱 ChatGPT 包装工,自研/微调专属模型"] ``` 在质量层面,以被誉为“医生专用 ChatGPT”的 OpenEvidence 为例,医学场景下的每一个回答都关乎重大决策,对任务特定领域的质量要求容不得丝毫偏差。在延迟层面,特别是在语音代理(Voice Agent)或强交互场景中,用户的反馈循环以毫秒为单位计量,“赢下或输掉市场的差距就在眨眼之间”。 在经济效益与差异化层面,初创企业在高速增长期或许可以暂时容忍高昂的 Token 费用,但商业逻辑终究会回归单位经济学。企业迫切希望从被动接受公有 API 定价的“价格接受者”(price taker),转变为能够自主权衡性能与成本的“价格制定者”(price maker)。更重要的是,AI 原生企业坚决拒绝仅仅做一个简单的“ChatGPT 包装工”(ChatGPT wrapper),他们追求在底层模型与 AI 架构层面构建核心壁垒,全面掌控自身产品的技术命运。 ### [06:34](https://www.youtube.com/watch?v=xYn20Yv_giE&t=394s) 趋势二:开源模型大爆发与多模态组合创新 为了摆脱对单一闭源 API 的依赖,开源模型成为了企业构建技术护城河的关键支撑。目前 Hugging Face 平台上托管的开源 AI 模型已接近 200 万个,覆盖了几乎所有能够想象到的任务、尺寸和模态。在大型语言模型(LLM)领域,几个月前 DeepSeek 的横空出世震动了整个行业生态;与此同时,智谱 AI 的 GLM 系列、Kimi、阿里通义千问(Qwen / Qwen-Coder / Qwen 2.5)、Mistral、Gemma 以及 OpenAI 最新重返开源赛道推出的 GPT-OSS 等,使得开源模型的竞争力已全面比肩顶级闭源产品。 开源生态的魅力不仅限于文本,还在非 LLM 模态上展现出惊人的创新速度与复合衍生能力: - **图像生成**:基于 Diffusion Transformer 架构的 Qwen-Image 等模型已达到行业 SOTA 水平,引发了广泛的视觉创作潮流。 - **向量表征(Embedding)**:微调与开源向量模型已成为现代 AI 应用不可或缺的底层连接枢纽。 - **语音转录与合成(TTS)**:Whisper 稳居行业转录基准;而在语音合成领域,Orpheus TTS 的诞生被誉为开源语音领域的“Llama 时刻”。 Philip 特别指出,这些开源模型展现出强大的“模块化积木”特性。例如专门输出音频波形的语音合成模型 Orpheus TTS,其底层架构竟然是基于一年前用于处理纯文本的 Llama 3.2 3B 模型微调改造而来。开发者可以基于成熟的开源底座进行激进的架构重塑,直接满足特定业务场景的严苛需求。 ### [09:15](https://www.youtube.com/watch?v=xYn20Yv_giE&t=555s) 生产级推理之痛:为何“GPU + vLLM”并非终极解法 尽管开源模型生态繁荣,但将开源模型真正推向生产环境的复杂度却呈指数级上升。过去将 AI 接入产品的路径极其单线条:前往 openai.com 注册账号、获取 API Key、写入业务代码并直接上线;而自建开源推理流水线时,企业必须在保证快速上线的同时,兼顾高并发扩展与高可用可靠性。 许多工程团队早期的通用做法是:采购一批 GPU 服务器,拉取开源推理框架(如 vLLM、SGLang 或 TensorRT-LLM),部署后直接对外提供服务。然而 Philip 直言,这种“GPU + 现成推理框架”的拼凑式方案在严苛的生产环境中往往迅速崩溃。面对质量、延迟、经济效益和差异化这四重挑战,简单的技术堆叠无法解决模型性能调优、跨云基础设施编排、系统观测与 AI 工程落地等全方位的现实难题。 ### [10:31](https://www.youtube.com/watch?v=xYn20Yv_giE&t=631s) 案例一:Sourcegraph 毫秒级代码自动补全与投机采样优化 在实时人机协同场景中,代码自动补全对延迟有着极其严苛的要求。以普通开发者每分钟约 60 个单词的打字速度计算,击键之间的间隔仅在几百毫秒之内,AI 补全必须跟上键盘输入的节奏才能形成无缝心流。Sourcegraph 在为其代码补全功能(Amp Tab)构建推理引擎时,就曾遭遇严重的延迟尖峰,响应时间一度飙升至 700 毫秒。对于开发者而言,每次敲击 Tab 键都需要停顿等待,这种迟滞足以彻底摧毁产品体验。 ```mermaid flowchart LR accTitle: Speculative Decoding Architecture subgraph SpeculativeDecoding["投机采样 (Speculative Decoding)"] direction TB A["输入提示词 (Prompt)"] --> B["小型草稿模型 (Draft Model)"] B -->|"快速生成候选 Token"| C["草稿候选 (Draft Tokens)"] C --> D["大型目标模型 (Target Model)"] D -->|"单次前向传播批量验证"| E{"验证是否接受?"} E -- "高接受率通过" --> F["输出最终 Token (大幅缩短耗时)"] E -- "拒绝/修正" --> B end ``` 为了突破这一瓶颈,Baseten 团队与 Sourcegraph 深度协同展开了一系列底层优化: 1. **运行时优化**:引入 TensorRT-LLM 作为高性能推理引擎,并配合深度的 KV Cache(键值缓存)管理。 2. **投机采样(Speculative Decoding)算法重构**:编写了超过 1,000 行核心解码算法代码,设计了质量更高的草稿 Token 生成逻辑,显著提升了大模型验证时的命中接受率。 通过由轻量级草稿模型快速生成候选词、大模型单次前向传播统一验证的协作机制,系统将端到端延迟大幅压低至两百毫秒左右,达到了人类反应时间的极限阈值,成功让自动补全从“卡顿等待”转变为“实时行云流水”。 ### [12:43](https://www.youtube.com/watch?v=xYn20Yv_giE&t=763s) 案例二:1,800 张 GPU 的极速弹性与多云容量调度 除了极致的单请求延迟,面对爆发式流量洪峰时的规模化供给同样是一场严峻考验。某客户在重大产品发布会前夕向 Baseten 提出算力储备诉求,团队面临的是一场横跨千卡级别的动态扩容实战。 ```mermaid flowchart TD accTitle: Multi-Cloud Capacity Management subgraph ControlPlane["全局控制面 (Global Control Plane)"] CP["统一流量路由与弹性扩缩容控制器"] end subgraph WorkloadPlanes["分布式工作负载面 (Workload Planes)"] R1["云厂商 A - 主可用区 (400 GPUs 稳态)"] R2["云厂商 A - 溢出可用区"] R3["云厂商 B / C - 跨云溢出节点 (峰值 1,800+ GPUs)"] end CP -->|"流量监控与跨区调度"| R1 CP -->|"算力打满自动溢出"| R2 CP -->|"跨云故障转移与容量补充"| R3 ``` 在发布当天,该客户的日常算力稳定在约 400 张 NVIDIA H100 GPU 左右,随后突发流量迅速触发自动化弹性扩容,瞬间飙升并跨地域调度了超过 1,800 张 H100 GPU,并在活动结束后平稳缩容回基准线。整个伸缩过程完全基于实时流量自动触发,无需人工介入。 该案例的核心挑战在于,突发流量所需的 GPU 总量直接击穿了客户主用云服务商在单一地域内的物理机房库存。Baseten 依托“多云容量管理”(Multi-cloud Capacity Management)架构,建立了全局统一的控制平面(Control Plane)与分布于不同云厂商、不同地域的众多工作负载平面(Workload Planes): - **主动-主动(Active-Active)高可用**:单一数据中心或云厂商出现故障时,业务流量无缝切换,避免全局瘫痪。 - **跨云弹性溢出**:本地算力耗尽时,动态调度其他地域与异构云资源,彻底消除硬件供应断点。 - **就近接入与成本优化**:将计算实例部署在物理位置更靠近终端用户的节点,在降低网络往返延迟的同时获取更具优势的算力定价。 ### [14:37](https://www.youtube.com/watch?v=xYn20Yv_giE&t=877s) 案例三:消灭不可见的性能瓶颈——客户端与全链路优化 在追求极速推理的过程中,真正的性能瓶颈往往潜藏在模型之外的隐蔽角落。Philip 分享了开发者之间经常发生的技术争论:开发者阅读官方博客后预期获得 200 毫秒的端到端延迟,但实际测试却测出 300 毫秒,因而质疑官方数据造假。经排查发现,模型本身的执行耗时与基准测试完全一致,多出的 100 毫秒完全损耗在客户端与网络协议层的“最后一公里”中。 经典的传统软件工程缺陷(如未复用 HTTP 连接、每次请求重新建立 TCP/TLS 握手)会凭空为每次调用增加几十毫秒的开销。此外,Python 的全局解释器锁(GIL)也是限制客户端高并发请求的典型元凶。针对这些痛点,Baseten 工程师专门开发了高性能客户端(Baseten Performance Client): - **绕过 Python GIL 限制**:利用客户端多 CPU 核心并发调度,突破单线程吞吐极限。 - **高负载压测表现**:在处理 200 万条向量嵌入(Embedding)的大规模数据集回填(Corpus Backfill)与微调预处理基准测试中,在完全相同的硬件配置与模型条件下,仅通过优化客户端发送吞吐与 GPU 饱和度,便实现了整整 12 倍的吞吐量提升(12x improvement in throughput)。 ### [16:33](https://www.youtube.com/watch?v=xYn20Yv_giE&t=993s) 回归软件工程本质:生产环境推理绝非仅仅关乎 GPU Philip Kiely 在演讲的尾声部分特别强调,尽管当前的生成式 AI 领域充满了各种新奇、好玩且引人入胜的技术概念,但在落地过程中,开发者绝不能忽视扎实可靠的“传统软件工程基本功”。在构建此类面向真实业务场景的产品时,扎实的软件工程实践不仅没有过时,反而比以往任何时候都更加至关重要。 为了给整场演讲做核心总结,Philip 指出,在生产环境中扩展 AI 工作负载时必须认识到:“推理绝不仅仅关乎 GPU(inference is more than just GPUs)”。一个真正具备生产级韧性的推理平台,本质上是模型运行时优化(runtime)、分布式多云基础设施(infrastructure),以及将这两者紧密编织在一起的高质量系统工程实践(engineering work)的综合体。如果把这一套技术底座构建到位,它将释放出惊人的生产力杠杆——能够支撑起那些“以空前速度爆发式增长、背后却仅由规模极小的敏捷团队(unprecedentedly small teams)所打造”的前沿 AI 产品。 在致谢环节,Philip 对现场观众的聆听表达了感谢,并表示演讲结束后会在会场外停留以回答大家的具体提问。此外,他热情邀请参会者前往展厅的 Baseten 600 号展台(Booth 600)进行深入交流。他和团队同事在当天剩余时间以及次日全天都会驻守展台,现场参会者只需向工作人员说明自己参加了本场演讲,便可免费领取一件 Baseten 的定制 T 恤周边。 - **推理平台的真正构成**:生产环境下的 AI 推理绝非只是购买或租用算力芯片,而是模型运行时优化、弹性和多云基础设施、以及连接两者的系统工程三者的深度结合。 - **技术杠杆与团队规模**:优秀的推理基础设施能够抹平底层复杂性,让极其精简的工程团队承载起前所未有的超大规模用户流量与业务增长。 - **展台交流与福利**:Baseten 在大会展厅设有 600 号展位(Booth 600),听众可前往与工程师交流并凭参会凭证领取定制 T 恤。 ## Notable quotes > [00:04](https://www.youtube.com/watch?v=xYn20Yv_giE&t=4s) 推理就是一切 — Philip Kiely > [01:12](https://www.youtube.com/watch?v=xYn20Yv_giE&t=72s) 巨额收入增长伴随着极低的人员扩张 — Philip Kiely > [04:50](https://www.youtube.com/watch?v=xYn20Yv_giE&t=290s) 赢下或输掉市场的差距就在眨眼之间 — Philip Kiely > [04:50](https://www.youtube.com/watch?v=xYn20Yv_giE&t=290s) ChatGPT 包装工 — Philip Kiely > [04:50](https://www.youtube.com/watch?v=xYn20Yv_giE&t=290s) 价格接受者 — Philip Kiely > [04:50](https://www.youtube.com/watch?v=xYn20Yv_giE&t=290s) 价格制定者 — Philip Kiely > [06:34](https://www.youtube.com/watch?v=xYn20Yv_giE&t=394s) Llama 时刻 — Philip Kiely > [09:15](https://www.youtube.com/watch?v=xYn20Yv_giE&t=555s) GPU + 现成推理框架 — Philip Kiely > [14:37](https://www.youtube.com/watch?v=xYn20Yv_giE&t=877s) 12x improvement in throughput — Philip Kiely > [16:33](https://www.youtube.com/watch?v=xYn20Yv_giE&t=993s) 传统软件工程基本功 — Philip Kiely > [16:33](https://www.youtube.com/watch?v=xYn20Yv_giE&t=993s) inference is more than just GPUs — Philip Kiely > [16:33](https://www.youtube.com/watch?v=xYn20Yv_giE&t=993s) 以空前速度爆发式增长、背后却仅由规模极小的敏捷团队所打造 — Philip Kiely ## Mentioned Philip Kiely, Baseten, Descript, Zed Industries, OpenEvidence, Sourcegraph, Cursor, iMovie, Rust, Hugging Face, DeepSeek, 智谱 AI (GLM), Kimi, 通义千问 (Qwen / Qwen-Coder / Qwen 2.5 / Qwen-Image), Mistral, Gemma, OpenAI (GPT-OSS / ChatGPT), Whisper, Orpheus TTS, Llama (Llama 3.2 3B), vLLM, SGLang, TensorRT-LLM, Amp Tab, NVIDIA H100, Python GIL, Baseten Performance Client ## Video description Philip Kiely, Developer Advocate, Baseten Abstracts Real-time generative AI applications promise transformative user experiences—but scaling inference in production is a constant battle. Demand spikes, infrastructure meltdowns, and unpredictable model behaviors lurk behind every release. Drawing from direct experience deploying mission-critical AI workloads at startups and large enterprises, this talk covers the four essential components of a production-ready inference platform: applied model performance research, distributed multi-cloud infrastructure, model management and observability tooling, and AI engineering expertise. I'll highlight common pitfalls and share concrete advice on how to build robust, resilient systems that thrive under real-world demand. [Source](https://www.youtube.com/watch?v=xYn20Yv_giE)

Source quotes

[0:04] Philip Kiely: 推理就是一切 [1:12] Philip Kiely: 巨额收入增长伴随着极低的人员扩张 [4:50] Philip Kiely: 赢下或输掉市场的差距就在眨眼之间 [4:50] Philip Kiely: ChatGPT 包装工 [4:50] Philip Kiely: 价格接受者 [4:50] Philip Kiely: 价格制定者 [6:34] Philip Kiely: Llama 时刻 [9:15] Philip Kiely: GPU + 现成推理框架 [14:37] Philip Kiely: 12x improvement in throughput [16:33] Philip Kiely: 传统软件工程基本功 [16:33] Philip Kiely: inference is more than just GPUs [16:33] Philip Kiely: 以空前速度爆发式增长、背后却仅由规模极小的敏捷团队所打造