SGLang母公司获英伟达投资 靠优化GPU利用率破解算力瓶颈

SGLang母公司获英伟达投资 靠优化GPU利用率破解算力瓶颈 大模型竞争已转向推理与算力效率革命，通过优化系统软件与服务编排打破前沿实验室的算力垄断。 随着 AI 主战场向推理端转移，高昂的 GPU 硬件因重复计算、数据搬运与协同不当等因素大量处于空转状态。通过 SGLang 的 RadixTree 机制实现 KV Cache 极致复用、采用 PD 分离消除等待、结合低精度计算与投机采样吃满算力，以及引入 Miles 训练框架解决 RL 后训练中的推训协同与不一致问题，能够全方位“榨”出硅片的性能极限。这不仅大幅降低了推理成本，更通过打造通用的 AI Infra 基础设施，打破了顶级前沿实验室（Frontier Lab）的技术与算力垄断。 全行业缺卡加剧使得 AI 竞赛全面转向推理部署，专注于榨干既有 GPU 性能的 AI Infra 成为千亿级热门赛道，Baseten、Fireworks 以及孵化自开源推理引擎 SGLang 的 RadixArk 估值与融资均迎来爆发式增长。 (0:00) CMU 遥测显示现有 GPU 存在严重的执行空转，在 Azure Code 和 OpenAI Chat 负载中超半数能耗被浪费在等待上；通过优化 AI Infra 上层的系统软件与服务编排，可将 GB200 等昂贵机柜的利用率大幅提升数倍。 (1:43) SGLang 提出 RadixAttention 技术，利用基数树（Radix Tree）管理与复用 KV Cache，结合缓存感知调度与分布式负载均衡，显著削减了多轮对话和 Agent 工作流中的“推理税”。 (8:45) 针对不同计算特性的 Prefill（预填充）与 Decode（解码）阶段，业界正全面转向 PD 分离架构，并辅以低精度量化与投机采样技术，将 GPU 吞吐量与生成速度大幅释放 2 至 4 倍。 (14:43) 面向强化学习后训练频繁交替推训的痛点，RadixArk 推出开源框架 Miles 协同打通推理与训练，旨在将全栈 AI 基础设施通用化，彻底打破头部前沿实验室对顶级算力工程能力的垄断。 (21:03)

随着AI重心转向持续爆发的推理阶段与强化学习后训练，行业面临硬件高昂与大范围算力闲置的矛盾，以SGLang和RadixArk为代表的AI Infra系统软件正通过全栈工程优化逼近硬件物理极限，推动基础设施平民化。 算力供需失衡与GPU高空转率危机 (1:43) 大模型步入推理阶段后，计算需求呈现不间断的爆炸式增长，行业陷入普遍缺卡状态。科技巨头今年资本开支预计超1万亿美元，黄仁勋甚至预测到2030年全球AI基础设施年投资将达4万亿美元，但华尔街担忧过度投资可能重蹈互联网泡沫时期的光纤过剩覆辙。与此同时，供应链面临严峻压力，内存价格单季度上涨90%，高端显存缺货预计排期至2027年。 硬件极度昂贵的背后是普遍的算力浪费。卡内基梅隆大学对涵盖A100到B200等6代共756块GPU监测31天的遥测显示，整体集群近20%的执行时间和11%的能耗被浪费在空转等待上。在特定工作负载中，OpenAI Chat类请求有52%的能耗耗于空转，Azure Code负载更有高达65%的能耗消耗在空转中，使得提升现有硬件利用率成为当务之急。 四层Infra架构与软件调优价值 (4:21) AI基础设施自底向上包含四层架构：能源基础设施、计算硬件、系统软件（如CUDA、算子库）以及服务编排（如vLLM、SGLang等推理引擎）。下两层属于建设与改造周期以年为单位的硬问题，上两层则属于工程算法调优的软问题。若单台采购成本约400万美元的GB200 NVL72机柜因软件缺乏优化导致利用率仅有50%，相当于白白浪费200万美元的算力价值；将利用率拉升至90%以上则等同于凭空创造出一台新机柜。 在此背景下，AI Infra赛道估值与收入爆发。Baseten年收入增长20倍且估值达130亿美元，Fireworks估值达到175亿美元，vLLM与SGLang商业化种子轮融资均超1亿美元。内部案例方面，Anthropic组建约200人的推理团队进行基础设施优化，直接助力公司在第二季度实现盈利。 推理引擎的核心优化技术突破 (8:45) 系统软件优化主要围绕四大方向展开：消除重复计算、减少等待、用满算力与协同资源。为消除重复计算，SGLang推出RadixAttention技术，利用基数树管理海量KV Cache以实现跨请求复用，并配合缓存感知调度、缓存淘汰机制以及分布式感知负载均衡器，大幅降低首Token延迟并削减显存占用。 针对等待与算力瓶颈，推理引擎采用连续批处理（Continuous Batching）让吞吐量提升2至4倍；同时推行PD分离架构，将计算密集的Prefill与访存密集的Decode解耦部署，如DeepSeek在Prefill端采用32张GPU协同。此外，结合显存与权重的低精度量化，以及利用小模型先行预测、大模型验证的投机采样（可提速2至3倍），全方位榨取H100等芯片的算力潜力。 推训协同与基础设施平民化野心 (21:03) 以OpenAI o1和DeepSeek R1为代表的强化学习后训练需要频繁进行“生成内容-评估打分-更新权重”的循环，传统架构会导致训练与推理在同一批GPU上相互等待。RadixArk推出开源框架Miles，将SGLang的高效样本生成与Miles的参数同步更新置于统一系统内，并解决了MoE架构在路由、Kernel及输出精度上的推训不一致（Mismatch）问题。 随着开源模型频繁发布，仅开放权重无法直接转化为Token。SGLang已成为AMD与英伟达等硬件发布当天（Day-0）的标准评测工具，吸引了英伟达、AMD、联发科及陈立武、陈福阳、John Schulman等投资。RadixArk创始人盛颖表示，团队最根本的意图是希望打破前沿实验室（Frontier Lab）的垄断，让AI Infra成为全行业共享的公共基础设施，让人人都能组建前沿实验室。 AI基础设施正从少数顶尖机构的专属工程壁垒转变为跨硬件生态的公共底座。尽管巨额资本开支与硬件供应链瓶颈依然受华尔街审视，但通过系统软件在KV Cache管理、PD分离及推训一致性上的极致榨取，算力效率的提升正在实质性降低AGI的技术与资金门槛。

[25:50] 盛颖: 因为人人都可以做 frontier lab。

[0:00] AI行业突然开始了一场“造芯大战” [0:03] OpenAI亮出了比脸还大的首枚推理芯片 [0:06] 谷歌计划将Gemini架构直接写入硅片 [0:10] Anthropic、智谱、DeepSeek [0:11] 也都相继传出了正在进行相关布局 [0:15] 他们把目光都投向了推理加速 [0:17] 背后的原因很简单 [0:19] 当模型竞争全面进入部署阶段 [0:21] 让模型更快、更便宜地跑起来 [0:24] 变成了最重要的事 [0:25] “推理的拐点已经到来” [0:28] 但是并不是每家公司都有资金、有能力 [0:31] 去重造一块芯片 [0:33] 而现在有一个市场 [0:35] 正在引发资本和巨头的关注 [0:37] 就是AI Infra [0:38] 但它背后的逻辑是 [0:39] 已经部署好的数据中心和GPU [0:41] 它本身还存在优化的空间 [0:44] AI推理平台Baseten一年收入增长了20倍 [0:47] 估值从21亿美元暴涨到了130亿美元 [0:51] 同赛道的Fireworks [0:52] 七个月内估值翻了四倍 [0:54] 达到了175亿美元 [0:56] 年化营收突破10亿美元 [0:58] 而最近这个赛道还迎来了一股强劲的势力 [1:01] 开源推理引擎“双子星”vLLM和SGLang [1:04] 前后脚宣布商业化 [1:06] 种子轮融资都超过了一亿美元 [1:08] 背后几乎聚齐了AI产业里面 [1:10] 所有巨头和顶级风投的名字 [1:12] 拉开了强强对决的大幕 [1:14] 所以“GPU的利用率” [1:16] 成为了硅谷的最新关键词 [1:18] 也是带出了一个新的千亿级市场 [1:21] 这期视频我们也邀请到了 [1:22] 由SGLang孵化的RadixArk的 [1:25] 联合创始人和核心成员 [1:26] 以及数据中心专家 [1:27] 一起聊聊AI Infra的四层架构 [1:30] 行业如何把“硅”的潜力榨到极限 [1:33] 以及背后的关键技术 [1:35] 好 那么接下来就跟我们来看看 [1:37] AI Infra正在发生的“效率革命” [1:43] 大模型的重心从训练走向推理 [1:46] 这对算力会提出完全不同的要求 [1:50] 训练成本极高 [1:51] 但是训练完之后任务就告一段落 [1:53] 但是推理不一样 [1:54] 无论是Chatbot‌还是Agent [1:56] AI应用越多 [1:57] GPU就需要处理越多的请求 [2:00] 而且这些请求是完全不间断 [2:02] 推理需求也随之爆发性增长 [2:05] 随着大家不断地拓展这个应用 [2:07] 拓展这个人工智能模型的能力边界 [2:09] 然后这个推理的需求就会越来越大 [2:11] 我们现在其实已经大到就是说 [2:13] 基本上市面上的卡其实都很难找到了 [2:15] 每一家都缺卡 [2:16] 每一家都缺卡 [2:17] 对于有钱的巨头们来说 [2:18] 最直接的方法还是继续地建数据中心 [2:21] 采购更多的GPU [2:23] Meta、Google、Microsoft等科技巨头 [2:25] 持续提高资本开支 [2:27] 今年预计超过1万亿美元 [2:29] 而黄仁勋预测 [2:30] 到2030年 全球AI基础设施 [2:32] 年投资规模将达到4万亿美元 [2:35] 但是华尔街是担心的 [2:37] 华尔街的担心也是不无道理的 [2:40] 在过去我们是有前车之鉴的 [2:42] 像互联网时代的泡沫的破灭 [2:45] 当时是大量地投入到 [2:47] 比如说光纤的建设 [2:48] 对互联网的公司的投资等等 [2:51] 其实虽然长期来看是实现了它们价值 [2:55] 但是短期是出现了很大的问题的 [2:57] 所以如果不能在短时期内 [2:58] 大规模去增加算力 [3:00] 还有什么样的办法 [3:01] 能够满足AI快速发展的需求 [3:04] 答案是 [3:04] 提高GPU的利用率 [3:06] 那么这背后的这一层产业叫做AI Infra [3:09] 人工智能基础设施层 [3:11] 首先我们就从AI Infra的整体架构角度 [3:14] 来科普一下GPU的一个误区 [3:17] 你以为GPU很忙吗 [3:19] 其实大多数时间GPU是很“闲”的 [3:23] GPU 它只是整个AI系统中的一环 [3:26] 从一条用户请求进入系统开始 [3:28] 它需要经过网络传输、资源调度 [3:30] 模型加载、内存管理 [3:32] 再到最终完成推理、返回结果 [3:35] 整个过程当中 [3:36] 只要任何一个环节出现瓶颈 [3:38] GPU就只能停下来等待 [3:40] 卡内基梅隆大学最近对756块GPU [3:42] 进行了31天的细粒度遥测 [3:45] 覆盖从A100、H100 [3:46] 到最新B200的六代产品 [3:48] 结果发现很多时候GPU都处于一种 [3:51] 叫做“execution-idle”执行时空转的状态 [3:55] 而这种“看似繁忙实则空转” [3:57] 到底有多严重呢 [3:58] 在他们观测的集群中 [4:00] 整体上有近20%的执行时间 [4:02] 和约11%的能耗被浪费在了等待上 [4:05] 而更值得关注的是推理场景 [4:08] Azure Code负载有高达65%的能耗 [4:11] 消耗在了这种空转上 [4:12] OpenAI的Chat类请求也达到了52% [4:17] 那么为什么GPU会被跑不满呢 [4:20] 我们首先要了解一下AI Infra的四层架构 [4:23] 每一层其实都会影响GPU的利用率 [4:27] 第一层是能源基础设施 [4:28] 也就是电 [4:30] 这一层决定的是 [4:31] GPU能不能持续稳定地运行 [4:34] 第二层是计算硬件 [4:35] 也就是卡 [4:36] 除了GPU之外 [4:37] 现在还包括了高带宽存储、高速互联 [4:40] 以及CPU等等 [4:41] 这一层决定的是 [4:42] 理论上能够提供的计算上限 [4:45] 第三层就是系统软件了 [4:47] 这一层就包括了CUDA、编译器、通信库 [4:50] 内存管理和底层算子库等等 [4:52] 决定的是每一次计算 [4:53] 能不能被执行到硬件的物理极限 [4:57] 第四层我们叫服务编排 [4:59] 你听这个名字 “编排”就能够理解 [5:02] 这一层要负责协调GPU资源 [5:04] 决定哪些任务优先运行 [5:06] 以及不同业务之间的动态调度 [5:08] 推理引擎、训练框架 [5:10] 请求调度和资源管理等等都属于这一层 [5:14] 代表性项目就有vLLM、SGLang等等 [5:17] 也是近年来创新最密集的地方 [5:19] 那我们搞清楚了AI Infra的架构之后 [5:22] 回到我们的问题 [5:23] 为什么这么多的GPU都跑不满呢 [5:25] 主要卡在什么环节 [5:27] 理论上来说 [5:28] 四个层级当中任何一层出现问题 [5:30] 其实都会影响GPU的利用率 [5:32] 电力和散热不足 [5:33] GPU就会被迫降频运行 [5:36] 硬件互联跟不上 [5:37] 会让GPU花大量的时间在等数据 [5:39] 而不是算数据 [5:41] 系统软件优化不够 [5:42] 会让每一次计算 [5:43] 都无法触及硬件的物理极限 [5:45] 而请求调度不当 [5:47] 会让本来可以合并的计算被拆散 [5:49] 可以复用的结果被重算造成浪费 [5:52] 但是这四层的问题性质并不相同 [5:55] 下面两层是“硬”问题 [5:57] 电力、散热、芯片的改造周期以年为单位 [6:00] 而且优化空间正在快速地见顶 [6:03] 上面的两层是“软”问题 [6:05] 系统软件和调度逻辑 [6:07] 本质上是工程问题、算法问题 [6:09] 优化之后往往能够带来数倍的性能提升 [6:12] 那么在这样的背景之下 [6:13] 现在行业的注意力也在快速地上移 [6:17] 尽管就是说成本会在这个物理层上 [6:20] 大部分工作都是要放在软件层和服务编排 [6:25] 因为你把人力投入到这一块当中 [6:27] 你能够带来最大的优化的可能性 [6:30] 来举一个具体的例子 [6:32] 一台NVIDIA GB200 NVL72机柜 [6:35] 采购成本大约是在400万美元 [6:37] 但是如果它的软件栈 [6:39] 没有做好调度和优化 [6:40] 那么GPU的实际利用率可能就只有50% [6:43] 那就相当于只用到了200万 [6:46] 剩下的200万美元 [6:47] 以电费、折旧和机会成本的形式 [6:49] 被白白地烧掉了 [6:51] 如果反过来把利用率从50%推到90%以上 [6:55] 那么效果就相当于凭空多出了一台机柜 [6:58] 你这个软件层能做得最好 [7:01] 就会带来更好的服务 [7:02] 和更好的这种token的消耗 [7:05] 最后你能够去通过这一层的重写 [7:09] 以及这一层的优化去帮助推理引擎 [7:13] 还有这种训练的框架 [7:14] 去做到更好的这种交互 [7:17] 以及像Reinforcement Learning（强化学习） [7:18] 现在特别火的这样的一个后训练的过程 [7:21] 去做这一块的调度 [7:23] 然后把GPU的利用率给使用上来 [7:26] 这就是为什么 [7:26] 当硬件成本高到这个量级的时候 [7:29] 软件层的每一次优化 [7:31] 都变成了直接的商业问题 [7:33] 不久之前有网友扒出 [7:34] Anthropic的员工现在占比最大的 [7:37] 就是AI Infra相关的工程师 [7:39] 背后也是与这个逻辑息息相关 [7:42] 那他们其实现在inference（推理）的队伍已经有堆了 [7:45] 大概200多个人 [7:46] 其实在这三年期间 [7:48] 他们也是从infra极度不稳定 [7:51] 然后到现在就是极度趋于稳定 [7:53] 以及把成本和优化做得更强 [7:56] 这也是直接影响了 [7:57] 它现在收入在Q2（二季度）就能够达到盈利 [8:01] OpenAI、Anthropic和谷歌 [8:03] 会把这样的AI Infra团队 [8:05] 放在公司内部去做 [8:06] 因为这是成为了 [8:07] 各大前沿实验室的竞争壁垒之一 [8:10] 但是对于没有资金量去做优化的 [8:12] 稍小一些的模型团队或者初创公司来说 [8:16] 两个开源框架是成为了它们的支柱 [8:18] 分别是vLLM和SGLang [8:21] 这就是为什么两年前会有 [8:23] 像SGLang这样的一个开源社区出现 [8:26] 你需要有这样的新的框架 [8:28] 去重新定义这一波 [8:29] 这种新的硬件系统的这种组合 [8:32] 那你才能去跟它做更好的适配 [8:35] 好 四层架构我们理解了 [8:37] 上面两层需要被优化的我们也知道了 [8:39] 那么具体应该怎么做呢 [8:45] 目前所有的优化工作 [8:46] 都可以归结为对四个问题的回答 [8:49] 就是哪些计算不用重新做 [8:51] 哪些等待可以消除 [8:53] 哪些算力没有吃满 [8:54] 以及哪些资源没有协同 [8:56] 刚才我们提到的SGLang和vLLM [8:58] 都是现在围绕着这几个问题展开 [9:01] 只是设计思路略有不同 [9:03] vLLM因为提出了PagedAttention [9:05] 而受到广泛的关注 [9:07] 更加强调常规、通用的推理部署场景 [9:10] 而SGLang则是从推理执行流程出发 [9:13] 更强调计算复用和系统级优化 [9:17] 我们来看看 [9:17] SGLang孵化出来的RadixArk团队 [9:20] 现在是如何思考AI Infra优化的 [9:23] 这四个核心问题的 [9:24] 首先我们先来解决一下计算的问题 [9:28] 大模型推理里面有一个“很傻”的事实 [9:31] 当同一段文字被反复地喂给模型的时候 [9:34] 它每次都要从头计算一遍 [9:36] 这在实际业务里面简直就是硬伤 [9:39] 尤其是在Agent工作流里面 [9:41] 同样的工具描述可能被调用几十次 [9:43] 每一次都是从零开始 [9:45] 现在业界把它称为是“推理税” [9:48] 这意思大概跟智商税也差不多 [9:51] 反正都是白花的钱 [9:52] 那么这个税能不能省呢 [9:54] 当然能 [9:55] Anthropic之前就做过一版优化 [9:57] 直接把成本砍了90% [9:59] 同样的东西本来要花十块 [10:01] 优化完只需要花一块钱 [10:03] 这背后最核心的思路叫做KV cache复用 [10:07] 简单来说就是把算过一遍的东西存下来 [10:10] 下次直接拿来用 不用从头再算 [10:13] Transformer在解码的时候 [10:15] 每一层self-attention（自注意力机制） [10:16] 都会把历史token映射成 [10:18] Key / Value 张量 简称KV [10:20] Cache就是缓存 [10:22] 有了KV Cache之后 [10:23] 在第一次请求的prefill [10:25] 中文叫预填充 [10:26] 也就是用户输入完prompt [10:28] 到生成首个token的过程的时候 [10:30] 系统把prompt中的每个token [10:33] 每一层的K/V都存下来 [10:34] 之后解码每个新token的时候 [10:36] 只计算新token的KV [10:38] 并且把它追加到缓存里 [10:40] 而对于历史token的K/V则是直接复用 [10:44] 但是KV Cache它有一个弊端 [10:46] 它虽然可以降低解码的计算量 [10:48] 降低首token延迟 [10:50] 也就是我们说的TTFT [10:52] 但是它的代价是 [10:53] 占GPU显存 [10:55] 当上下文很长 [10:56] 同时有很多用户请求的时候 [10:58] KV Cache会占用大量的显存 [11:01] 显存一旦不够 [11:02] 模型就很难继续地提高并发和速度 [11:05] 所以它常常会变成推理服务的主要瓶颈 [11:08] 而SGLang在这件事情上的解决方案之一 [11:11] 是一项叫做RadixAttention的核心技术 [11:14] 它的核心思路是一种叫做“基数树” [11:17] Radix Tree的数据结构 [11:18] 来组织海量请求的KV Cache [11:21] 你可以把它想象成一棵共享前缀的家族树 [11:25] 共享同样开头的请求会共同用同一段枝干 [11:29] 只有当内容开始分叉的时候 [11:31] 才各自长出新的树枝 [11:33] 现在agentic world（智能体世界） [11:34] 其实大家很多时候 [11:35] 会有很多shared system prompt（共享的系统提示词） [11:38] 然后它会在这个 [11:39] Shared system prompt完以后 [11:40] 会有不同的user prompt（用户提示词） [11:43] 但是在同一个user prompt下面 [11:44] 大家会接着问问题 [11:46] 所以它就会有更多的这个 [11:47] Tree structure就延伸下面 [11:49] 这个其实也是SGLang论文 [11:51] 比较有远见的地方 [11:52] 就它其实在2023年的时候就已经 [11:55] 大概预见到了这样的一个模式 [11:57] 随着这种agentic coding（智能体编程）用户越来越多 [12:00] 其实这个RadixTree [12:02] 也包括这个SGLang本身的prefix cache(前缀缓存） [12:04] 这套系统带来的增益就越来越大 [12:06] 简单来说 SGLang完成的核心优化之一 [12:08] 是跨请求、跨机器地 [12:10] 共享和复用KV Cache [12:12] 普通的KV Cache只服务于一个请求 [12:15] 但是SGLang把KV Cache [12:17] 变成了全局可复用资源 [12:19] 不过这件事听起来简单 [12:21] 工程上却很复杂 [12:22] 比如说缓存存在哪里、怎么快速地匹配 [12:25] 多个请求怎么共享 [12:27] 显存不够的时候该淘汰谁 [12:29] 每一步都要精细地设计 [12:31] 仅仅有一个好的缓存结构还不够 [12:34] 还需要“调度器” [12:35] 主动把可以共享前缀的请求 [12:37] 给安排在一起处理 [12:39] 否则缓存明明存着 [12:41] 调度器却把请求分到不同时间 [12:43] 不同的GPU [12:44] 缓存就等于白存了 [12:45] 对此 SGLang是做了非常多优化的策略 [12:49] 比如说Cache-aware scheduling [12:50] 就是把相似请求排在一起处理 [12:53] 你可以把大模型运作想象成餐厅的后厨 [12:56] 如果后厨现在连续处理这几单 [12:59] 比如说连续的三份麻辣香锅 [13:01] 很多调料和准备工作可以复用 [13:04] 效率就高了 [13:05] 就算有稍微的区别 [13:06] 也只是小辣、中辣还有大辣的区别 [13:09] 但它如果顺序是这样的 [13:11] 麻辣香锅、寿司、牛排 [13:12] 麻辣香锅、寿司、披萨 [13:13] 麻辣香锅 [13:14] 你这个中间切来切去 [13:16] 大厨还得洗锅 [13:17] 那复用机会就少了 [13:19] 所以SGLang会用Cache-aware scheduling [13:22] 让前缀相似的请求靠近处理 [13:24] 这样缓存更容易命中 [13:26] 进一步地提高效率 [13:27] 这个顺序就会是 [13:28] 三份麻辣香锅加两份寿司 [13:30] 加牛排加披萨等等 [13:32] 还有一个叫做Eviction的淘汰机制 [13:34] 就是显存不够的时候 [13:36] 扔掉最不可能再用的缓存 [13:38] 就跟你管理手机内存一样 [13:40] 十年前的照片和文档 [13:41] 可能就没有最近几个月的数据那么有价值了 [13:45] 所以常用的system prompt [13:46] 高频RAG文档 [13:47] 还有最近刚被用过的对话前缀更会被保留 [13:51] 而显存不够的时候 [13:52] 就会淘汰很久没有用过的、复用价值低的 [13:55] 不太可能再被访问的KV Cache [13:57] 还有一个让AI Infra [13:59] 显得非常有智商的技术 [14:01] 叫做分布式 cache-aware load balancer [14:04] 我们知道 [14:04] 大规模服务通常有很多GPU [14:06] 但是问题来了 [14:07] 如果某段长prompt的KV Cache [14:09] 在GPU 1上 [14:11] 但是下一个相同前缀的请求 [14:13] 被发到了GPU 3上 [14:14] 那GPU 3没有这份缓存 [14:16] 还是得重新算 [14:17] 所以SGLang它还是会尽量把请求发到 [14:20] “已有笔记”的那一个GPU上 [14:22] 这样一来 可以少算很多重复内容 [14:26] 还有很多其他的小技术细节 [14:27] 我们就在这里暂时不展开了 [14:29] 总体而言 [14:30] 虽然SGLang把架构都给你搭好了 [14:33] 但是具体每个团队怎么部署infra [14:35] 还是蛮有工程上的考量的 [14:39] 除了重复计算之外 [14:41] 第二大浪费是等待 [14:42] 现在这个行情 [14:44] 内存价格一个季度能够涨90% [14:47] 高端显存缺货缺到2027年 [14:49] GPU有钱都不一定能够抢得到 [14:51] 但是最后这些花了大价钱抢到的卡 [14:54] 一半时间却都在“干等” [14:56] 一是请求之间的等待 [14:59] 最早的推理引擎是“排队制” [15:01] 请求一个一个来 [15:02] 一个算完再算下一个 [15:04] 后来演进到“批处理” [15:06] 凑够一批一起算 [15:07] 但是吧 凑批它也要等 [15:10] 而且一批里面如果有的请求短 [15:12] 有的请求长 [15:13] 短的算完了还要等长的算完 [15:15] 才能够一起下车 [15:16] 但短请求的用户体验也是极差的 [15:19] 现在主流的叫法叫做Continuous Batching [15:23] 连续批处理 [15:24] 不再等一批人全部到齐之后再发车 [15:26] 而是像一辆随时可以上下客的公交车 [15:29] 新请求随时能够上车 [15:31] 算完的请求随时能够下车 [15:33] GPU始终保持满载 [15:36] 这一改造能够让GPU的实际吞吐量 [15:38] 提升两到四倍 [15:40] 除了请求等待之外 [15:42] 计算阶段也有等待 [15:43] 我们知道大模型的推理 [15:45] 其实包含“读入”和“生成”两个阶段 [15:47] 读入阶段需要快速处理一大段文字 [15:50] 对算力要求高 [15:51] 生成阶段则是一个字一个字地往外蹦 [15:54] 计算量不大 [15:55] 但是每写一个字都要翻一遍完整记忆 [15:58] 对显存带宽极其敏感 [16:00] 过去这两个部分被塞进 [16:02] 同一张GPU里面混合执行 [16:04] 结果就是Prefill在算的时候Decode在等 [16:07] Decode在算的时候Prefill在等 [16:09] 互相拖累 [16:10] 现在的做法叫做Prefill/Decode分离 [16:13] 把这两个阶段拆到不同的GPU上 [16:15] 各自用最适合的硬件配置 [16:18] 通过高速网络传递中间结果 [16:20] 比如说DeepSeek就采用了这个方案 [16:22] Prefill“读题”的时候 [16:23] 32张GPU组成了一个最小计量单元 [16:26] 等真正开始“逐字作答”的时候 [16:28] 任务就交给另一批GPU接手 [16:30] 两拨卡各干各的 互不打扰 [16:33] 如今 PD分离已经成为了 [16:35] 推理引擎最重要的架构演进之一 [16:37] 在英伟达最新推出的 [16:39] 分布式推理框架Dynamo当中 [16:41] PD分离就被放在了 [16:42] 整个架构设计的核心位置 [16:44] 而SGLang也是业界最早 [16:47] 支持大规模PD分离部署的推理引擎之一 [16:50] 接下来我们来说一下第三个大问题 [16:52] 算力跑满的问题 [16:54] 隆重介绍英伟达H100芯片 [16:57] 当年英伟达的H100发布之后 [16:59] Tensor Core算力相比A100是提升了数倍 [17:02] 整个行业都期待着AI推理 [17:04] 能够同步增长、性能飞跃 [17:06] 但是现实却并不是这样 [17:08] 背后的主要原因是 [17:09] GPU大量时间花在了数据搬运上 [17:12] 又受限于串行解码 [17:14] 计算的能力无法得到充分释放 [17:17] 目前解决思路有两个主要的方向 [17:20] 一个是低精度计算 [17:22] 大模型在运行的时候 [17:23] GPU显存里面是主要装了三样东西 [17:26] 分别是模型权重、中间激活值 [17:28] 以及KV Cache [17:30] 这三部分的精度可以独立设置 [17:32] 用更小的数据格式来存储 [17:35] 或者运算其中的任何一部分 [17:36] 都能够减少显存占用 [17:39] 也能够利用GPU上更快的低精度算力 [17:42] 在合适的场景下这甚至相当于 [17:44] 能够多释放出一倍的算力空间 [17:47] 另一个是投机采样（Speculative Decoding） [17:50] 意思是先用一个小模型 [17:53] 叫做draft model [17:54] 也叫做草稿模型 [17:55] 去“猜”接下来的几个字 [17:57] 再让大模型进行一次性验证 [18:00] 猜对了就等于一次计算生成了多个字 [18:04] 做个类比 [18:05] 大模型是一个很厉害但是很忙的老师 [18:07] 小模型是一个速度很快的助教 [18:10] 之前学生每写一个字都会问老师 [18:12] 你看这个字行不行 [18:13] 老师确认之后再写下一个字 [18:15] 但是投机采样是助教 [18:17] 先帮学生写一小段草稿 [18:19] 老师就一次性看这一小段 [18:22] 如果前面都对就全部通过 [18:24] 如果中间错了就从错的地方重新再来 [18:28] 这样的方式 [18:29] 最佳情况下能够把生成速度提升两到三倍 [18:33] 而推理引擎 [18:34] 在这里扮演着一个至关重要的角色 [18:36] 就是把这些新功能 [18:38] 第一时间集成到系统里面 [18:40] 把软件和硬件的四层都给它打通 [18:43] 让优化协同起来 [18:45] 其实SGLang本身是个整体的解决方案 [18:48] 它是一个inference engine（推理引擎） [18:50] 它需要保证就是说 [18:51] 比如说我们会做kernel optimization（计算内核优化） [18:54] 然后会做scheduler optimization（调度器优化） [18:57] 然后会做这个 [18:58] 比如说CUDA Graph（CUDA图执行优化） [18:59] continuous batching（连续批处理） [19:00] 甚至再往上走 [19:01] 你会有routing（请求路由） [19:02] 也包括prefix cache(前缀缓存） [19:03] 怎么去被route（路由）到 [19:04] 对应的engine replica（推理引擎实例） [19:06] SGLang其实有非常非常多的技术 [19:08] 是结合在一起 [19:10] 然后去把这个推理 [19:11] 整体这个解决方案做到极致 做到最好 [19:13] RadixArk联合创始人朱邦华就跟我们说 [19:17] 像SGLang这样的推理引擎 [19:19] 现在跟芯片厂商之间 [19:21] 已经是一种深度绑定的联合优化了 [19:23] 芯片厂在设计新硬件的时候 [19:25] 就已经在和SGLang的团队 [19:28] 一起做联合调优 [19:29] 等到硬件正式发布的时候 [19:31] SGLang也几乎在同一时间 [19:33] 完成了day-0的支持 [19:34] 双方一起希望能够把硅的性能 [19:37] 给压缩到极致 [19:39] 这个不管是哪一个硬件厂 [19:41] 就大家如果做出来这个新的GPU [19:43] 新的硬件 [19:44] 其实都需要演示 [19:45] 这个硬件其实是非常高性能的 [19:48] 基本上现在默认 [19:51] 很多人的选择都是通过跑SGLang [19:54] 甚至SGLang某种程度上变成一个硬件评测的工具 [19:57] 比如说你可以看到AMD最新的硬件 [20:00] 英伟达最新的硬件 [20:01] 其实现在都是一个产品发布合作伙伴 [20:03] 甚至就是在发布硬件的day-0 就是当天 [20:06] 其实他们就会说 [20:08] 在SGLang的性能上达到了多少多少 [20:10] 所以其实我们现在是 [20:12] 比如说我们会和 [20:13] 所有的这种硬件供应商都会合作 [20:15] SGLang本身和我们团队 [20:16] 能够把他们硬件的性能压缩到极致 [20:19] 使得就是说最后能交付更好的 [20:21] 推理的性能、训练的性能等等 [20:24] 这其实也解释了RadixArk [20:26] 从SGLang孵化出来进行融资的时候 [20:28] 机构投资人方面 [20:29] 英伟达、AMD、联发科、Databricks等 [20:31] AI硬件与系统层的主要玩家 [20:34] 几乎全部到齐 [20:35] 个人投资者的名单更是一个比一个重磅 [20:38] 英特尔CEO陈立武 [20:39] Broadcom CEO陈福阳 [20:41] OpenAI的联合创始人John Schulman等等 [20:43] 可以说是非常豪华的阵容了 [20:45] 因为对他们来说 [20:47] 投资RadixArk这样的推理引擎 [20:49] 是一种战略下注 [20:50] 他们需要一个连接算力 [20:52] 与应用的基础设施入口 [20:54] 把更多的模型、企业应用和Agent [20:56] 都汇聚到自己的算力生态当中 [20:59] 好 最后我们再来说说 [21:01] SGLang在强化学习RL上面的 [21:03] 一个重要的优化 Miles [21:06] 强化学习RL [21:07] 成为了新一代模型的核心训练方式 [21:09] 这包括了OpenAI o1和DeepSeek R1等等 [21:12] 这是让AI训练的形态发生了巨大的变化 [21:16] 传统的模型训练是一件“体质单一”的事 [21:19] 喂数据、更新参数 [21:20] 再喂数据、再更新参数 [21:21] 整个过程GPU干的都是同一类活儿 [21:24] 那么这种情况下 [21:25] 硬件配置和调度策略 [21:26] 只要针对“训练”这件事优化到位就行了 [21:29] 但是强化学习RL [21:31] 是要把推理、评估、参数更新 [21:33] 这三种完全不同的计算揉在一起循环跑 [21:36] 三件事对硬件的需求天差地别 [21:39] 准确来说 [21:40] 强化学习它是必须要做在线推理的 [21:43] 它的工作量就是说 [21:45] 我先去让模型生成很多想回答的内容 [21:50] 然后我们根据现在的内容打分 [21:53] 然后再把模型更新一下 [21:54] 再去回答一些新的问题 [21:57] 然后再给它打分 [21:58] 所以其实本身它就是一个 [21:59] 交替做训练和推理的一个过程 [22:01] 如果用传统的训练框架来跑强化模型 [22:04] 它们会在同一批GPU里面去争抢资源 [22:06] 生成的时候训练在等 [22:08] 训练的时候生成在等 [22:09] 大量的算力就被浪费在了 [22:11] 阶段切换和相互等待上 [22:13] 所以资源协同成了效率提升的命门 [22:16] 这也是为什么RadixArk在SGLang之外 [22:18] 最近还推出了训练框架Miles [22:21] 如果单纯就是说无视训练 只做推理 [22:24] 反而是没有办法押注未来 [22:27] 因为最终大家可能 [22:29] 最后还是会有很多人希望 [22:32] 自己训练自己的模型 [22:33] 然后再去推理 [22:36] 所以如果我们想做整体的 [22:38] AI软件基础设施的话 [22:40] 其实我们认为 [22:41] 两边其实是都需要关注的 [22:43] Miles是一个面向大模型后训练的 [22:45] 开源训练框架 [22:47] 所谓后训练是指模型有了基础能力之后 [22:49] 再通过SFT、强化学习等等方式继续打磨 [22:52] 让它更会听指令 也更会思考 [22:55] 和传统训练框架相比 [22:57] Miles最大的不同是 [22:58] 它把“训练”和“推理” [23:00] 放在了同一个系统里面一起考虑 [23:02] 这点在强化学习里面非常重要 [23:04] 就像我们刚才提到的 [23:06] 在强化学习当中 [23:07] 推理和训练是一个交替进行的过程 [23:10] 如果配合不好 [23:11] 很多算力就会被浪费掉 [23:13] Miles和SGLang配合在一起之后 [23:15] SGLang在推理端不断产出新样本 [23:18] Miles训练端不断更新模型权重 [23:20] 更新之后的模型 [23:21] 可以继续用于下一轮生成 [23:23] 而这样的优化 [23:24] 让推理和训练衔接得更顺 [23:27] 减少等待和切换的时间浪费 [23:29] 从而形成一个更高效的后训练闭环 [23:32] Mismatch（不一致问题）其实是现在在工程领域当中 [23:35] 还很容易会 [23:36] 经常会发生 [23:36] 然后导致这个推理和训练模型当中 [23:40] 你什么时候能够用share一个 [23:41] 比较共用的一些模型的权重 内核 [23:45] 你才能保持一个对齐 [23:47] 很多人会用SGLang [23:48] 这时候再会用Miles的话 [23:50] 本身会带来更强的这样的一个训练的能力 [23:53] 然后对推理任务 对长任务 [23:56] 还有agentic（智能体）任务 [23:57] 提高更多的稳定性 [23:59] MoE（混合专家模型）现在是成为了一个大家 [24:01] 比较去容易会接受 [24:03] 以及都在使用的一个架构 [24:05] 但是MoE（混合专家模型）本身就是 [24:07] 你会有一些routing（路由）的一个过程当中 [24:09] 你会导致不同 [24:10] 在训练和推理当中 [24:11] 你的kernel-level（内核级） [24:12] 你的并行的一些策略 [24:14] 还有最后的准确度都会不一样 [24:17] 所以这时候你就需要有更强的工程能力 [24:19] 能把这个事情给做成 [24:20] 所以Miles本身就带来了这一块的优化 [24:24] 以及把训练和推理去做更好的结合 [24:28] 目前 Miles在新硬件支持、MoE训练 [24:31] 以及推/训一致性 [24:33] 也就是我们说的 [24:33] Training-Inference Alignment等方面 [24:35] 都是进行了大量的工程优化 [24:37] 使得整个后训练流程能够更加稳定 [24:40] 更高效地去运行 [24:41] 去年11月发布之后 [24:43] Miles就已经被不少的前沿实验室采用了 [24:46] 好了 我们说了这么多技术的理论 [24:48] 是因为这一层对于AI大模型的发展来说 [24:51] 真的非常的重要 [24:52] 它希望把“硅”的极限给榨出来 [24:55] 整个AI系统的算力效率 [24:57] 被系统性地释放出来 [24:59] 就像我们刚才提到的 [25:01] SGLang和vLLM都是开源架构 [25:04] 背后主要依靠一群研究者和工程师 [25:06] 在业余的时间共同维护、为爱发电 [25:09] 但是当全世界都面临算力短缺 [25:12] 需要去“榨”硅的极限 [25:14] 从而释放出更多算力的时候 [25:16] 仅靠开源社区的协作 [25:17] 已经很难满足庞大的需求了 [25:20] 于是SGLang和vLLM的主创团队 [25:23] 都前后选择了正式出来创业 [25:25] 更快速、更投入地把技术往前推 [25:28] 我们这次也专门和SGLang的提出者 [25:31] RadixArk的创始人 [25:32] 也是前xAI Inference [25:33] 推理团队的负责人盛颖 [25:35] 进行了深度地访谈 [25:37] 我们的视频播客也将很快上线 [25:39] 非常精彩 [25:40] 可以说是我最近最喜欢的一次采访了 [25:43] 大家一定要记得关注我们的频道 [25:44] 不要错过更新 [25:49] 从SGLang正式孵化出来之后 [25:51] RadixArk也有更大的野心 [25:53] 他们认为就像云计算改变了服务器一样 [25:56] 未来AI Infra也可能演变成 [25:58] 整个AI行业能够共享的基础设施 [26:01] 最近 黄仁勋牵头成立开源AI联盟 [26:04] 联盟里面既有模型公司也有芯片公司 [26:07] 还有像SGLang这样的AI Infra项目 [26:10] 今天开源模型迭代的速度是越来越快 [26:13] 从DeepSeek V4、智谱GLM-5.2 [26:16] 到最近的Kimi K3 [26:17] 每隔几周都会出现新的强劲开源模型 [26:20] 但是开源模型开放的只是权重 [26:22] 权重并不会自动变成token [26:25] 任何人下载了这些模型 [26:26] 依然要解决部署、显存、吞吐 [26:28] 和调度等一系列工程问题 [26:30] 而这就是为什么 [26:31] 推理引擎的开源项目 [26:33] 一直很强调Day-0支持 [26:35] 这意味着模型一发布 [26:37] 任何开发者就能借助开源引擎去立即部署 [26:40] 同一套推理框架也能够跑在 [26:42] 英伟达、AMD以及更多新兴的AI芯片上 [26:45] 这让推理框架 [26:46] 正在越来越像AI时代的“操作系统” [26:48] 成为连接模型与芯片的关键一层 [26:51] 我们做RadixArk一个更大的目的 [26:55] 其实就是希望 [26:56] 以后就不要有frontier lab（前沿实验室）这个词 [26:58] 因为人人都可以做frontier lab（前沿实验室） [27:00] 所以就是说 [27:00] 我觉得frontier lab（前沿实验室）本身也是一个 [27:02] 非常动态的事情 [27:02] 两年前大家都会觉得 [27:04] Anthropic其实并不是frontier lab（前沿实验室） [27:05] 在这之前大家可能觉得 [27:06] Google离得OpenAI太远了 [27:09] 是不可能追上的 [27:10] 所以方面我觉得现在AI变化太快了 [27:13] 我们其实是相信会越来越多的挑战者 [27:16] 然后越来越多有自己想法的人 [27:18] 他们会做出更好的AI的产品 [27:20] AI的model [27:21] 以及AI的产品 [27:23] 在这方面我们其实做RadixArk [27:25] 就希望能够赋能这些更有想法的人 [27:29] 能让他们更好地去做自己的事情 [27:31] 我们给他们提供的是基础设施上的 [27:33] 最强的基础设施支持 [27:34] 然后他们在想做的这一刻开始就会有和 [27:38] 比如说现在的frontier lab（前沿实验室）一战之力 [27:40] 最终其实可能这个世界上所有 [27:43] 大家其实都是能自己训练出 [27:46] Frontier level（前沿水平）的模型 [27:47] 然后能做最好的推理 [27:49] 所以我们其实更希望 [27:50] 是这样一个支持者的角色 [27:51] 所以 当AI Infra的能力 [27:53] 从少数前沿模型巨头的独家资源 [27:55] 变成了任何一家创业公司 [27:57] 都能够直接调用的公共品 [27:59] 这让从事AI工作的门槛被显著降低 [28:03] 而这或许才是“榨出硅的极限” [28:05] 这件事情最重要的意义所在 [28:08] 我们也希望看到 [28:09] 在infra红利被全面释放之后 [28:11] 会有越来越多带着新想法、新架构 [28:14] 新应用场景的团队 [28:15] 不再因为infra门槛而被拖慢脚步 [28:18] 这也会让AGI距离我们更近一步 [28:21] 好啦 以上就是这期视频的全部内容 [28:24] 再提醒一句 [28:25] 不要错过下一期我们和盛颖的视频播客 [28:28] 她真的是太有趣、太酷的一个人了 [28:31] 你们的点赞、转发和留言 [28:32] 是支持我们《硅谷101》 [28:34] 做好深度科技和商业内容的最佳动力 [28:36] 我是陈茜 [28:37] 那我们就下期视频再见啦 [28:38] 拜