vLLM创办Inferact获1.5亿美元融资 游凯超押注开源模型终将击碎闭源壁垒
张小珺Jùn｜商业访谈录
在后摩尔定律时代，AI模型的优劣取决于能否抽中专用芯片与系统协同设计的“彩票”，而Token天然承载模型烙印且无法长期对用户保密，终将使大模型沦为大宗商品并助推开源彻底击败闭源。
AI-assisted summary of 148. 对游凯超3小时访谈：开源Infra、和模型Co-design 、“如果vLLM失败，我们会后悔一辈子” — original source. Check the original for full context.
Source published:
Key ideas
- 源自 UC Berkeley 开源项目 vLLM 的初创公司 Inferact 完成 1.5 亿美元种子轮融资，旨在通过公司化运营解决开源社区在全职人力、保密协议签署与大规模集群算力上的结构性短缺。 (95:00)
- 为确保开源项目的公共属性与长期中立性，团队将 vLLM 的商标和法律资产全额捐赠给 Linux 基金会旗下的 PyTorch 基金会，作为防止项目未来闭源的制度性“保险杠”。 (62:30)
- 后摩尔定律时代下模型与硬件已不可逆地走向 Co-design（联合设计），例如 FlashAttention 与 RoPE 的配合，唯有能够被现代特化硬件高效实现的算法才能在演进中存活。 (115:00)
- Token 具备强烈的异质性而无法等同于普通电力，模型生成的每个 Token 都带有模型架构与训练烙印，且大模型能力最终难以对用户真正隐瞒，长期来看开源模型必将胜出。 (135:00)
Detailed notes
## Background 本期内容由张小珺在其商业访谈录播客频道于 2026 年 7 月 28 日发布在小宇宙平台。访谈对象为创业公司 Inferact 联合创始人兼首席科学家游凯超，围绕其团队历时近三年将伯克利校园开源项目 vLLM 发展为全球顶尖开源推理引擎并完成 1.5 亿美元种子轮融资的历程，深入探讨了开源 Infra 治理、模型与硬件的软硬件协同设计（Co-design）以及 AI 基础设施的前沿思考。
## TL;DR 游凯超系统回顾了自己从清华算法研究走向伯克利机器学习系统工程、并在导师 Ion Stoica 鼓励下深度投身开源项目 vLLM 的心路历程。面对大厂高薪与闭源诱惑，创始团队为避免项目失败抱憾终身，坚守开源初衷并成立 Inferact，通过捐赠 PyTorch 基金会确保中立治理，同时探索端点服务与 BYOC 商业模式。访谈从第一性原理深度拆解了专用算力时代的“硬件彩票”、DeepSeek 的极致工程与投机解码演进，并驳斥了将 Token 简单等同于电力的观点，强调其不可调制的异质性。最后，游凯超给出了独家技术预测：上下文窗口将在百万级收敛，而开源模型凭借数据不可长久隐藏的本质，终将在与闭源的较量中取得胜利。
## Atmosphere & style 整场长达三小时的对话呈现出一种硬核、理性且充满极客理想主义的张力。张小珺的提问细腻敏锐，频频切入个人抉择的幽微处；游凯超的应答则展现出清华与伯克利工科生特有的克制与严密，以流体力学、发电网络和代数定理等精妙比喻将晦涩的底层技术拆解得通俗透彻。从拒掉两千万美元年薪的果决，到谈及“以中有足乐者”的坦然，整段交流既有底层架构代码级别的硬核质感，又流淌着老派黑客坚信开源必胜的纯粹情怀。
## Bulletin - `01:35:00` 源自 UC Berkeley 开源项目 vLLM 的初创公司 Inferact 完成 1.5 亿美元种子轮融资，旨在通过公司化运营解决开源社区在全职人力、保密协议签署与大规模集群算力上的结构性短缺。 - `01:02:30` 为确保开源项目的公共属性与长期中立性，团队将 vLLM 的商标和法律资产全额捐赠给 Linux 基金会旗下的 PyTorch 基金会，作为防止项目未来闭源的制度性“保险杠”。 - `01:55:00` 后摩尔定律时代下模型与硬件已不可逆地走向 Co-design（联合设计），例如 FlashAttention 与 RoPE 的配合，唯有能够被现代特化硬件高效实现的算法才能在演进中存活。 - `02:15:00` Token 具备强烈的异质性而无法等同于普通电力，模型生成的每个 Token 都带有模型架构与训练烙印，且大模型能力最终难以对用户真正隐瞒，长期来看开源模型必将胜出。
## Key takeaways - `10:00` 游凯超从纯算法研究转向机器学习系统，源于学术会议灌水与审稿质量退化、算法创新对超大规模实验系统的极度依赖，以及工业界底层硬件适配的极高复杂度。 - `30:00` 相比纯算法创新性（Novelty）评估的强主观性，系统工程以加速比和吞吐提升等可量化指标提供扎实的确定性与真实用户正反馈。 - `37:56` UC Berkeley 遵循 David Patterson 提出的 5 年周期律更迭实验室，当学术周期与工业界对基础设施的需求发生共振，便催生了 Spark、Ray 和 vLLM 等重量级项目。 - `45:00` vLLM 并非等同于其奠基论文 PagedAttention，而是结合了 Continuous Batching 与多硬件深度优化的完整生产级推理引擎生态。 - `54:00` 2024 年 vLLM 推进了从 V0 到 V1 的底层架构大重构，将推理系统打造成连接底层多变硬件与前沿复杂模型的“电力调度网络”。 - `57:30` DeepSeek 在 MoE 算子手写、架构细粒度化、Native Sparse Attention 及 D-Spark 投机解码等领域的突破，树立了算法主动向 Infra 靠拢的协同设计标杆。 - `01:15:00` 面对科技大厂每人每年 2000 万美元年薪的招揽诱惑，创始团队因“如果 vLLM 失败会后悔一辈子”的信念坚决拒绝，选择全职创立 Inferact。 - `01:20:00` vLLM 采用“仁慈的独裁者”治理模式，在关键技术路线上果断做减法（如剔除 Beam Search），以抵御开源社区过度膨胀带来的维护复杂性。 - `01:25:00` Coding Agent 的泛滥使开源社区遭遇大量刷简历的低质 PR（AI Slop），迫使维护团队收紧准入，推动社区向“用户提需求、官方维护者配 Agent 写核心代码”的两极化演进。 - `01:45:00` 成立商业实体是维系开源基建的客观必需，Inferact 探索了直接消费 Token 的端点服务（Endpoint）以及客户自带算力的 BYOC（Bring Your Own Cloud）商业模式。 - `01:55:00` 硬件特化时代下算法必须主动吃中“硬件彩票”，旋转位置编码（RoPE）能够成为标配，核心原因在于其独立于 Attention Kernel 外部计算，完美契合了 FlashAttention。 - `02:23:45` Test-Time Scaling 正在从 o1 的“单请求长文本深度思考”转向 Coding Agent 的“高频多轮环境交互”，前缀缓存（Prefix Caching）成为保障系统性能的生命线。 - `02:25:00` 上层调用与评测框架（Harness）若缺乏系统常识（如频繁修改前缀或在 System Prompt 中写入动态时间戳），会导致底层 KV Cache 大规模失效并引发流量海啸。 - `02:35:41` 人机交互模型的上下文窗口预计将在百万 Token 级别逐步收敛，更长程的任务诉求将主要交由外部工具链与 Sub-agent 协同消化。 - `02:38:40` 开源模型终将赢得胜利，因为模型 Token 本质上无法长期保密，持续对外输出的高质量语料将使开源社区具备快速追平并蒸馏出基座的能力。 - `02:44:30` 面对各大模型厂商内部极度特化的推理系统，vLLM 的战略定位是做云端便携、生态中立的“AI 推理时代 Linux”，并携手 Red Hat 等伙伴将其推向企业级标准发行版。
## Detailed walkthrough ### `00:00` 开篇：从校园开源项目到1.5亿美元融资的商业化历程
张小珺开场介绍了本期嘉宾游凯超。游凯超是创业公司 Inferact 的联合创始人兼首席科学家。Inferact 的背景非常特殊，它由加州大学伯克利分校（UC Berkeley）的校园开源项目 vLLM 演化而来。社区的核心维护者们历经将近三年时间，将最初的一篇算法论文逐步孵化成一个全球知名的开源社区，并最终发展为一家正规商业化运营的初创公司。在此过程中，维护者们抵御了大量的个人利益诱惑，始终坚守着开源理念。2026 年初，Inferact 完成了 1.5 亿美元的种子轮融资。本期播客探讨了寄托着社区情怀的开源项目在迈向商业化组织时的选择与思考，以及在 AI Infra、模型结构乃至 Harness Engineering 协同演进的背景下，如何展开软硬件协同设计（Co-design）。
访谈切片预告中提到了游凯超劝说合伙人全职创业时的打动人心之语：“你如果不跟我们一起创业，你赚到了很多钱，但是十年之后 vLLM 项目失败了，你是开心还是不开心？”此外，他还深入阐释了模型与 Infra 的 Co-design 理念：“比如说有的地方水流比较湍急，有的地方水流比较平缓，那你在这两个地方怎么样去设计你的发动机，使得你的发动机能够更好地利用这部分能量，这个就是所谓的模型和 Infra 的 Co-design。”针对 DeepSeek，他评价其深厚的 Infra 底蕴源于幻方量化时期对性能的极致压榨；而谈到“Token 类似电力”的说法时，他犀利地指出两者的根本差异在于 Token 无法被任意调制，“你没有办法说把一个 DeepSeek 模型的 Token 转化为一个 Kimi 的 Token，这个 Token 它是带着模型的烙印的。”
游凯超在开场打招呼中介绍，自己本硕博均就读于清华大学，目前主要工作是维护以 vLLM 为核心的开源大模型推理引擎生态，目标是为通用人工智能（AGI）提供底层软件基础设施服务。张小珺提到，这次访谈是由 Mindsdb 的季逸超牵线促成的，游凯超解释早在前一年 12 月（Mindsdb 尚未被 Meta 收购前）两人就已约好，但因为自己忙于成立公司，半年之后才终于兑现约定。
`05:00` 编程启蒙与理科竞赛：拒绝刷题的探索者
回顾个人的计算机与编程起点，游凯超表示自己大约是在 2015 年才正式接触编程。初高中时期，他的生活重心主要围绕中考、高考以及物理竞赛展开，是一名典型的理科生。在物理竞赛中，他虽然获得了省级一等奖，但由于对高考录取帮助不大，竞赛结束后便回归常规的高考备考。尽管没有参加过算法编程竞赛（如信息学奥赛），但他在数学和物理学习中接触到了辅助计算的软件，例如用于绘制函数图像与模拟物理动画的“几何画板”，这些工具让他第一次震撼于计算机的强大能力。此外，清华大学在 2013 年推出的在线教育平台“学堂在线”（对标国外的 edX），也为他在 2014 至 2015 年间推开了一扇自学大学课程的大门。
在应试备考期间，游凯超极度反感无意义的重复性劳动与题海战术，宁可把时间花在汲取新知识上：“虽然就是初中高中阶段我的主要任务是中考高考，但是我不太喜欢这种无意义的重复劳动，就是我不喜欢刷题，所以我更喜欢学习新知识。”虽然当年的高考题目相对简单，课外积累的超纲知识并未转化为卷面优势，他最终以仅高出清华录取分数线两三分的成绩“压线”录取，但他依然认为这种自主学习的体验非常有价值。谈及“压线进清华后如何实现逆袭”，游凯超淡然表示这谈不上逆袭：
> “我觉得这不是很能反映，就是你不能拿它去预测一个人在大学的过程，我觉得它更多取决于你在大学里面干什么。就是你进了清华之后，应该把这个分数就忘掉了，你就应该接下来做大学要做的事情。”
大学期间，他保持着对高强度学习的享受，而不是单纯为了“卷”成绩。针对坊间传闻他在本科期间给任课老师发了 100 多封请教邮件，他解释这只是十几门课、每周给老师发邮件讨论问题后自然累积的结果，重点在于长期的坚持与钻研。
`10:00` 转向机器学习系统的动因：学术发卷、算力壁垒与工业界挑战
张小珺指出，许多人是通过 vLLM 认识游凯超的，但他在清华早期的研究方向其实是迁移学习（Transfer Learning）。从一个纯算法研究者转向底层系统工程，这一转变源于他在博士期间经历的三个核心现实：
1. **学术会议生态急剧膨胀与审稿质量退化**：游凯超 2018 年刚入行时，顶级 AI 学术会议一年仅录用几百篇论文，社区审稿人会给出详尽且富有建设性的反馈，大家共同认真探讨如何完善工作。然而随后几年，投稿量呈几何级数爆炸式增长，高质量审稿人的增速远远跟不上，导致审稿水平急剧下滑，论文录用与否变成了“抽彩票”式的运气游戏，与工作本身的质量严重脱节。 2. **算法创新的天花板与对规模化实验系统的依赖**：何恺明一直是游凯超及实验室同学心目中的算法天花板，ResNet 更是“一战封神”，何恺明在 arXiv 上更新的每篇新论文都被他们奉为“神谕”。但在研读论文时，大家常产生一种感觉：这类精妙优雅的想法似乎十分自然，实验室的组会讨论中也曾提出过类似设计甚至跑过玩具实验，但为何最终是何恺明取得了历史性突破？游凯超分析认为，除了极高的个人悟性，何恺明团队拥有做大规模实验的系统支撑，而普通高校实验室只能在小型玩具数据集上“螺丝壳里做道场”： > “当我尝试着把手头上的实验规模扩大的时候，显而易见的事实就是：支撑实验的机器学习系统以及对应的数据，它其实才是决定成败的关键，而不是说你去雕琢 Cross Entropy 的五种加权方法。” 3. **工业界硬件复杂度的当头棒喝**：2022 年在北京举办的 CSIG WOWS 大会上，游凯超去作 Poster 报告，现场偶遇时任旷视科技（Megvii）首席科学家的孙剑（注：原口误张老师）。两人深入交流了一个多小时，孙剑分享的内容令游凯超大为震惊——作为顶尖的计算机视觉算法学者，孙剑谈论的重心根本不是损失函数又做了哪些微调，而是算法落地时面对的极其复杂的硬件适配挑战。旷视为 CV 任务定制的特定芯片包含多级缓存结构，必须依靠工程师手动控制数据流动。团队每天最头疼的不是调参，而是底层 cuDNN 的各种 Bug 以及如何针对特定硬件去硬写算子。这一幕让游凯超切身意识到，底层软硬件系统的打通才是真正的兵家必争之地。
针对张小珺提出的“算法研究是否变成了某种意义上的‘雕花’，而当前时代更属于系统工程”的提问，游凯超完全赞同。他认为何恺明崛起的时代是算法的蓝海，遍地都是低垂的果实（Low-hanging fruit）；而随着低垂果实被摘尽，加上 Scaling Law（缩放定律）信仰的建立，算法内核已无需频繁大改，堆砌算力与数据即可自然提升能力，这让大规模系统研究成为了更具决定性的主导力量。
`15:00` 追随大师轨迹：伯克利访学与从算法转向大模型微调
游凯超系统梳理了从本科到博士的科研演进过程。本科初期，在学堂在线学习了吴恩达（Andrew Ng）的机器学习课程以及斯坦福大学克里斯托弗·曼宁（Christopher Manning）的自然语言处理公开课后，他加入清华校内导师的实验室，主攻“数据稀缺场景下的高效学习”，即提升机器学习算法在少样本场景下的泛化能力。然而，这类工作往往属于“锦上添花”，费尽心力设计通用方法只能换来 1% 到 2% 的准确率提升，缺乏通用落地场景，实验室随后也逐步缩减了这方面的投入。
```mermaid flowchart TD accTitle: 游凯超研究方向转变路径 accDescr: 展现游凯超从清华本科算法研究到伯克利交流并转向机器学习系统的整体脉络
subgraph Phase1["算法探索期 (2018-2020)"] A["清华本科：数据稀缺下的高效学习"] -->|"增益有限 (+1~2%)"| B["2019 伯克利暑研：师从 Michael I. Jordan"] end
subgraph Phase2["大模型与瓶颈期 (2020-2022)"] B -->|"2020 博士入学 (GPT-3 时代)"| C["算力受限下的大模型微调算法"] C -->|"预训练模型迭代轻松覆盖算法增益"| D["算法研究遭遇确定性危机"] end
subgraph Phase3["系统深耕期 (2023-2024)"] D -->|"投身开源系统实践 (天授/Pytorch等)"| E["2023 再次申请赴伯克利 SkyLab"] E -->|"师从 Ion Stoica"| F["2024 深度参与 vLLM / 创立 Inferact"] end ```
2019 年夏天，大三结束的游凯超赴加州大学伯克利分校的机器学习泰斗迈克尔·乔丹（Michael I. Jordan）门下进行暑期研修。Michael I. Jordan 隶属于加州大学伯克利分校的知名实验室 RISELab（后改组为 SkyLab），该实验室同时涵盖机器学习算法与机器学习系统两大方向。研修期间，游凯超不仅开阔了国际视野，也隐约感知到大模型技术正在萌芽。
2020 年游凯超正式开启博士学业，正值 OpenAI 发布 GPT-3。但高校实验室的算力极为有限，无法开展大规模预训练实验，游凯超只能根据手中有限的卡量研究大模型的高效微调方法。经过一年多的探索，他再次碰壁：团队历经艰辛微调算法获得的 1%~2% 的提升，工业界发布一个更大的新基座模型就能轻而易举地将其彻底碾压。算法收益被基座更新完全覆盖的现实，促使他在博士后半段痛下决心，彻底告别纯算法，全面转向大模型机器学习系统。
`20:00` 结缘李卓汉与 Ion Stoica：“只要是好软件，就一定会有人用”
在游凯超的人生转折点上，2019 年夏天的伯克利暑研与同年底荣获清华本科生特等奖学金（清华特奖）是两件关键大事。在这场暑研中，他结识了日后 vLLM 的核心发起人李卓汉，以及伯克利系统方向的宗师级学者 Ion Stoica。
当时李卓汉是比游凯超高一届的清华学长，刚结束大四学业，被录为 Ion Stoica 的 2019 级博士新生，提前在 RISELab 参与入学前交流。游凯超听了李卓汉的研究分享后，对其系统方向深感兴趣，两人便加上了微信。机缘巧合的是，暑研结束后，Michael I. Jordan 和 Ion Stoica 两位顶尖学者受邀担任清华大学计算机系的访问教授并于同年秋季来华，游凯超作为两边都熟悉的接待人员负责了筹备。
在一次与 Ion Stoica 的面对面交流中，游凯超吐露了内心的迷茫与焦虑：自己很想做一个有影响力的系统软件，但又害怕自己只是一个无名小卒，花几年写出来的系统无人问津，平白浪费青春。Ion Stoica 用极具穿透力的人生经历打消了他的顾虑：
> “Ion Stoica 老师他就用他的人生阅历告诉我说，只要你是一个好的软件，总会有人用的。”
这句话如同一颗种子深深埋在游凯超心中。此后几年，他积极投身开源基础设施：2020 年疫情期间困在宿舍，他与同窗翁家翌联合开发了名为“天授”（Tianshou）的开源强化学习框架（训练 Agent 玩 Atari 视频游戏）；2022 年，他积极向 OpenMMLab 计算机视觉库和 PyTorch 等开源框架贡献自研算子与组件。
2022 年底 ChatGPT 横空出世，曾经与游凯超一起写天授项目的本科好友翁家翌（知乎网名“青苹果”）作为核心训练师名列 OpenAI 的官方博客中，成为见证历史的关键人物。这给游凯超带来了极大的精神冲击与思索。他反复推演后发现：大模型算法与数据极其依赖机构的顶级算力，而机器学习系统却可以在实验室以较小代价探索，并能无缝延展至超大规模场景。
2023 年秋天，疫情管控解除，Ion Stoica 再次以 SkyLab 教授的身份造访清华。游凯超直接向他表达了前往 SkyLab 交流的意愿，并重提了四年前的谈话：“四年前我其实问过你这个问题，然后这四年里面我也在一直探索我能做什么事情，然后如果我做出来一些有意思的事情，是不是会有人用。”Ion Stoica 被这位当年懵懂青涩的少年坚持四年的执行力所深深打动，当场欣然接收。2024 年，游凯超如期前往 SkyLab，顺理成章地赶上了 vLLM 迎来爆发式增长的黄金发展期。
`25:00` 两位导师的底层思维差异与“追求 Real-world Impact”
在对比 Michael I. Jordan 与 Ion Stoica 两位学界宗师的底层思维差异时，游凯超给出了深刻的洞察： - **Michael I. Jordan（偏理论与学术）**：更倾向于机器学习底层理论，甚至不愿将自己窄化为“AI 研究者”，而是研究算法背后的严密理论 Insight，涉猎博弈论、统计学与经济学机制设计； - **Ion Stoica（偏系统与实践）**：核心追求极为纯粹，即“Real-world Impact”（现实世界的影响力），其带领实验室孵化出的众多开源项目均成为现代软件工业的支柱基石（如 Apache Spark、Ray 等）。
游凯超坦言自己坚定地追求后者：“他们两个肯定没有优劣之分，但是我觉得在当下的那个时代，后一个是更值得追求的。前一个比较难追求……你要能做出 Impact，只能在世界上很少的地方有这样的坑位能够做出这样的影响。”同伴翁家翌也是从算法探索屡遭审稿人斥责“缺乏创新”（Not novel）的挫败中，转而选择用过硬的系统代码直接证明自身实力。
针对张小珺关于其本科斩获“清华特等奖学金”经历的提问，游凯超直言，特奖是 2019 年之前他在算法探索期踏实产出成果的副产品。当时学术界尚未像后来那样浮躁，认真做研究依然能得到同行的公允认可。但谈到特奖的光环，他表现得极为清醒。他认为清华特奖在当时被社交媒体过度造神了，从马东涵、马东昕双胞胎特奖到陈立杰等“神仙打架”的话题，让整个评选背离了学术初衷。将年仅大三、志气未脱的年轻本科生推向全网聚光灯下，极易对其正常的学术探索造成干扰。所幸学校在 2019 年主动取消了现场答辩网络直播，降温炒作。游凯超明确指出，大学里每个同学都有独特的志趣与轨迹，绝不能用单一功利的评选去框定“全校最强的十个人”。对于初入清华的学弟学妹，他的忠告是保持初心，不要只在看台上做观众，而是要在舞台中寻求自我蜕变与成长。
`30:00` 寻求确定性：从“Novelty”转向“性能加速几十倍”的量化底气
在博士中期，游凯超发表了名为 LogME 的工作。这不仅是一次迁移学习评估算法的创新，更是一套被广泛采用的工具箱软件。在那个节点上，他已经开始系统性地思考向系统软件转型。这一转型的核心驱动力是对**科学确定性**的渴望。
在纯算法领域，论文的审稿反馈常常充斥着主观判断，同行会无休止地争吵“创新性（Novelty）是否足够”，让人陷入无谓的内耗。然而在机器学习系统领域，评价标准是冰冷、硬核且不容置辩的：
> “别人争论说我这个东西多么创新，就是我的 Novelty 有多高；但是呢，还有另一个方向，就是你跟别人说我这个东西加速了多少倍，这个东西是比较客观的……你可以明确地知道我做的贡献是什么，而且可以很明确地量化。你可以说我的东西不 Novel，但是你不可以说我的东西没有用。”
这种“通过付出更多工程优化时间就能换取扎扎实实性能产出”的确定性感，彻底取代了算法评议中漂浮不定的运气成分。游凯超总结道，自己对算法研究丧失希望并非因为某一个戏剧性的单一事件或挫折，而是一个长期的理性研判过程：顶级算法的试错成本过高，且全球仅有屈指可数的几个超级平台拥有与其匹配的超强算力资源；当客观条件无法支撑时，将工程才智投入到能立竿见影赋能全局的机器学习系统上，才是最扎实的选择。
`35:00` 衡量标准的转变：从论文引用到真实用户的正反馈
在决定转向系统工程领域时，研究者的衡量标准发生了根本性的转变。对于传统的算法研究者而言，衡量成果的硬指标往往是论文的引用数；然而走向系统研究之后，最直接的标准变成了“你做的东西有多少人用，以及对大家是否带来了真实真正的收益”。
游凯超指出，系统工程的成就感来自于 GitHub 上的真实数据和开发者的反馈：“比如你的这个 GitHub 的一个项目有多少人 star 了，然后有多少人发来感谢信，就是在 issue 里面说我用你的这个东西，然后给我提高了多少多少的效率。”在这种路径下，学术论文不再是唯一的目标，而变成了一个副产物。当一套算法和工程实现已经非常扎实、拥有庞大用户群时，再将其中有价值的技术总结成论文投稿，审稿人通常也会非常宽容，因为“他可能也就是我们系统的用户”，投稿过程因而顺理成章。
谈及转型的过程是否有过纠结，游凯超表示自己不仅没有纠结，反而觉得过程非常快乐。这是因为系统工程的正反馈是持续累积且高度确定的： > “你说我这个东西给你加速了两倍，然后我明白这个背后为什么加速了两倍，这个原理我是确定的，所以我也可以很自信的说别人用这个东西就是能加速两倍。那这个过程中别人给我的反馈是持续不断的累积的。”
相比之下，算法研究者提出新算法后，即便宣称在特定场景下能提升 2% 到 3% 的准确率，其他人在不同场景下复现时往往很难达到同样效果，甚至还会质疑准确率是否有所下降，这种不确定性让人很难积累起扎实的正反馈。
从 2019 年结识 Ion Stoica 实验室的学生，到 2023 年 vLLM 问世，游凯超经历了方向的持续探索与积累。期间因疫情阻隔无法出国交换，欧美学术界与工业界却在全速推进大模型研发。当 ChatGPT 骤然亮相时，游凯超坦言这对大家宛如“当头一棒”：“就是我们这几年在干什么，对比这个对方这几年在干什么，然后人家已经干出来了一个这么 amazing 的东西。”
---
`37:56` 伯克利的五年周期律与开源项目 vLLM 的诞生
vLLM 最早于 2023 年 6 月左右正式开源，其早期研发可以追溯到 2022 年底。该项目最初是 UC Berkeley 的 Ion Stoica 教授实验室的一个科研课题，论文的主要作者是李卓翰（Zhuohan Li）和 Woosuk Kwon。
伯克利之所以屡屡萌发出诸如 BSD、RISC-V、RAID、Spark、Ray 以及 vLLM 等重量级基础设施，源于其深厚的重工业软件传统。游凯超特别提到了计算机体系结构领域泰斗 David Patterson 在 2014 年撰写的观点文章《How to Build a Bad Research Center》中总结的经验：每一个大型实验室或研究中心只做 5 年就足够了。
```mermaid flowchart LR accTitle: 伯克利实验室代际演进与代表项目 accDescr: 展示伯克利实验室每五年一代的演进脉络，从 AMP Lab 到 RISELab 再到 Sky Computing Lab。 subgraph Labs["伯克利 5 年周期演进"] AMP["AMP Lab (Spark)"] --> RISE["RISELab (Ray)"] RISE --> SKY["Sky Computing Lab (vLLM)"] end ```
- **博士生的 5 年周期与科研专注**：5 年恰好是一名优秀博士生从入学到毕业的完整时间段，研究中心在这 5 年内充分凝聚博士生的精力专注攻克一个领域，能极大推动行业发展。 - **学术与产业周期的共振**：从 AMP Lab 做出 Spark，到 RISELab 做出 Ray，再到 Sky Computing Lab 诞生 vLLM，一旦实验室的 5 年周期与工业界对基础设施的需求发生共振，便会诞生出划时代的基础设施项目。
游凯超敏锐地意识到“vLLM 就是下一个项目”。当历史机遇摆在面前时，他决意倾注全力加入并维护这一开源生态。
---
`41:00` 开源维护者的筛选：谁能在没有即时收益时留下？
说服一名在读博士生长期作为核心维护者投入开源项目，是一件极其困难的事情，因为不同阶段的学生有着截然不同的诉求： 1. **低年级博士生**：面临毕业论文压力，急需主导（lead）新的项目来确立研究方向并发表成果，因而倾向于探索新领域，而不愿沿着现有系统去修补代码、巩固已有知识。 2. **高年级博士生**：面临求职与毕业走向工业界的现实压力，很难抽出大量时间进行繁琐的工程日常维护。 3. **最合适的维护者**：处于博士“中后期”阶段，已发表的成果足以满足毕业要求，论文压力较小，同时渴望获得扎实的系统实战经验（hands-on experience）。
游凯超当时恰好处于这一绝佳窗口期：算法成果已足够支撑毕业，他渴望深入学习如何从零构建一个生产级系统，“对纯工程的问题完全 OK，几个月都在做工程实现都没问题”。
在团队最初的分工中，李卓翰与 Woosuk Kwon 是论文的第一作者与早期维护者；第三位全职加入的核心成员是 Simon（现 Inferact CEO）。Simon 是一位开源老兵，早先准备读博时曾选择休学参与 Anyscale 的早期创业，在工业界摸爬滚打数年后重返校园读博，比起论文更看重系统的实际影响力；游凯超则是第四位深度参与的核心开发者。至于论文的其他合作者，则因为毕业、求职等客观原因逐渐分流到其他方向。
面对是否介意自己不是“发起人”的问题，游凯超直言完全不在意： > “我觉得不需要吧，就是更多看你能在里面做什么贡献。其实当时这个开源项目它整体处于一个非常缺人的状态，所以我觉得只要投入热情，用真心就可以。”
---
`45:00` PagedAttention 论文的学术宿命与 vLLM 推理引擎的本质
很多人容易混淆 vLLM 与其奠基论文《Efficient Memory Management for Large Language Model Serving with PagedAttention》之间的关系。游凯超厘清了这两者的定位差异：
```mermaid flowchart TD accTitle: PagedAttention 论文与 vLLM 系统的关系 accDescr: 展示从 PagedAttention 算法到全功能 vLLM 推理生态系统的演进过程与核心技术组成。 PA["核心算法：PagedAttention<br/>借鉴虚拟内存分页管理 KV Cache"] --> SOSP["SOSP 2023 论文<br/>(聚焦算法与工件验证)"] SOSP --> Prototype["原型系统开源"] Prototype --> VLLM["生产级推理引擎：vLLM"] CB["Continuous Batching<br/>连续批处理"] --> VLLM HW["多硬件/算子协同优化"] --> VLLM ```
- **PagedAttention 的学术评价**：该算法的核心是借鉴操作系统中的虚拟内存管理机制，来管理大模型自回归生成过程中的中间状态——KV Cache。在学术创新层面，游凯超坦言：“从学术创新的角度来说，PagedAttention 算法的创新性甚至是偏低的。”在投递顶级系统会议 SOSP 2023 时，审稿人曾提出诸多批评，认为该想法“too simple、太直接了”。该论文最终能以低分过线被录用，关键在于团队动手极早，并且做了极其丰富、扎实的对比实验。 - **系统的生态属性**：根据顶级系统会议的 Artifact Evaluation（工件评估）要求，作者必须提供能够复现实验数据的原型系统，这促成了最初的原型代码开源。指导老师 Ion Stoica 敏锐地洞察到大模型推理引擎中蕴藏的广阔机遇，极力推动学生团队将 vLLM 作为一个长青的开源工程而非一次性学术作业来维护。 - **vLLM 不等于 PagedAttention**：今天的 vLLM 早已超越了单一算法，它融合了 Continuous Batching（连续批处理）以及后续涌现的大量推理优化技术，演变成连接上层飞速迭代的模型与底层异构硬件之间的高性能推理底座。
---
`50:00` 物质与精神的筛选：因“以中有足乐者”而聚的团队
开源项目与常规商业公司最大的不同，在于人员的来去并不受劳动合同或期权薪酬的硬性捆绑。有人追求金钱，有人追求职级与权力，而早期留在 vLLM 的核心成员所追求的是一种“历史意义”。
这种精神追求受到了伯克利导师 Michael I. Jordan 与 Ion Stoica 的深刻熏陶。谈及在简陋和高压的开发环境下为何能坚持下来，游凯超引用了古文来表达心境： > “我觉得比较感慨就是这个中学课本里面《送东阳马生序》里面这个叫做‘以中有足乐者，不知口体之奉不若人也’，非常适合这一句话。因为我们心中做着我们认为我们快乐的事情，所以我们就不觉得吃的喝的穿的享受不如他们。”
计算机领域的工程师生活需求往往非常朴素——有吃、有住、有电脑能上网便足以维系工作。正是这种没有世俗暴利激励的严苛环境，筛选出了一批纯粹热爱技术、愿意同甘共苦的志同道合者。这批核心维护者在经历数年的技术磨砺后，顺理成章地沉淀为 Inferact 创立时的原始班底。
---
`54:00` 2024 年的 V0 到 V1 架构重构：火电走向新能源的发电机
在 Inferact 公司正式成立前，vLLM 经历了关键的两年：**2024 年的主旋律是“重构”**，将实验原型打造成高可用的生产级系统；**2025 年的主旋律则是“大规模部署”**，直面硬件与模型的爆炸式增长以及中国开源生态的全面爆发。
谈及 2024 年底推动的从 V0 到 V1 的系统架构大重构，游凯超用“电力系统”做了一个生动的比喻： - **Token** 就像是最终输出的“电”； - **推理系统** 是庞大的“电力调度网络”； - **模型** 相当于“发电机”； - **底层硬件算力** 则对应风力、光伏等“自然资源”。
> “本次重构就好比说这个火电过渡到新能源发电的一个状态。那么从用户侧的角度来看呢，它的使用方式可能差别不大，你可能都是电是吧，你把这个插头插上去就能用；但是呢从推理引擎的视角来看，其实背后的这个工作原理发生了巨大的变化。”
在终端用户看来，推理引擎屏蔽了所有底层异构与适配的剧烈震荡。用户在前端界面中，仅仅是从下拉菜单里将模型由 DeepSeek 切换成 Qwen，或是更改了一个 API 请求参数；但在底层的推理引擎内部，不同架构模型的并行策略、显存管理机制以及底层芯片算子的适配方式完全是千差万别的。
vLLM 团队面临的最大工程挑战，便是在硬件体系与模型结构高速演进、频繁变动的过程中，对外保持严格的向后兼容性与统一体验，确保“在各种硬件上都能稳定跑起各种前沿模型”。
---
`57:30` 2025 年中国开源模型大爆发：从 DeepSeek 身上学习架构优化
2024 年的大模型开源阵地主要集中在欧美，以 Meta 的 LLaMA 系列和 Mistral 为代表，模型与底层硬件的耦合度尚不深，模型拓扑结构也没有发生剧烈突变。
转折点发生在 2024 年底至 2025 年初。游凯超于 2024 年 12 月结束伯克利的访问交流回国准备毕业，恰逢 DeepSeek-V3 在 12 月底压轴发布；紧接着 2025 年 1 月，DeepSeek-R1 震撼登场，并在农历春节期间引发全球技术海啸。这一系列爆发完全超出了团队原有的预期。
事实上，DeepSeek 团队与 vLLM 很早就建立了密切沟通。从早期自研优化的变种 DeepSeek-MOE（可视为 V1），到后续的 V2、V3，DeepSeek 内部一直重度使用并深度定制 vLLM。但 R1 和 V3 所展示出的系统工程深度，依然给 vLLM 核心团队带来了强烈的震撼： > “DeepSeek 的这个 Infra 同学做了很多的优化，我们需要学习就是他们在推理引擎方面虽然是基于 vLLM 做的，但是比我们做的往前面走了很多，所以我们当时是在不断的跟他们学习的过程中。”
随着 2025 年 7 月世界人工智能大会（WAIC）等行业节点的临近，国内模型厂商迎来集中爆发期，MiniMax M3、DeepSeek-V4 等架构更复杂、吞吐要求更高的模型相继推出，推动开源推理引擎的技术优化进入全新的竞速阶段。
---
`01:00:00` 跨越鸿沟：从零搭建 vLLM 中文开发者生态
随着中国开源模型占据行业聚光灯中心，原本基于欧美时区与工具链的开源治理模式暴露出明显短板： 1. **沟通机制阻碍**：海外社区主要依托 Slack 用英语交流，国内工程师不仅面临语言屏障，在访问稳定性上也存在诸多不便。 2. **产业连接断层**：国内大模型企业（如 DeepSeek、月之暗面 Kimi 等）虽在底层公开使用 vLLM，但受限于时区与地理距离，过去与海外核心团队几乎处于零面对面交流状态。
游凯超回国后，承担起了由零搭建 vLLM 中文社区的重任： - **搭建本土化渠道**：在微信公众号、小红书、知乎等平台建立官方阵地，系统化输出技术文档与版本更新解析。 - **实体走访与技术对齐**：亲自线下拜访 DeepSeek、Kimi 等一线大模型公司，深入机房与工程一线，系统调研工程师在生产环境下使用 vLLM 遭遇的真实瓶颈、长文本显存开销及性能痛点。借助此前在 vLLM 开源社区积累的声誉与信任，迅速将分散的国内开发者和头部模型厂商连接到统一的社区共建轨道上。
---
`01:02:30` 捐赠 PyTorch 基金会与商业化成立 Inferact 的两难抉择
2024 年底，核心团队面临项目长期维护的十字路口。Ion Stoica 教授给出了极其严肃的警示：**这么大的一个基础设施项目，如果没有一家实体商业公司全力支撑，最终一定会走向停滞甚至“凉掉”**。
为了确保开源中立性与永久开放，团队在 Stoica 教授的建议下，选择将 vLLM 项目的法律实体及商标资产全额捐赠给 Linux 基金会旗下的 PyTorch 基金会。
```mermaid flowchart TD accTitle: PyTorch 基金会中立治理与 Inferact 商业化分工 accDescr: 展示 PyTorch 基金会对 vLLM 商标所有权的持有，以及 Inferact 与其他企业在开源开发与商业化上的协作。 subgraph Governance["PyTorch 基金会 (中立监管)"] Trademark["持有 vLLM 商标与中立资产<br/>永久保障公共开源属性"] end
subgraph Ecosystem["社区共建与商业运营"] Inferact["创业公司 Inferact<br/>(核心维护者 / 技术领袖 / 商业化落地)"] Partners["外部生态伙伴<br/>(NVIDIA / AMD / Red Hat / Meta)"] end
Trademark -.->|"约束与背书"| Inferact Trademark -.->|"平等参与"| Partners ```
- **为何不隶属于伯克利？** 伯克利作为学术机构，没有适格的常设实体来永久运营庞大的开源软件。正如 David Patterson 的理念，实验室以 5 年为周期更迭关闭，无法提供跨周期的法律团队、商标维权与资产管理。 - **基金会的职能与局限**：PyTorch 基金会是一个治理型机构，保障 vLLM 与 PyTorch 同属于顶级旗舰项目（Top-level Project），确保代码资产永远属于公共领域（Public Domain），避免未来任何单一商业公司将其据为己有搞闭源。但基金会“不参与技术治理，代码还是要自己写”。
在完成捐赠前夕，团队对是否亲自下场创办商业公司 Inferact 经历了漫长而艰难的思想斗争。历史上顶级的 Infra 开源项目都有极其强大的商业实体作为护城河： - Linux 背后有 **Red Hat**； - Kubernetes 背后有 **Google**； - PyTorch 背后有 **Meta**； - Spark 背后有 **Databricks**。
尽管 NVIDIA、AMD、Meta 等巨头均在使用 vLLM 并参与代码贡献，但外部巨头往往带有强烈的商业诉求（例如推动自有芯片架构支持或争夺上下游话语权），巨头之间利益冲突频发，无法充当绝对公正的社区技术引领者。因此，唯一能带领 vLLM 走下去的，只有这群学生创立的独立公司。
然而对于这群年轻的学者而言，跳出舒适区异常痛苦： > “你要考虑到我们其实都是学生团队，然后我们原来很习惯的、很舒适的那个区域都是说：哎，来了一个技术问题，我们怎么拆解它，然后怎么把这个技术问题解决掉。那么现在要我们做的是，你要去学习融资，你要去学习招聘，然后你还要去考虑商业化，所以这里面其实是有相当大的阻力在里面的。”
`01:10:00` 路线抉择与两年的等待
围绕要不要成立一家公司来支持 vLLM 的长期发展，团队经历了长达两年的摇摆与困扰。Ion Stoica 教授从 2024 年（甚至可能早在 2023 年）就开始明确建议：“你们几个同学就应该开一家公司来支持 vLLM。”但当时团队成员都在忙于各自的学业。游凯超是几人中较早下定决心的。2024 年在伯克利做访问学者期间，他近距离观察了硅谷的创业同学，与他们交流创业中的关键抉择，并接触了早期投资人。游凯超得出的结论是：创业失败最坏的代价不过是少拿几年工资，但不创业，vLLM 项目就无法长远维系。因此，2024 年底离开伯克利前，他就决定参与创业，甚至在其他伙伴尚未准备好的情况下，主动接下 Sky Computing Lab 的博士后（Postdoc）Offer，并表态愿意为这家创业公司再等两年。
在此期间，游凯超还与本科时指导过他的伯克利教授 Michael I. Jordan 进行了一次关键交谈。面对大厂开出的高薪工作诱惑与清贫的博士后选择，Michael I. Jordan 结合自己历经风浪的经验指出，从长远来看，必须坚定支持 vLLM。CEO Simon 也认同 Ion Stoica 的观点，并且很早也倾向于创业；他在社区管理和沟通中早已展现出 CEO 的潜质。Simon 曾在 Character.ai 待过一段时间，试图借助外部大公司的资源来支持 vLLM（例如抽调几个人、协调部分算力），但最终发现这条路走不通。任何公司都有自身的正经业务，无法无限制地倾斜资源给一个开源项目；纯靠用爱发电的边缘小团队，根本无法长期撑起 vLLM 的生态。
`01:15:00` 终极抉择：拒掉两千万美元年薪
在所有创始人中，PageAttention 的一作兼 CTO Woosuk Kwon 是最犹豫不决的一位。因为学术与工程能力极强，摆在 Woosuk 面前的选择太多、诱惑太大： - 2024 年初 xAI 刚成立时，Elon Musk 亲自邀请他加入并统领 Infra 建设；若当时加入，其财富收益将是天文数字。 - 2025 年 Thinking Machines Lab 创立，创始人再次力邀他负责基础设施，随后该团队估值亦一路飞涨。
面对 Woosuk 的动摇，团队在 2025 年夏秋之际向他抛出了一个直击灵魂的问题：“你如果不跟我们一起创业，你赚到了很多钱，但是十年之后 vLLM 项目失败了，你是开心还是不开心？”经过深思熟虑，Woosuk 给出了与大家一致的答案——即使赚再多钱，若 vLLM 失败了也绝不可能开心。游凯超坦言：“如果我们赚自己赚了很多钱，但是 vLLM 项目失败了，我觉得我们会都是会后悔一辈子的。”
除了 Woosuk，其他几位核心成员的轨迹也各有原因： - 李卓汉（Zhuohan Li）因 2024 年较早毕业，当时其他同学都还是在读学生（学生成本极低，只要有吃喝、电脑和网络就能干活，缺乏开公司的迫切感），李卓汉一人无法推动创业，便先后加入了 OpenAI 和 Meta 的团队；由于已在工业界承担长期业务职责，难以再拉回全职创业。 - Woosuk 此前则是以学生身份在 Google、Thinking Machines Lab 等处兼职，团队最终成功将他从 Thinking Machines Lab“拉回了船上”。 - 此外还有 Roger 等坚守多年的开源合伙人及一批 Founding Engineer。
最惊险的诱惑发生在公司正式注册前夕。某家顶级科技大厂的一号位得知他们即将创立公司，直接致电给四位联合创始人，开出了**每人每年 2000 万美元年薪**的天价 Offer，要求他们放弃创业、加入该厂统领 Infra 和推理。但此时四人已下定决心要做“AI 时代的推理引擎”，没有任何人动摇，爽快回绝了该邀约。
`01:20:00` 开源治理机制与“仁慈的独裁者”
vLLM 并非扁平无序的松散社区，而是采用分级治理结构：
```mermaid flowchart TD accTitle: vLLM Community Governance Structure accDescr: The four-tier governance structure of vLLM showing Benevolent Dictators, Core Maintainers, Committers, and Contributors along with external industry partners.
subgraph CoreDecision["核心拍板层"] BD["仁慈的独裁者<br/>(Simon, Woosuk, 游凯超, 李卓汉, Red Hat 代表)"] end
subgraph Maintainers["开发与维护层"] CM["约 10 名核心维护者<br/>(负责关键模块与系统设计)"] CO["数十名 Committers<br/>(负责日常代码开发与审查)"] end
subgraph Community["社区与生态"] ALL["2000+ 社区贡献者 / 最终用户<br/>(提交 Bug Report、Feature Request)"] FND["PyTorch 基金会治理伙伴<br/>(NVIDIA, AMD, Red Hat, AWS, Google)"] end
BD --> CM CM --> CO CO --> ALL FND -.->|"投入资源与治理参与"| BD ```
- **仁慈的独裁者（Benevolent Dictators）**：包括 Simon、Woosuk、游凯超、李卓汉以及来自 Red Hat 的代表。平时充分听取社区意见，但在关键节点必须强势定夺方向。“仁慈的独裁者就意味着有些时候你需要对方向进行一些取舍，就是不能够做一个老好人。”例如，游凯超曾力排众议，强行把 **Beam Search** 功能从引擎中彻底剥离。尽管推荐系统方向的用户不断抱怨，但在大语言模型推理占据主导的时代，维护 Beam Search 只会给模型与推理引擎的适配带来指数级复杂性，必须断然放弃。 - **核心维护者（Core Maintainers）**：十余人，负责各重要模块架构与关键技术演进。 - **代码提交者（Committers）**：数十人，负责日常代码编写与维护。 - **战略与生态协同**：作为 PyTorch 基金会旗下的顶级项目，vLLM 吸纳了芯片厂商（NVIDIA、AMD）、软件巨头（Red Hat）及云厂商（AWS、Google）的深度资源参与；同时决策层每周召开例会敲定高优先级路线，明确“做什么与绝不做什么”——例如目前核心全力攻坚大集群上的大模型部署，对于几百兆的小模型优化需求则一概拒绝。
`01:25:00` Coding Agent 冲击下的开源社区异变
随着 2025 年 Coding Agent 的爆发，GitHub 官方数据显示 vLLM 成为全网贡献者活跃度最高的开源项目。但这种繁荣也带来了巨大的“幸福的烦恼”： - **垃圾 PR 镀金乱象**：2025 年 5 月起，社区发现部分培训机构利用 AI Coding Agent 生成毫无实际价值的垃圾 PR（AI Slop），让学员刷进贡献者名单，借此包装简历以提高大厂面试通过率。“这彻底打破了我们对于开源社区的用户都是善意的这一基本假设。” - **反制与准入收紧**：团队开始引入账号拉黑与机构信任机制，果断屏蔽 10 分钟提交 20 个低质 PR 的机器人账号。 - **开源协作逻辑重构**：代码生产成本已趋近于零，维护者花时间看外部 PR 的成本，甚至远高于自己带着充足 Context 让 Coding Agent 重新写一遍。PyTorch 核心维护者 Edward Yang 也撰文指出类似困境。游凯超预测，未来开源社区的分工将彻底两极化：普通用户只需提交 Bug Report 和 Feature Request，核心代码全部收拢由官方维护者配合 Coding Agent 亲自编写。
对于像 OpenCrawl 那样走向“AI 提交、AI 审查、AI 合并”的全自动自治社区，游凯超明确表示 vLLM 绝不能复制： - AI 无法替代人对未来技术路线的前瞻。vLLM 必须提前三到六个月预判未发布的新模型结构，提前半年至一年适配各大芯片厂商未流片的新硬件。 - 只有带有极强历史 Insight 和顶层设计能力的创始团队，才能完成那最为致命的 10%“画龙点睛”的设计工作，AI 只能完成剩余常规的 90%。如果核心团队散伙、频繁换帅，开源项目几乎注定陷入阵痛乃至衰亡。
`01:30:00` 开源项目的宿命：为何必须走向商业公司？
伯克利在系统领域的深厚积淀让团队意识到，一个开源项目要基业长青，必须满足几个关键维度：第一，解决全行业真正痛切的核心问题；第二，创始团队亲自掌舵、保持技术的延续性与号召力；第三，**背后必须有一家独立的商业创业公司来运营**。
游凯超举了 OpenSSH 的反面例子：作为全世界计算机加解密的基础设施，OpenSSH 多年来仅靠几个人极其清贫艰难地维持，直到十多年前爆发了波及全球的重大安全漏洞后，行业才仓促成立基金会提供资助。
为什么支持 vLLM 的不能是现有的大厂？ - 若由科技大厂主导，势必带来厂商原有的立场偏见与商业排他性；其他竞争厂商绝不会买单，社区必将走向分裂。 - 唯有一支中立的独立创业公司，作为原汁原味的创始团队，才能维系强大的公信力与号召力，凝聚整个生态。
最终促使公司成立的临界点出现在 2025 年。当时 Ion Stoica 警告大家：“这个公司再不成立，这个项目就要完了。”促成这一转折的现实困境主要有三点： 1. **人力断层**：社区运作模式人员流动频繁，无法支撑需要数月以上连续攻坚的集群级核心 Feature。 2. **法务与 NDA 墙**：与模型、芯片大厂在新架构发布前进行联合适配，必须签署极其严苛的保密协议（NDA）。开源社区不是法人实体，对方无法对变动不居的社区成员做背景调查，甚至担忧核心信息泄露给竞争对手，合作在法务层面彻底卡死。 3. **集群级算力匮乏**：2024 年模型规模较小，单机单卡尚可应付，且有赞助机器；但到了 2025 年，优化全面演进至大规模分布式集群级别。靠向外部公司“乞讨”算力步履维艰——往往耗费一个月游说只能借到短期算力，且随时面临对方因内部突发任务临时收回机器（如“一三五自己用，二四六给你用”，甚至提前一小时紧急召回通知），导致研发陷入严重停滞。
`01:35:00` Inferact 的诞生与资本狂热
2025 年八九月份，伴随团队成员密集毕业，团队正式向犹豫不决的 Woosuk 摊牌“逼宫”。Woosuk 经过几天的慎重思考后决定全职加入，创业四人组彻底集结。
公司启动融资时，硅谷 VC 的热情超乎想象。事实上，早在 2023 年至 2024 年，顶级机构就已经将他们列为必投目标，甚至在公司未成立前就通过纯捐赠形式支持开源社区： - a16z（Andreessen Horowitz）在 2023 年即向 vLLM 开源项目资助了数十万美元。 - 红杉资本（Sequoia Capital）与真格基金在 2024 年同样以无偿捐赠形式向社区注资。
当四人正式宣布成立公司 **Inferact** 并开启种子轮融资时，各大机构早已准备妥当，最终落地了高达 **1.5 亿美元的种子轮融资**。甚至在融资完成后，仍有大量投资人主动联系，表示愿意直接通过几千万美元的 SAFE（未来股权简单协议）送钱，只求在下一轮占个席位。
游凯超分析，资本之所以极度看好，本质在于团队在整个 AI 生态中的霸主级卡位： - 全球每一个新开源模型的发布，首发支持名单里必有 vLLM； - 全球各大 AI 芯片厂商要进入推理市场，必须主动寻求 vLLM 的适配支持； - 这背后撬动的是数百亿美元规模的计算市场，区区上亿美元的种子轮投资相比于所创造的生态价值根本算不上多。
`01:40:00` 团队分工与商业化信任
在 Inferact 的架构体系中，创始团队各司其职，保持着高度的信任与默契： - **Ion Stoica**：作为联合创始人及最高级 Advisor。作为 Databricks 联合创始人及 LMSYS / Chatbot Arena 的主导者，他对行业技术水温和商业演进极其敏锐，在公司重大战略节奏上给予团队宏观指引。 - **四位执行创始人（Simon、Woosuk、游凯超、李卓汉）**：采取“四位一体、共享大脑”的运作模式。彼此背景清晰，日常各管一块、互不重叠。历史上有技术 context 的专注技术攻坚，偏商务和管理的负责对应外部事务；只要负责人在某个方向上意见坚定，其余三人均给予绝对信任与执行支持。 - **商业化对社区的冲击**：游凯超明确表示，从 vLLM 演进出 Inferact 并没有削弱开源社区对团队的信任感。公司成立不仅没有伤害开源中立性，反而为社区带来了此前极度匮乏的合规实体身份、长期人力保障与充足的大规模算力资源，使得这一 AI 时代的开源基础设施能够真正健康、可持续地走下去。
`01:45:00` 从开源社区走向公司化运营：商业化边界与 PyTorch 基金会的“保险杠”
游凯超指出，成立商业化实体 Inferact 对开源社区来说其实是一件众望所归的好事。在成立公司之前，社区团队在与很多商业伙伴合作时常常面临法务和合规层面的尴尬——例如对方想要签署保密协议（NDA），没有公司主体就根本签不了；对方如果想提供算力资源支持，由于大公司的算力都在内网内部，很难直接开放给体制外的个人；即便有些公司愿意给资金支持，这笔钱该放在谁的个人账户、后续买算力时又如何提供合格的企业资质证明，全都是现实难题。Inferact 成立后，不仅解决了法务、资质与资金通道问题，还带来了全职的人力与机器资源，能够招聘更多专业人员并验证之前受限于算力而无法跑通的系统设计。
从开源用户的角度来看，社区成员关心的核心其实并不是自己能在项目里写几行代码或有多大声量，而是每次有新模型发布、新硬件推出或新的推理引擎特性上线时，vLLM 能不能在第一时间跟进并稳定支持。关于商业诉求与开源社区的潜在冲突，张小珺询问：“如果当商业客户和社区的需求发生冲突的时候，你们会选什么？”游凯超非常干脆地回答：“我们不接这样的商业客户。”他解释道，Inferact 目前处于严重的“供少于求”状态，团队能服务的商业客户数量远远小于主动寻求合作的客户，因此可以非常爽快地拒绝掉所有不想做的事情，确保公司的商业化举措完全与开源社区的发展节奏保持一致，最终的决策权依然牢牢掌握在四位联合创始人手中。
谈及 PyTorch 基金会（PyTorch Foundation）与公司的关系，游凯超解释基金会并不干涉项目的日常技术路线与代码管理，Inferact 团队主要以季度汇报的形式向基金会同步进展。游凯超将 PyTorch 基金会形容为“那一道保险杠，保证这个项目它不会闭源”。在他们心中，团队从未在闭源问题上有过丝毫犹豫，因为如果想做闭源商业软件，大可直接跳槽去既有大厂，而他们坚信开源推理引擎具有不可替代的公共价值，必须长期坚持下去。
- **关于公司取名“Inferact”**：团队为此反复讨论了数天，取名由“Inference”（推理）与“Action”（行动）组合而成，核心理念是“Bring Inference into Action”（把推理做到行动里面，让模型真正跑起来）。 - **十年愿景**：将大模型推理做到基本解决的状态，让大家未来只要想起大模型推理，就会自然联想到 vLLM 和 Inferact。 - **商业模式探索**： - **Endpoint Service（端点服务）**：公司自备机器与底层软件，客户直接调用 API 消费 token。 - **BYOC 模式（Bring Your Own Cloud）**：客户出机器与算力，Inferact 部署软件方案，生成的 token 供客户内部业务调用。 - **生态合作探索**：与战略级大客户共同探索如何把开源生态建立得更完善，开展前沿探索型商业合作。 - **核心商业逻辑**：“我们希望做到一个按量收费的状态，就是我们不是技术外包，我们不是在售卖我们工程师的时间，我们产生的价值取决于我们为你多产生的多少 token，为你的这些机器又节省了多少成本。” - **团队规模**：公司当前约 30 多人，正在逼近 40 人，并保持持续招聘。
```mermaid flowchart LR accTitle: Inferact 商业化与开源生态双轮驱动架构 accDescr: 展示 Inferact 公司如何承接 PyTorch 基金会背书，支撑开源生态，并衍生出端点服务与 BYOC 商业模式。 subgraph Governance["治理与保障"] PF["PyTorch 基金会<br/>（开源合规保险杠）"] Core["四位核心创始人<br/>（统一决策中枢）"] end subgraph Eco["开源社区底座"] vLLM["vLLM 开源生态<br/>（快速跟进新模型/新硬件）"] end subgraph Biz["商业化探索模式"] Endpoint["Endpoint Service<br/>（算力+软件交付 Token）"] BYOC["BYOC 模式<br/>（部署至客户自有云机器）"] end
PF -.->|"不干涉技术/季度汇报"| Core Core -->|"绝对优先"| vLLM Core -->|"按增量价值收费"| Biz vLLM <--> Biz ```
---
`01:50:00` 从学生社团走向正规军：计划性、团队协同与 Co-design 的电力比喻
从松散的开源社区转向一家商业公司，游凯超感受最深的差异在于管理模式的改变。在开源社区阶段，由于外部贡献者都是利用业余时间参与，各有本职工作和突发事务，根本无法通过自上而下的方式强制推行项目规划，往往只能陷入“best efforts（尽力而为）的许愿状态”——“我求求大家这周把这个做完吧”。而在公司成立后，核心开发者转为全职员工，团队拥有了专属的资源与明确的里程碑规划，能够把季度目标逐层拆解到周级任务，分工给具体的小组推进。几位创始人之间的沟通也从以往松散的同学关系，演进为每天高频同步日常事务、为共同目标攻坚克难的密切战友。在当年的规划上，Inferact 将持续聚焦于开源大模型推理生态，全力攻坚下一代推理引擎、新模型新硬件的深度适配以及下一代 token 消费负载优化。
在进入模型与 AI Infra（基础设施）如何进行联合设计（Co-design）的议题时，游凯超给出了一个通俗生动的“电力系统”类比： - **硬件（GPU/ASIC）**：好比自然资源，如同各地的风力、水流、太阳能光伏； - **模型架构**：好比“发电机”，存在风力涡轮、光伏板、水轮机等多种形式； - **推理引擎**：好比整套“电力系统与输配电网”，负责将模型高效跑在硬件上，最终将转化出的 token 分发给千家万户。
所谓模型与 Infra 的 Co-design，本质上取决于发电效率——如果某个流域水流湍急，某个流域水流平缓，发动机的设计就必须结合具体的流体力学条件做深度定制，以便榨取最大的能量转化率。
---
`01:55:00` 硬件彩票与专用算力时代：RoPE 成为标配的底层逻辑
在解释为什么推理效率不仅仅是系统工程师的工作，而与模型算法息息相关时，游凯超引入了学术界经典的“硬件彩票”（Hardware Lottery）概念。在几十年前摩尔定律主导的黄金时代，软硬件基本是各自为战的：软件开发者完全不需要考虑过多硬件微架构细节，因为硬件通用算力每两年翻倍，软件直接坐享其成。然而随着摩尔定律终结，行业进入了“黄氏定律”（Huang's Law）所代表的专用算力时代——算力总量虽然成倍增长，但绝大部分都是高度专用的算力，无法做到通用加速。
游凯超总结道：“如果你的算法没有利用到这些专用的算力，你就没有抽中硬件的彩票，你就吃不到这个时代的红利。”例如深度学习先驱 Geoffrey Hinton 极力推崇的胶囊网络（Capsule Network），概念上非常精妙，但由于在 GPU 上极不友好，始终无法得到广泛普及，甚至可能需要专用硬件才能跑起来；相反，Transformer 之所以席卷世界，正是因为它内部大量的密集矩阵乘法（GEMM）天然契合高并行度计算，堪称“抽中了 GPU 的彩票”。游凯超强调：“模型的结构它决定了推理效率的一个上界，如果你的这个上界太低了，那系统工程师就无力回天了，你已经做成这个烂样子了，那它再优化也就是这个样子，所以你必须得把两者结合起来看。”
在现实工程中，理想状态下算法与硬件应该互相协作，但现实往往是“算法需要去学习硬件的发展”。因为芯片的设计与制造周期极长，硬件一旦流片失误就会导致数年光阴的落后，因此大部分情况下是算法与模型结构主动去适配既定硬件。
游凯超以旋转位置编码（RoPE，Rotary Position Embedding）作为 Co-design 的标杆案例进行了详细剖析： 1. **注意力机制的解耦难题**：Transformer 诞生后出现了上百种位置编码，但绝大多数方案（例如 Alibi 这类绝对位置偏置方案）都需要直接修改注意力算子（Attention Kernel）的核心内部实现； 2. **FlashAttention 的统治地位**：随着长文本训练的兴起，绝大部分普通开发者根本没有能力去底层手写、修改高度手搓优化的 FlashAttention Kernel，凡是强依赖修改 Attention 内部实现的编码方案基本都被生态淘汰； 3. **RoPE 的设计精妙之处**：RoPE 虽具有相对位置编码的优良数学性质，却采用绝对位置编码的形式实现，最关键的是它能独立注入到 Query 和 Key 向量中，完全剥离在 Attention Kernel 外部计算，因而完美与 FlashAttention 互补共存，通过与底层 Infra 的深度契合登上了行业王座。
---
`02:00:00` DeepSeek 的极致 Infra：算法向系统靠拢与 D-Spark 投机解码剖析
针对“DeepSeek 是业内 Infra 标杆”的行业共识，游凯超高度评价其 Infra 团队处于全球顶级水平，并指出 DeepSeek 的成功核心在于算法团队不仅懂算法，而且极具系统思维。例如 2024 年初 DeepSeek 探索 MoE（Mixture of Experts）结构时，最初粗粒度 MoE 的高效实现就是由其算法研究人员直接写出来的，而后续在业界率先落地的细粒度 MoE 也源于算法与系统的通力打磨。游凯超认为在团队协作中，“算法需要主动去靠近 Infra，然后 Infra 也需要对算法有一些基础的了解”，两者若能坐在一起协同办公，日常的耳濡目染便能规避严重的工程偏差。例如 MoE 设计中曾有 Infra 工程师为了单纯追求负载均衡而采用 Expert Choice 方案，虽然硬件跑得极快，但算法收敛表现完全不可接受，这就是过度倒向系统的反面教材。
就 DeepSeek 近期推出的投机解码技术 **D-Spark**，游凯超从系统工程视角做了解构： - **自回归推理的瓶颈**：大模型推理分为 Prefill（预填充，处理用户 Prompt）和 Decode（解码）阶段。Decode 阶段逐 token 自回归生成，属于典型的访存受限（Memory-bound）瓶颈，硬件利用率低下； - **投机解码演进与 Dflash 路线**：早期如 EAGLE 或 DeepSeek 自身提出的 MTP（多 Token 预测）倾向于每次短程猜测 3-5 个 token，命中率高；而 D-Spark 属于 Dflash 路线，每次激进地预测 16 个甚至更多 token（vLLM 与 NVIDIA 合作在 Dflash 支持下已跑出每秒上千 token 的极速），但缺点是激进预测带来的算力浪费与检验损耗严重； - **D-Spark 的实质改进**：通过轻量化模型置信度统计，在猜测出的长序列（如 16 个 token）中预先评估哪些准确、哪些大概率错误，若前 8 个准确率高，系统就只截断验证前 8 个，从而消除无谓算力开销。游凯超指出，在此之前腾讯混元团队的 D-Cut 以及上海交大团队的 Domino 工作均基于类似思路。
谈到为什么业内普遍认可 DeepSeek 而外界对部分宣称懂 Infra 的大模型领军人物（如马斯克）存在疑虑时，游凯超直言不讳地分析：马斯克擅长的是“Infra 的 Infra”，即重资本开支下的超大规模机房建设、通电与硬件集群点亮，属于资源驱动型统帅；而在具体的模型与 AI Infra 系统架构层，高层如果缺乏对现代 AI 算子的透彻理解，容易出现瞎指挥，导致底层的资深系统工程师有力使不出。
```mermaid flowchart TD accTitle: 投机解码（Speculative Decoding）长程猜测与验证优化流程 accDescr: 展现 Dflash 激进多 Token 预测到 D-Spark 置信度截断验证的处理流程。 subgraph Speculation["长程投机猜测阶段"] In["当前上下文输入"] --> Dflash["Dflash 激进前向猜测<br/>（例如一次性生成 16 个候选 Token）"] end subgraph Filtering["置信度过滤（D-Spark 核心）"] Dflash --> Conf["置信度/不确定性轻量评估"] Conf --> Cut["动态截断<br/>（仅保留前 K 个高置信 Token，如前 8 个）"] end subgraph Verification["主模型批量验证"] Cut --> Verify["主模型批量并行 Prefill 式验证"] Verify --> Output["高效吐出命中 Token，减少算力浪费"] end ```
---
`02:05:00` 算力紧缺倒逼极致 Co-design：好的系统是设计出来的，不是叠出来的
面对“好的 Infra 是设计出来的，不是加出来的”这一论断，游凯超再次呼应了发电机的类比：两年前的大模型生命周期里，训练占据绝对主导，推理大多是短文本问答，算力供大于求，行业不需要极致的系统压榨；而如今训练与推理的算力开支已经达到 1:1，甚至推理开销正在持续超越训练。在大模型推理需求爆发式增长的背景下，算力供给已呈现严重的绝对紧缺。
游凯超深入阐述道，发电机不能只做通用型设计：“一个地方的这个水力、风力它的上限是固定的，那你为了发出更多的电，你就只能提高你的发电机的效率，你就只能在发电机设计的时候，把当地的自然资源条件考虑起来。”再加上当前硬件演进中，GPU 正在朝着大模型高度特化的方向变窄变专，算法必须主动适配硬件。
游凯超举了一个极端的架构反例：“如果某一个算法团队他们某一天异想天开说，我的 Attention 的 Head Size 能不能开到 1024 啊？那么 Infra 团队可能就晕过去了，因为这个东西在硬件上很难实现。”如果模型团队与系统团队依然各干各的、各定指标，那么“这个团队就完全没有前途”。
针对 DeepSeek 为何难以被其他企业轻易复制，游凯超指出了两点硬核壁垒： 1. **全栈自建机房的极客文化**：DeepSeek 核心团队脱胎于量化交易背景，从早期自建机房起就习惯对服务器、网络拓扑到计算卡底层微架构进行全链路参数级榨干，控制力极强且长期平摊成本低；而绝大多数大模型团队依赖云厂商算力租赁，虽具备快速扩容的弹性，但由于无法深度碰到底层细节，控制力偏弱、总成本极高； 2. **跨界人才极度稀缺**：兼具算法直觉与 Infra 视野的双栖人才极少。算法工程师思考问题的出发点是模型表达能力（下游任务指标、精度表现、理论是否 Make Sense）；Infra 工程师思考的则是手头物理芯片的硬件规格、访存墙与带宽上限，致力于最大化硬件利用率（MFU/HFU）。
- **DeepSeek 核心技术脉络中的系统烙印**：包括早期 MoE 算子手写优化、细粒度 MoE 架构、D-Spark 截断投机解码，以及原生稀疏注意力（NSA，Native Sparse Attention）。 - **破局解法**：在招聘看缘分的前提下，最务实的管理抓手是让算法与系统团队物理坐在一起办公，通过日常讨论、共同进餐在潜移默化中增进对彼此技术边界的理解与尊重。
---
`02:15:00` Token 不是普通电力：异质性挑战与两三百种模型架构的生态重负
在支持全球前沿开源模型（如海外的 Llama 系列，国内的 Qwen、GLM、DeepSeek 等）的实践中，游凯超分享了他们观察到的地域性差异：“欧美那边的模型更重视效果，中国这边的模型更重视效率。”这种差异很大程度上是由算力供给的宏观现实决定的——欧美算力资源相对充沛，团队更敢于在模型尺寸和算力消耗上追求天花板；而国内算力资源相对紧缺，倒逼团队在推理吞吐与显存利用上做极其细致的算计。
从 Infra 的角度审视，对推理引擎构成最大技术挑战的核心在于**注意力机制（Attention）的架构设计**： - **经典 Full Attention（如两年前的标准 Llama 架构）**：每个 token 产生的 KV 状态尺寸较小，推理过程中 KV Cache 仅线性追加、绝不发生回写修改，系统层面可直接通过 PagedAttention 机制进行高效的虚拟内存分页管理； - **现代线性注意力（Linear Attention）**：每个 token 承载的内部隐状态体积更大，且随着时间步推进会不断被覆盖和更新，无法复用传统的只追加型缓存，对推理调度引擎构成了颠覆性要求； - **混合交叉注意力（Hybrid/Cross-Attention 等）**：状态生命周期与拓扑极其复杂，管理难度极高，所幸目前尚未成为主流架构。
在对谈结尾，游凯超对“Token 即电力”的比喻做出了关键的技术修正与反思：**Token 绝不是均质的普通电力，它具有极强的“异质性”（Heterogeneity）**。 - **电力的通用性**：现实中的电发出来后可以通过变压器、逆变器自由调制电压与频率，国家电网统一规定 220V/50Hz 接口后，所有家用电器插上即用，是标准的大宗商品（Commodity）； - **Token 的高度异构**：大模型的 Token 完全无法任意调制或无损转换——“你没有办法说把一个 DeepSeek 模型的 Token 转化为一个 Kimi 的 Token。”就好比世界上有一百种发电机，发出来的电压从 90V、110V 到 120V 天天在变，用户与下游工程（Harness Engineering）必须被动去适应每一个模型专属的输出偏好； - **业务属性的巨大割裂**：不同模型由于架构和后训练差异，有些善于宏观指挥，有些善于执行具体代码；有的适配 Claude Code，有的契合 OpenCode 等不同 Agent 框架； - **系统层面的深层干扰**：不同推理厂商的引擎实现差异、模型训练期经历的不同测试框架（Harness），都会不可避免地渗入生成的 Token 质量之中。
目前整个大模型行业不仅没有走向同质化，反而处在模型结构百花齐放、高度混杂的激烈分化期。游凯超透露，vLLM 迄今为止已经在代码库中深度支持了**两三百种**截然不同的模型结构，这也促使团队在持续思考如何以更通用的抽象应对日益庞杂的模型生态。
`02:20:00` 剪除不必要复杂度的权衡，与 MoE 架构给推理 Infra 带来的三大挑战
面对模型结构持续爆发、推理复杂度居高不下的现实，张小珺询问 vLLM 支撑如此庞杂结构的取舍与代价。游凯超直言，项目的核心价值就在于能稳稳承载住这份系统复杂度，但这并不意味着照单全收，而是需要不断做减法：“这就是这个项目的价值，就是它支撑住了这个复杂度，当然我们也需要就是不断地去删减掉不必要的复杂度。”团队会主动删除已无人使用的老旧模型与多余 feature，把有限的精力聚焦在让主流模型、主流硬件以及主流 workload 跑出极致性能。
谈及当下最主流的 MoE（Mixture of Experts，混合专家）架构，游凯超梳理了 MoE 给推理 Infra 带来的三大核心挑战： 1. **细粒度专家（Fine-grained Experts）**：DeepSeek 提出的 DeepSeekMoE 证明专家粒度越细效果越好，但专家粒度变细会导致矩阵乘法的维度降低，直接冲击 GPU 对小矩阵乘法的高效利用； 2. **动态路由（Dynamic Routing）**：每个 token 依赖路由模块动态选择激活的专家，这种强数据依赖打破了 GPU 最擅长处理的静态数据流（提前规划数据路径），给高效调度带来巨大难题； 3. **专家并行与高维通信（Expert Parallelism & Communication）**：MoE 扩展至万亿参数后，单次通常只激活几十分之一，必须深度结合专家并行（EP）与数据并行（DP）策略，这对通信拓扑和底层系统设计提出了极为苛刻的要求。
针对上述三大瓶颈，DeepSeek 在 2025 年集中推出了一系列系统性解决方案，包括用 DeepEP（DPP）搞定专家并行通信，用 DeepGEMM 优化低维矩阵乘与动态专家计算。游凯超高度评价道：“确实可以说，就是 MoE 这一波，DeepSeek 是引领了时代的潮流发展方向。”而在 MoE 之后，业界对注意力机制的探索仍在持续，无论是线性注意力（Linear Attention）还是稀疏注意力（Sparse Attention），两者并非“非此即彼”的对立关系，大概率都是极具探索价值的并行解法。
```mermaid flowchart TD accTitle: MoE三大挑战与系统解决方案架构 accDescr: 展示细粒度专家、动态路由和超大参数专家并行三大系统瓶颈及其对应解法
subgraph Challenges["MoE 给推理 Infra 带来的三大挑战"] C1["细粒度专家 (DeepSeekMoE)<br/>矩阵乘法维度极低，难以吃满硬件吞吐"] C2["动态路由机制<br/>Token 运行时动态选专家，破坏 GPU 静态数据流"] C3["万亿参数专家并行<br/>只激活几十分之一，通信拓扑与系统要求极高"] end
subgraph Solutions["系统级解决方案 (以 DeepSeek 2025 系列为例)"] S1["低维计算优化 / DeepGEMM<br/>细粒度计算与特化 GEMM 实现"] S2["计算与选择联合调度<br/>重叠计算与动态调度开销"] S3["DeepEP 专家并行通信<br/>高吞吐低延迟通信库与并行策略"] end
C1 --> S1 C2 --> S2 C3 --> S3 ```
---
`02:23:45` 测试时计算（Test-Time Scaling）的范式演变：从 O1 长思考到 Coding Agent 交互
在探讨 Test-Time Scaling（测试时计算扩展）时，游凯超指出这一概念并非凭空出现，在早期机器学习中它就以集成学习（Ensemble）的形式存在——同一个问题让不同模型或同一模型多次尝试，对结果投票集成，扩展的是“模型尝试的次数”。但由于这种早期范式与当今大模型不契合，vLLM 之前甚至主动移除了束搜索（Beam Search）等老旧策略。
进入大模型时代，Test-Time Scaling 出现了两次截然不同的演化阶段： - **OpenAI o1 范式（长推理思考）**：针对国际数学竞赛等高难度科研场景，通过让模型单次输出多达数万乃至数十万 token 展开深度思考。此阶段 scale 的是“单次输出的 token 数量”。由于单请求耗时长、系统成本畸高，目前主要服务于前沿科研等极少数人群。 - **Coding Agent 范式（多轮环境交互）**：Agent 与终端、IDE、编译器持续交互。模型每次思考只有短短几百个 token，但交互频次极高，scale 的是“交互轮数或任务完成的总时长”。这种模式能让 Agent 深入日常代码环境，催生了年初以来的“小龙虾热潮”（OpenCodeInterpreter 等 Coding Agent 工具走红）。
```mermaid flowchart LR accTitle: Test-Time Scaling 的三个演化阶段 accDescr: 对比集成学习、长文本推理思考与多轮交互智能体三种计算扩展路径
P1["早期 ML: 集成学习<br/>Scale: 尝试次数 (Ensemble/Beam Search)"] P2["大模型前段: o1 长思考<br/>Scale: 单请求 Token 长度 (数万至数十万)"] P3["当前爆发: Coding Agent<br/>Scale: 与环境交互次数 / 任务运行时长"]
P1 -.->|"范式升级"| P2 P2 -->|"落地日常编程环境"| P3 ```
---
`02:25:00` Harness 与 Infra 的 Co-design：Prefix Caching 是核心生命线
面对 Agent 多轮调用和超长上下文的复杂管理，游凯超强调其底层底座的支柱是前缀缓存（Prefix Caching）：“这种多轮交互的情况下，前缀缓存（也叫 Prefix Caching）就非常重要，我们要尽量确保历史状态都能够保留下来，这样子下一次请求可以很快地进行。”
然而，当前生态的碎片化严重拉低了推理效率。许多上层评测与调用框架（Harness Framework）在设计时缺乏系统常识，踩雷无数： - **前缀不稳定破坏复用**：部分模型每轮思考前会删掉上一轮的思考轨迹；部分 Harness 开发者“自作聪明”，在每次调用工具时把可选工具列表在前端做精细化改动。由于工具描述通常挂在 Prompt 前部，任何微小改动都会使整个 KV Cache 瞬间失效，全量重算给推理系统造成巨大冲击。 - **动态变量滥放 System Prompt**：过去 ChatGPT 会把当前系统日期写在 System Prompt 最前面，每天零点缓存统一失效。更优雅的做法是将日期作为 Tool（工具）按需提供给模型调用，保持 System Prompt 恒定。 - **整点定时轰炸**：最极端的反面教材是将带秒的时间戳写入请求，并将定时触发器硬编码为整点。游凯超引述了面壁智能同学的传神吐槽：“一群小龙虾一到整点就集体出动攻打月球。”这种系统一到整点就会迎来瞬时流量海啸。解决之道极为朴素：在小时区间内随机打散触发时间，剔除前缀动态时间戳。
谈及 DeepSeek 近期完成大额融资并重金招聘首位框架设计岗位，游凯超满怀期待地表示，DeepSeek 在模型与底层的联合设计上已是“一骑绝尘”，期待他们能发布兼顾 Infra 友好性的 Harness 架构，再次“给社区上一课”。
---
`02:28:40` 硬件与模型的高度耦合：图灵奖得主戴维·帕特森的预言与 FP8 分块量化实操
针对模型架构与芯片架构是否会走向如苹果 M 芯片与 iOS 般的深度耦合，游凯超完全赞同，并指出本质上是“模型被动往芯片靠拢，因为芯片已经造出来了，不迎合硬件就会丧失效率”。他重申图灵奖得主戴维·帕特森（David Patterson）演讲中的两大核心论断： 1. **后摩尔定律时代，通用算力增长停滞**：想要性能翻倍，唯一出路是设计针对特定负载的领域专用芯片（Domain-Specific Architectures）； 2. **矩阵乘法（GEMM）简单而极其有效**：英伟达与工业界二十年来的经验表明，只要把矩阵乘法做深做透，大部分计算问题就能迎刃而解。当下算力芯片全特化成了 GEMM 引擎，倒逼模型设计必须全面向矩阵乘法靠拢。
在软硬件协同实战上，游凯超以 NVIDIA 从 Ampere（A100）到 Hopper（H100）升级中主推的 FP8 为例展开深入拆解： - **两倍吞吐的陷阱**：FP8 算力理论上比 FP16 快两倍，但模型全局直接量化成 FP8 会导致严重的精度崩溃。 - **DeepSeek 的破局思路**：DeepSeek 成为业界首个跑通大规模 FP8 训练的团队，其方案是对权重采用分块量化（Block Quantization），对激活值采用主通道量化（Per-channel Quantization），这一策略完美对齐了下一代芯片的微缩标度（MX Format）。 - **乘法之后用向量单元累加**：面对分块量化后矩阵乘法精度丢失的问题，DeepSeek 巧妙利用芯片硬件特性，在 GEMM 单元算完后，交由芯片上可并行工作的向量单元进行高精度累加，在零精度损失的前提下直接吃满硬件翻倍红利。
---
`02:32:00` 技术洞察的 Secret Sauce：第一性原理与利用 CUDA CoreDump 解决疑难杂症
面对大模型领域每月翻新的数十个概念，张小珺询问模型与系统团队脱颖而出的“独门秘方”（Secret Sauce）是什么。游凯超斩钉截铁地回答：必须回归第一性原理（First Principles）。 - **浮躁从业者的乱象**：做推理引擎却不知 Continuous Batching 为何物，只会在外部脚本修修补补测速度；做性能调优对 GPU 频率、功耗、散热带来的波动一无所知，优化像在“抽彩票”；做模型架构只背公式，不知道 FlashAttention 底层在不同 Batching 条件下如何计算，面对旋转位置编码（RoPE）的上百种扩展方式毫无甄别力。 - **自研排障亲身案例**：游凯超作为算法出身转向系统研究的开发者，在自学 GPU Kernel 编程时，首先吃透 GPU 的底层编程模型。面对 GPU Kernel 中极其臭名昭著且难以复现的“非法内存访问”（Illegal Memory Access）Bug，他根据第一性原理推断，GPU 驱动底层必然存在类似于操作系统 CoreDump 的抓取机制。他带着明确的技术预判持续追问英伟达官方工程团队，最终让早已沉睡在底层库中的技术 **CUDA CoreDump** 重见天日。游凯超将其梳理并引入开源社区，彻底终结了该领域的无数玄学隐患。
---
`02:35:41` 独家技术预测：上下文窗口在百万级收敛，效率与 Scaling 不存在冲突
面对技术演进预测，游凯超直言模型与架构的演化是螺旋式上升的，但他给出了一个大胆的“Hot Take”： > “我觉得模型对于上下文的需求，基本上应该停留在百万上下文的这个级别。个别领域，比如说生物、化学之类的，他们处理一些特殊的数据……可能会需要千万上下文甚至亿级别的这个上下文；但是与人打交道的模型，我觉得他的上下文应该不需要再大幅增加了。”
他认为，长程任务规划或终身学习诉求，完全可以由外部工具、外置技能模块以及 Sub-agent 拆解消化。若此判断成立，现有的 Attention 结构与推理 Infra 范式仍将稳定延续很长一段时间。
针对国内卷效率、海外卷效果，以及“极致优化是否与 Test-Time Scaling 下的 Token 爆发相冲突”的疑问，游凯超打比方反驳： > “我觉得他们应该不矛盾。就比如说现在是夏天是一个用电高峰期，那我们不能说大家的用电量激增，发电厂就摆烂对吧？发电厂肯定要更加努力地去产生更多的电。”
算力与电力供给有刚性上限，Token 需求越激进，越需要供需两侧共同推进：供给侧通过 Harness 与推理引擎 Co-design 压榨每瓦性能，需求侧优化模型调度省着花，两者相辅相成。
---
`02:38:40` 中美基建与模型终局推演：电厂与核武器隐喻，开源终将取得胜利
在对比中美 AI 发展态势时，游凯超分析道，美国因顶级大厂主导走向闭源，而中国模型在开源领域接过了全球大旗。在基础设施上两国各存瓶颈： - **中国 Infra 现实**：高端算力紧缺，驱动团队把所有可用卡压榨到极致、积极拥抱多源国产芯片适配；优势在于土地与绿电供应相对充沛，智算数据中心扩建顺畅。 - **美国 Infra 现实**：先进芯片储备雄厚，但土地审批周期长，电网负荷严峻，下一阶段核心基建卡在电力供给的增容上。
对于模型格局终局，游凯超掷地有声地下注开源必胜：“长期来看，你觉得中美的模型格局的走向会是什么样的？……我个人是觉得开源模型最后会赢的。”他用电厂与核武器做了深刻比喻： > “你如果有一个核电厂的技术，那么你把核电厂发出来的电供给给一个城市用，这个城市用这个电用一辈子，他也不会研究出核电的技术，他只是用电，他不会触及到发电的技术。但是大模型是不一样的，大模型刚才说的每一个 token 他都是带着模型的烙印的……一旦你给人用了很长一段时间之后，其实用户他自己的数据已经可以训练出一个模型了。所以模型他就不是一个能够长期的对用户进行隐藏的东西。”
他进一步指出，模型不像核武器那样“炸一次就能藏在暗处形成威慑”，它是必须向广大群众开放调用的民用技术。伴随 Coding Agent 深入各家机构，一个月左右企业就能积累足够的合成数据，内部训练飞轮自转。模型能力壁垒无法长期防守，最终模型必定沦为通用大宗商品（Commodity），真正的壁垒唯有迭代速度。
| 维度 | 美国闭源路线（OpenAI / Anthropic / Google） | 中国开源生态（DeepSeek / 智谱 等） | |:--- |:--- |:--- | | **基础设施短板** | 变压器、电力与土地审批供应严重滞后 | 先进 GPU 芯片断供，高端算力高度紧缺 | | **基础设施优势** | 算力储备充足，芯片生态成熟度高 | 土地与电力供应充沛，数据中心落地快 | | **核心发展动向** | 押注闭源垄断，大力铺设新能源与电网基建 | 极致算法优化、软硬结合，多源国产芯片适配 | | **终局定位** | 壁垒难以长期掩藏，终受数据蒸馏与开源迭代冲击 | 以开源共享扛起大旗，重塑全球应用技术基座 |
---
`02:44:30` vLLM 的定位：做 AI 推理时代的通用 Linux 与 Red Hat 范式
鉴于开源模型终成大宗商品的趋势，Inferact 坚定选择扎根推理引擎基建。针对“模型大厂皆有自研内部引擎，vLLM 价值何在”的疑问，游凯超剖析道：DeepSeek 等顶尖团队的极速引擎依赖于对其私有自建集群、定制网络到上层软件的全栈强控，一旦换到外部公有云多变杂乱的异构算力环境，这种极度特化的推理系统无法快速平移横向放大。
而 vLLM 的核心竞争力恰恰在于通用化与云端便携性：“我们做的开源的推理更多是一个更公用化的一个推理，那比如说我可以在云上面租一些机器，可能这个机器有各种各样这样那样的限制，可能我们没有办法控制得那么极致，但是我们也能够做出一个还不错水平的推理引擎。”
关于 vLLM 的未来形态，游凯超明确认可了“AI 推理界 Linux”的愿景： > “我们已经可以说它就是 AI 推理领域的 Linux。那么比如说你看到 Linux 一个重要的维护公司是 Red Hat 对吧，它促进了这个 Linux 的这个推广，就是 Red Hat 它也在投入 vLLM。所以它为什么投入 vLLM？就是它觉得 vLLM 就是下一个 Linux，而且它已经把 vLLM 打包到他们很多的 Linux 的企业发行版里面了。”
在商业化与融资方面，公司立足于北美与新加坡双总部，正脚踏实地将商业模式打通并形成规模化扩张，以此作为下一轮融资的扎实里程碑。
---
`02:46:40` 工程师的人格底色：从知乎技术写作、形式化推演到分布式协作
探讨个人性格与开源热情的来源时，游凯超表示自己从大学起就浸润在开源文化的黄金十年中，“遇到问题先搜开源实现”已成工程师的肌肉记忆。从 2016 年起坚持在知乎写作输出，本质上也是技术自由分享与开源精神的自然延伸。
谈及文字与思考的关系，游凯超表示写作是自己梳理逻辑的试金石： > “我希望把写作就是把事情写下来。如果你没有办法清晰地写下来，说明你对它还不够了解……因为我也比较喜欢数学和物理，所以我比较喜欢形式化，就是形式化的东西你只有写下来了你才好验证，你需要大胆猜想但是小心求证。”
在 Inferact 的日常跨国协作中，由于团队分布在新加坡和北美两地，主要通过 Slack 进行异步文字对话和线上高频同步，以简洁直接的沟通代替冗长繁琐的文档流程。对于试图进入 AI 领域的年轻研究员，游凯超建议克服当前行业燥热带来的浮躁心态，坚持从第一性原理做功，想清楚内心所求，只要根基扎实，最终结果都不会太差。
---
`02:50:00` 后摩尔定律时代的系统彩票：人类知识压缩与历史指数临界点
游凯超再次引用并高度赞同戴维·帕特森的名言：在后摩尔定律时代，AI 的上限取决于系统而非算法。他列举了一系列技术演进予以佐证： - **Softmax 逼近算法被 FlashAttention 降维打击**：Transformer 诞生后，算法界投入海量精力研究 Softmax 各种近似降级算法，试图跑通长文本；然而 FlashAttention 横空出世，在系统工程底层直接实现了高效且无损的精确 Softmax 计算，导致此前的大批算法论文瞬间沦为废纸。 - **自回归 Decoding 的逆风翻盘**：自回归生成最初因只能逐个 Token 计算被断言无法实用，但随后 vLLM 的 PagedAttention 配合 Continuous Batching，以及投机解码（Speculative Decoding）从“逐字生成”转变为“小分段验证”，彻底改写了算法的工程命运。 - **线性注意力依赖硬件分块**：如 Mamba-2 与线性注意力的高效落地，依赖于松林等人提出的 Chunk Parallel 算法，使得算法能紧密契合硬件特性分段运算。
游凯超将其总结为残酷的“系统彩票”（System Lottery）： > “整体这是一个非常特化的时代，就是大家都需要 Co-design，因为通用的进步已经没了。所以说你需要跟硬件 Co-design，你需要跟系统 Co-design……你的这个算法能不能被系统高效地实现，只有被高效实现的这个算法最终才能够留下来。”
在访谈尾声跳出纯技术视角审视当下，游凯超感叹人类当前正处在自文艺复兴以来技术积累的爆发临界点。过去技术呈代际指数级传承，而计算机与 AI 的诞生，不仅实现了知识沉淀，更把古往今来人类一生的思想、言论与经验全量浓缩提纯为互联网语料。在人类所有历史经验的底座上叠加指数级进化，正是当今人工智能爆发不可逆转的宏大历史必然。
`02:55:00` 碳基与硅基的共存，以及关于“命运”的看法
当谈到整个人类历史的数据如今都能被用于训练、AI 的发展已经走到了指数级增长的临界点时，张小珺向游凯超抛出了一个终极议题：未来碳基生命与硅基生命应当如何共存？在那一天到来时，个人的生活与人生又会变成什么样？游凯超坦言这确实很难凭空想象，但从他深耕的底层机器学习系统视角来看，碳基与硅基应当是“各司其职”的。他分析指出，硅基智能在本质上更多依然是一种“summary”（总结与归纳），是从其摄入的海量语料中提炼模式；相比之下，人类拥有更多的 context（上下文与生活感知），因而能够提供独创性的 insight 和灵感。游凯超总结道：“理想情况下当然是人类驾驭着这个硅基智能，一起来让世界变得更加美好。”硅基负责提供更大规模的智力和极强的执行能力，人类则注入灵感、统领方向。
随后张小珺提起同为 vLLM 核心创始成员的翁家翌（Jiayi Weng），笑称翁家翌似乎非常相信命运，并询问游凯超是否也信命。游凯超展现了典型的理科系统思维与实证主义态度，反问道：如果要相信命运，首先要界定相信的是什么样的命运？又该从哪里观测到命运？游凯超表示：“我觉得在我这里我并没有看到一些观测命运的手段。可能翁家翌同学有些时候做梦的时候遇到过自己未来的命运，我这边还没有产生过这样灵光一闪的情况。”
```mermaid flowchart LR accTitle: Carbon and Silicon Intelligence Collaboration accDescr: Diagram showing the division of labor between carbon-based human intelligence and silicon-based AI intelligence.
subgraph Human["碳基生命（人类）"] H1["更宏大的 Context"] H2["独创 Insight 与灵感"] H3["设定目标与方向"] end
subgraph Silicon["硅基智能（AI）"] S1["对海量语料的 Summary"] S2["大规模智力计算"] S3["超强工程执行力"] end
H1 -->|"输入导向"| S2 H2 -->|"指引"| S3 S1 -->|"提炼赋能"| H3 ```
- **分工定位**：硅基智能强于归纳总结与规模化执行；人类碳基智能强于整体语境把握、灵感迸发与价值判断。 - **命运观的分歧**：相比翁家翌带有直觉和梦境色彩的宿命感，游凯超坚持需要存在“可观测手段”才能建立信念。
---
`02:57:08` 尾声快问快答：黑客冷知识、精神曲目与开源的终局豪赌
在访谈的最后环节，张小珺与游凯超进行了一轮轻松但信息量密集的快问快答：
- **喜欢的食物**：游凯超表示自己生活上追求不高，并没有什么特别偏好或执念的食物。 - **喜欢的地点**：加州大学伯克利分校（UC Berkeley）。游凯超在本科和博士阶段的两次关键交流学习都在伯克利度过，那里见证了他人生最重要的几次转变。 - **少有人知但必须知道的冷知识（推理引擎黑客技巧）**：游凯超分享了一个探测模型底层部署机制的硬核小技巧：“很多很多的大模型……你如果对一个大模型输入1000个感叹号，那么它一定会输出很多很多的感叹号。然后呢这个东西有的时候你可以用于去探测对方的推理引擎背后他开了几步的投机采样（Speculative Decoding）。”通过观察模型单次吐出感叹号 token 的规律与节奏，就能直接反推出竞品推理引擎内部的技术配置。 - **喜欢的音乐**：李宗盛的《山丘》。游凯超动情地解释，这首歌特别契合当天录制的心境，借用了里面的一句歌词：“想说却还没有说的还很多。”以此说明这场 3 小时的对话只是一个开始，未尽之言未来还可继续深聊。 - **影响 AI 进程的关键论文**：除了 Transformer、GPT-3 等公认的里程碑式大模型算法论文外，游凯超特别从底层系统工程的角度补充了三篇极具变革性的工作：FlashAttention、vLLM，以及 Flash Linear Attention。它们彻底重塑了大模型工程化落地与高效推理的格局。 - **当下最重要的一个认知下注（Bet）**：游凯超给出了坚定而清晰的判断：“我觉得我现在关键的 BET 就是我刚才说的，就是我觉得开源模型最后会赢。” - **对“语言即世界”的哲学反应**：听到工作室名字取自维特根斯坦的名言“我的语言的极限就是我的世界的极限”时，游凯超第一反应跳出的却是纯粹的代数数学定理——五次及五次以上的多项式方程没有一般的根式解（阿贝尔-鲁菲尼定理），无法用有限的四则运算与开方表达出来。他由此联想到：“语言即世界可能就表明我们其实只是一个低维生物，然后其实在我们之外还有更高维的存在。”
访谈在片尾英文主题音乐中圆满落幕，全景式记录了从学术研究、开源社区构建再到成立商业化公司 Inferact 的硬核求索历程。
## Notable quotes > `00:00` 你没有办法说把一个 DeepSeek 模型的 Token 转化为一个 Kimi 的 Token，这个 Token 它是带着模型的烙印的。 — 游凯超
> `01:55:00` 如果你的算法没有利用到这些专用的算力，你就没有抽中硬件的彩票，你就吃不到这个时代的红利。 — 游凯超
> `30:00` 你可以明确地知道我做的贡献是什么，而且可以很明确地量化。你可以说我的东西不 Novel，但是你不可以说我的东西没有用。 — 游凯超
> `10:00` 支撑实验的机器学习系统以及对应的数据，它其实才是决定成败的关键，而不是说你去雕琢 Cross Entropy 的五种加权方法。 — 游凯超
> `01:45:00` 我们不是技术外包，我们不是在售卖我们工程师的时间，我们产生的价值取决于我们为你多产生的多少 token，为你的这些机器又节省了多少成本。 — 游凯超
> `01:15:00` 如果我们赚自己赚了很多钱，但是 vLLM 项目失败了，我觉得我们会都是会后悔一辈子的。 — 游凯超
## Mentioned 游凯超, 张小珺, Inferact, vLLM, 加州大学伯克利分校, 清华大学, 季逸超, MindsDB, Meta, DeepSeek, 月之暗面, 何恺明, 孙剑, 旷视科技, Michael I. Jordan, Ion Stoica, 李卓汉, 翁家翌, Woosuk Kwon, Simon, David Patterson, PyTorch, PyTorch 基金会, Linux 基金会, NVIDIA, AMD, Red Hat, OpenAI, Character.ai, xAI, Elon Musk, Thinking Machines Lab, a16z, 红杉资本, 真格基金, Databricks, Continuous Batching, PagedAttention, FlashAttention, RoPE, D-Spark, Dflash, Mamba-2, Prefix Caching
## Video description 今天我们的嘉宾是游凯超，他是创业公司Inferact联合创始人兼首席科学家——这个公司很特殊，是从伯克利一个校园开源项目vLLM演化而来。这个社区的维护者用了将近3年时间，把它从一篇算法论文变成了一个开源社区，又变成了一个公司的正常运营。 这些维护者们放弃了大量的个人诱惑，坚持着他们所相信的开源精神。 今年初，Inferact获得了1.5亿美元种子轮融资。我们讨论了当一个寄托着社区情怀的开源项目，变成一个商业化的组织运营之后，它所面临的抉择、转变与思考。 另外一方面，我们也非常希望在AI Infra技术前沿上，给大家带来一些新的思路。所以我也和游凯超聊了聊，在AI Infra、模型结构，甚至Harness Engineering都要联合设计的时代背景下，多方的联合设计应该怎么做？ 接下来，就是我对游凯超的访谈。 OUTLINE: 00:02:18 从算法到机器学习系统 00:37:56 开源项目vLLM的诞生 01:07:25 “如果vLLM失败了，我们会后悔一辈子” 01:20:11 “仁慈的独裁者” 01:37:16 从社区到创业 01:52:56 模型与Infra的Co-design 02:15:10 Token VS 电力 02:35:41 技术预测 LINKS： 我们的播客在小宇宙、Apple Podcast、Spotify等全音频平台播出； 我们的视频播客在Bilibili、小红书、视频号、抖音等全视频平台播出； 如果你想服用文字版，请搜索我们工作室的公众号：语言即世界language is world。 DISCLAIMER: 本内容不作为投资建议。 CONTACT: xiaojunzhang@lisw.ai Jump into the new world-and explore with us!😉
[Source](https://www.xiaoyuzhoufm.com/episode/6a66ed17a3fec224d5a3f744)