最后，与工业界的深层交流促成了这一转变。2022年在 WOWS 大会上，游凯超与时任旷视科技首席科学家的张强宇进行了深入交流。张强宇提到工业界工程师最头疼的并非参数调优或 Loss 函数设计，而是为了适配具有多级缓存结构的特化硬件去编写和维护底层算子。这让游凯超意识到，底层工程与系统架构才是决定 AI 技术落地与成败的核心关键。
2019年暑期，游凯超前往加州大学伯克利分校（UC Berkeley）的 Rice Lab 进行研修，跟随机器学习领域泰斗级学者 Michael I. Jordan 学习前沿 AI 技术。在研修期间，他认识了当时即将入学 Rice Lab 的博士生李卓汉（后来 vLLM 的核心发起人），并建立了联系。不久后，Michael I. Jordan 与 Ion Stoica 两位教授作为访问教授前往清华大学访问，游凯超负责了接待与活动筹备工作。
在与 Ion Stoica 教授交流时，游凯超曾表达过自己的顾虑：作为一个“无名小卒”，如果投入巨量精力去开发一套机器学习系统，最后无人使用怎么办？Ion Stoica 教授凭借丰富的系统开发与孵化经验鼓励他：“只要你做出的是一个好软件，总会有人用的。”这段对话在他心中种下了转向系统工程研究的种子。
游凯超随后在开源社区展开了一系列实践。2020年疫情期间，他与清华本科同学翁家翌（后成为 OpenAI ChatGPT 核心训练师）共同开发了名为“天兽”的开源强化学习系统；2022年，他又将个人设计的算法贡献给 OpenMMLab 与 PyTorch 等主流社区。随着2022年底 ChatGPT 的爆火，以及看到周围同侪在 AI 前沿取得的巨大突破，游凯超更加明确了在实验室环境做 AI Infra 研究并拓展至大规模应用的可行性。2023年秋，Ion Stoica 再次访问清华，游凯超正式表达了前往交流的意向，并于2024年赴 UC Berkeley 的 Sky Lab 交流，正式加入 vLLM 生态的建设。
- **导师风格对比**：Michael I. Jordan 偏向学术与理论深度（机器学习理论、博弈论、经济学分析等）；Ion Stoica 则极度追求真实的现实世界影响（Real-world impact），通过开源软件孵化工业界基础设施。
- **学术评价体系的转向**：游凯超放弃了将论文发表数量和引用数作为核心衡量标准，转而将项目的 Github Stars、实际用户反馈以及解决工业界实际问题的能力作为追求的目标。
将项目捐给基金会时，团队尚未决定成立公司。Ion Stoica 老师态度极其坚决，他反复强调大体量的开源项目必须有商业公司支撑才能长青——就像 Linux 离不开 Red Hat、Kubernetes 离不开 Google、Spark 离不开 Databricks 一样。尽管 Meta、NVIDIA、AMD 等巨头也在使用并维护 vLLM，但大厂之间存在战略博弈与利益冲突，难以站在中立立场引领整个社区的长期发展。
走出舒适区创立公司对这群学生背景的开发者来说是一场长达两年的心智拉锯。游凯超是较早下定决心的成员之一。2024 年底他在硅谷交流期间观察了大量创业者并与投资人沟通，得出了坚定结论："即使创业失败，最坏的情况不过是少拿几年工资；但如果不创业，vLLM 就无法长期发展。"为此，他拒绝了高薪工作，接下 SkyLab 的 Postdoc（博士后）offer，毅然选择再等伙伴们两年。他在交流结束前曾向 Michael I. Jordan 老师请教，Jordan 老师以过来人的经验劝诫他：从长远来看，全力支持 vLLM 才是唯一不会后悔的选择。
随着 AI 编程能力（Coding Agent）的爆发，开源社区的形态正面临根本性重塑。PyTorch 核心维护者 Edward Yang 曾发文感叹维护者已无精力审核海量 PR。游凯超认为，未来的社区分工将演变成“用户提交 Bug/需求，维护者直接用 Agent 重写”的模式。针对 OpenClaw 等项目转向“全 AI 自动化治理”的路径，vLLM 团队保持了审慎态度，因为支持未来数月未发售的新模型与新硬件需要大量前瞻性的系统架构设计（Insight）与上下文（Context），这在目前仍是人类核心团队不可替代的价值。
[01:59:45](https://www.bilibili.com/video/BV18Qg96YE1W?t=7185s) DeepSeek 的极致 Infra 功底与团队协同
提到国内 Infra 做得最好的团队，DeepSeek 绝对属于全球顶级水平。强悍的 Infra 能力扩展了算法研究员探索模型结构的边界，使其能更快试错。更关键的是，DeepSeek 的算法人员普遍具备 Infra 意识。例如在 2024 年初探索 MoE（混合专家）架构时，正是其算法工程师写出了早期的粗粒度 MoE 高效实现，随后又率先在推理系统中实现了细粒度 MoE。
游凯超强调，算法与 Infra 的紧密合作至关重要。理想状态是招聘兼具算法与 Infra 背景的复合型人才；在组织结构上，推行同地办公（甚至一起吃饭交流）能产生潜移默化的影响。若单由 Infra 团队主导，极易出现过度偏向系统效率而损伤算法效果的偏差——例如曾有 Infra 团队为了 MoE 的负载均衡而擅自采用 Expert Choice 策略，这在 Infra 上跑得飞快，但在算法效果上无法被接受。
- **算法与 Infra 深度融合**：DeepSeek 的算法工程师亲自参与写底层 MoE 实现；Infra 强则算法探索的空间大。
- **反面教训（Expert Choice）**：纯 Infra 主导易犯“为了系统跑得快而牺牲算法表达能力”的错误。
[02:06:20](https://www.bilibili.com/video/BV18Qg96YE1W?t=7580s) AI Infra 不是加出来的，而是设计出来的
针对外界关于部分大厂“懂 Infra”的传言，游凯超直言许多大厂的一号位并不真正理解 AI Infra，容易陷入“瞎指挥”，导致懂行的底层工程师无法发挥价值。业界常把机房搭建、电力调度、点亮集群等硬件重资产开销称为“Infra 的 Infra”，这更多考验资金和找地找电的资源能力，而非 AI 系统架构的深浅。
对于当下是否还认同“在后摩尔定律时代，AI 的上限取决于系统而非算法”这一观点，游凯超表示这其实是图灵奖得主 David Patterson 的深刻判断，且近十年的技术演进不断在印证这一点。在通用硬件性能提升放缓的背景下，一个算法能否最终留存，很大程度上取决于它能否被底层系统高效地实现——这就是所谓的“系统彩票”。很多算法虽然理论上优雅，但如果无法与系统结合，最终就会被时代淘汰。
[0:00] Hello大家好,我是小俊今天我们的嘉宾是尤凯超他是创业公司Infrault的联合创始人前首席科学家那这个公司很特殊他是从伯克利一个校园开源项目VLLM演化而来这个社区的核心维护者用了将近三年的时间把它从一篇算法论文变成了一个开源社区又变成了一个公司的正常运营这些维护者们放弃了大量的个人诱惑所相信的开源精神那今年初呢Infra也获得了1.5亿美元的种子仍融资所以我们也讨论了当一个寄托着社区情怀的开源项目变成一个商业化的组织运营之后它所面临的抉择转变与思考另外一方面我们也非常希望在AI Infra的技术前沿上给大家带来一些新的思路所以我也和优凯超聊了聊在AI Infra模型结构甚至连Honis Engineering都要联合设计的时代背景之下那这个多方的联合设计应该怎么做那接下来就是我对游凯超的访谈如果大家喜欢我们的视频请大家给我们点赞投币转发一键三连期待2026年我们和AI共同进步最后我们是怎么说动他的呢就是小之以情动之以理就是最后跟他说我们一起创业,你赚到了很多钱,但是10年之后,WM项目失败了。你是开心还是还是不开心那么比如说有的地方水流比较湍急有的地方水流比较平缓那你在这两个地方怎么样去设计你的发动机使得你的发动机能够更好的利用这部分能量这个就是所谓的这个模型和infra的co-design我觉得Deep Stick的深厚的infra功底可能是来自于他们之前做换方量化的时候对性能的一些极致的压榨 因为大家把token和电做一个类比的时候可能会觉得电它是比较通用的电它是可以调制的但是token它是没有办法去做调制的你没有办法说把一个dipseek模型的token转化为一个KIMI的token这个token它是带着模型的烙印的拜拜Hello 凯超 先给观众朋友们打个招呼大家好 我是游凯超我是本科和博士都是毕业于清华大学然后现在是Infraact的联合创始人兼首席科学家那我现在的主要任务呢就是在维护以VM为核心的这个开源大模型推理引擎的这个相关生态然后我们的目标是为AGI提供软件服务我也是小俊播客的这个忠实粉丝我们之前看到很多行业的这个前辈朋友们那像张强宇老师啊这个杨志丁学长啊以及Mandos的记忆超我们都很熟然后我也很荣幸有这次机会来这里跟大家一起分享一下我的一些经历和看法说到Mandos的记忆超PIC其实凯超这次来我们节目也是他帮忙介绍的对对那个是去年12月份的时候的事了然后那个时候其实那个Mandos还没有被Meta收购然后但那段时间其实我也在忙着成立公司但没想到一拖就是半年然后现在这个也终于来兑现我的承诺了我们在正式聊技术之前还是非常好奇的想要探究一下你个人的经历你是从什么时候开始接触计算机编程的你是从初高中就有一些竞赛相关的经历吗我大概是从2015年开始接触这个编程的因为我在这个初高中期间我的主要任务就是这个中考高考就是正常的这个高中的学习物理竞赛方面的学习然后提高一些这个知识水平算是一个我觉得比较典型的理科生吧然后竞赛方面呢其实成绩也不算亮眼就是物理竞赛有一个省级一等奖用处不是很大就是最后这个对高考也没有很多用处所以呢竞赛结束之后呢我就继续准备高考那所以我并没有这个算法编程比赛的经验但是这个有一个这个我对计算机编程的了解呢就是我们在学数学物理的时候当时接触一些辅助计算的软件,比如说我印象深刻的有一个叫做几何画板的东西,你可以用它去观察各种函数图像,然后去做一些物理的仿真的动画的演示,虽然现在可能没什么人知道这些软件了,就是技术发展的太快了,虽然我回想起来好像只是10年前,但是好像已经是上一个世纪的东西了,没有人记得了,但是当时这些软件还是给我带来很大的震撼,就是让我看到计算机能做很多事情,然后还有一个比较相关的事情是清华大学在2013年的时候推出了学堂在线
[5:00] 基本就是对标国外的 edx 的在线教育平台那么1415年的时候呢那就是我在学习竞赛的时候,那么学堂在线呢,把很多清华的老师请来录制了一些教学视频,然后我当时一开始是在上面学习这个大学物理,因为我们中学的这个物理竞赛本质上就是大学物理加一些微积分,然后呢,学完了这个大学物理和微积分之后,刚好这个学堂在线他当时推出了跟EDX联名的一个python的课程,然后我就跟他学了这个python,那么这个算是我第一次认真的学习一门编程语言。呃虽然就是初中高中阶段我的主要任务是中考高考但是我不太喜欢这种无意义的重复劳动就是我不喜欢这个刷题所以我这个更喜欢学习新知识那所以我的很多备考的时间都是拿来学习这种各种课程啊虽然说这个题目比较简单的时候他不会考到这些知识但是我个人还是觉得学习这些课程能够学到一些新的知识然后他对于我深刻的理解一些难题也是有帮助的那这部分内容你是没有办法通过重复刷题来获得的所以我个人感觉就是学到知识这个比较满足虽然高考确实他最后就是我那一年高考他比较简单所以我的这些能力可能也并没有体现在高考分数上面没有用武之地对所以最后其实高考分数擦着清华的分数线上来的但是我觉得这个学习的过程还是很快乐的就是确实是学到了这些知识我觉得是有用的你刚进清华的时候好像还不属于就是最优秀成绩最好的那一波好像是高好分数线比清华的录取线是高了两分然后你是怎么在清华逆袭的呀我觉得不太好说逆袭吧就是确实高考分数线就是可能分数就是比分数线高那么两三分但是我觉得这不是很能反映就是你不能拿他去预测一个人在大学的这个过程我觉得他更多取决于你在大学里面干什么就是那个分数他只是一个admission就是你进了清华之后应该把这个分数就忘掉了你就应该接下来做大学要做的事情你当时有多卷我看到一些记录说比如说你一入学就开始疯狂追赶大一发了一百多封邮件给老师请教问题然后又看了一万多页的学习资料而且你的经读笔记你的论文经读笔记在校实馆展出等等等等吧最后36门课程获得了4.0的成绩啊这个是比较老的历史了已经过了好多年了但是我觉得这个也不是一个卷吧更多是说就我觉得我还是比较享受学习然后呢在大学里面确实我觉得学到了很多知识那比如说你说发100多封邮件给老师请教那其实10多门课然后每一门课你每周给老师发个邮件请教那就有100多封了所以他我觉得更多是一个坚持的过程吧包括学习各种东西做的笔记我觉得在大学里面学到了很多然后再记录了很多啊就是我并没有把笔记的数量这个字数什么的当做一个目标来优化它就是对所以我觉得更多是一个自然而然的就是学习的结果因为很多人认识你是从VLLM开始的但是你在清华读书的时候你的研究方向应该做的是迁移学习但这和你后来做的推理系统看起来完全是两个世界就是你是怎么从一个算法研究者过渡到今天这个深度参与系统工程的人呢我觉得这里面有几个主要原因吧我可以这个稍微说一下就是我在刚接触人工智能研究的时候大概是18年吧然后那个时候可能一届学术会议他一年大概几百篇论文左右然后这个时候我觉得他的学术社区比较健康就是你投稿之后然后呢审稿人可以给你一些比较有建设性的这个积极的反馈他会告诉你说你这个地方做的好那个地方做的不好然后你应该这样去改进就是我们真正的是在认真的讨论怎么样把一个工作做的更好这个学术会议的规模的扩张它的速度远远超过了社区成长的速度这个人工智能会议的投稿数它每一年都是在成这个几何级数的增长所以一个显而易见的问题就是审稿人的数量和质量都远远比不上这个投稿的数量那所以在这个时候其实审稿的质量急剧下降那你的投稿就像这个抽彩票一样就是你中或者不中可能跟你这个工作的质量本身已经没有很大的关系了一眼见证了这个过程,所以只能说比较痛心吧,然后但是这个大煞将亲他不是我一个人能够改变的,所以我就离开人工智能算法的研究,然后就不再把这个论文发表作为我的追求了。这是什么时候发生的变化呀?这是你大家记得说吗?这个应该说是
[10:00] 还是研究生期间的啊就是我18年开始嘛然后像1920年有这个趋势但是我觉得到后面20年之后这个趋势变得越来越严重然后这也是一个逐渐的过程啊对吧就我不是哪一天开始突然就不投了更多是感受到这个趋势然后就逐渐的就对这个投论文不再有那么大的兴趣了然后呃第二个原因是这个我发现人工智能算法领域的成果其实它很多时候依赖于这个机器学习系统怎么说呢就是呃我们做研究的时候这个我们认为人工智能领域的这个这个算法领域的天花板啊至少就是我个人心中的天花板就是何凯明老师就是他的这个resnet是吧一战封神然后呢后面每一次就是只要凯明老师的这个主页有变动他又挂了一个新的archive的论文我们这些同学就像收到了新的神域一样就是上天降下了一个神域原来又有一个新东西可以做了对吧然后我们就可以就去拜读这个凯明老师的论文那那个时候其实我们这个私下讨论的时候也经常会有这样的疑问就是看完了凯明老师的论文我们觉得这个想法实在是太自然了就是浑然天成的感觉一开始就应该这样设计但是好像类似的想法其实我也早就想过可能在实验室的组会上我们几个月前探讨这个问题的时候,我们也说你这个东西这样设计是不是就可以了呀,我们甚至可能还做过一点小的实验去验证说这个东西有没有效果,那为什么最后成功的是凯明老师呢?除了他个人非常厉害的原因之外呢,我这个分析出来的一个结论就是凯明老师做的事情,他不仅是方法简洁有效,而且他是做了大规模的实验的,我们实验室里面的这些小虾米我们只是在玩我们玩具数据集然后在上面就有点螺丝壳里做道场的感觉一个小小的数据集我们玩出花来了但是并没有做规模化的实验当我尝试着把手头上的实验规模扩大的时候显而易见的事实就是支撑实验的机器学习系统以及对应的数据它其实才是决定成败的关键这个五种加全方法所以呢这让我这个更关注机器学习领域的一个进展然后呃第三个原因是这个一些工业界朋友提供的反馈那上学的时候我非常喜欢参加一些活动然后结交一些朋友啊跟大家聊一聊现在工业界在发生什么然后我印象比较深刻的是这个2022年有一个叫做WOWS大会啊这是国内的一个这个机器学习和机器视觉的一个大会然后呢我在上面有个poster啊就是我去那边讲一个poster然后呢我在会场会场上这个刚好遇到了张强宇老师然后我就厚着脸皮拉着张老师在那聊了一个多少时一个多小时啊然后张老师他当时在矿市啊他应该就是矿市的首席科学家然后呢他聊的时候啊我就很惊讶的发现他作为这个目标检测算法领域的一个啊这个大佬吧他跟我们聊的其实不是说啊目标检测算法我们现在又发明了什么新的Loss这个效果怎么样了他其实说的更多是说啊他们现在面对的就当时啊他们当时面的这个面对的复杂硬件对于软件带来的挑战啊像矿式它也要设计一些像这个为目标检测CV算法所特化的一些硬件那么这些硬件上为了特殊负载设计的这些硬件它有这个多级的缓存结构然后呢你需要手动控制在芯片的这个多级缓存之间的数据流动所以这个矿式的工程师他们每天最头疼的啊不是说我这个参数怎么调而是说这个我这个英伟达的库DNN代码里面又有这样的问题那样的问题然后我需要适应这个硬件去写这样的算子那样的算子啊所以这个是对我触动比较大的一个事情工程的研究你刚才讲的时候我在想有没有可能凯明的那个年代就更适合算法的研究然后可能发展到今天可能算法的研究我不知道能不能叫做某种程度上雕花然后今天可能更适合大规模的系统研究你觉得跟时代背景有关系吗绝对我觉得是有关系的就是我觉得确实就是凯明老师的那个时代属于是算法研究的蓝海还没有那么多人进来所以我觉得算法那边能做的事情比较多嗯但是后面算法做的事情可能就是一些比较low henry的fruit都被大家摘完了然后啊再往前面可能很难有一些根本性的变化嗯以及还有就是大家对于scaling law的这个
[15:00] 信仰吧就是你的基本算法其实不需要怎么变你只需要不断的在网上面堆算力堆数据你的效果就能够自然的变得更好虽然你对算法失去了希望然后对发论文失去了希望但是其实你在本科的阶段其实也发了很多很好的论文然后你也进行了很长时间算法的研究你要不要讲讲就是你整个的研究的一个过程从本科到博士然后你的研究轨迹是怎么发生变化的对刚才说的那个转变其实是在博士期间就是我本科也没有做很久的研究当时也是在跟随了这个算法的研究那我的研究方向呢很多时候还是靠缘分和这个时代的趋势吧就是刚才说到我这个高中的时候在学长在线上面学习嘛然后上面有一些这个课程然后呢到了大学之后呢我又是又可以通过像EDX啊还有这些名校的公开课然后来学习进一步的知识那那个时候比较有名的公开课像这个吴文达老师的机器学习课程然后还有李飞飞老师的计算机视觉的课程自然语言处理课程啊这些都是非常有名而且非常好的公开课那么我学完了这些课程之后呢就尝试找个实验室做一些研究然后呢当时刚好我们学院里面也有一个老师在做这方面的研究啊所以我就从这个人工智能啊深度学习这方向开始研究然后呢后面也是在这个老师手下继续就是他就是我的博士生导师然后我就在这继续读完了博士你为什么没有当时考虑出国有考虑出国其实一开始是准备出国留学的但是后面受疫情的影响比较大就刚好撞上疫情了然后也不想那么折腾就留在学校里吧对然后本科期间做的事情呢主要是跟导师做一些这个我们叫做数据稀缺场景下的高校学习就是提升机器学习算法的泛化性但后来发现呢就是这部分研究它比较锦上添花别人已经做好了一个任务然后呢他可能做的不是那么好然后呢我再把一个通用的方法用上去然后希望给他提升1%到2%的准确率这个就很依赖于别人就没有办法大规模的应用啊所以后面实验室在这方面的投入其实也逐渐的变少了然后呢那19年暑假的时候我是去加州大学伯克利分校的我们这个麦克·纠顿老师手下做过一段时间的暑期研修,然后呢学习了一下美国那边的一些前沿的AI进展,也是开阔了眼界,然后当时其实已经有一些苗头就是在做大模型相关的技术了,回来之后就是博士入学之后呢,那么也是这个研究方向逐渐在往大模型这方面靠吧,那么我是2020年开始读博士的,就2020年应该就是这个GPT3发布的时候啊然后但是我们实验室的这个算力资源也非常有限所以我们没有办法做这个大规模的预训练的一些实验那我就根据我们能支配的算力然后研究了一些像大模型的微调的方法那这个做了一段时间呢虽然有一些成果啊但是其实也跟之前有一个类似的问题就是这个它比较锦上添花嗯就是我们做了一年的时间研究各种算法来的场景下也提高了1%到2%的效果但是呢你会发现一年之后哎大家有个更好的更大的预训量模型了那你只需要简单的替换一下这个预训量模型你带来的收益比我这个算法还大所以呢加上刚才讲到的一些原因我博士的后半段就从人工智能的算法研究切换到了人工智能机器学习系统方面的研究然后我是在2024年的时候又申请去加州大学伯克利分校交流然后接触了VOM然后再开始做大模型推理系统在你博士开始之前的2019年应该是对你来说有两件比较重要的事情一个是你去Michael Jordan老师那里去做交流现在的合伙人这个是一个非常重要的事情然后第二个是你获得了清华特奖这两个事情的先后顺序是什么样的呀应该先是暑期研修就是这个交流这个是在2019年的暑假,然后特奖是在2019年的年底左右吧啊,所以在那个交流你第一次遇到你现在的合伙人也是VLM的发起人的时候你对他的是什么印象啊当时是一个什么样的故事啊你在知乎上分享过这段经历对我可以这个把这个具体展开一下就是2019年暑假刚才说到就是我在Michael Jordan老师那里做鼠颜嘛然后Michael Jordan老师他是隶属于一个叫做Rice Lab的实验室这个实验室他是UC Berkeley的EECSC下面的一个实验室然后这个实验室它是专注于机器学习系统的设计那么它其实就包括两部分一部分
[20:00] 是机器学习一部分是系统然后Michael Jordan老师他当时是负责这个机器学习算法的方向然后我在研修期间呢也经常参加这个实验室的各种活动所以呢也借此机会就是接触了更多机器学习系统方面的知识那刚才说到的这个我们VLM的创始人之一也是我们的好朋友李卓汉那么他是实验室当时是2019年秋季即将入学的博士新生这是他比我高一级当时我是大三然后他已经大四结束了他要这个生就是他已经申请完了他在那个杨斯多克老师那做博士然后呢,当时他是在实验室参加一些这个入学前的交流活动,那我对他这个当时分享的研究经历比较感兴趣,然后就跟他加微信沟通了一下。所以就是他刚才说的他的导师是Yang Stoica嘛,他就是负责这个Rise Lab里面的机器学习系统的方向。那所以我觉得也是很有幸就是那次暑期研修我有机会同时接触到这个顶级的机器学习算法的老师和系统的老师。然后我在暑期研修结束之后呢我是就回清华继续学习嘛然后这个又是比较巧的事情就是这两个老师他刚好那一年是成为我们学院的访问教授所以在我这个结束交换之后啊就是我结束鼠研之后回到学校他们也紧接着来我们学校访问了就是他们从美国来到中国访问清华然后呢因为我当时在暑期研修的时候跟他们交流过嘛所以我就负责这个他们访问过程中的一些活动的筹备那那个时候其实我心中已经有一些萌芽的想法就是我觉得这个啊机器学习系统非常有意思然后呢我也想做一个比较有影响力的软件啊但是有一个担心就是总是担心自己啊就是无名小卒然后做出来的东西就是没有人用所以我在一次这个交流活动中呢我跟Yang Stoica老师说啊就是这个怎么办就是我如果我想做一个机器学习系统但是呢可能有没有人用那我做这个系统的时间是不是浪费了嗯那Yang Stoica老师他就用他这个人生阅历告诉我说做了很多很多事情然后呢他说只要你是一个好的软件总会有人用的这个也是我对于转向机器学系统的一个比较大的影响因素,就是杨斯多余格老师的鼓励。这其实是个前奏还没有真正做出选择的时候对对这些是一些这个线索吧就是他们埋下了一些种子然后呢我后面在学术研究期间就是也零星的做过一些开源软件的建设比如说2020年的时候就那个时候也是疫情反正也没有什么事做就只能困在这个宿舍里面然后呢当时和本科同学翁嘉义一起做了一个开源强化学习的系统叫做天兽当时还是训练这个游戏机器人是玩一些这个Ataria这些视频游戏啊,然后2022年的时候呢,我也做过一些像把我设计的一些机器学习算法,贡献给一些主要的开源社区,像这个OpenMM Lab的一些计算机视觉的库,以及像PyTorch这些机器学习库,那所以在开源社区里面也算有一些影响力吧,嗯啊,然后2022年底呢,这个。就是ChatGPT发布了,然后呢,我就是看到当时我们还在一起玩泥巴的这个朋友,就是清苹果同学,对对,清苹果同学,在植物上这么穿乎他,对,就是温家义,他现在已经是ChatGPT的训练师了,然后呢,当时OpenAI的每一个博客都是就是卷卷有他名,所以就是他已经属于是标柄史册了,那那个时候我就在想就是我未来要走向什么方向吗,那我当时也跟他请教了一下,然后发现就是大模型相关的研究呢,然后一个是数据和算法,这些是跟公司绑定比较强的,就是你的这个算法研究和数据研究都需要公司的比较强的支持公司的这个大量的资源然后呢其中有一部分是机器学习系统啊那么这一部分你是可以在实验室里面进行小规模的研究然后可以很容易的扩展到大规模的场景的所以这个也是坚定我这个对于研究方向的一个转变然后就是到了二三年的时候这个疫情已经基本结束了然后国际交流就恢复了那这个时候呢我们的这个学院的访问教授就再次来我们学院访问然后呢但是那个时候就是UC Berkeley的当时叫Rice Lab然后四年过去之后已经叫这个Sky Lab了然后呢就二三年秋天的时候Young Stoica老师再次这个来我们访问的来我们这里访问的时候我那个时候已经比较坚定了系统然后呢我就跟他说啊我能不能去你那里这个交流访问这个时候我是跟他提了一下说四年前我其实问过你这个问题然后这四年里面我也在一直
[25:00] 探索就是我能做什么事情然后如果我做出来一些有意思的事情啊是不是会有人会用那确实这个效果也是很好的所以啊他也是就是看到这个四年前的一个清晨少年然后四年之后还跟他说啊他还一直在践行这个四年前他给的一个建议所以他也非常感动然后就同意了我的申请所以我在2024年的时候就是在skylab交流然后刚好就是赶上了这个vm项目的发展所以说就是很多的这个机缘巧合吧但是我觉得就是啊如果没有这个19年的暑期研修呢可能比如说我就没有那么早的加上这个卓汉的微信啊我可能这个见Yang Soika老师的时间也会更晚一点啊但我觉得我的这个整体的大方向是不会发生变化的就是这个大方向它其实是很多事情积累的结果啊我觉得我依然会从这个算法研究转向机器学习系统这一次的这个重大决定其实我是酝酿了好几年的有一种冥冥之中的感觉冥冥之中以及我觉得这个是时代的趋势因为你同时看过就是在算法上和在系统上都非常顶尖的学者麦克尔卓顿和Ion Stoica老师你觉得他们的底层思维有什么不一样底层思维我觉得麦克尔卓顿老师更偏向学术和理论一些他做的是机器学习理论当然他从来不把自己叫做AI研究者他更多的是研究这个机器学习算法背后的一些这个理论的inside博弈论啊这个经济学分析啊之类的事情所以他可能更偏理论一些嗯然后啊Yan Stoica 老师更偏系统一些然后啊他的追求很简单就是real world的 impact所以他做了很多这个开源软件,然后很多开源软件后面都孵化成了重要的项目,然后成为了这个工业界的基础。你追求的是后一个对我追求的是后一个而且我觉得就是他们两个肯定没有优劣之分但是我觉得在当下的那个时代后一个是更值得追求的前一个比较难追求就像我跟孟嘉宜聊到的就是前一个那种东西你要能做出impact的只能在世界上很少的地方有这样的坑位能够做出这样的影响他跟你的选择也比较相似对吧对他也是做的AI infra就是我们当时一起做那个天兽项目嘛就也算是一个比较小的机器学习系统然后其实他当时也是做了一些这个算法方面的尝试然后其实也有很多挫折就是你可能提出一个算法然后投稿论文然后对方说你这个不novel没有用然后他最后可能就觉得那我不如写一个系统就是我告诉你说这些东西你就是牛,所以你跟欧嘉义是有点心心相惜的味道,是吗?在读书的时候可能不算是惺惺相惜吧更多就是我觉得我们还比较志同道合就是大家都觉得这个事情比较有意思然后就一起做你刚才说了你慢慢的对论文丧失了兴趣然后也不想做纯理论的东西但是你在本科的阶段其实还是要去发论文你也是特奖的获得者就这个是怎么发生的呢刚才我们说的是另外一条线就是你是怎么走上系统工程这条路的另外一条线你是怎么在本科阶段就是获得了很多的顶会的认可然后同时拿了清华特奖的这是一个渐变的过程吗对吧其实学术界它也不是一开始就礼乐崩坏的就本科你还是有希望的是吗对对希望热情对就是我而且我刚开始做研究的那个1819年我觉得还是有一些人在踏实做研究的然后做研究就是做算法研究也还是能够被人看见有人认可的然后大概我觉得20年之后可能这方面的这个兴趣就不是很大了当然就是特奖评选它是19年年底嘛所以它凭借的是19年之前的这个成果然后呢我刚好这个也有一些成果所以就去参加了一下在你获得清华特奖的时候还是很兴奋的吧因为我当时看到你还写过就是要在清华不要做一个观众要成为舞台中间的一个人对我觉得肯定是有兴奋的因素就是获奖肯定还是比较开心的然后获奖之后也是朋友圈变得更大了然后我可以接触到更多的优秀的同辈这个是我能感觉到的一个明显的好处但是我觉得整体上来说特奖这个事情它其实是在被淡化的大家不再赋予它过多的含义因为新华其实有很多奖学金然后特等奖学金其实只是其中之一然后有些系其实有很大额的奖学金就是比特奖其实奖金多很多很多所以特奖只是奖学金之一然后呢
[30:00] 我觉得特奖它是一个特殊历史时期发展的一个产物吧就是当时社交媒体发展的比较快然后呢这个学校当时大力宣扬特等奖学金的评选然后出现了像马东韩和马东新双胞胎的双料特奖,然后像陈丽杰理论计算机科学家这种有一些现象级的话题,然后后面就感觉有点变位了,每年的评选你可能都可以看到在社会上有一些不小的轰动,然后大家就会说这个是一年一度的神仙打架。但是客观上来说就是很多特等奖决金获得者啊他在获选的时候其实也是这个我觉得我觉得是志气未脱的少年就是他一般是大四上学期的时候评选然后呢其实也就是一个本科生入学这个三年左右那么把这样一个这个同学把它过度的曝光在这个媒体的聚光灯下其实很容易对这个获奖者的这个正常的学习科研生活都产生不必要的干扰嗯所以我觉得我还是比较幸运的就是在我参选的那一年学校已经这个意识到了这一点所以他当时这个取消了特等奖学金的现场答辩的直播然后呢有后有后续其实也有意这个压低的宣传所以再往后大家可以看到其实这个特等奖学金的话题在社会上的讨论其实这个讨论度是越来越低的然后呢他现在可能基本上就是一个清华大学的普通奖学金社会上其实议论的人已经没有那么多了这才是对的对吧对我觉得这样子才比较好总是开心的就是我获得了一个认可但是我觉得之前的讨论其实有点太多了尤其比如说当时讨论比较火热的时候大家总会说这个今年的特奖评选是评选这个这一届清华大学的学生里面最厉害的十个本科生那我觉得这个说法它本身就不是很恰当因为这个学校里面我觉得每个同学有自己追求的方向嘛你其实很难拿一个统一的标准说这个就是这个最厉害的十个人我觉得每个人都有自己的方向所以不应该拿一个统一的标准去衡量大家你今天还这么想吗清华是一个舞台但你们不要只做观众我当然可以继续这样想因为我现在已经不在那个舞台上了我已经退下来了对吧然后如果我要对新入学的同学的说几句话的话我觉得这几句话还是适用的就是来清华更多的是追求自己的成长对吧而不是说我在清华里面又看到了什么样的人其实我看你的研究方向就是你早期做千语学习然后你就已经开始做像LogMe这样的工具你后来又和翁天忆一起做过天寿,它也是一个类似于标准化的工具箱。你是不是很早期就开始已经想做这种通用工具性的事情?我在想你是不是从更早期开始就已经就是对你现在做的事情更有热情Lockme那个工作应该已经是2021年的时候了所以那个时候其实我已经在思考着如何转方向的这个问题了然后呢也是另一个趋势就是啊刚才说到这个算法研究嗯就是这个投稿比较混乱吧然后你很难啊有比较确定的让他中稿那么当时我其实发现的另一个事情就是啊别人争论说我这个东西多么创新就是我的 novelty有多高但是呢还有另一个方向就是你跟别人说我这个东西加速了多少倍这个东西是比较客观的然后呢当时我们做的那个算法宣称是跟这个其他的算法相比有几十倍的性能提升然后这个事情是你可以被验证的然后呢你也可以分析出来说这个背后的加速的原理是什么所以这个东西让我觉得就是积极学习系统它是一个更确定的领域就是我可以明确的知道我做的贡献是什么可以很明确的量化你可以说我的东西不novel但是你不可以说我的东西没有用你对就是算法那边的彻底的上上是希望有没有一个时刻呢有一个事件吗谢谢大家谢谢大家我觉得很难我能理解还是一个过程但是它有最后一根稻草嘛对就是它是一个过程然后像刚才我说的我发现机器学习系统这个领域我投入更多的时间我做更多的优化就能有更多的收获那这个时候我就逐渐的不再把精力投入到这个算法研究上面了就没有一个关键的事件你有一个导火索吗催化剂吗我觉得没有就是我们之前的认知一直都是这样的就是算法做顶级的算法研究它是有用的但是你要找到这样的发挥这样的职能的这个position是比较困难的可能世界上其实也就只有那几个人
[35:00] 有限的位置那么在不在那几个位置上没有对应的资源即使做出来这样的算法也是很难发挥作用的就像比如说我没有凯明老师的资源我只是想到了他那些论文的idea也没有用那比如说如果做算法的话可能论文引用数会是一个指标它是一个就是你能够衡量的标准那如果你走向系统研究系统工程这样路的话你的衡量标准是什么你会更看中什么数字吗嗯那这个衡量标准就是啊你做的东西有多少人用然后呢对大家是否带来了这个真实真正的收益嗯比如说你的这个Github的一个项目,有多少人这个star了,然后有多少人发来感谢信,就是在issue里面说我用你的这个东西,然后给我提高了多少多少的效率。你就不会再用论文去要求自己了对吧对这个时候论文只是一个副产物就是有些算法啊有些系统工程的实现我们做得很好了然后也已经有很多人在用了那么这个时候我们再把它写成一个论文把里面的一些有价值的东西给它列出来然后这个时候审稿人其实一般都不会说什么就是其实他可能也就是我们算法的我们这个系统的用户所以这个投稿的过程都比较顺利其实换了一条路来走有过纠结没有啊好没有纠结,就是我觉得这个过程还是比较快乐的,因为它的正反馈是不断累积的,就是你做一个事情,你说我这个东西给你加速了两倍,然后我明白这个背后为什么加速了两倍,这个原理我是确定的,所以我也可以很自信的说别人用这个东西就是能加速两倍,那这个过程中别人给我的反馈是持续不断的累积的。2到3%的准确率那可能别人尝试复线的时候又会因为复线的场景不一样甚至可能说你这个算法是不是反而降低了准确率那这个过程中其实我觉得很难积累一个正反馈刚才我们讲到19年你认识了Io Stoico教授他的实验室里的学生,这可能是一个早期的前奏,但是后来他们其实VLM诞生已经是2023年的事情了,这中间几年你做了什么事情,然后跟他们后来的缘分是怎么继续下去的呀?这中间其实就是在做一些探索就前面说到的一些方向的转变啊都是在这个过程中逐渐积累起来的嗯然后因为中间也有很多疫情的因素嘛然后对有些你可能不能出国交换所以只能做一些自己的探索他们那边呢欧美那边还是比较就是热火朝天的在干大模型对所以这个也是当时就是疫情结束之后然后ChadGPT出来嘛就是给大家就有点当头一棒的感觉对吧就是我们这几年在干什么对比这个对方这几年在干什么然后人家已经干出来了一个这么amazing的东西我们要不现在话题切到VLM上最早他们诞生的时候你是不是还没有加入你是24年才加入对不对对啊VM项目的诞生应该是就是他们二三年年中左右就是中间的中大概六月份左右开源的然后呢这个工作肯定是更早的在做大概我觉得啊二二年这个年底他们应该就开始在做这个事情了二年底应该是对然后他们做这个事情然后写了一篇论文然后这个论文投稿然后最后中稿了之后他们放出了这么一个原型的系统当时的创始团队都是IOSTOIC教授的学生对吧包括李卓翰对对主要是就是作为实验室的一个科研项目来开展的为什么好像Stoico老师的实验室好像萌发过很多这种开源项目这是有什么样的传统吗对他们实验室就是我觉得跟有一些历史一脉相传吧就是包括我做VM我觉得也是受到这个伯克利重工业软件的一个传统的影响就是伯克利他有很悠久的这个开源软件的历史包括我们做这个操作系统里面的BSD的这个risk5然后还有存储领域的read然后呢再到这个后面大数据分布式机器学习系统领域的这个spark呀锐呀其实都来自于伯克利所以说伯克利历史上它已经产生了很多很多的著名的开源软件而且这些软件其实都是学生在读期间发起的就是它是从学生的这个一些research的一些project开始的然后呢最后变成学生主要为故然后再把这个社区发展壮大一些基础设施说到这个我觉得就是我们可以说一下这个计算机体系结构领域的这个大牛叫David Patterson然后呢他在14年的时候写过一个叫做how to build a bad research center 的一个观点论文吧嗯他就是说呃他过往的几十年的经验就是
[40:00] 每一个实验室或者大型研究中心呢只做五年就够了因为这五年就刚好是博士生毕业的一个周期然后呢你在这五年里面充分利用一些优秀博士生的时间让他们在五年里静下心来专注一个领域可以极大的促进这个领域的发展那所以像当时这个从AMP Lab做这个Spark然后呢再到这个Rice LabRice Lab应该做出来一个Ray然后呢再到后面这个Sky Lab所以其实伯克利的这些实验室他们的发展都是一脉相承的,所以你可以看到就是他们这个实验室的五年的周期和工业界的一些需求的周期,一旦他们共振的时候就会诞生一些重要的项目,比如说Spark,那我当时觉得这个VOM就是下一个项目。所以我去伯克利之前呢这个微玩们他已经开源了嘛而且发展相当的迅速所以呢我觉得这个历史机遇在摆在面前然后我觉得我应该值得这个投入精力去维护他所以我就这个尽己所能的去帮助他吧舒服一个学生去加入这样一个看源项目一直作为一个核心的维护者是一个困难的事情吗对这显然是一个非常困难的事情我以为会很简单对因为每个学生他有不同的周期吧就是他处在他的博士期间的不同的阶段比如说刚入学的博士生,那么他可能急着需要发表一些论文来支撑他的毕业,所以他需要去引导一些新的project,就是他很难参与到别人的project里面,他可以通过参与别人的project去练手,去学习如何做research,但是现在的博士生都很强,你可以说他们在博士毕业之前的成果可能都已经够博士毕业了,在博士前一两年的时候再做出一些新的成果,然后方便他们能够毕业,所以就是低年级的博士生同学,他们都希望有一些新的方向做,他们不希望沿着原来的老路去巩固一些现有的知识,然后呢,就是博士太后期的同学,他主要急着找工作,因为他马上就要毕业了,要去工业检,对,所以说他不太会花时间在这个开源项目的维护上面,所以,最适合的就是做开源项目的同学应该就是博士的中后期,然后呢,没有什么毕业论文的压力,然后呢,又对开源项目比较有兴趣,这样的同学比较合适。你当时正好处于这个阶段?对,我当时正好处在这样一个时期,因为我之前的一些算法研究也基本上够毕业了,然后呢,我个人也觉得就是我想转变一下研究方向,系统领域有一些论文的发表我更多的希望是拿到一些这个hands on的experience去学习这个系统就是是如何build的一个系统的那所以我对这个纯工程的这个问题是完全ok的就是你让我几个月都在做工程的实现我都是ok的然后以及我当时觉得这个VM项目有比较重要的是一个比较重要的历史机遇嘛所以我都是就是比较全身心的投入在里面你当时算是第几号成员我觉得我算是第四个比较主要的吧前面就是一开始比较主要的同学是这个就是论文的两个作者嘛卓汉和乌苏邝对对卓汉和乌苏是论文的主要作者然后呢他们也是这个开源项目的一开始的主要维护的同学然后接下来主要参与的同学是Simon就是他现在是我们公司的CEO对然后呢他其实也是一个开源老兵吧就是他跟我差不多大应该还比我可能年纪还要再大一些但是他当时本来准备博士入学的时候他quit了然后呢去参与这个any skill的创业了然后创业了几年之后再回来读博士所以他已经有比较深厚的这个开源社区的相关的经验然后呢他也不是那么看重论文他也觉得这个为我们项目比较重要所以他是应该是第三个这个全职投入的同学然后第四个应该就是我了就是我过去的时候我也是一个类似的想法就是反正我有时间我也愿意投入然后这个项目也缺人然后其他的同学就是这个项目他肯定就是这个论文本身他的作者有很多人但最后就是其他同学都是因为刚才说到的各种原因他们都去找别的事情做了我觉得有的人可能就会想说如果是一个看点项文化我需要是发起人就是他需要是我创立的你有这种想法吗我觉得不需要吧就是更多看你能在里面做什么贡献其实当时这个
[45:00] 开源项目它整体处于一个非常缺人的状态所以我觉得只要投入热情对用真心用真心对用真心就可以所以你是为什么对他如此真心呢是怎么开始的你们好就是你们我们19年你刚刚认识着翰然后你又去交流了嘛然后这个时候跟着翰还有是聊的比较多吗就是你们是就是为什么你觉得这个项目这么细腻首先就是这个项目发展的很快然后呢这个项目也确实当时缺人然后我当时有一个判断就是这个就是当时因为ChallGPT已经很火了嘛然后我当时的一个判断就是大家其实当时都在都在探究怎么训练模型但是很显然就是你把模型训出来之后你需要去做推理那么VM就是处在这样一个地位就是做大模型的推理的所以我觉得它未来非常的有前途然后这个推理也是一个非常重要的事情所以值得投入这个是2024年对就是我做VM是2024年的事情了但是我关注到VM是2023年的事情对2023年这个年底就是我当时向Yang Stoica老师申请交换的时候我其实当时已经在里面跟他说了就是我去做的话因为我需要我需要propose一些这个idea嘛就是我去做什么那当时我我这个提出的就有这个大模型推理这一块然后这个时候VLM已经有了它已经存在了对它已经存在了所以我说我可以在VLM里面做一些事情我们来讲讲这个VLM的核心原理吧假设就是我们对这个系统了解不多能不能跟我们讲讲为什么在那个时候VLM应运而生了然后当时处于一个什么样的市场环境之下对我觉得这里面可能需要区分两个概念就是VLM和它对应的论文Page of Tension那篇论文就是VLM的起源是那篇论文嘛然后那篇论文的核心是一个那么它是借鉴了操作系统的这个虚拟内存管理的机制来管理这个自回归生成过程中的大模型推理的过程中这个产生的中间状态也叫KV cache那其实时至今日就是VOM它早就不是Pager的Tension算法了它是一整个大模型推理的系统它是这个大模型高效运行的一个底座所以VOM它解决的问题其实是这个在模型和硬件都飞速发展然后互相偶合的时候你如何去提供一个高效的推理服务而Page Detention本身呢它的原理就是说如何去管理自回归生成过程中的这个中间状态也就是KVCache在当时就是放在当时那个环境下Page Detention是有一个很大的创新吗我觉得不能算一个很大的创新就是任何一个就是认真的分析大模型推理过程的这个机器学习的研究者都能够想到这个想法所以从学术创新的角度来说Page the Tension算法的创新性甚至是偏低的所以他当时投稿这个是投稿到SOSP的2023这个会议上也是一个非常顶级的系统会议但其实审稿人就已经提出了很多批评说你这东西too simple就是你这个想法太直接了然后没有什么 novelty他最后能发表完全是因为他们做得很早而且做了非常丰富的实验所以最后才是一个以低分的过线的状态被会议接受了然后VLM它是Page of Tension这篇论文被接收之后作者团队开源出来的推理引擎所以这也是为什么你说我们认知VLM的时候不能够只认识到它是Page of Tension它应该是它后续做了一系列的事情对VLM是一个推理引擎它代表着一个推理的生态系统Page of Tension以及Continuous Batching这两个技术是大模型推理过程中的核心的技术这个推理优化的技术他们都是在微博这个项目里面的所以当Page Attention这篇论文被接收之后,李卓汉他们紧急着做了什么样的事情呢?这个里面是起到比较关键的作用吗?论文接收之后,因为系统的论文,他们都有很多要求这个artifact evaluation,就是说你的系统需要被别人复现过,然后你的这些数字都是要被别人复现出来说你确实有这些收益,所以他们本来就有一个原型系统,然后他们后来就是把这个原型系统开源了,我觉得这个也是跟Yang Stoica老师的这个理念有关系,因为Yang Stoica老师他是这篇论文的一个指导老师嘛,开源推理引擎里面蕴藏着一个巨大的机会所以呢他就推动这篇论文的学生团队把VM当做一个很重要的开源项目在维护然后不是所有人都同意Yan Stoyka老师的观点吗?以及受限于刚才说的
[50:00] 各种的这个每个人当时的一些客观的选择和情况啊所以最后主要是这个乌塑格和卓汉两个人在继续维护这个开源项目嗯然后慢慢的有了塞梦有了你对说服你的过程难吗应该很容易对因为我是主动过去的你是主动要去的对Simon呢Simon应该也是主动的因为我觉得一个开源项目好像它跟一个公司这种组织还是非常不一样的因为公司人来人往应该就是非常的常态化但是一个开源项目的人来人往就有的人加入有的人离开你们就会有一些特别的就是情感吗事后来看你觉得这种有开源精神有开源热情的这些人是不是有一些共同的特征就是什么让你们走到一起又是什么让一些人离开对我觉得就是每个人追求的目标不一样吧就是比如说有的人他追求金钱就是你今年哪赚到多少钱对吧然后有的人追求权利啊你在公司里面爬的多高是一个多高的这个领导的地位那我觉得啊我追求的就是意义就是我做的事情是不是有意义然后啊我当时这个觉得为我们有很重要的历史意义吗值得我的投入然后呢这部分决策也是就是受到Michael Jordan老师和Yang Stoica老师的比较这个大的影响啊其他同学我觉得也是类似吧就是嗯加入的同学很多都是因为这个原因加入的啊当然离开的时候可能有些人也有一些自己的原因这个也不能强求那我觉得整体上来说就是有句话叫做苍领时而知礼节衣食足而知荣辱那我觉得也是因为我们这个时代这个物质追求这方面已经给我们已经有一个基本的生活保障了那么让我们能够有更多的时间和精力去追求一些非物质的这个精神需求而且呢就是做计算机方向的技术同学其实他的基本的生活需求非常简单对吧就是有吃有住然后有电脑能上网就可以了所以就是我觉得这样艰难的环境为我们筛选出了一批志同道合的人吧他们热爱开源然后热爱技术然后呢跟我们一起这个同甘共苦就是做VM项目做了好几年所以后来他们也就很自然的变成了我们公司的这个初始创业的团队就是我觉得比较感慨就是这个中学课本里面宋东阳马城序里面这个叫做乙中有足乐者不知口体之凤不弱人也我觉得我们这些同学就是非常适合这一句话因为我们心中做着就是做着我们认为我们快乐的事情所以呢我们就不觉得这个吃的喝的这个穿的享受不如他们当然现在我们这个有了资源我们也会让我们的同学在实现精神追求的同时远远这样子让自己的生活没有后顾之忧24年25年在你加入之后有没有发生一些让你印象很深刻的事情这也是在你们公司成立之前的VLM的两年对24年我觉得主旋律其实就是一个重构因为23年的这个论文发布然后再是23年的一个prototype出来然后这个prototype需要从实验的原型走向一个生产级的可用那在这个过程中推理引擎的设计然后最终在年底的时候推出了从V0到V1的一个重构的计划然后25年的主旋律呢就是一个大规模部署就是硬件和模型都变得越来越大然后呢这个开源模型的发展的重心从欧美这个转移到了中国然后这里面比较巧的一个事情也是25年就是因为24年我交换结束了然后呢25年回来准备毕业然后呢当时这个VM社区在国内还是一片就一片空白的状态然后呢我刚好从伯克利回来我就把这个丛林开始搭建了中国的VM社区然后呢也刚好这个就是支持了大量的中国开源模型的发布所以那个时候刚好是中国开源模型爆发的一年25年对就是25年年初的时候这个DeepSig R1嘛其实DeepSig V3是在24年的年底发布的对然后25年R1这25年年初的时候R1然后再是25年春节的时候这个R1开始爆火所以到后面也就是这个中国的开源模型就像雨后春孙一样这个不断的发布出来其实是很多风风雨雨吧然后尤其是像刚才说到的人员的不断的变动因为我们是做一个开源项目嘛所以啊人来人往的就是有人参业有人参加然后又有人这个走然后我们在这个过程中还要持续不断的去面对这个新模型发布的情况然后呢还要在这个过程中去推动整个项目的维护和升级啊这个整体是一个非常大的挑战
[55:00] 所以我回顾历史的话就是往回看我觉得我不敢说我们做得非常好只能说我们撑过来了我对25年非常好奇我们先讲一下24年你们那次从V0到V1的重担的重构因为用户侧可能感觉变化不大能不能从工程角度讲讲你们为什么决定做这个事情以及重构过程中它有哪些挑战这一次重构呢其实主要就是为了解决这个模型和硬件的发展对于推理引擎提出的一些新的挑战那打个比方呢就是比如说我们现在经常喜欢把token比作是电那这个过程中的推理引擎就像是发电机或者说是电力系统然后呢这个我觉得模型可能更像这个发电机吧我们后面可能可以做一些类比然后呢这个啊硬件它就像是你的像风力然后光伏啊这些自然资源然后这个推理系统要做的事情就是你需要把这些自然资源啊用发电机把它转化成电然后呢再传递到每一个人的这个手中那所以呢本次重构就好比说我这个发电系统整体上从这个火电过渡到新能源发电的一个状态那么从用户侧的角度来看呢它的使用方式可能差别不大可能都是电是吧你把这个插头插上去就能用但是呢从推力引擎的视角来看其实背后的这个工作原理发生了巨大的变化那所以从中端用户的视角来看呢其实推力引擎承担了一个非常大的责任就是它屏蔽了这个模型和硬件的复杂性那用户选择不同模型的时候就比如说你在应用里面然后这个一个应用它可能支持多个模型那从用户的角度来说你可能只是从一个这个下拉菜单里面点了一个模型或者呢你只是从这个请求的参数里面改了一个参数说我请求的今天是Deep Seek明天是签问但其实从背后的这个推理引擎来看不同的这个模型它的支持效率它适配的硬件其实是千差万别的所以这里面推理引擎承担了非常重要的任务然后呢在这个过程中不断的发展所以他们对推理引擎的要求其实是在不断更新的那么V0和V1只是一个我们从名字上就能够看得出来的它是一个非常大的变化但其实类似的这样的小变化我们其实一直在做所以你可以说就是VOM它其实一直是在重构的过程中然后这里面就是最困难的就是你需要保持一些用户的兼容性对吧就是你背后支持的模型支持的硬件不停的在变但是你要给前端的一个比较统一的体验就是我用微软木我就可以保证说我在各种硬件上可以跑起来各种模型24年的时候你们是不是主要支持的还是美国的一些模型比如说MetaMeta对24年的这个开源的重心还在美国那边啊欧美然后像Meta呀像这个Mistra呀这些的在他们的过程中有没有什么一些观察当时其实支持的还不算很复杂因为当时就是这个模型和硬件它还没有很呕合然后只有一些这个比如说一些attention算法设计的比较复杂的时候对推理引擎的影响比较大但总体上来说还是在做各种推理优化就是模型的结构在那一年没有发生巨大的变化到了25年是不是中国开源模型的爆发在所有人的医疗之外也在你们的医疗之外对是在我们意料之外的你是几月份回中国的我就是24年的12月份结束交流然后那刚刚好碰上对就是我结束交流的时候就是Deep Seek V3发布的时候对然后回来一月份然后马上RE又发布了所以是在我们意料之外的当时去支持Deep Seek是不是非常的措手不及是一个什么样的状态我觉得不能说措手不及吧更多是说我们没有预料但它是一个这么大影响力的事情因为Deep Seek跟我们的合作其实很早就开始了这是你从二三年二四年那段时间因为Deep Seek它内部用的微网们以及他就后续加了一些这个他自己优化的一个变种所以他其实从Deepseek MOEDeepseek MOEDeepseek MOE我觉得算是V1吧然后他后面有V2然后再发展到V3他跟我们一直是有联系的有合作的然后呢只是在24年的时候Deepseek还属于社区里面的就是他只是一个泯然众人的一个模型厂商,然后你们支持他们的故事就是在R1之后有什么值得分享的吗?这个还是给我们带来比较大的震撼的就是Deep Seek的这个Infra同学做了很多的优化,然后我们需要学习,就是他们在推理引擎方面虽然是基于为我们做的,但是比我们做的往前比较大,
[60:00] 前面走了很多所以我们当时是在不断的跟他们学习的过程中然后紧接又支持很多中国的开源模型在二五年对吧对对就是Deepseek爆火之后然后中国的这个开始了一个开源的浪潮吧尤其是这个二五年的七月份我印象很深刻因为我事后回想起来感觉应该是当时这个WAIC快开会了然后呢很多公司都是在这之前就像发布产品就是把自己有的模型都发出来了今年又处于现在这个时间点了对然后我们其实一直在支持很多的新模型的发布今年也会吗一直在啊然后已经有了像今年的DeepSig V4Minimax M3都是比较大的发布大家都赶着WASC之前发一波我不知道今年大家会不会再赶着WASC再发一波但反正今年已经有好几个比较就是比较大比较复杂的发布了因为你刚才说25年你整整一年就是回中国组建了VM的社区嘛这是很简单的一句话但是这背后是什么样的工作量就是这个社区是怎么搭建起来了我们也很好奇这个开源社区的诞生它是怎么就是一步一步做出来的这个社区的搭建就是因为这个项目本身诞生在美国嘛然后呢24年的主要的这个开源的阵地也是在美国所以呢整体的这个沟通渠道也是在偏美国的比如说我们是用slack进行沟通然后呢我们后来就是在国内跟大家沟通的时候就发现就是我们当时跟大家说的就是社区是一个很包容的社区啊那中国美国的同学都可以一起沟通呀那我们有slack的这个沟通机制那大家都可以进来呀那里面就遇到了两点问题第一点就是国内的同学他肯定更习惯说中文那么在slack里面呢大家主要还是说英文那么这是一点语言障碍然后呢第二点就是啊因为各种各样的原因那么国内的同学用国外的软件的时候还是有一些不方便的因素存在的那所以呢啊我们就开始搭建一些这个VOM的中文社区那比如说一些这个公众号啊小红书啊这个知乎啊这些宣传平台然后呢包括这个跟国内的一些大公司建立一些沟通和联系的渠道啊因为像deep seek kimmy他们都是公开的说过他们就是用过他们的那么之前呢我们跟他们的沟通是非常少的因为这个时区也不一样然后呢人也没有没有办法见面然后呢我回国之后呢我就是啊也走访了一遍这些公司就是他们用为我们在做什么,然后遇到了什么样的问题,有什么样的痛点,对,因为我在这个24年的时候做为我们比较多,然后大家也都比较认识我,所以就是我就这样把大家串起来,25年还有一件事,就是PyTorch的基金会完成了机构改革,然后你们也变成了这个基金会里面一个非常旗舰的一个项目,这个变化是怎么发生,已经对你们有什么影响,我们24年的年底就在讨论这个事情,背景就是其实这个项目的长期维护就是我们在考虑这个项目的长期维护然后呢Yan Stoica老师说我们应该有一个公司来支持这个项目不然这个项目最后会量掉的然后呢但是我们几个人就是有一些同学还比较犹豫然后呢这个项目能不能找到一个长期的维护者都是一个问题那所以呢Yan Stoica老师就说那我们就参照这个像Linux之类的项目的经验会那么这样子能够保证它的长期的开源和维护所以就把它捐给了这个PyTorch基金会因为我们跟PyTorch的合作也比较紧密就是我们相当于是PyTorch是一个底层的机器学习框架然后呢为我们是建立在之上的一个这个推理引擎所以这个合作也比较自然但是就是PyTorch基金会它本身呢还是一个偏治理结构的一个基金会就是它不参与你的这个技术治理所以代码什么的其实还是自己要写,然后呢,他更多的还是,就是我们把这个项目捐给这个基金会,然后呢,就意味着说这个项目,他至少不会变成一个必源的项目,就是他始终是开源的,但是后来你们又成立公司了,对,成立公司我们是在做这个项目的商业化,以及技术运维,然后呢,这个项目他依然是一个PyTorch基金会下面的项目,就比如说PyTorch基金会下面,他有好多一级的就是顶级项目,是一个顶级项目,VOM也是一个顶级项目,那么PyTorch项目本身,它还是Meta在做主导,那么基金会他可能承担了一些比如说活动的举办然后呢像这个VOM或者和Pytosh的商标属于Pytoch基金
[65:00] 所以他更多的是一些辅助性的角色所以他能承诺的是你们必须是一个开源项目他能够保证这个事情因为比如说VM的商标现在是属于PATROL基基金会的对吧那你不能把VLM避原了之后然后再说我支持VLM项目为什么不能属于伯克利呢为什么一定要属于一个基金会伯克利它是一个学校那么你说这个项目属于一个学校的时候你还是要从学校里面找出一个具体的人来承担这个职责的那么学校里面没有一个这样的机构Stoick老师他自己不行吗他那个实验室实验室就是前面说到就是David Patterson老师说你实验室应该只开五年五年之后你就要关掉你要开一个新的实验室所以实验室它不是一个具备这样资格的一个实体它需要一个持续性对而基金会呢提供这个对基金会它是一个独立的法人实体所以他可以做各种,比如说他可以注册商标,对吧,他可以有自己的法律团队,然后呢,他可以接受募捐,然后呢,他可以为这个项目投入各种各样的资源。所以捐给基金会意味着,就是你们这创始团队这些人觉得他应该做一个开源项目持续下去,就是有没有可能你们也有另外一种选择,因为你们后来也成立公司了嘛,就是把这个项目放在公司里一起命运,这个能成为一个选项吗?技术管理和日常运营的主要的参与者所以说我们把这个项目捐给PyTorch基金会更多是从法律上明确了它一直是一个开源项目而且它的商标属于社区但是它的具体的技术发展以及它的商业化我们都是可以由我们公司来做的当然也不只是我们公司在做还有社区里面其他的公司比如说Red Hat那比如说NVIDIA AMD他们都在跟我们一起做技术的维护他们也可以对这个项目进行一些商业化如果这个项目属于你们的话那这个项目的所有商业化都应该是你们这个公司实体对如果这个项目属于我们公司那可能他的商标也会属于我们公司对吧那么任何一个人他用VM他用了他的logo可能都是要向我们申请那现在他是属于一个开源项目他的这个像商标啊使用权啊都是在公共领域的我们只是作为一个技术参与者和技术领导者在引领他的发展在就是捐给PyTouch基金会把这个项目捐给PyTouch基金会的时候你们已经有成立公司打算了吗就是当时这个事定了没还没有定所以是先有的捐赠对这个可能就是可以说到我们几个人这个成立公司的这个过程吧就是其实是相当的艰难的啊因为就是Yang Stoica老师他有非常坚定的信念就是说这么大一个项目如果没有一个公司来支撑的话他一定会量了就是他说的就是Linux项目如果没有Redhead的支持那么Linux不会发展到今天然后同样的像这个Kubernetes如果没有Google的支持他不会发展到今天同样的PyTorch如果没有Meta的支持他不会发展到今天类似的你还可以举很多很多的例子像Spark它要有Databricks的支持那么VOM项目它的体量已经达到了前几个项目的体量就是它的历史意义已经很明显了但是没有一个这样的公司在支持这样的项目就是有一些其他的公司也会支持比如说当时Meta在用VOM然后呢Invidia也用AMD也用那么他们更多是一个参与者的角色战略性的决策他们之间可能本来就会打架因为可能Meta是AMD和Invidia的客户然后呢他可能会说我要做这样的事情然后呢我要要你们实现什么样的东西那么社区里面其他的公司可能不会服他们所以很难在他们的领导下做这样的事情所以VOM项目的长期发展需要一家公司的支持这个事情是非常明确的我们也都是认同的唯一需要我们明确的是我们是否愿意来创立这家公司那么这个事情其实是很难做决定的这个我可以说一下我们几个人的各自的心路历程就是因为创立一家公司它的优点很明显就是可以支持为我们更好的发展嘛你们也都能成为这个公司的创始团队啊很好啊但是缺点就是说你需要承担很多原来不熟悉的一些非技术的任务比如说创立一家公司你要去学习融资对吧你要去学习招聘然后呢你还要去考虑商业化所以这里面其实是有相当大的阻力在里面的对这个路线的似乎对你们好像不难这几件事情对呃我们就是你要考虑到我们其实都是学生团队然后我们原来很习惯的就是很舒适的那个区域都是说哎
[70:00] 一个技术问题我们怎么拆解它然后怎么把这个技术问题解决掉那么现在要我们做的是成立一家公司然后要把这个公司就是抚养长大的感觉所以对这个路线的选择其实就是困扰了我们两年吧就是两年对啊就是因为我说就是Yang Stoica老师他是非常明确的说你们几个同学就应该开一家公司来支持VM但是从24年就开始说了对从24年就开始说了其实我觉得他应该从23年就开始说了只是23年的时候我还不在然后这里面我们几个人的选择里面我算是决定的比较早的因为我24年就是我还在交流的时候呢我们已经有很多同学在硅谷创业了然后呢我跟他们这个沟通的过程中也是近距离观察了一下这些创业者的一些状态然后呢也跟他们沟通了一下这个创业过程中遇到的问题以及这个关键的选择就是你是创业还是上班对吧然后呢也是跟一些投资人进行了一些初步的对话然后最后我得出来的结论就是即使创业失败最坏的情况下你也不会就是少拿了几年工资但是如果不创业的话那么VM项目最终没有办法长期发展所以呢我在24年年底离开博会利交流的时候我就已经下进决心要参与为我们的创业了然后当时因为其他几个人还没有定所以我也不能自己一个人创业所以我做的选择是我接了skylab的博士后的offer然后我当时说的是我会为为我们的创业公司再等两年直到大家出来一起创业这么的义无反顾还有一个故事就是当时快结束的这个交流的时候啊我也找这个我当时本科期间交流的老师麦克卓登老师聊了一下然后我跟他说就是我们现在做的VM项目势头很好啊但是呢如果我去找别的工作啊也会有很多人给我很多钱然后呢做博后又非常的清贫那这个时候要怎么选那他跟我说的就是啊从他的角度来说根据他过来的人的经验长期的来看肯定是要继续支持VM的就是因为我跟他也合作过很多然后也觉得就是就是过来人的这个饱经沧桑的一个历史经验然后也是我觉得就是非常值得就是遵守所以这个大概是我的一个心路立场就是我觉得我们最终还是要创业的然后呢呃现在只是实际味道所以我就先等一等所以你是第一个决定要做这件事情的人不好说我是不是第一个但我是比较早决定的然后我们的CEO Simon他也是很早决定要创业的所以我说不好说我跟他到底谁先但是我们都比较早的确定你有想过做CEO吗我觉得我可能他更适合CEO因为当时我们这个维护社区的分工方面他就已经展现出一些CEO相关的能力了就是在管理整个社区进行一些沟通啊所以我觉得明显他是更适合CEO的所以也就是说为什么我不会一个人出来创业因为我觉得人还不够然后这个Simon他刚才说就前面说到他本来也有一些创业公司的经验嘛他已经参加过一些创业了所以呢他也认为这个就是他也认同Yang Suicard老师的观点就是其实我们都认同Yang Suicard老师的观点就是你必须得有一个公司来支持为我们才能够长远的发展只是我们当时就在犹豫说这个公司是不是我们来开然后呢这个Simon他也在Character AI待过一段时间所以他当时尝试过就是通过Character AI的帮助来帮助VM项目的发展比如说从Character AI里面这个找几个人来维护VM然后呢Character AI里面找一些机器的资源来帮助VM但是最终还是发现就是没有办法靠别人因为公司有自己的事情对吧你不可能把公司里面的人无限制的耗来就是做VM相关的事情谢谢大家而且始终这不是我自己做出来的东西我对他感情是不一样的对对对所以说就是你在公司里面做你只能有一个很小的团队然后类似用爱发电的方式来支持你很难说服公司的高层说我有一个正经业务的公司然后我需要全力来支持为我们开源项目的发展所以最后就是发现就是靠别的公司是靠不住的所以摆在我们面前的选择就是只有自己开公司然后这个最摇摆的是就是我们的CTO无数个同学对啊他是PagedTensor的一座对然后他可以选择的机会太多了对吧就是24年年初这个XAI刚创立的时候其实当时这个马斯克就邀请他去参加这个infra的建设就是他如果去他就是领导XAI
[75:00] 的这个技术建设嗯那尽管说xi现在失败了取终人散了但是如果他当时加入XCI那么他后来能够获得的财富对吧这个是一个天文数字25年的时候这个星空Machine Labs创立这个时候这个创始人又邀请他去这个负责基础设施建设后来这个Think Machine Labs的估值也是一路飞涨所以说就是摆在他面前的这个机会属于是太多太好了所以呢他的犹豫也是人之常情吧啊最后我们是怎么说动他的呢就是就是小知以情动之以理就是最后跟他说,你如果不跟我们一起创业,你赚到了很多钱,但是10年之后为我们项目失败了,你是开心还是还是不开心啊,我们问了这样一个问题,然后他也想了很久,然后最后发现他的答案跟我们是一样的,就是你赚多少钱。如果VM项目失败了都不会开心。对所以就是在这样的情况下我们把这个我们三个最坚定的人搞定了把他拉上船了然后还有很多这个其他这个信念很坚定的合伙人像这个Roger也跟我们一起做这个看员项目做了很多年然后呢还有我们是Funding Engineer就是说公司一创立的时候他们就加入进来了我觉得我们都是有一个共同的愿景吧就是大家聚集在这个公司里面然后我们都是想做这个AI时代的催泪引擎我们想为接下来的这个智能时代打好基础设施我们每个人其实都可以在市场上拿到一个很高的offer但我们最终选择了创业这条路就是我们希望把这件事情做好啊然后其实类似的这个问题其实一直持续到这个公司创立的前夕就是我们准备注册公司的时候某家这个顶级大厂的一号位他知道我们要创立公司了然后他就直接给我们打电话然后说你可不可以不要创立公司你来我们公司然后我们可以给你们几个人我们四个创始人然后可以给年薪2000万美元的工资每个人是吧对每个人然后说你可不可以来我们公司帮我们做我们的这个技术设施和推理反正我们当时都已经坚定了我们信念比较坚定然后就直接爽快的回去了没有一个人犹豫所以这也是我们这个创业的一点故事吧所以我觉得就是我们公司这个创立之初其实就已经是经受住了巨大的考验和诱惑我们其实都已经是并肩作战很多年的一个老战友我在想乌斯他虽然一直在犹豫但是ACF Thinking Machine Lab他都没去24年和25年两个选择他虽然没有决定要不要来创业做现在这个公司但是他也没有去其他公司是吗就是他去过一段时间去过哪家就包括他在Google就是他是一个以学生身份然后兼职的状态所以我们当时是把它从Sing Game Machine Labs拉出来的这很有意思为什么他作为Page the Tension的发明者然后是他的那个算法然后导致了有VLM这个推理引擎的诞生但是他很犹豫而且为什么李卓汉没有加入李卓汉没有加入是因为他毕业的比我们早他24年就毕业了那个时候就是他如果创业只有他一个人因为其他的同学都是学生然后呢学生是非常廉价的吃有喝然后有电脑有网你就可以干活你觉得没必要开公司所以那个时候他也拉不动其他人所以他就去工作了然后他在OpenAI工作然后后面包括在Meta的TBD工作所以他已经有工作了而且已经工作了很久然后呢他就有自己的事情要做你们有尝试把他也拉过来吗比较困难吧因为确实他已经在公司里面做了一些事情了然后就是你把人家拉过来需要影响到别人原来的团队所以这个事情还是比较困难然后呢无数个同学还没有陷入太深就是我们觉得还有机会拉回来你有这样的offer吗你有动摇怀疑过没有除了最后你们创业临门一角的那个添加offer之外在之前呢对因为我决定的比较早所以我前面说我接了postdoc offer嘛所以我其实没有看其他家的offer就是我跟大家聊都是在说你们用过然后怎么用的然后大家一起看看怎么合作没有跟他们说你要不要我去你的工作然后你给我多少钱你有想过这个可能性没有你在脑子推理过没有推理过但是还是那句话就是我们觉得VM项目比较重要我们都想做成它这是同样的一个问题我们四个人吧就是浙汉Wuusuk Simon和我啊我觉得答案都是一样的就是如果我们赚自己赚了很多钱但是维员们项目失败了我觉得我们会都是会后悔的
[80:00] 一辈子的所以我们都比较坚定就是要把这个公司开出来跟李卓汉还会有什么样的合作吗嗯因为他现在在公司也有自己的事情所以跟我们很难有很深入的合作更多可能是有一些这个high level的一些技术的沟通对我觉得从你就是你们包括跟PiTour是基金会的关系然后包括又开公司就是我其实一个开源项目我觉得它的整个运作跟可能外界想象还是非常不一样的而且一般大家讨论的也比较少能不能讲讲就是像这样一个开源项目和大家想象的很有可能最大的不同是什么是怎么构成运转治理的呢不同的开源项目它其实有自己的这个治理方式啊我这里只讲这个VM这边的治理方式那我们采用的是就是常用的这个分级管理的方式我们有几个我们叫做人词的独裁者就是可以最终拍板的是你们几个吗对就是包括这个Simon我和这个卓汉然后还有Red Hat的一些同学人词的独裁者OK那就是说我们平常跟大家沟通沟通的对但是如果有重要的决定要拍板或者说我们有的时候有一些比较强烈的坚持的时候那这个时候大家得听我们的所以这个是比较这个决策的几个人然后呢我们还有这个十来个就是日常的核心维护者那么他们都负责项目里面非常重要的一些模块然后呢会参与项目的日常的一些关键的设计然后呢我们还有大概几十个committer然后呢他们主要就负责日常的代码的开发嗯然后呢剩下的就是这个社区的贡献者因为VLM现在它是PyTorch基金会旗下的一个顶级项目嘛所以它也接受PyTorch的一些治理结构那这里主要就是一些大公司的这个参与治理比如说像这个英伟达AMD这些重要的芯片厂商然后包括像Red Hat这些软件厂商然后呢包括像亚马逊啊Google啊这些云厂商他们都会投入相应的资源在维护VLM所以呢我们作为项目维护者的这个职责之一公司之间的合作然后当然我们现在有公司就是所以我们公司也是为我们项目这个治理过程中的一个不可替代的一员在有公司之前因为我听过一种说法就是这种开源项目更像一个社团而不是一个公司你们是有什么样的比如机制吗比如说例会等等你们日常的沟通是怎么来完成的对我们是有一些例会的就比如说我们几个决策的同学可能每周要碰一下然后这个committer我们可能就碰的不会那么频繁我们更多是在一些这个channel里面去聊大概是一个就是每周可能碰一次你们几个人对决策的同学要每周要碰一下就是接下来要做的一些重点的事情你刚刚说你们是仁慈的决策者吗你们有做过非常强硬的决策是什么就必须要这样仁慈独裁者人词的独裁者就意味着有些时候你需要对方向进行一些取舍,就是不能够做一个老好人。那这里面比如说我做的比较强硬的一个选择,就是基本上把一个叫做beam search的功能从引擎里面删掉了。大模型的推理就是AI这一边我们主要的workload它的这个推理形式已经不再适应这个就是beam search的这种算法的发展了所以beam search的算法如果我们持续要维护它的话只会给模型和这个推理引擎的适配带来越来越多的这个复杂性不可维护所以我就把它删掉了这是你做的一个独裁决策对嗯还有其他这样的决策吗其他的我觉得就更多是在一些这个支持的优先级上面了就是因为项目这么大你最重要的事情就是定好优先级那么你需要支持什么以及不需要支持什么不想支持什么那么比如说我们现在支持的优先级明显是在大级群上面的大模型的支持那么很多非常小的模型的支持我们就没有把它列为高优先级的事项比如说几百兆的模型其实推荐系统里面有些人是在用的是你可以用为完但是如果你有这方面的这个性能优化的需求我们并不会接因为你们现在有很多贡献者应该是2000家管理这么大一个规模的开源社区你觉得挑战是什么对我觉得最大的挑战就是刚才说到的就是你要梳理事情的优先级要做什么更重要的是不做什么然后当一个项目有2000多贡献者尤其是最近今年CodingA
[85:00] 发展的特别火吗所以贡献代码这件事情已经变得非常简单了所以我们在作为项目管理者的时候我们最重要的要做的事情是要屏蔽这个噪音要找到真正值得做的这个事情然后呢引导这个社区往这个方向发展这里面有一个数据就是2025年的时候GitHub发布了一个这个统计数据就是按照贡献者的活跃度来排序VOM是整个GitHub上面最活跃的项目这一方面我们也很荣幸啊另一方面其实这个也给我们带来一些这个我们叫做幸福的烦恼比如说今年五月份的时候我们发现有部分培训机构通过提交垃圾代码的方式来包装学员的简历啊就是他提交一个没有什么用的PR然后和想要合并到VM里面然后呢他就可以在学员的简历上说我是VM项目的贡献者然后呢希望通过这一点来提高这个学员的简历通过一些面试的这个概率那这个其实对我们来说是一个非常大的变化就是它彻底打破了我们对于开源社区的用户都是善意的这一基本假设所以我们现在就只能引入一些认证机制比如说我们会更多的重视来自一些知名机构的贡献我们会忽略甚至拉黑一些看起来就很像机器人的账号比如说他10分钟之内给你提交了20个PR这种人一定是机器人而且他提交的东西没有任何的人力的参与就全都是coding agentAislop就是完全没有营养的东西所以你可以放心的把它block掉所以我觉得随着这个AI和coding agent的发展未来的这个开源社区的演进方向它会更多的掌握在机构和这些重要的贡献者手中一些个人贡献者他能做的事情其实会变少就是整体上来说代码变得如此廉价以至于维护者他花时间去看别人的PRcoding agent 再写一遍然后他自己还有更多的context的说我想让coding agent 怎么写所以我觉得以后开源社区会更加的重视这个反馈那么社区它会变成维护者和用户这两个部分用户呢你就只需要提交bug report或者feature request你只要只需要说你用的过程中遇到什么问题了或者说你有什么其他的享用的东西你就不需要贡献代码了然后只需要这个维护者自己来贡献代码就可以了你觉得这是VLM这一个社区的眼镜方向还是很多可能现在的社区的共同眼镜方向我觉得这个是开源社区的整体的眼镜方向就是coding agent 的这个发展尤其是今年在写代码能力上的突破确实是远超我们预期的所以这个对于很多开源项目的这个维护都造成了类似的问题这个就是PyTorch 的一个核心维护者叫做Edward Yang然后呢他也写了一个类似的博客就是说我们现在已经没有精力去看大家的PR了所以与其花时间去看别人的PR不如我自己重写一遍你们跟OpenClaw联系多吗他们现在社区维护是一个什么样的状态他们的治理方式跟你们类似或者不同吗OpenClaw感觉已经变成了纯AI治理的方式就是AI提交PR然后AI来审AI来合并这个社区,虽然这个社区他接下来演进的方向是好是坏可能不是很好说你们为什么没有走这条路我们这个地方还是很难让AI完全自动化的就是还是需要我们很多的参与者有历史的这个insight在里面然后我们做的很多事情其实它不是来解决现有的一个问题它很多时候是解决接下来将要发生的问题比如说我们要解决我们要支持接下来三个月内要发布的新模型那所以我们在维护代码的时候我们不只是看它如何支持现有的模型我们脑海里还必须想着接下来三个月支持的模型在这些代码里面怎么支持以及包括接下来半年接下来一个一年这些硬件要怎么支持所以我们这个项目维护的过程中必须是带着大量的个人的context去做的啊所以这一部分目前还没有办法交给AI去做我听你在讲这个时候我在想是不是一个开源社区发展它的成与拜也好跟创始团队在不在会有很大的关系啊对就是创始团队需要在这撑着如果这个主要的就是团队的主心股发生了变化那肯定需要会有一个这个阵痛期就是他需要转型他需要适应所有的合作伙伴都需要去适应他的新的领导有这样换过领导了还发展非常好的开源社区的先例吗我觉得换过领导之后这个项目基本上就很难发展的很好
[90:00] 你怎么看OpenCloud的未来的发展?我觉得Coding Agent的发展给大家带来一个虚拟的假象就是觉得好像所有的软件都变得很容易写但其实有一些这个顶层的系统设计啊包括长期的维固还是需要人来设计的就是我觉得AI它可以帮我们走完90%的路程但是还有10%的关键的那个画龙点睛的那一部分是需要人来提供支持的需要提前预判顶层设计对因为我看开源社区的这个比较少就是一个开源社区的成功也好失败也好有哪些历史先例啊就是最后可能导致比如说一个社区分裂萎缩失败的可能包括会有哪些因为你们伯克利的这个渊源的原因你们见过很多吗当然我觉得第一重要的就是这个开源项目它确实是在解决一个大家都关心的问题这个是最根本的对吧如果你解决的是一个没多少人关心的问题那这个项目它就长不大这是一个根对这是一个根基然后第二点就是有了这么一个重要的需求之后那么能不能撑起这样一个项目涉及到刚才我们说到的,需要有一个创业公司在背后运营这个项目。去组织这个项目所以这也是很关键的一点然后呢我觉得就是像这个创始团队持续在推进这个项目啊这也是很重要的一点然后呢我觉得就是有了这些天时地利人和吧然后就是把这些事情持续推进下去你们为什么那么执着一把乌苏克拉进来你跟三母两个人不行吗他还是我们之中比较偏技术的同学就是很多因为很多历史上的技术决策都是他做的所以他来做的话会有比较好的延续性所谓根正描红,它可能是那个根,就是第一个人对在那里对我觉得这个对于社区的这个号召力也会有比较大的影响有你见过那种非常可惜的看元项目吗就是它可能跟很好但是因为后期维护出了问题然后最终导致失败了我觉得这些还是有比较多的例子的尤其是就是一些开源社区他没有公司在背后支持这个比如说很多历史上的很著名的项目其实都是很多人在就是有几个人在艰难维持比如说像这个open ssh 这个其实是大家都要用到的一个这个计算机的基础设施就是一个这个SSH的这个加解密那么他的维护者其实就只有那么几个人在自己维护然后呢这个事情是直到这个大概十多年前出现了一次事故就是他的一个漏洞被人破解了导致可能全世界都在裸奔就是你的密码可能大家都能看得到出了这个事情之后大家才成立了一个基金会然后给他投一点钱来这个支持他的维护所以其实开源社区的这个基础设施建设一直是一个老生常谈的话题就是他们都很重要但是直到他们出问题之前大家都觉得不需要投入你们还是提前来做了这件事情的对我们提前做了这个事情而且就是伯克利这边的历史渊源表明只有有这样一个创业公司在背后支持这个项目才能够健康的发展一定得是创业公司对吧不能是一个大厂对我觉得得是一个创业公司如果是一个大厂的话它很容易带来这个大厂原来的一些偏见或者说立场那这个时候它很难去融合这个社区大厂不服他所以说所有人不会跟他一起走那么这个创业公司又是这个项目的创业团队然后呢在社区里面带着大家一路风风雨雨这样走过来那我觉得他的号召力包括他的这个中立性公正性大家都是比较认可的所以我觉得这样的项目可以就比较promising最终你们觉得哦这公司可以成立的那个节点是什么是乌塞大英加入的那一刻吗有没有那样的一个时刻那样的时刻我觉得就是就是Young Stoica老师告诉我们说这个公司再不成立这个项目就要完了几年几月几日可能找不出一个具体的时间吧但是应该是二五年左右的时候因为二五年左右的时候呢我们做的一个主要的任务是做大模型的大规模的集群级别的部署那这个时候我们其实遇到了很多问题一方面就是说这个人力资源的问题就是我们在以开源社区的方式运作的时候这个参与这些事情的人都是不确定的人来人往的对吧有些人来有些人新加入然后有些人离开这个事情是没有办法支撑你长期的做一个重要的
[95:00] Featured. And then 另一方面就是这个法务上的问题 就是我们跟很多公司合作是有一些这个保密性的 因为我们经常做很多新模型发布之前的支持 包括新硬件发布之前的支持 那么在这个过程中呢 对方法务经常会要求说你需要有一个我们叫NDA嘛 就是保密协议 对吧 那这个保密协议谁来签 这是一个很尴尬的问题 因为开源社区他不是一个实体 所以对方的法务经常就会说 你背后是哪些人在做这个事情 然后呢 他可能还会还会需要检查说 你这次来做的是这些人 下次来做的可能是另一些人 那么这些人里面变动的人里面有没有我的竞争对手 我是不是要对他进行做一些背景调查 才能够允许他来接触这些信息 对吧 这些其实都是一个开源项目没有办法完成的事情 然后呢 再包括除了人力资源之外 还有机器资源的问题 那么我们做大模型的大规模部署 其实在24年的时候 这个事情为什么没有这么突出 因为那个时候模型还比较小 然后你搞到一台机器 单机的单卡的 就可以做很多事情了 那么那个时候也有一些公司 比较热心慷慨的 给我们捐赠了一些机器 但是到了25年的时候 因为整个的规模上去了 我们要做的很多优化 都必须是集群级别的 然后呢,对方给我这些机器也不是一个promise,所以我现在就在这些机器就很困难了。 the promise of the thing. They're in a bit of a new project. They're not going to do a new project. For example, I'm a one-year-old, I'm a one-year-old, I'm going to use it. Then I'll use it for 246. I'll use it for you. Even if you're going to call it for a new project, I'll use it for you. 对吧,所以这些事情就给我们带来很大的阻碍,所以我们25年其实我觉得说实话我们做的不是很熟,那么这些事情就导致了我们已经很明确的看到就是没有一个公司的知识,这个项目已经无法继续往下发展,所以你们有点不得不。 But you actually are waiting to create a new project. The whole thing is 已经不得不需要一个创业公司了, 然后我是一直在等着这个创业公司, 所以我一直是在内部呼吁说, 我会不停的说, 我们你看我们现在又遇到这个问题了, 对方又找我们来签NDA了, 我们现在签不了了, 然后我们要是有一个公司多好啊, 然后我就在不停的说这样的话, 然后最后也是二五年的时候, 因为刚好大家都那一年毕业嘛, So we said: "That really, go to a company." You said this, Simon was how to say? Simon was the same way. And then, I was like, "Woo-suken?" I was still in the same way. What is the last thing about him? Did he do that at the moment when he was in the company's creation? There was a lot of influence on him? Ah, yeah, just it's a new dream. We're not going to ask him that question. We're going to ask him to be a b-cum. Just say, if you don't do it, we'll do it. And then you think, if you don't come, it will cause you to fail. So you get to have a lot of money, but you will be happy. And then, he thought a few days, and then finally back to him. He was not given a answer. I think this question is when we were asked to ask them, we both need to calm down. That was how many years ago? Maybe it's about 7 or 8 months, 8 or 9 months. Then, until the end of the year, you can become a company. Yes, we have to get it back then, we have to go to various ways. We still have to find the investment in the future. After you're thinking about it, you think it's the most important part of the part? 现实是怎么样 我觉得这部分还是比较顺利的 就是因为就是硅谷的VC对我们整体是一个期待已久的状态 就是虽然我们决定成立公司是在2025年的年底 但其实他们23年24年的时候就已经在跟我们接触了 而且那个时候就已经在给我们这个开源项目提供资金了 So I think this is a big thing. For example, like, ACCC, they were in the last year, they gave the VMs to provide a lot of money. This is a big investment. This is a big investment. This is a big investment. This is a big investment. This is a big investment for the company. And then, the money will be more? It's a big investment. It's a big investment. 对然后呢这个像24年的时候啊 西科亚和真格 啊 这两家也都给我们这个以开源社区的形式给我们捐赠了一笔钱 所以他们其实很早就注意到了我们 而且
[100:00] 也跟我们一样认可就是WM是一个很重要的项目所以他们愿意投入一些早期的资源来支持我们当然他们也是说就是如果我们创业的话那肯定是大力支持我们所以当我们这个最终把这个消息说啊我们几个人最终决定要创业了我们要有一家公司啊那这个时候我们再去找他那么找他们的时候他们其实都比较爽快的说其实我钱已经准备好了啊所以这个你们终于决定了啊对他们一直在等我们其实对所以啊虽然这个我们种子人融到的这个资金比较多吧但整体上还是投资人在主动找我们要投资的阶段啊就是啊我们即使种子轮融完之后,直到现在其实也不停的有人在说,我这里有很多钱,我可以直接给你们几千万美元的这个save都可以直接给你们,然后你们下一轮融资的时候把我们考虑进去。需要把钱拿来做什么事情然后再去看下一轮融资你们应该是全球来说AI infra领域融资种子论融资最多的一家是不是没有做过横向的这个历史的对比但应该确实是比较大的吧投资人为什么这么看好你们他们有说什么逻辑没有核心还是我们在这个生态里面的地位就是当你去看这个开源模型的生态的时候每一个模型的发布背后都跟着VM的支持每一个芯片厂商都会主动来靠近VM说他希望得到VM的支持那么这背后的市场其实是一个多少逼连的市场所以其实给我们的投资的价值来说我觉得并不算多其实市场也准备好了然后客户也准备好了但是就等你们几个人做决定对就等我们要做这个事情当然如果我们不做可能有其他人来做但是不一定有我们这么好的站位出来以后你没有说我们应该更早出来就好了吗因为其实融资比你们想象中可能容易很多确实但是这个可能就属于马后炮了以及再往前面一些时间其实我们也没有那么多时间就是我们比如说在准备一些毕业什么的事情然后也没有时间来做这些事情更多是在像七月份我毕业了,然后呢,秋季学期这个乌塞克和塞蒙他们也都快毕业了,所以刚好是这么一个时间点吧,其实我已经是在不断的催促说,我们该创业了,你是为了创业去接的这个教职吗?对,就是我是为了等他们创业而接的这个博士后,所以我一直在不断的催促说,我们应该创业了,再不创业又有一二三四五这么多条问题,你们几个人是怎么分工的呀现在,Yang Stoic老师他扮演一个什么样的角色Yang Stoica 老师是我们的这个创始人之一然后呢他现在属于一个Advisor 的决策就是一些重大的战略决定我们都会问他因为他有很多的创始这个创业的经验嘛他包括这个他是Databricks 的创始人然后呢也做过像最近的这个LM Arena所以他对整体的这个行业的水温都比较了解所以他会给我们一些建议说这个阶段这个公司我们现在该做什么事情了接下来该做什么之类的所以他给我们一些这个high level的一些建议然后呢我们主要创始人这个四个人里面呢就是更多的还是就是有什么事做什么事吧有技术的就做技术然后有非技术的就做非技术然后看谁有更好的context来handle这个事情对比如说有些公司原来是我对接的那么对方来再来找到对接那就我去出马然后有一些事情原来是像无数个在做的那么现在这个事情需要继续往下推进那么就他去做啊所以我们呃就是我觉得我们四个还是比较四位一体的状态我们四个人可能是同样的一个共享一个大脑然后只是需要谁的时候谁出吗还是仁慈的独裁者吗对我们四个一起吧你还是人私独裁者,对,然后因为我们四个人做的事情没有那么多overlap,就是各自有各自的这个往之前负责的一些东西嘛,所以说肯定就是这个方向,如果是你负责的,然后你又意见比较坚定的话,那你就做就好了,大家都支持你。这开源项目商业化之后会,就是社区对于公司Infraact的态度会有一些变化。
[105:00] 它会损失一些社区的信任感吗嗯我觉得没有就是这个事情对于社区来说是一个好事因为他们其实也都在期盼着我们开公司就像刚才说的我们跟很多合作伙伴合作对吧那么对方想要我们签保密协议那没有公司的话签不了有公司了之后我们可以跟对方签保密协议了他们的法务也很开心然后呢还有就是有些公司啊就刚才说到的一些算力的问题对吧那我们之前合作的时候经常会对对方说我们合作一起做这个事情你能不能给我们一些算力支持那对方也很尴尬就是因为公司里面的算力都在公司内部他很难给我们公司外部的人支持他最多就是可能像刚才说到的有一些公司给我们提供一些资金的支持但是呢我们要去买比如说这个资金放在谁的口袋里都是一个问题对吧我们不能直接放在个人的口袋里然后你去买一些东西的时候比如说买算力的时候对方可能也会要求一些资质的证明你是不是一家合格的公司所以说这些东西其实在我们成立公司之后都得到了很大的缓解我们有了公司有了人力资源的支持有了硬件资源的支持我们可以把很多原来做不好的事情做得更好那比如说我们可以招聘更多的人来支持为我们项目的发展然后呢我们也可以有更多的机器的资源来验证我们原来验证不了的事情所以呢整体上来说对社区来说是一个非常大的促进那社区对于一个开源项目的这个意见他并不是说他能够在这个项目里面能够写多少代码或者说他在社区里面说话有多少人听更多的是说这个项目能不能给它带来一些收益比如说新模型发布的时候这个项目是不是又能够支持了然后新硬件发布的时候这个项目是不是又能够支持了然后一些新模型这个特性新的推力引擎特性的发布的时候这个社区是不是又能够支持了所以他们更多是一个从用户的角度来看这个事情那么我们公司的成立对为我们项目的发展尤其是对用户来说是一个很好的事情因为这个项目现在更有保证了所以他们都是非常支持我们做这个事情的如果当商业客户和社区的需求发生冲突的时候你们会选什么我们不接这样的商业客户我们现在是供少于求的状态就是我们能支撑的商业客户远远小于想跟我们做商业合作的客户所以我们可以非常爽快的拒绝掉我们不想做的事情所以我们目前做的事情都是跟社区发展一致的事情最终还是你们四个作为一个决策者主要是我们四个在公司里面决策那PyTorch基金会现在跟这个公司是什么样的一个关系PyTorch基金会就是他在我们项目的日常的管理过程中就是他不参与技术管理所以呢我们目前主要是可能每一个季度会向PyTorch基金会汇报一下这个项目做了什么然后呢其他的没有很多别的了它只是一个象征性的意义我感觉对它作为一个持续的看见项目来存在对就它是那一道保险杠保证这个项目它不会避原嗯对然后具体的技术都是我们自己在做你们对开源遍远这个问题上没有过争取或者是犹豫对吗没有,因为如果我们想做币源的话,我们就可以自己去找家公司做了。就是我们觉得这个开源推力引擎它是很重要的事情而且需要坚持下去你们公司为什么叫Infraact对这个起名字是一个相当困难的事情我们为此讨论了好几天然后最后取名Infract也是因为我们公司主要做的事情是想做Inference所以就有一个Inference在里面然后呢配套了一个这个我们希望是Bring Inference into Action就是把推理做到行动里面就让它真正的跑起来所以最后起了这个Infract的名字你们认为这个公司十年后会怎么样你们的愿景和目标是什么嗯十年后这是一个相当长的时间了我们已经很难预测就是AI会发展到一个什么样的程度但我们的预期就是Infraact希望能把大模型推理这件事情做到一个基本解决的状态就是大家想起推理就会想起VM然后想起Infraact商业模式会是什么样的商业模式的话我们整体还是就是围绕大模型推理技术和微网的生态然后呢一边建设微网的生态系统一边去做商业化所以我们在探索好几种商业模式那比如说我们公司可以有机器然后有软件我们最后就给大家提供一个叫做endpoint service就是对方只需要直接从我们这里用token就可以了我们也可以在探索一些像我们叫做BYOC的模式你可以客户有机器然后呢我们提供
[110:00] 软件然后我们产生token可能是给你内部自己用然后也可以是一些纯生态合作伙伴类似的探索性质的就我们跟一些战略性的客户一起去探索怎么把WM的生态建立的更好这方面也可以有些商业合作的机会整体上来说我觉得就是我们希望做到一个按量收费的状态就是我们不是技术外包我们不是在售卖我们工程师的时间我们产生的价值取决于我们为你多产生的多少token为你的这些机器又节省了多少成本所以这个是我们一个整体的逻辑现在公司多少人我们现在公司大概30多人吧接近应该快到40了我们还在持续的招人再从一个像社团的一个组织变成公司这样的组织的过程中你们有没有什么感受或者knowhow可以借鉴嗯我觉得公司确实还是挺不一样的就是我们之前在做开源社区的时候一个很困难的事情就是你没有办法从上到下的去强制推进一些事情就是你没有办法去规划因为这些公司这些参与的同学他们都可能有自己的工作所以他们不是全职在做这个事情的他们可能内部有一些其他的比如说紧急的事情那么今天就来不了了所以呢我们只能是一个best efforts许愿的状态就是我求求大家这个这周把这个做完吧对吧然后呢现在我们有了公司了就是这些同学都是我们的全职员工了对吧然后我们也有专门的资源可以去推荐这些事情了那么我们可以引入更多的计划我们说我们这个季度要完成什么事情然后呢分给这个小组你这个小组你接下来这一周应该要做什么事情就是我们可以有更多的计划那你们几个人的关系有没有发生什么样的变化就是我们几个创始人之间都是就是每天都会同步一下一些相关的事情啊所以我觉得关系应该还是更紧密了就相比于之前开源社区的时候大家可能像同学对然后开源社区的时候可能沟通还没有这么紧密因为那个时候可能大家都是松散的组织在一起的状态然后现在大家是为了共同的一个目标去奋斗然后大家可能都需要看这公司里面发生了什么事情然后大家需要一起来解决Infraact这个公司今年的一些规划会是什么呀今年的规划我觉得目前还是在聚焦这个开源大模型推理的生态方面那么包括接下来即将要发布的一些下一代的这个推理引擎包括这个下一代的模型下一代的硬件怎么样做到更好的这个推理然后包括针对下一代的负载大家怎么去用这个token的这些东西我觉得我们需要用开源的微博给出一份满意的答案好 上面我们回溯了你的研究历程以及这个公司从一个开源项目走向公司化的过程那今天我们其实还也很想跟你聊的一个话题就是模型与Infra的Code Design我觉得这个你们非常擅长也是现在很多模型公司都很关注的一个话题那我们先从一个最基本的开始聊起就如果是一些给一些非技术背景的观众或者听众解释模型结构与Infra的Code Design为什么需要在一起设计啊我们现在很多人把这个token比作电力对吧然后呢我觉得可能可以从这个比喻开始吧我们可以把硬件就想象成这个自然资源就是你比如说不同的地方它有这个不同的风力和不同的水力还有这个光伏太阳能然后呢 模型我觉得可以把它比作是一个发电机那么有这种大风车的这种风力发电机也有太阳能的那种光伏发电机也有这种机械式的这个水力的发电机然后推力引擎就可以把它比作是这个电力系统那么他把这个模型跑在硬件上然后呢最后再把这个token发送给用户分发到这个千家万户那么这里面的这个co-design的程度他其实就决定了他的发电效率有的地方水流比较湍急有的地方水流比较平缓那你在这两个地方怎么样去设计你的发动机使得你的发动机能够更好的利用这部分能量这个就是所谓的这个模型和infra的co-design就是在同样的自然资源的情况下配上可能不同的发电机然后它有不一样的发电效率对直觉上来看的话推理效率可能是系统工程师的事情它跟模型算法的关系是什么我觉得要讲清楚这个事情的话可能就要讲清楚一个
[115:00] 概念叫做Hardware Lottery就是硬件彩票这个也是就是这个应该不是David Patterson是另一个这个学者写的就是他说的是就是在几十年前呢就是还是摩尔定律比较有效的时候那个时候其实软件和硬件的发展基本上是一个各自为战的状态那么你写软件的人你其实不需要考虑那么多硬件的特性因为硬件的通用性能它每隔两年就翻一倍然后呢软件的性能自然的就会跟着变快但是呢现在的问题就是摩尔定律的那个黄金时代已经结束了就是你没有办法再通过制程然后得到通用性能的提升所以现在其实已经进入了一个专用时代就是英伟达经常说这个皇室定律就是说你的算力可能你每隔两年又会翻几倍但是这个算力它其实都是专用的算力就是它没有办法做到通用那所以如果你的这个算法没有利用到这些专用的算力你就没有抽中硬件的那个彩票你就吃不到这个时代的红利比如说我觉得就是这个极其学习非常资深的这个Hinton老师他当时强推了一个叫做Capsule Network那个东西就是他觉得从概念上非常make sense但是那个东西在GPU上不友好所以他得不到广泛的应用或者说至今他没有得到广泛的应用如果他需要得到广泛的应用可能需要一个专用的硬件所以说就是模型的结构它决定了推理效率的一个上界如果你的这个上界太低了那系统工程师就无力回天了对吧你已经做成这个烂样子了那他再优化也就是这个样子所以你必须得把两者结合起来看其实Transformer就是抽中了GPU的彩票对可以这样说因为它非常适合并行这个并行指的就是它里面有大量的这个矩阵乘法那应该是算法领着硬件走还是硬件领着算法走理想情况下这两个肯定是要协作的但是实际情况是因为硬件它已经造出来了嗯所以很多时候是算法需要去学习硬件的发展当然硬件一旦走错了他就几年的时间他就走错了这对硬件公司来说是一个巨大的挑战所以他需要不断的踩着时代的脉搏去压住下一个有用的硬件长什么样子但是一般来说还是算法和模型结构适配硬件适配的多你们举一个具体的例子来说明因为模型结构设计的好所以导致infra的效率提高了很多一个比较著名的例子我觉得可以说就是肉吧这个叫做旋转位置编码嗯啊Transformer出来之后呢说位置编码这个事情我觉得你少说可以找到上百种位置编码的这个实现啊但是呢他们其中很多的实现都需要修改其中核心的注意力的实现就是你的位置编码变了那么你的注意力kernel需要重新写那比如说叫做一个叫做alibi的这个技术啊它是这个absolut的这个position bias他就没有得到广泛的应用那rope流行起来的一个很重要的原因就是随着训练长度的提升那么大家需要位置编码然后同时用flash attention解决了训练长度的问题所以flash attention就变成了一个训练必须的东西然后在这个时候你的大部分的用户是没有办法就没有那个能力去修改flash attention的所以这个时候大部分需要修改attention内部实现的位置编码就被干掉了就没有人去尝试了,而ROPE它的好处在于,它是一个绝对位置编码,就大家希望是一个绝对位置编码,但它同时又是一个相对位置编码,但是它是一个以绝对位置编码实现的方式,所以它有非常良好的性质,而且它是可以把它独立注入到这个Curray和Key里面,它是独立在Attention之外的,就你可以在Attention Kernel之外独立的做ROPE,所以它跟Attention Kernel是互补的,所以它就变成了一个最佳搭档,模型结构设计的好那么它就可以跟Infra有一个co-design就是一个共鸣的效果就大家可以互相提高能够有一个更高效的实现那么你的整体的训练推理效率都会提高很多因为提到Infra,大家这一代大模型公司里就会说Deep Seek是Infra做最好的,它的Infra做得好是,跟这个模型结构和Infra的Code Design有关系吗对我觉得就是infrad的就是deep seek的infra团队啊我觉得可以说是全球顶级的这个团队啊是不是第一我不好说这个可能见仁见智但是绝对是顶级的然后infra的能力强呢也就能够高效实现的模型结构就更多所以呢他们的算法研究员就可以更快更充分
[120:00] 去探索各种选项然后呢这里面我觉得还有一个就是他们的算法同学其实也都是懂一部分infra的比如说在24年年初的时候就是当时Deepseek探索MOE就是Deepseek MOE那一波那么其实是Deepseek的一个算法同学写出了这个MOE的当时还是比较粗力度的MOE的一个比较高效的实现所以他们其实在探索MOE方面,这个infra 探索了很多然后包括后面这个细力度MOE也是他们在推理系统里面第一个做出来的所以说Infra的能力对于DeepSig同学的这个算法探索起到了非常重要的作用同时他们的算法同学也会学习Infra的知识使得自己的算法设计能够更Infra的友好所以应该是算法主动去靠近Infra好算法需要主动去靠近infra,然后infra也需要对算法有一些基础的了解。我觉得就是这两者需要更紧密的合作这两者需要比如说一起办公有什么样的机制能够让他们更紧密吗还是说我从招人上就应该算法的人懂infrainfra懂算法我觉得招人的时候如果能招到既懂算法又懂infra的同学这个肯定是非常好的然后呢后期的组织结构上面可能确实一起办公会更好一些比如说一起办公的同学大家日常的讨论对吧这个infra的同学每天讨论的是什么事情那么算法同学耳濡不染的也就知道了原来我有这样的一些东西要考虑然后呢算法同学一些日常讨论infra同学也是耳濡目染的就会就是会有一些潜移默化的影响吧对那比如说如果infra团队太主导他有的时候也会忽略到算法上面的一些事情比如说这个moe里面那么就曾经出现过一些infra同学为了这个moe的均衡而选择了exper choice的这个事情那么这个事情在算法上面其实是不能被接受的但是在infra上面你可以让它跑得很快所以这也是一个infra和算法过度倾斜到infra的一个例子这两者谁的话语强可能可以更高一点我觉得很多公司里面是算法的话语权更高一些然后infra很多时候是一个被动接收的状态但理想情况下他们两个应该co-design怎么说呢这个就像刚才说的模型和硬件co-design一样理想情况下他们都应该是co-design的但是现实情况下是硬件更强势一些因为它已经设计出来说到DeepSeek他们最近这个D-Spark也刚刚发布那么从旁观者的视角解读一下最新的技术进展就是dspark它是一种这个新的投机解码的方法因为这个自回归的建模的大模型它的推理整个就分为预填充和解码两个阶段那么预填充呢它是处理用户的输入然后呢解码阶段它是处理模型就是自己在输出然后因为它是自回归的所以你模型解码阶段只能一个一个token的生成这个效率比较低然后呢投机解码它就是说我根据当前的输入一次性的猜测我接下来要生成的几个token把解码的过程呢变成一小段一小段的这个预填充的过程那么它一次性可以处理多个token就可以提高处理效率那在D-Spark提出之前呢这个业界其实已经研究了很多的投机解码的方法比如说常见的这个EGO以及同样是这个DeepSig提出的MTP的这个投机解码那他们的特点就是猜测的长度比较短一般可能就猜测三到五个但是接收率比较高那D-Spark的技术路线呢Dflash的系列那这一部分我们其实最近几个月也都一直在关注所以Dspark它不算非常新颖的内容Dflash路线的特点就是它一次性会拆很多个token比如说16个token那我们VM和NVIDIA其实最近刚刚发布了一个技术博客就是在介绍VM里面的DFLASH的支持这样的话可以对某些模型达到每秒上千Token的速度DFLASH的缺点就在于他猜的Token很多但是他猜错的也很多所以呢他模型验证过程中存在一个算力浪费的问题那DSPARK对于DFLASH的改进就是说估计一下这些猜的Token里面哪些是准确的哪些是不准确的你就不要再去验证了所以呢比如说模型猜测了16个token那你简单统计一下这个模型最后输出的一个智信度可能发现只有前8个token是准的那你就只需要验证前8个token就可以了所以说Dspark大概是延续着这个路线在改进Dflash那DSpark对我们来说其实并不意外就是因为我们已经做了
[125:00] 几个月的Dflash相关的优化了然后呢Dflash的这个接收率的问题也是Dflash的研究圈子里面的一个共识然后像在Dspark提出来之前呢腾讯的会员团队其实已经有发布了一个Dcut工作然后呢上交的同学其实也有提出一个叫做Domino的工作都是通过类似的思路来解决这个问题的所以说你说这个Dspark在算法上面有多么normal我觉得并不能算很normalDeepSig团队跟腾讯会员的团队也都有很多的沟通大家很快也会看到VM里面支持这些算法但是就是创新性是一回事然后能不能把这个创新的想法扎实的做出来只有是另一回事我觉得DeepSig是继承了DeepSig一如既往的非常扎实的infra的基础把这个推理优化压榨到了极致这也是我们在跟他们学习的一点就是怎么做到更好的这个推理优化然后其实这个也是另一点跟infra co-design 的部分吧就是有没有一个好的推理引擎上的实现是决定一个投机解码算法能不能大规模使用的一个关键那DeepSig的推理引擎团队非常强悍所以也为这个算法团队研究投机解码提供了更大的探索空间和更多的反馈这刚好是一个code design 的案例对你想了这个我在想大家都会说会是一个很懂infra的人当然应该也会有不错的infra吧为什么这边有做起来呢懂AI吗Infra应该还不错吧我觉得应该不懂AI infra他们团队里面当然有一些懂AI infra的同学因为你开出很高的价格当然就能够招到一些同学但我觉得整体上来说不是很懂他也不懂infra是吗对我觉得这个属于是就是一号位不太懂然后他可能就开始就会有一些瞎指挥的问题就是即使下面的有懂infra的同学也没有办法发挥出他们的这个价值说他懂infra可能是因为他要建非常大的集群那个我们可能把它叫做infra的infra就是集群怎么搭建然后呢怎么样把这个机器点亮怎么样交给infra团队就是怎么样交给这个我们叫做ai infra的团队我觉得这里面也不是说他技术有多高吧因为很多时候建集群他是一个非常重的资本开销所以呢他更多是说你有多少钱以及你能找到多少地你能找到多少店所以他更多是一个有非常多资源的一个人为什么大家会说好的infra不是加出来的是设计出来的呀就是模型团队和infra团队这种各干各的模式它的问题可能在哪里我觉得可能可以回到我们前面说的那个发电的这个类比吧就是大模型它训练出来的目的就是为了用于推理对吧那么两年前的这个大模型的整个生命周期里面可能训练和推理的开销整体上还是训练为主然后推理的过程中也是推理的比较短这个对话也比较短所以呢推理的开销不大那现在已经很明确就是训练和推理的开销可以达到一比一甚至推理的开销还在持续的增长所以拿发电来打比方的话就好比说训练我是在研究发电机的结构是一个前期的技术投入然后推理就好比说我拿做好的发电机去发电这里面的效率就很重要对吧你可以设计一个通用的发电机以比较低的研发成本去设计然后你设计好了之后拿到哪里都可以去发电但是它的发电效率可能就比较低那你也可以提前设计说我这个发电机设计出来就是针对这一个地区发电的那这一个地区他可能这个水文条件风力条件我都是可以提前测量的所以呢我知道这些我能够做哪些针对性的优化来提高这个发电效率然后在一两年前这个模型还是比较小的时候推理负载也还是比较低的那用AI的人还没有那么多所以那个时候整体是算力多于需求所以大家对于算力效率的这个追求也没有那么极致但是随着AI的飞速发展现在大模型推理的需求其实整体上迎来了一个爆发性的增长所以现在处于一个这个供不应求的状态那这就好比说电力供应小于大家的电力需求而且是远小于那在这在这种情况下是有限的才没有办法快速的增长对吧一个地方的这个水力风力它的上限是固定的那你为了发出更多的电你就只能提高你的发电机的效率你就只能在设计的时候在发电机设计的时候你就把当地的这个自然资源的一些条件考虑起来啊比如说我这个水流湍气的地方怎么发电我这个热的地方怎么发电啊我这个就业温差大的地方怎么发电对吧所以说这个
[130:00] 是一个非常重要的问题那除了这个算力供应不足的问题呢这个因素驱使大家极致的优化infra还有一个问题就是算力非常特化就是GPU它本身在朝着大模型的方向演进所以它能做的事情也越来越固定所以模型它必须去主动适应这个硬件就好比说原来这发电我只是按原理区分一个大的发电这个种类说我的发电机有电磁发电然后有光伏发电但是呢有些地方的这个发电资源非常的特殊同样是电磁发电就同样是水电然后呢如果你的发电机直径是10米你的效率可以是80%但是如果你的发电机直径是100米那你的效率只有10%那在这种情况下你的发电机设计是不是就要紧密的去结合当地的这个自然资源的情况对吧这个翻译到这个大模型设计上就是infra和算法必须是紧密结合必须是co-design的这个模型团队和infra团队他如果各干各的话我觉得这个团队就完全没有前途比如说刚才的我为什么举那个直径的例子呢比如说如果某有某一个算法团队他某一天一想天开说我的attention的这个height size能不能开到1024啊那么Infra团队可能就晕过去了因为这个东西在硬件上很难实现因为你看过很多的这个团队啊那你觉得全球来看的话模型团队的infra和算法的coding做最好的是哪几家能不能给他们一个排序点评一下他们我觉得做的最好的应该就是deepseek这其中主要体现在就是deepseek的infra团队真的是全球顶级的水平然后呢deepseek的算法同学也比较懂infra像刚才说的那个moe的EC的例子都有在里面参与一些设计所以呢包括像后面Deepseek提出的像刚才说到的这个D-Spark然后呢前面这个NSA就是那个Native Sparse Attention这里面其实都有非常浓厚的infra的味道那我觉得Deepseek的这个深厚的infra功底可能是来自于就是他们之前做换方量化的时候对这个性能的一些极致的这个压榨那么他们因为做量化然后要自己自建机房所以呢他们对于机器的每一个细节所以他们能够做这个全战的优化然后排序的话我觉得可能就不好排我觉得就是Deepseek是说的最好但是因为Deepseek的Infra做的好不见得其他的团队可以很轻易的复制他们的成功因为自建机房这个就是一道坎就是自建机房你的优点在于控制力强然后你的总成本可以压低但是缺点在于它难以短期的大规模扩张所以很多团队它其实选择的是租赁这个云上的一些机器大规模的扩充这个机器的资源但是缺点就是它的这个控制力比较弱然后呢它的总成本也比较高所以呢它是不同的公司面对各自情况的一个取舍吧没有办法给他们这个排一个序说谁的infra一定比谁好但是我觉得DeepSig是在他们能做到的范围内确实是做到的非常好但是其他的人也不一定能够完美的复制过去对你说其他人很难复制DeepSig那有没有什么是可学习的呢可借鉴的呢可惜得的可能是什么可学习的那就是算法团队要懂infra这个怎么招啊怎么找到这样的人啊招聘肯定是一个老大男的问题就像我们现在公司招聘肯定也是希望能够有懂算法有懂infra的同学但是这个真的就是一方面需要这些同学能够有耐心去学习另一方面也就是看缘分呀你算是这种是吧我是因为我原来做算法研究嘛所以我有一些算法背景然后呢我现在做推理系统又有一些infra背景所以我确实算是就是有有算法和infra双重背景的同学你这样的人多吗比较难因为还是就是需要时间来熟悉这些背景包括做算法的同学做infra同学他们有的时候思考问题的脑回路也不太一样比如说就比如说算法的同学事实上是否make sense就是我的模型表达能力是不是能够更强然后呢这个造成的后果就是啊他们更关注这个下游的指标就是我能不能又解决一些新的问题然后我的一些精度能不能提高那么infra的同学他可能更关注的是说是说我手头上拿到的硬件长什么样子然后呢我能在上面做一些什么样的事情能够极致的发挥硬件的各种性能啊这个来的算法的需求是怎么样都怎么样把它实现过去所以他们的出发点不太一样啊然后你要养成这样的思维的话可能都需要今年累月的一些熏陶,所以我刚好是在算法那边熏陶了几年,然后在Infra这边也熏陶了几年。当下能做的可能是让两边团队做了一起工作,
[135:00] 可能能互相熏陶一下对我觉得坐在一起工作是一个比较好的就是互相熏陶的机会然后你坐在一起工作比如一起吃饭吗对吧吃饭聊点什么吗对吧然后互相聊一聊这个对方关心什么话题互相理解一下对互相理解一下那你们也帮就是不同的模型进行部署嘛包括海外的LAMA呀国内的千问啊GLM啊Deepseek等等等等你们有没有一些观察因为他们的模型结构其实现在是有差异的那在推理层面带来挑战是不同的从Infra的视角看哪一个模型设计对你们有最大的挑战哪一个又是最友好的这个全球主流的开源模型我们都会支持嘛然后他们在开源之前都会找我们提前支持就是如果一个模型它开源的时候没有退离引擎的支持那这个基本上就属于一个不可用的状态所以说他们跟我们的合作对于他们的成功这个开源的成功也是非常重要的所以我们确实跟他们都有很多的合作那合作过程中我们整体的感受就是欧美那边的模型更重视效果然后中国这边的模型更重视效率我觉得这个可能整体也是因为两边的这个算力供给的问题吧就是欧美的这个算力资源非常的充足然后中国的算力资源非常的紧缺从Infra的视角来看就是不同的这个架构设计对我们来说的最大的挑战其实就是其中的这个它的注意力机制是如何设计的因为大模型它作为一个自然语言建模的一个模型那么它是一个自回归的模型也就是一个序列模型这个状态和过往的状态的一个关系这个我们就把它叫做attention那么VM的核心是管理大模型推理过程中的这个状态然后呢不同的注意力机制决定了它的状态的大小和一些特性那比如说完整的注意力机制它的特点就是每一个token它的状态比较小然后它的状态只会增加不会修改然后这个对应的就是一套这个pager attention的管理机制然后最近兴起的像这个线性注意力特点就是每一个token的状态比较大而且它会被修改所以它就需要更多的推力引擎方面的这个其他的支持那除了这两大类之外呢还有一些很复杂的注意力机制啊比如说混合的这个交叉注意力那这种的状态就很很难管理了当然这个比较庆幸的就是这种东西它现在还不是很流行所以我们还不需要支持很多然后从info的视角来看那肯定是模型结构越简单越好支持对info更友好对吧比如说两年前的Lama结构但是就像前面说的我们也不能完全从info的视角来看模型长什么样有的时候也需要看什么样的结构它的模型效率比较高因为如果发电效率比较高但是发出来的电是一个没有用的电那也不行对吧我觉得说到这里可以提一下Token和电的一个不一样的电因为大家把Token和电做一个类比的时候电它是比较通用的电它是可以调制的所以你发出来的电你可以去调制它的电压和频率可以方便的用一些转换器去做转换所以大家在用电的时候只需要在出口统一规定我就是220伏那么所有的家电它的这个只需要满足这个国家标准它就可以接入这个电去用但是token它是没有办法去做调制的就是你没有办法说把一个deep seek模型的token转化为一个keymy的token这个token它是带着模型的烙印的比如说我们有上百种发电机的型号然后每一种发电机的型号它发出来的电压和频率都是不一样的但是你没有办法调制你只能原样的去送过去这里面你就只能让用户去适应了比如说我今天有90伏的电压明天有110伏的电压后天有120伏的电压然后这就是导致有些时候你还需要去看你的harness能不能适配这些模型的token然后不同的推理厂商它推理出来的token也不一样除了这个推理厂商本身的原因还有就是模型本身它也不一样对吧比如说大家经常会说这个有些模型聪明有些模型傻然后呢有些模型它适合指挥有些模型适合干活然后呢有些模型它适合用Cloud Code然后有些模型适合用OpenClaw所以说就是Token它比电复杂很多它有一个意志性在这里就是它不是像电一样的是一个Commodity就是你拿到就可以用的状态基于每个Token都带有了模型的烙印你觉得这个会越来越统治化还是会越来越差异化目前还是一个百花齐放的状态,然后尤其是现在就是跟harness也有关系,就是你的harness怎么设计,然后模型在训练的过程中,它用过哪些harness对哪些harness比较了解,以及包括推理引擎的设计,它有的时候都会影响产生token的质量。所以说对目前是一个比较百花齐放的比较混乱的状态。你们现在能支持多少模型结构?
[140:00] 我们现在支持了有两三百种模型的结构相当相当多所以我们其实最近在做一个事情就是不用的模型结构我们要删掉对就是既然每个token都这么复杂度这么高你们还支持这么多的模型结构会不会让你的复杂度过于高那你们这其中的trade off你们的取舍代价是什么对这就是这个项目的价值就是它支撑住了这个复杂度当然我们也需要就是不断的去删减掉不必要的复杂度所以像刚才说的我们删除一些不再用的模型删除一些不必要的feature,然后在这个过程中我们也会更加的重视,就是当前大家用的主要的模型是什么,所以我们接下来的重点肯定是优化主流模型,在主流硬件上主流workload上面的一些性能。MOE架构现在应该是相对最主流的架构之一,那从推理Infra的角度看,MOE给你们带来什么挑战?Moe带来了三大挑战第一个是细力度专家这个其实也是Deepseek提出的这个Deepseek MOE就是发现专家的力度越细越好但是细力度专家他就会导致做矩阵乘法的时候矩阵乘法的维度比较低所以他对于Infra的实现不是很友好那么这里需要有一个取舍然后第二个是MOE它是一个动态选择的这是MOE算法的基础我们有一个路由模块来决定每一个token选择哪几个专家那么这一个呢对于数据的依赖啊是这个GPU就是GPU的高效实现比较难以handle的部分他们比较擅长的是那种静态的数据流就是我提前知道啊这部分数据要跟哪一部分数据进行运算然后第三部分是专家并行的系统就是MOE当大家发现这个细砚度专家很有用的时候那么大家快速扩展到了这个把moe扩展到了万亿参数然后呢但其中只激活了几十分之一这个就要求配合一些像专家并行的策略和数据并行的策略,这个对于系统设计和通信的要求都很高。针对这三大挑战的解决方案,其实就是Deepseek在2025年提出的一系列方案,包括像DPP处理专家并行的通信,然后Deepgen处理专家并行的计算和选择。方向。MOE之后现在大家主要还在探索attention的设计就包括前面就是有一些播客也在请松林来讲这个linear attention那到底是linear attention还是sparse attention这个可能还是一个悬而未决的事情或者说可能他们两个都是一个有效的方案其实没必要非此几笔可能都需要去探索那test time scaling就是测试时计算扩展也是一个新的趋势那他对推理Infra提出来也有一些新的要求吗test on scaling它其实一直都存在它只是以不同的表现形式出现而已那在早期的这个机器学习系统中我们有一个叫做集成学习的方法就叫ensemble然后同一个问题你让不同的模型回答或者你让同一个模型回答多次然后对这个结果进行集成通常都可以看到一个比较好的效果提升那这里面我们test on scaling这个scale的就是模型尝试的次数然后呢这个大模型时代的test time scaling更多这个一般意义上指的就是OpenEye的这个O1里面的就是针对困难的问题我们让通过让模型思考更长的时间来提高成功率那这里面我们scale的是模型单次输出的token所以在去年我们经常看到就是让模型思考很久很久然后输出几十万的token然后呢去解决一些高难度的问题那比如说国际数学竞赛当然这也都是一些很有效的手段但是今年以来呢我们这个test time scaling更多是在coding agent的场景下让agent的持续和环境交互那么这个时候大家scale的是模型和环境交互的次数或者说模型完成一项任务它运行的时间在这个过程中呢就是模型每一次交互它进行的思考是比较短的可能只有几百个token但是它可以不断的去了解当前任务所处在的环境从而适应这个环境的一些特点要到完成任务那这个集成学习就不说了这个是很早的这个早期机器学习方法了跟现在的这个大模型范式也不匹配所以为什么我之前说我把BIM 测试这个删掉了那这个让模型思考的更久以及让模型跟环境进行更多的交互这两种scaling对于推理的Infra的需求是不一样的那前者是一个请求他在长期运行这个对于系统的这个成本非常高所以现在其实主要也就是服务一些特殊群体那比如说科学家的前沿Puzzle然后后者他是在今年迎来了一个大爆发,通过与环境的探索,coding agent可以适应各种各样的环境,所以他可以走进去,
[145:00] 人们的日常生活那比如说年初的这个小龙虾的热潮就是一个例子那在这种这个多轮交货的情况下呢前缀缓存也叫做previous caching就非常重要那我们要尽量确保这个历史状态都能够保留下来这样子下一次请求可以很快的进行所以这个Tesn Scaling的几个阶段对推力引擎其实有这个不同的要求你刚才提到Coding Agent那在Agent场景下就模型会被调用很多次有复杂的上线门的管理需求那你觉得现在的推理空架对这个场景支持的够好吗?现在的推理引擎对这种场景的这个基础支持是比较好的,就是这种Coding Agent的场景主要就是要保持一个前缀的稳定,所以呢,这样子推理引擎就可以复用前面计算的结果,当然这也有一些这个模型设计,就是它的设计之初就不完全遵守这个前缀稳定的性质,比如说有些模型它在下一轮思考的时候,它会删除上一轮思考的过程,已经做一些联合优化了然后目前主要的一个问题是生态比较碎片化然后不同的这个harness框架它会带来不一样的这个负载的特性以及不同的模型结构它又带来了不一样的催泥优化的需求所以很难统一那这个和infra code design其实是一个类似的问题我们现在需要的是一个harness和infra的code design这一方面其实去年这个Manness的记忆超就是Pick他也有一篇博客写就是如何设计一个infra友好的harness框架其中最重要的部分就是你要充分的利用前缀缓存这里面有一些Harness框架设计者他可能比较自作聪明就是觉得每次我把这个工具调用的范围进行一个精细化然后呢可以提高模型的效率但其实这个因为工具调用其实总是出现在模型的这个请求的前端所以这种操作会导致每一次请求都会无法重复利用前面计算的结果所以这个对推理系统带来一个巨大的负载然后呢还有一些古老的传统比如说ChatGBT他之前在System Prompt里面会加入当前的日期切换的时候统一失效这个也是一个很不好的行为那现在更优雅的做法是你可以把日期当做一个工具提供给模型然后呢模型如果觉得这一次需要当前日期他可以再去查询当前日期所以呢你不要把一个经常变化的东西放在请求的前端然后最极端的例子就是有一些这个harness框架把当前的时间嵌入到请求里面而且精确到了秒以及它的定时任务总是设置到整点这就导致就是一到整点这个推理系统就会收到一大波巨大的流量而且这个对推理系统会造成巨大的压力那梦笑的同学对于这个有一个非常形象的说法就是一群小龙虾一到整点就集体出动攻打月球那其实这种东西都是可以很简单的优化的比如说每小时一次的定时任务,如果你不是要求整点的话,你可以在每小时里面随机选取一个时间点。然后再比如说你的时间戳不要放在system prompt里面,这些其实都是很基础的逻辑。但是可能觉得就是这个时代比较浮躁,然后知道这些基础的人其实都比较少。就是说到这里Deepseek他最近完成了一轮大额的融资然后他也在进行大量的扩招其实可以看到他招聘的首位就是agent的框架设计相关的岗位所以在这里我也非常期待就是Deepseek能够推出什么样的agent的设计的框架然后他们在模型和infra的code design方面可以说是一技绝成那我也相信他们的agent的框架harness的框架也能够达到和这个infra code design的一个高度然后再给社区上一课说这才是好的agent的框架那你刚才说的是agent框架harness、infra他们之间的code design那在也有人说会在未来的AI系统里也会越来越偶合就像苹果的M芯片和iOS那样你同意吗这对你们设计这个通用框架意味着什么目前的整体趋势确实就是模型框架这个模型的结构和芯片的架构它越来越偶合了而且其实主要就是刚才说的模型它是往芯片这边靠因为芯片已经设计成那个样子然后如果你没有往芯片那边靠你的效率就会极大的降低那这里我又搬出这个David Patterson就是他在获得图灵奖的时候有过一个演讲就是说他对于计算机体系结构的一些看法这里面主要有两点内容第一点就是模维定律已经无法继续延续了就是通用的算力已经没有办法再继续往上涨那么在这个时候你想要获得更高的性能唯一的出路就是设计领域特定的芯片结构就是为特定的负载提供特殊的芯片那这反过来又进一步限制了说芯片已经设计成这个样子了它是为这个负载设计的那如果你这个硬件你这个模型
[150:00] 没有设计成这个样子那你就无法享受到芯片的红利第二点就是矩阵乘法是如此的简单但是有效当芯片结构为特定的负载进行特殊优化的时候那我们自然就要问这个特定的负载是否那么重要是否值得我们去大力优化那英伟达的发展历史以及这20多年来工业界的探索经验就表明矩阵乘法这个特殊的负载就是如此的有效你只要能够把矩阵乘法算得快很多问题就能够解决所以这两点可能是相辅相成的就导致这个现在高性能的计算芯片基本上都特化成了矩阵成法的计算单元所以模型结构的设计也必须要尽可能的往矩阵成法这外面去靠近这方面我可能可以举一个具体的例子就比如说这个F18的这个量化格式的设计24年到25年的时候呢英伟达的这个旗舰芯片是从A100转变为H100然后从Amper架构升级成Hopper架构那么Hopper架构其中一个巨大的卖点就是F18的算力就是8比特的伏点运算那么他比16比特的伏点运算可以快两倍那么在这个模型结构设计里面呢你想要用上这个加倍的算力其实并不容易的一个简单的办法就是你可以把这个模型进行全局量化全局量化成FP8但是这个很容易损失精度然后呢Deepseek应该是第一个大规模跑通FP8训练的团队就是他们的核心就在于分块量化就是对于权重做block的quantization然后呢对于activation做逐channel的quantization这个设计也是符合下一代芯片的mx的一些量化格式的当然纯粹的分块量化其实并不能解决这个问题有一些团队之前也探索过发现这种方式的话其实矩阵计算的乘法存在一个精度问题所以成为了摆在他们面前的第二道关卡但是他们这个Dipsig探索出了这个矩阵惩罚之后,再拿向量单元做累加的思路,那么利用芯片上两部分计算单元可以同时执行的特点,做到了精度不损失情况下的计算效率的领先,所以就领先了其他竞争对手一个身位。然后其实这些故事都是可以公开可查的,就是其实他们都写在Dipsig的这个基础报告里面。只是对看的人多少的问题不同的人会画不一样的重点对于这些报告来说现在如果对于想要做好infra的模型团队给一些建议的话这里面可能的secret source会是什么呢有没有一些比如说思维方式或者方法论层面呢我觉得这里面核心是要从第一性原理的角度去思考问题也就是我们所谓的first principle因为AI行业非常火热然后行业里面涌入了非常多的从业者每一个话题每个月可能都有10个层出不穷的新技术这些就需要技术团队从第一性的原理的角度出发去思考哪些技术是有用的哪些技术他只是花拳袖腿比如说做推理引擎这个概念都不知道他只能在这个别人给的代码里面做一些修修补补然后再测量一些速度也不知道这个速度的提升来自于哪里然后呢有些同学他做性能优化他可能连GPU性能测试的这个基本概念都不知道更别说就是比如说要考虑一些这个散热呀功率呀机器的硬件频率对这个性能的影响那这样的同学做性能优化他可能就像抽彩票一样就是他的有性能提升都是运气对吧那再比如说模型结构设计对吧那有些同学他连attention在各种这个batching条件下的计算过程都不知道只知道一些课本上的公式也不知道这个flash attention是怎么写的那他面对这个旋转位置编码的100种上下文扩展方式的时候他如何判断这里面哪一个方式是值得投入的呢所以说我觉得一个团队靠谱的首要条件就是要在这个团队里面有足够多的人他能够从第一性原理的角度去思考他们要解决的是什么样的问题然后在这样的前提下不同的团队他可能因为他们使用的硬件环境不一样或者资源的限制不一样做出了各种各样的选择那都是合理的但我觉得只要他们是从第一性原理的角度去思考去解决问题那他们的结果都不会差然后我再举个例子就是这个我从算法研究系统研究嘛所以我对机器学习系统的知识积累肯定不如在业内耕耘很多年的同学但是我在学习这个GPU kernel编程的时候那我首先看的就是GPU的编程模型它给我提供了哪些设计空间那了解了这些第一性原理之后我很快就找到了一个就是有一个很头疼的问题是GPU上的一个非法内存访问我们叫做illegal memory assess 这个是GPU kernel里面一个非常难调试的问题 但是当我从第一性的原理的角度理解了GPU kernel之后 那么我很快就找到了一个叫做cuda
[155:00] 过担不得技术这个技术它其实存在的很久了但是AI Infra的圈子里面知道的人非常少那我是在了解了GPU的编程结构之后这个编程模型我觉得这个编程模型它就应该存在一个这样的工具那么GPU的驱动应该能够支持这样的任务所以我是带着这个任务持续不断的去问英伟达的团队说你应该有一个这样的方案你给我找出来那最后他们确实找出来这个方案其实是已经存在的只是不为人知道然后我后面把这套方案在社区里面进行推广之后其实这个解决了非常多的疑难杂症所以说就是在一个快速发展的阶段通过第一性原理去看清楚这个时代发展的主线然后屏蔽噪音持续在一个有用的方向投入我觉得这是最重要的那基于我们说这个模型结构和Infra这个Code Design理念你觉得在Infra和模型结构条线上他们分别的眼镜方向是什么样的能不能做一些技术预测这个比较难预测啊因为模型结构的发展它也不是一个线性向前的它更多可能是一个螺旋式的上升吧然后有的时候可能也会走到一些弯路而且呢这个模型结构和infra它不是全部对吧它有的时候都是服务于对应的需求的所以说我觉得很难做一些大的预测吧但是这里我就来几个hot take吧就反正也不论这个正确啊我觉得一个hot take就是我觉得模型对于上下文的需求基本上应该停留在百万上下文的这个级别个别领域比如说生物化学之类的他们处理一些特殊的数据这些自然科学他们可能会需要千万上下文甚至义级别的这个上下文但是与人打交道这个模型我觉得它的上下文应该不需要再大幅增加了那模型执行长城任务的过程中或者是一些终身学习的需求我觉得都可以通过外部工具来实现一些技能模块或者通过一些subagent的模块这些都可以实现比较长上下文比较长程任务的支持那如果这个预设成立的话那么当前的这个模型结构设计和infra还可以在现在的范式下延续很长一段时间当然这个是我的这个hot take我们可以几年之后再回过头来看看这个预测对不对还有其他的hot take吗?我就先讲这一个吧。你刚才也提到就是国内的模型和海外的模型有一个很大的区别就是国内模型追求效率海外的模型追求效果这可能跟算力的资源有关系那你觉得像比如说国内的模型现在做很多这种把现有的硬件利用率压榨到极致的做法但也有一种声音会觉得说当模型本身朝test time scaling方向演进推理token数爆炸式增长再怎么压榨效率肯定追不上需求增长的曲线那这种极致的效率优化和于scaling law的追求这出现冲突出现矛盾的话应该选择哪一个他们有矛盾吗我觉得他们应该不矛盾就比如说现在是夏天是一个用电高峰期那我们不能说大家的用电量激增发电厂就摆烂对吧发电厂肯定要更加努力的去产生更多的电那所以说现在这个token就是推理需要的token爆炸式的增长那对推理这个效率的需求其实是变得更急切了因为现在地球上的资源是有限的那么整体的算力是有限的电力供给也是有限的所以说遇到困难大家需要一起想办法那比如说前面我们说到的这个harness框架它可以和推理引擎做一些co design那同样的任务合理的harness的设计可以让这个推理引擎产生更多的token然后人是会灵活变通的嘛对吧那么如果token不够用的时候大家就会开始研究说这个怎么样节省token然后呢钱不够的时候就会研究说这个怎么样用一些便宜的模型来做同样的事情所以我觉得整体上来说这是一个非常激动人心的时代然后这么多聪明的头脑大家都在一起推动这个人工智能的发展所以我相信未来一定能够达到一个token的供需平衡的状态当然这个肯定需要供需两侧共同努力那么供给侧呢我们多优化然后提高生产的效率那么需求侧呢我们也需要多规划提高模型的这个token的使用效率所以效率和效果不冲突对他们肯定是要共同进步的海外在效果上跑得更快国内在效率上跑得更快是这样吗对这是我的感受因为中国公司的开源文化现在已经形成了吗你觉得中国这一波开源的生态对于全球的模型格局产生了什么深远的影响没有我觉得这个中国开源还是对世界产生了非常深远的影响的,就是基本上在美国走向避原之后扛起了开源的大旗。对所以非常重要然后做得非常好你们现在开源社区在美国多吗像你这样的美国现在主要是开源推理的技术社区对模型不太开源也有一些公司在做开源比如说Mistra还在做开源然后呢像其他的一些Poolside
[160:00] 对呀一些就是大家知道的不是很多啊但是还有一些公司在做开源但是顶级的目前没有这会让你们的业务中心往中国歉移吗我们主要还是在做北美的业务,就是因为模型在中国开源,但是它可以在北美使用。你觉得中美在AI基础设施上的竞争会有什么样的走向能不能做一些预测我觉得他们不是竞争吧更多是各自有各自的这个局限和一些掣肘的地方比如说中国很显然的就是一个高端算力紧缺所以他需要想办法把各种各样的能用的算力都用起来所以会更重视像一些国产卡的适配然后呢他的优点就在于说土地和算力的供应就是土地和电力的供应都比较充足所以你建立数据中心什么的这方面都没有问题那么美国可能这个是相反的美国的高端算力比较多然后呢他没有这个算力方面的一些车肘就是他的芯片比较多但是呢他在这个土地和电力的供应上面是有问题的所以他们其实现在下一波基建是在把电力的这个供应提升来所以长期来看你觉得中美的模型格局的走向会是什么样的各有幽裂了对然后模型格局的话美国目前还是在走必源的路线就是顶级的像OpenEye和Anthoropics和Google Gemini都是在走必源的路线然后中国这边顶级的模型还是在走开源路线我个人是觉得开源模型最后会赢的谢谢大家为什么因为我觉得还是拿电力来打比方吧就是token和电它有相似之处也有不同之处那比如说发电这个问题你如果有一个核电厂的技术那么你把核电厂发出来的电供给给一个城市用这个城市用这个电用一辈子他也不会研究出核电的技术就是它只是用电它不会触及到发件的技术但是大模型是不一样的大模型刚才说的每一个token它都是带着模型的烙印的那么模型拿出来这个训练出来是要给人用的那么一旦你给人用了很长一段时间之后其实用户他自己的数据已经可以训练出一个模型了所以模型他就不是一个能够长期的对用户进行隐藏的东西对所以长期来说这个训练模型这个数据成本一定会降得越来越低因为大家都能收起自己的数据尤其是coding agent来之后对吗对尤其是coding agent的数据大家可以很快的收集到我觉得一般一个月左右一个公司级别的这个机构就能够收集到足够他训练的数据所以这个时候他内部的飞轮就可以转起来他可以训练自己的模型现在你觉得有哪些公司已经开始形成自己的飞轮了没有像质朴就做得很好像他们GLM5.2的这个coding能力就做得很好这个跟他收集的数据有关系具体他们怎么做的我不太清楚在工具的收集方面有一些这个过人之处所以这个会带来领先者的优势对吗对这个会带来领先者的优势但是我觉得这个优势肯定也不是长期的就像我刚才说就是我觉得模型能力的优势它没有办法长期的守住那最后的护城河是什么我觉得在现在的一个场景下这个护城河更多来自于你能不能快速跌旦所以没有一个东西你能够守着它守一年你必须能够不断的推成初心最后模型会是一个commodity我觉得最后会的因为我觉得开源模型最后会赢,那么模型开源了之后,就是大家都可以用嘛。开源模型最后会赢,所以你bet中国。我bet开源模型。中国模型开源我就支持中国模型其他国家的模型开源我也支持这个观点是什么时候形成的这个观点我觉得是基于对于AI的理解吧这是我说的就是从第一性原理的角度出发模型它就不是一个能够长期藏得住的东西就是它不是说像核武器一样你一旦研究出来了你只需要爆炸一次给别人看然后你就可以藏着它就用于威慑对吧那么模型它是一个民用的技术它必然需要给大家大规模使用那么从AI的第一性原理的角度出发你能够给大家大规模使用大家就能够大规模的收集到数据那么这个模型就必然能够被复制出来如果开源模型会赢这对你们公司带着影响或者什么或者什么那就对我们来说当然是一件好事所以我们公司聚焦在推理就是我们认为模型这个事情会有人帮我们解决因为模型公司会自己都做自己的推理吗?对他们都会做自己的推理
[165:00] 为什么已经需要VM这个就是因为他们内部的推理引擎很多时候很难在外部去部署所以比如说刚才说到Deepseek他们的Infra做得非常强但是这个是基于他们完整的能够控制自己的从集群到上层的软件的这个条件基础上的那么他就没有办法做快速的扩充比如说你再给他10倍的机器他们能不能马上产生出10倍的Token这个是不行的然后呢我们做的开源的推理更多是一个更公用化的一个推理那比如说我可以在云上面租一些机器可能这个机器有各种各样这样那样的限制可能我们没有办法控制的那么极致但是我们也能够做出一个还不错水平的推理引擎你觉得你们会是下一个Linux吗我们是在往这方面考虑的或者说就是确实是在往这方面的发展而且它的影响力我觉得已经我们已经可以说它就是AI推理领域的Linux那么比如说你看到Linux一个重要的维护公司是Red Hat对吧它促进了这个Linux的这个推广就是Red Hat它也在投入VM所以它为什么投入VM就是它觉得VM就是下一个Linux而且它已经把VM打包到他们很多的Linux的企业发行版里面了他们部署的时候就不再是一个冷冰冰的操作系统而是一个能够运行AI的一个AI操作系统你们接下来还有融资计划吗?有啊我们这个公司肯定是要持续融资的嘛但这个我觉得像前面说到的我们不是为了融资而融资我们更多是希望能够有一些我们做出来的我们觉得值得融资的成果所以我们现在正在马不停蹄的做各种的这个工程的事情下一个Mailstone可能在哪下一个Milestone我觉得可能比较内部吧就是我们希望我们把一些商业模式打通然后出现一些能够可规模化扩展的商业模式的时候这个时候我觉得就是我们在做下一次融资的时候了我现在觉得你比我想象中有passion很多特别是对你们这个开源社区非常有感情我感觉你也一直很喜欢做那种打通底层然后解决通用问题包括做一个透明化的系统的事情你觉得你这个性格底色是怎么形成的呀呃我觉得还是跟这个成长的时代有关系吧就是我接触技术像这个上大学以来一直接触的技术都是就是大家对于开源是比较open的啊就是我们不管做什么事情第一件事就是先是搜索一下这个技术有没有人已经做过了然后从开源的那边开始所以嗯这个其实也是最近十几年才有的风气吧我觉得然后我是在这样的这个环境下成长起来的开源是一个很自然的事情你觉得你在美国的那些实验室里面中国的的人或者团队对于开源会更有热情吗相对其他国家和地区的人来说我不知道这个问的对不对我觉得这个可能跟国家没有很大的关系就是这是一个整体的全球范围内的开源运动可能从几十年这个操作系统开源开始然后一直演变到现在的一个状态你从16年就开始写知乎你为什么喜欢写作然后你觉得通过写作和通过通过写作然后和世界发生交互给你带来什么我的很多技术创作就是我的很多写作也都是技术创作所以我觉得可以把它归入到开源这一类就是开源它不一定是算法它也包括一些技术心得的分享就是跟社区自由的沟通的这么一个过程你是一个会通过写作来思考的人吗对我希望把写作就是把事情写下来如果你没有办法清晰的写下来说明你对他还不够了解但是有的人是通过写作思考有的人是通过语就是口头表达思考有时候就是通过写作的人口头表达能力反而没有那么强你好像没有这个问题我觉得写作和口语可能是类似的吧就是我要把我的想法清晰的表达出来当然因为我觉得我也比较喜欢数学和物理所以我比较喜欢形式化就是形式化的东西你只有写下来了你才好验证你需要大胆猜想但是小心求证所以说你是要把你的语言落实到文字然后再去polish你们团队管理方式会有通过这种大量的文本进行管理的方法吗文本是比较多的,因为我们在新加坡和美国有两个base,所以大家没有办法长时间的在一起,所以很多都是通过文字来沟通,或者一些在线的会议。会一起写一个长文档,工创一个长文档吗?长文档的方式比较少,更多就是直接比如说在slack里面聊天吧。对于现在想要入行的年轻的AI research,你会有些什么样的?
[170:00] 建议吗现在可能确实不是一个那么好入行的时代因为确实行业竞争非常的百热化然后也会导致一些就是人的心态会有一些浮躁所以很难长期的去积累一些踏实的东西所以我我只能说就是我个人认同的就是做事要从第一性原理的角度出发就是呃做人也是一样吧就是想清楚自己想要什么然后再去努力然后我觉得一般从这个角度出发最后的这个结局都不会太差我看到过你有一个说法,就是说在后摩尔定律时代,AI的上限取决于系统而不是算法,你今天还认可这个观点吗?这个不是我的判断,这个是我提过好多次的这个David Patterson老爷子的一个判断,我是认同这个判断的,而且近十年的发展其实也是在反复印证这个判断,就比如说一些例子,比如说我们当这个Attention is all you need出来之后,那么当Attention要做长向下纹的扩展的时候我们看到了有非常非常多的算法在尝试做各种近似在近似如何计算这个softmax attention啊在长项下文的里面的这个计算效率的问题但是这些问题最终都是被flash attention解决了就是他告诉你说一个精确的softmax attention的算法他可以被高效的实现那么之前那些研究这个高效softness attention的论文就都没有用了然后呢啊还有比如说啊autoregressive的这个decoding那么一开始提出来的时候大家是说它是非常慢的因为你只能一个一个token的去计算这个效率非常低所以它肯定没有用但是呢经过这几年的发展那么大家看到Auto Regressive Decoding之后大家在上面做了一些很多的优化比如说VM就是其中很重要的一个优化就是Continuous Batchin结合上Pager Attention的技术那么就把Auto Regressive Decoding的成本就降下来了然后同时还有另一个很重要的技术就是Spec Decoding那么我们可以从一个一个Token的Decoding变成一小段一小段Token的Wareification那么这个也是系统对于算法的演进的变化就是像之前这个博客里面也有提到过Linear Attention那么linear tension也是有很多人在研究什么样的linear tension是好的是合适的啊然后这个关键也就是这个像Mamba2这个松林他们提出来这个啊应该是松林提出的这个truck parallel的这个算法就是你如何分段的计算然后你在分段的过程中能够有一些高效的这个计算方法所以啊这一系列其实都是在系统层面如何去更好的支持算法然后同时也就意味着它有一个系统彩票的问题就是你的这个算法能不能被系统高效的实现只有被高效实现的这个算法最终才能够留下来所以说系统是非常重要的也有点抽彩票的意思对因为整体这是一个非常特化的时代就是大家都需要co design因为通用的进步已经没了所以说你需要跟硬件Code Design你需要跟系统Code Design然后刚才说的你需要跟HarnessCode Design所以对整体上来说就是就是一个变化非常快的时代然后你Code Design也能够给你的这个发展带来更大的空间那这个Code Design后面它只是解决一段时间的问题它没有办法解决一个更长时间的问题更长时间的就需要看这个历史往哪个方向发展对比如说现在的这个万亿级别参数的模型够不够再到十万亿它有没有用然后呢这个长相下文像我刚才BET的说百万上下文就可以了那是不是真的可以了要不要千万上下文然后呢这个AGI到底发展到什么样的水平然后呢人类历史将来接下来要怎么演进那我觉得这个对它不单纯是一个技术问题它是一个历史问题对从历史来看你觉得今天的人类处于一个什么样的时候它确实处在一个技术的临界点吧就是从文艺复兴以来人类的历史一直是在就是技术是在不断的积累的所以这是一个很可怕的事情它就是它是一个指数增长的曲线每一代人都是在基于上一代人的这个技术来进一步探索所以每代人都对上一代的技术做出了一个成比例的提升然后再往后面现在出现了就是计算机技术出现了之后那么我们不仅是可以在过去的人的技术上做积累我们甚至可以把过去的人他的思想他的话他的一生全都浓缩下来所以我们后面是可以在所有人的历史经验上再去做指数级别的增长
[175:00] 这也就是AI的出现就是我们有大量的互联网的预料我们基本上就是把整个人类历史都可以拿来训练那么所以这里就诞生了AI所以这个确实是就是指数发展到了一个临界点那么接下来大家很多人讨论的就是探机和规机接下来该怎么共存的问题如果到了那一天你觉得你的人生会是什么样的你的生活会是什么样的这个确实很难想象啊但我个人的感觉就是碳机和硅机还是各司其职有各自的擅长的地方尤其是我做这个系统这边比较底层然后发现就是硅机的智能它更多的还是一个summary就是他从他学习到的语料里面学习到的然后呢人类还是能够提供一些insight就是一些我们所谓灵感或者说就是我们能够掌握的context更多然后我们能够提供更多有用的建议就是理想情况下当然是人类驾驭着这个规矩智能一起来让世界变得更加美好轨机提供更大规模的智力人类提供灵感对规机提供执行能力嗯然后人类利用这些执行能力,这些是这是我理想状态下的一个情况。我看翁嘉义非常的相信命运,你信吗?你首先你如果相信命运的话,相信的是什么样的命运呢?对吧我觉得这个是一个无法描述的问题你首先得从哪里观测到命运然后你再相信它所以我觉得在我这里我并没有看到一些观测命运的手段可能翁嘉义同学有些时候做梦的时候遇到过自己未来的命运对我这边还没有产生过这样灵光一闪的情况那我们最后还有一些快问快答一个全球范围内你喜欢的食物食物我其实没有什么特别喜欢的就是对生活上的追求并不是很高全球范围内你喜欢的地点地点我觉得印象深刻的就是伯克利就是我的比较重要的两次人生转变就是本科和博士期间的交流都在那里一个少有人知道但是必须知道的知识点可以是一个冷知识我说一个推理引擎相关的冷知识吧就是很多很多的大模型我没有说这个一定是绝对大模型输入1000个感叹号那么它一定会输出很多很多的感叹号然后呢这个东西有的时候你可以用于去探测对方的这个推理引擎背后它开了几步的投机采样所以说对你可以通过吐出的token反推出背后推理引擎的一些技术有没有一些你喜欢的音乐我觉得在今天这个背景下我就说一个李宗盛的这个山丘吧就是因为里面有一句话叫做想说却还没有说的还很多所以我们之后可以如果有时间的话可以再聊你心目中影响AI进程重要的几篇论文我觉得这个大家应该说到过很多像这个Transformers这个GPG3这些论文然后我可能从技术的这个系统工程的角度补充几篇就是我刚才提到的这个然后像VLM然后像Flash Linear Tension他们都是极大的影响了这些技术的进展的基于你当下的认知一个重要的关键的BET是什么我觉得我现在关键的BET就是我刚才说的就是我觉得开源模型最后会赢我们工作室叫做语言级世界工作室当你第一次听到这个名字的时候你在想什么语言及世界就是维特根斯坦的那句话对吧就是我的语言的极限就是我的世界的极限我第一次听到这个的时候的脑子里冒出来的一个想法就是五次级以上的方程的球根公式没有办法用有限的四则运算和开根号来表达就是说语言及世界可能就表明我们其实只是一个低维生物然后其实在我们之外还有更高维的存在
