OpenAI与初创芯片开辟存算新路径 极致性价比正加速绕过CUDA

OpenAI与芯片初创公司开辟存算新路径 极致性价比加速绕过CUDA 随着大语言模型推理的核心瓶颈从算力转向内存带宽，追求极致Token成本与电网能效的商业诉求正瓦解通用GPU的软件壁垒，推动芯片架构走向系统级异构与芯片内异构的分化破局。 节目深入剖析了训练与推理在底层逻辑上的根本分流：训练依赖算力，而推理解码阶段则受制于内存带宽瓶颈，由此催生了追求极致带宽的专用芯片演化。Groq押注静态编译与确定性调度但受困于MoE模型的动态路由，Cerebras走整片晶圆物理集成的极端路线却背负着残酷的良率报废与非标系统成本，而OpenAI的Jalapeño则在美国电网配额受限的背景下，选择由HBM4配合单芯片内异构及“暗硅”技术来极致优化单位功耗Token产出。两位芯片创业者指出，在由Token成本与生成速度绝对主导的推理时代，CUDA垄断必然会被绕过，未来芯片格局将从通用GPU一家独大走向系统级与芯片内异构并存的百家争鸣。 大模型计算特征在训练与推理端发生根本分野：Prefill阶段为算力密集的并行矩阵计算，而Decode阶段受限于自回归特性，瓶颈完全转向内存带宽密集。 (4:17) 针对SRAM路线的分歧，Groq采用静态编译调度以消除运行时通信开销，但面临MoE动态路由挑战；Cerebras则押注整片300mm晶圆级集成，虽获得极致带宽却承受极其高昂的良率与非标系统成本。 (16:39) 嘉宾断言推理时代CUDA生态护城河必然被绕过，因Transformer计算结构高度收敛，底层算子开发门槛大幅降低，下游客户核心诉求已全面转向Token性价比与能耗表现。 (32:32) OpenAI携手博通推出首款自研推理芯片Jalapeño，在9个月内完成流片，因应对北美电网供给刚性约束而选择HBM4与暗硅（Dark Silicon）异构架构，追求极致的Tokens per Watt。 (77:30)

随着大模型推理对 Token 消耗量的爆发，芯片瓶颈已从训练期的算力密集转向解码阶段的内存带宽密集；芯片创业者 Mark 与徐子扬指出，产业界正围绕系统级异构、晶圆级制造以及芯片内异构展开不同路线的权衡探索。 算力转向带宽：Prefill 与 Decode 的计算本质 (4:17) 在商业模式上，大模型训练依赖重金投入赌出最强模型，而推理则直接按每百万 Token 计费，核心诉求在于性价比与能耗平衡。在技术层面，Prefill 预填充阶段输入词已知，计算并行度高，读取一次模型权重即可并发处理所有 Token，属于算力密集型任务；而在 Decode 自回归解码阶段，系统每生成一个新 Token 都必须将整套模型权重完整重新读取一遍，使瓶颈彻底转向内存带宽。为了避免读取一次权重仅服务单一用户，通用 GPU 必须依赖大 Batch 批处理合并成千上万个请求，导致单用户感知延迟因排队而显著拉长，难以满足 Agent 与深度思考场景对低延迟的严苛要求。 大 SRAM 路线的工程取舍：Groq 与 Cerebras 的分歧 (16:39) 为突破内存带宽限制，Groq 与 Cerebras 选择贯彻芯片级局部性原理，用光刻在芯片内部的 SRAM 取代通过中介层互联的 HBM。SRAM 拥有相比 HBM 高出两到三个数量级的带宽与成本优势，但单颗芯片容量极小（通常仅数百兆字节），必须组建大规模芯片集群才能容纳百亿甚至千亿参数模型。这导致系统的核心吞吐瓶颈转移到了芯片间的通信互连与调度开销上。 两家公司在此走向了截然不同的极端：Groq 依靠无分支预测的硬件微架构与全静态编译器，在离线阶段精确锁定每个时钟周期的计算与传输，以消除运行时的网络仲裁开销；但面对混合专家模型（MoE）在运行时的动态路由决策，静态编译难以预判 Token 走向，面临广播导致的芯片空转或模型切分困难。Cerebras 则采用整片 300 毫米晶圆不切片的晶圆级集成（Wafer-Scale Engine），直接利用硅片内的铜线实现极限互联带宽；然而，由于晶圆级缺陷无法通过切片挑良品止损，一旦缺陷率超标整张晶圆便报废，导致其生产边际成本与非标配套系统的研发代价极其高昂。 系统级异构与推理时代的软硬件解耦 (39:19) 针对 SRAM 的容量缺陷与阿姆达尔定律，Mark 与徐子扬提出基于系统级异构的折中方案：用上千颗搭载约 500MB SRAM 的专用芯片阵列承接占计算负载约 90%、参数规律固化的前馈网络（FFN/MoE）部分；而将算法创新频繁且涉及长上下文交互的注意力机制（Attention，约占 10% 负载）交由通用 GPU 承担。该架构通过流水线在芯片阵列间传递隐藏状态，尽管系统端到端受限于阿姆达尔定律，仍可实现从几十 Token/s 到数千 Token/s 的速度飞跃，以及约 10 倍的综合性价比提升。 两位创业者断言，在推理时代绕过 CUDA 是必然趋势。与训练阶段优先追求开发便利性不同，推理阶段企业的核心诉求彻底倒向 Token 成本；且由于推理应用几乎被 Transformer 结构垄断，底层算子集高度同构，加上 AI 辅助生成代码加速了 Kernel 优化，CUDA 的生态壁垒在绝对的性价比账本面前正在逐步失效。 速度即智能：万级输出的本质与评估指标重构 (44:25) 面对人类阅读速度仅需 50 到 100 Token/s 的生理限制，徐子扬与 Mark 澄清，推理芯片追求上千乃至上万 Token/s 的目的并非伺候人类肉眼，而是服务于思维链（CoT）推理、自我反思验证以及多智能体（Agent）间的机器通信。在相同的现实等待时间（如 1 分钟）内，高吞吐芯片能支撑模型生成数十万 Token 进行多轮代码沙盒测试与自洽性核查，从而在刚性的时间窗口内爆发更高密度的逻辑智能。 基于此，评价推理芯片的准绳收敛为三大硬性指标：面向商业采购的 Tokens per Dollar（单位成本）、面向交互上限的 Tokens per Second（推理速度），以及面向运营支出的 Tokens per Watt（单位能耗）。中美数据中心因要素禀赋差异在评估指标上呈现分化：中国硬件折旧占比较高，客户对单位美元产出更为敏感；美国面临电网配额瓶颈，OPEX 能耗占比高达三分之二，因而极度看重单位瓦特的 Token 产出。 OpenAI Jalapeño 的芯片内异构与暗硅方案 (77:30) OpenAI 携手博通推出的首款自研推理芯片 Jalapeño 展现了完全不同的通用化取向。该芯片未在外部切分 Prefill 与 Decode，而是采用单芯片全包所有推理负载的类 GPU 架构，并利用 AI 辅助设计将流片周期压缩至 9 个月。面对美国数据中心电力配额锁死的硬约束，Jalapeño 针对低功耗进行了深度优化，其每兆瓦 Token 产出标称超过英伟达下一代 Rubin 架构。 尽管采购单价昂贵，OpenAI 仍选择搭载 15.4 TB/s 带宽的 HBM4，原因在于其业务涵盖动态多模态负载与长文本膨胀的 KV Cache，对存储容量性价比有硬性要求，落在大 SRAM 难以覆盖的区间。此外，Jalapeño 采用“暗硅”（Dark Silicon）机制实现芯片内异构，根据当前任务将闲置的计算单元彻底断电，把功耗预算全部集中于活跃单元。这种设计牺牲了部分硅片面积利用率，却最大化地贴合了北美电网受限场景下的能效需求。 无论是 Groq、Cerebras 与国内初创团队主导的系统级异构（SRAM 协同通用算力），还是 OpenAI Jalapeño 践行的芯片内异构与暗硅路线，本质上都是大模型产业在不同物理与商业约束下跳出通用 GPU 局部最优的尝试。未来的 AI 推理芯片市场预计将打破单一架构垄断，走向多种异构范式并存的格局。

[32:32] Mark: 从推理芯片这个角度，我觉得绕过 CUDA 是百分之百会发生的事实。 [69:40] Bill Dally: 整个芯片设计一切都是围绕局部性（Locality）去展开的。 [69:40] Mark: 如果你要做很难的数量级的提升的时候，你一定要很清楚地想明白哪些东西是你可以牺牲掉的，哪些东西是你真正关键的。只有当你想明白这些问题的时候，你才能在整个系统层面做出更关键的选择，你能跳出这个 local minimum。 [63:17] Mark: 设计一个好的模型需要的能力和设计一个好的芯片需要的能力是完全不一样的。就甚至有时候当你把完全不一样的能力整合进同一家公司的时候，不一定是个好事。这件事也是需要异构的。 [32:32] 徐子扬: 有一些软件它是很难用的，但是如果难用能够带来更好的性能、更好的性价比，这个在推理时代大家的天平会更多的往更好的性能性价比上面倾斜。

[0:00] 哈喽大家好欢迎来到硅谷101我是红军过去几年我们通过播客与视频跟大家一起追踪了这轮AI浪潮中最值得关注的公司技术还有人那今年呢我们会继续把讨论带到线下也把那些真正身处在变化中心的人带到大家的面前今年10月10号到11号硅谷101会在硅谷的Sunnyville举办我们第三届Alignment2026年度大会我们也会在现场聊一聊日常创作节目中的一些花絮期待与大家线下见报名链接我已经放在show notes中了感兴趣的听众欢迎通过show notes报名那今天我们来聊一聊推理芯片随着Token经济的发展推理消耗的Token在过去几年是涨了几个数量级这一集我们就聊一聊推理芯片到底是什么以及像Groc还有Cerebras它们不同的技术路径和各自的优缺点是什么我们的录制是在今年的6月24号巧的是在那天OpenAI发布了它们第一颗推理芯片而它在存储上的选择判断不太一样这一点我们会在节目最后专门去拆解那本期嘉宾呢自己也在做AI推理芯片的创业只是还在更早的阶段所以我们今天聊到的这些公司对他们来说既是研究对象也是参照系其中Mark是英伟达首席科学家Bill Daly的学生那Bill Daly他是现代GPU并行架构最重要的奠基者之一我们也会通过Mark的视角聊一聊这位芯片大师怎么看问题拆解问题的下面就请收听我们今天的节目今天给我再一次两位嘉宾啊一位是负责推理芯片的硬件还有系统架构的MarkHello Mark你好Hello大家好还有一位是紫阳紫阳是负责软件和编辑器方向的Hello大家好我是子杨因为我们今天要讲推理芯片大家要不要先简单介绍一下自己的背景以及自己跟芯片的关系是什么OK 我是17年的时候去Stanford读了PhD 然后方向也是WE的方向 导师是Bill DalyBill是在英伟达从早期的GPU显卡的芯片转型到现在AI芯片这个过程中参与了非常多技术上面的方向和决策所以本身我读PhD的时候就对AI计算 尤其GPU怎么做这方面有相当多的了解但是其实我本身读PCC的时候更多的注重在可能面向一个大的CPU集群里面的一些内存语义的调度控制通信这方面的很多系统层次的架构的设计我PCE毕业之后在国内的芯片大厂做了三年左右的偏向通用GPU类芯片研发的工作我可能做的硬件比较多其实是因为我当时做的可能更多的是从芯片架构的设计一直到几百个芯片这种类似超级点的设计那也请子杨来介绍一下自己过往的工作经历我的上一段工作是在亚马逊的Annapurna Labs做Trainium芯片上的软件站作为scientist的role所以会看更前瞻一些的东西我从最下面的这种算子的编译优化一直到上面的算法的模型切割怎么把这个模型确定的放在我们这种大集群上都做了很多工作我在本科时候,当时还是上一波语音和图像识别的时候,我就在做云端边的一些整合我的本科毕业论文其实就在做的端册和边册的语音识别的加速工作其实我在本科在爱丁堡交换时候还做了语言模型的一些前期工作不过和现在大语言模型没什么关系博士在普林斯顿读的时候我做的一段和AI相对没有什么关系的在做多核上的并行计算其实把单一现成的一个东西放在500多个CPU核上去做这个其实和现在的一些AI系统上要做的一些加速有一些关系但是当时做的这个workload本身是传统的一些CPUworkload对所以我可以简单来说就是Mark你其实是一直在研究这个芯片它的硬件怎么搭包括跟它的内存它的通信之间是有很多的关系的紫阳其实你在亚马逊的工作经历主要是从跟芯片结合的软件层来去做这一部分的工作的没错大家要不要跟我们的听众简单的介绍一下需要GPU但是这个GPU它也是分类的比如说有一部分是训练芯片现在可能更多的是推理芯片那么芯片训练跟推理对芯片的不同要求是什么为什么它可能要的是两种不一样的芯片这点我觉得有两个层面可能不光是技术科普的角度我觉得从商业模式上其实大家需要这个系统来做什么样的事情本身也是有比较大的区别一个是大家有多关心成本另外一个点是技术上大家多关心带宽而不是多关心算力成本的角度 我觉得是商业模式决定的就在训练的时代 大家是没有办法 [5:00] 依靠训练来获得任何商业上的回报的就训练本身是一个没有直接回报的事情所以当大家开始计算训练的成本的时候这个东西是不可量化的大家的期望都是我要赌一个最强大的训练的集群可以让我拥有最强大的模型而这个最强大的模型未来可能会在推理的场景下帮助我把之前训练投入的成本都能够收回来但是推理的时候从商业上的角度来讲这就是一个可以很容易很清楚算明白账的事情用户愿意为比如每百万个token付多少钱我推理的系统推理出这百万token我需要花多少成本成本可能包括比如我要买GPU的成本包括我推理的时候要消耗电所以推理一件事情从商业的角度来讲它是一个追求性价比而不是追求极致的性能它会更多的把成本考虑进来比较有意思一点就计算密度它的英文是就它也叫AI本质的点是训练的时候你是有海量的数据可以把你多的这部分算力都充分的另起来它有足够的并行度但是推理的时候 语言模型大家认为是一个强逻辑的事情这个逻辑是需要一定的顺序来完成的举个例子就我说一句话我可能必须得第一点是什么第二点是什么我第二点可能要基于我第一点说了什么来顺序的去展开所以说导致现在整个原模型token生产的这个过程在推理的过程里面是严格意义上线性的或者说是严格意义上自回归的就我必须知道了我当前的token推出来的结果是什么我把这个结果作为输入未给我的模型它才能告诉我下一个token应该是什么它的计算的模式变成了像训练或者在一些比如prefuel阶段的特征是你有很多个Token可以并行的处理但是在decode真的产生Token的时候变成了我必须一个一个Token去产生但是每次产生一个token的代价其实是把你所有这么大的一个模型1.6T的模型都从你的这个存储介质里面读到计算单元里面所以这个是本质的产生了推力尤其是抵扣的阶段对于算力和带宽的需求产生了本质的变化我可不可以理解成GPU在训练部分要核心解决的问题是算力然后在推理部分要核心解决的问题是内存带宽应该是说在训练的时候或者在推理的分成两个阶段prefuel的这个阶段它有大量的并行度所有的token都是已知的我用大量的并行度可以在读取一次数据以后同时做非常多的计算GPU这个本身的硬件需要你同时做非常多的运算才能把它硬件资源给用满它这个比例下的带宽其实不足的OK我们给用户一个更加形象化的解释吧就比如说我给大模型问了一个问题你出一个今天我们的采访提纲当用户把这样的一个提示词输给大墨型然后他要开始去做推理他要开始去写这个提纲的时候它会用到多少的GPU或者是推理芯片用GPU跟用专业的推理芯片它产生的结果从延迟性从成本上会有什么样的不一样对我觉得这是一个比较好的例子在prefuel阶段它是可以并行的处理我刚刚说的所有的单词的就它可以把这一整句话同时喂给这个模型让它去推理出它要出的提纲的第一个词比如它的回答可能是好的那这个好的是它在接收到的这句完整的信息之后吐出的第一个token刚刚说的prefuel这部分它是有充足的并行度的它只要把模型从GPU的HBM里面读到计算单元里面一次就可以把刚刚说的一句话里面比如10个token同时处理完当然你刚才是10个token很有可能是你先喂给他的一些文章那这些东西其实可以带来足够多的并行度让GPU把他的算力都充分利用起来当然到了推理这块比如说他要说好的下面是我为你准备的一份采访提纲比如说那这一句话里面每一个token每一个词都意味着你需要把你的模型从存储介织里面读上来一遍就这个是我觉得更形象的说了在读取模型次数上面大家可以很清楚的感受到你是一句话读一次还是一个词读一次读的量都是整个模型的权重实际过程中就是我们看到因为GPU它其实不能接受你把模型从HBM读到计算单元里面就只真的处理一个用户的token所以它真正做的其实是它要做我们叫batching或者批量化处理这样一个操作的推理的任务他虽然对于一个用户来说他必须要顺序的一个词跟着一个词来推理但是他可以并行的把这一万个用户里面的所有的比如第一个词第二个词第三个词一起推理出来所以这时候从用户的角度他会感受到为什么我这推一个token这么慢的点其实核心在于如果用GPU来做这件事情的话你不光是在等GPU推理完你自己这一个token你还在等GPU算完和你同一批里面其他9999个用户的这一个token用HBM提供的非常昂贵的带宽导致其实用户 [10:00] 体验下来现在不管是A站的场景还是Reasoning自己思考的场景大家对于推理的速度有比较强的限制对那如果用推理芯片呢我觉得就推理芯片其实是一个非常非常非常犯的词对因为本身推理也是一个足够复杂的任务分这个prefuel的分这个DecodeDecode里面其实因为模型还分什么Tension FFN我们是觉得未来我们希望的推理系统就它里面可能包含了很多种不同的芯片能够做到把实际decode token这个过程做的足够便宜而且足够快这可能是我们现在看到的一些需要打破GPU传统的这种架构做一些更针对性的新的架构以及用一些有益于HBM的其他介质来做的意义所在嗯 我知道你们也在做这个方向啊 从现在市面上已经出来的说我要自己要做推理芯片的这些公司来说 你觉得做最好的是哪家 比如说Grock怎么样我觉得Garca Service都是在这个技术路线上我觉得大家是看到了正确的问题我觉得他们确实在已经把东西做出来而且像Groke现在和英伟达配合的关系确实是我们设想中比较理想的比如GPU处理哪一部分任务然后由Groke处理哪一部分任务所以我觉得整体在这件事情大的方向上面尤其是在英伟达把GrokeAquihire之后更好的做一个异构的推理系统的这个角度来讲其实我现在是比较看好Grock的这个技术路线怎么说可以展开聊一下吗我觉得最关键两个点吧一个是怎么提供刚刚说的高性价比的带宽包括我们最初想做我们现在的这个项目其实也是因为看中了有远比HPM要好两三个数量级更好带宽性价比的介质这种介质其实不在介质本身而在于你要关注局部性的问题你要提供比起HPM更高一层的局部性也就HPM其实是把存储和计算放到一个封装里面这个其实是HPM它之所以带宽能做到很高但其实我们是希望把这个高放到下一个层次就我们希望把存储直接放到计算的芯片里面因为带宽其实核心就是你连线的密度以及频率当你把这个线从封装的走线线内部光刻的线这两种线的本质在线的密度线的成本包括能耗上面都是有本质的差别的如果有些介质让我能够把模型权重放到我的计算单元或者我的计算芯片上面那其实就是一个质的提升这个是解决最本质的带宽的问题的方法而SRAM只是刚好一个在目前这个阶段最成熟的最可靠的可以让你有机会把存储放到计算芯片里面的一个方式现在Grook是这种方式吗我知道你们要走这样的方式然后Grook也是这种方式Grook是这种方式这是我刚刚说的一个点然后另外一个点其实我就是觉得是异构的这个点就我之所以觉得Grook比起Cerebus做的稍微好一点的点其实就在于它和GPU可以更好结合起来因为我们刚刚聊到的推理的这些过程大家发现一块它里面其实有这个算力密集的部分就当你同时处理第一句的prompt的部分的时候你是有机会做的很算力密集的那部分更多的GPU做的也很好如果你未来的一个系统是一个更好的把依扣这个点可以做的比较极致的话其实在芯片以外的系统层次我觉得会有更大的一些优势我们其实刚刚的一段时间的讨论都是围绕着云端的推理芯片推理芯片是一个很巨大的市场其实还有端侧的推理芯片云端的边侧的大家各有侧重我们这里也会更深入的研究云端这个推理芯片它是什么样子大家都要去获得相对低廉的带宽但比如说在端侧上它有其他的一些限制比如它物理上的空间上的限制它就是一个小设备它没有办法把足够的你这个内存的带宽放进去对这样就导致了在端侧上面我可能会看到还有其他的一些思路比如说3D DRAM其实有很多思路都在提供更高更便宜的带宽包括我们现在听到了所有HB开头的词HBM HBF他都是想要把原先的一个戒指做到更高的带宽当然在做的过程中也希望他能更便宜我先花一点时间解释一下我们这一集要频繁提到的三个词SRAM DRAM还有HBM最简单的理解方式就是它们都是存储数据的地方,但是区别就是说离干活的地方有多远。DRAM是你电脑里面的内存条,它能装很多但是离得远,来回取数据要花时间。那HBM它是把DRAM搬到了计算芯片的旁边,而且还开了很多条的通道,所以它的容量大速度也快,现在英伟达它的高端GPU用的就是它。那它的代价是什么呢?就是贵,而且全球的产能非常紧张。SRAM不一样,它可以直接做在计算芯片里面所以它其实是最快的方案,快很多但是它有一个致命的缺点就是太占底 [15:00] 反正存同样多的数据SRAM需要的芯片面积是DRAM的几十倍上百倍所以我们总结一下就是说DRAM它的方向是便宜但是慢,HBM快但是贵而且抢不到货,SRAM最快但是它装不下,那好子杨你继续。对,但是我们刚刚讨论在云端这个场景,我们可能对整个系统扑多大,没有那么大的限制,只要它能给我们提供足够多的吞吐,那我们会去很本质的考虑在这么一个限制条件下,什么样的物理介质能为我们提供最密的连线和最高的带宽。找到的SRAM然后另外一个补充点就是Groke 和Cerebras这两家公司本质上它的速度和它可能的性价比现在还没有他们没有再主动说这一点其实都是来自于SRAM不仅仅是他们现在其他的一些美国的AI推理芯片的创业公司包括Dmatrix,Metax,他们也是往着SRAM方向走的,并且大厂TPU,Trainium,如果我们去看现在所有发布的芯片,每一代它的SRAM都是变得越来越大的。每一个具体的云端的推理的解决方案里大家用SRAM的方式是不同的比如说谷歌他可能会把SRAM用更多来存KVCache至少他的blog是这么说的其他的公司都有其他的设想但本质上用好大带宽的戒指来把整个系统的仿存更加速更廉价整个SRAM和现有的其他的提供存储的戒指来比从带宽这个角度它无论是绝对的数量还是它每块钱能买到的它的性价比都是非常高的所以其实我们能看到大家都在往这个方向去收敛对因为我刚提到有trade off大家可不可以先跟大家一句话总结一下Cerebrus它相当于是在一个巨大的晶元上做一整块的芯片设计它的优点是什么缺点是什么它跟Glock相比它的优劣是什么然后大家各自的trade off是什么对我觉得可以以一个更统一的视角去看大家做这些事情比如以Cerebras和Glock为例我觉得大家是在传说面还出来之前就看到了未来可能有一部分AI的系统是对于贷宽有非常大的需求大家都经历了我们刚刚经历的这个思想过程怎么把贷宽做得更便宜做得更高最后都发现其实SRAM是一个比较好的介质但是做这件事情是会有吹到就是你要跳出这个local minimum你是要损失一点东西的SRAM损失的东西其实就是单芯片的容量DRAM是一个晶体管和一个电容去做一个比特存储然后SRAM本质需要六个晶体管就这也是代表它面积就存储一个比特的代价会变高一个芯片上能做的容量会变得很低就可能比HBM要低两个数量低大家都发现了这一点怎么把容量提升呢就是最简单最直接的就是你要把整个系统做得很大你要做几百个芯片 几千个芯片单纯就为了把你所有的模型全充都能放到六个晶体管的SRM里面大家就会发现放式都能放下去只要我系统做的够大就能放下但这问题在于你光放下的它如果就在里面存着其实不能产生Token你得你这种方式把它读出来并且做有效的计算这时候大家会发现当你系统做的足够大了之后很多计算或整个系统效率的瓶颈就卡在了怎么做通信这件事情上面所以本身大家思想的思维实验其实都做到这一步这时候Cerebras和Groak开始产生分歧大家用了两条不同技术路线来尝试解决大集群通信调度的问题Groak的思路是因为这个实际的调度它如果在运行时去做那开销往往会很大它希望把这个实际的调度放在运行之前也就是在编辑器这个时间点就把未来芯片整个系统里面可能做的所有的计算通信都想明白了我们哪个时中周期要做什么样的计算然后我哪个时中周期要开始做通信它把这些都排不好之后实际运行的时候就没有调度的问题了这时候某种程度上缓解了刚刚说的集群大了调度成为瓶颈的问题3Bus我们觉得就更简单粗暴一点就是你之所以集群通信有代价是因为你是要一个柜子几百个芯片做这个事情大家总是物理距离的如果把你一个柜子的事情塞到了一个大的Wafer上面自然物理的距离然后它能出的线的带宽都会变得更好一些但我们看起来做技术决策的那个选点没有足够的信息来支撑他们未来需要具体面向哪样一个work glue来优化因为那手transformer其实还没有出来Cerebras最后可能面临的比较大的技术挑战就是如何控制这一整个wifor的良率以及成本这个可能是他最大的挑战Grock的话其实是在他做出我需要依靠编译器做完全静态的调度和编译这个选项的时候没有办法去预先知道现在语言模型Transformer推理里面有如此大的动态性就比如MOE的产生其实原理上和它做出的技术选择并没有匹配的很好这个怎么说可以详细解释一下吗对其实MOE这样一个网络它是有非常多的专家 [20:00] 然后每一个token在推理的时候它是去激活专家里的一小部分这个一小部分是在运行时决定随着我们不同的token在选择比如说在128个专家里头去选8个这件事情你没有办法在编译的时候去预测它是不同的token它是会选不同的专家的所以我们再去考虑现在的单颗SRAM能放的容量的时候它没有办法把整个网络都放进去就一定会出现有一些专家在一部分芯片上那这里就有一个调度问题我要把这样的一个token送到哪一颗芯片上去这本身是有一定的动态性如果我想要用一个静态的方式去解决动态性一种思路就是我非常的保守我把它都送过去那有一个就在空转另一种解决方式我就换一种方法来切模型但是具体的我们推演如果你把模型不用专家去切分的话现在模型的大小很难用其他的这几个维度把它切得很干净很高效所以刚刚的这个动态性就变成了它的静态调度的很大的问题对 我印象中MOE应该是当时DeepSeq那个发布它变得非常主流 引起大家强烈的关注的但是NVIDIA在Aquihail他应该是在2025年底我觉得他们应该也是能看到这些问题的他当时为什么会做出收购的这个决策大家有没有一些相关的消息跟推理因为本身刚刚说的从一个保守的方式来去想他会有一些芯片空转这件事情只会影响性价比对然后现在但它依然是当下除了GPU以外比较好的一个选择就是它还是需要一款推理芯片的这里就说到了现在市场上对于Groke和Cerebrus它的定位其实就是快性价比呢性价比其实没有被拿到台前上去那么多的讨论就是低延迟对现在整个商业逻辑是这样的如果我做的这个推理比别人快几倍比如说我是100Token每秒但是拿3Brush能做到750每秒甚至2000Token每秒那么我可以为此付非常多的溢价所以Cerebrus跟Groke谁更贵我觉得是CerebrusCerebrus更贵我们待会可以聊一下为什么对在这个角度上来说比如说SRAM有一些芯片它空转了它并不影响我能做到很快这件事情另外一个角度是本身SRAM和HBM相比性价比其实是有两到三个数量级的优势所以我们在做整个系统里面其实可以浪费掉一个数量级对你换取了什么它首先有三个数量级的优势那我牺牲掉一个数量级我还是可以比它更好所以牺牲掉的其实就是它为了解决这个MOE去做技术上的一个trader了解所以哪怕现在在使用SRAM这种多卡的系统里头没有充分利用所有SRAM的带宽从带宽这个角度来说性价比还是更高的对就我觉得从商业的角度来讲当你可以做出一个比别人更快而且更便宜的东西的时候你不会告诉别人你的成本其实更便宜的因为别人如果如果愿意为更快买单的话对对对Jonathan Rose他其实也是谷歌TPU的一个奠基人跟创始人对不对他在设计这两套架构的时候他的主要思想的核心的关注点的区别是什么整个Grock的这个思路因为Johnson Ross本身也是编辑团队的一个lead然后他出来做这个整个东西的思路就是把一个确定性的编译然后围绕这个编译去做这个硬件所以就从静态的编译和静态的调度这里重新设计了硬件刚刚说的一个静态的调度是一点还有另外一点其实是一个determinism它是一个确定性比如说我们想要从一个存储介质里面把东西读出来它是100大秒之后出来还是3秒那秒出来它是会有一个抖动的这个抖动在DRAM这种里头更明显当它用了整个SRAM再加上芯片的设计它其实是去把这个确定性做到极致也把静态的时钟的同步做到极致这一切都是围绕着最后我能在编译器看到整个系统并且为它做这么样一个排列但是就他创业的这个时间点的一些特性16年Grock成立他们最开始想要做的很多是和图像和语音但他们一直想做的是推理在那个时代它的整个模型和今天Transformer和包括MOE出来以后模型是不一样的所以包括一些动态性在那个时间点和今天它的需求是不一样的在那个时间点如果我会去角色我也会觉得围绕着边缘器去设计硬件也是一个非常有意思的思路到今天也是一个很有意思的思路但是可能今天会有一些问题就需要用一些方法去解决对我们刚刚讲到了其实Grock跟Cerebrus都是有一些时代的局限性在里面的比如说他们创业的那个时间点那个时候是 [25:00] 工程式AI跟大模型还没有出来但是其实深度学习整个业界应该是一个比较主流的方向了但是是不是以Transformer为主的我们不知道包括我们刚刚提到了像Grock它在事前预测的时候跟MOE也会有一点点小小的不match那Cerebras他为什么他的成本比Grock还要高包括他当时创业以及现在在2026年的这个时间点将近9到10年之后他又占到了一个大家关注的焦点上你觉得在这个中间他调整了什么做对了什么事情我觉得我先回答第一个问题吧就是关于我为什么刚刚第一反应是他的成本会比Grock高一个是首先他从本身的技术路线上来讲因为他更多的是需要以一个Wafer的scale产品的规模去生产它的产品这时候其实会遇到在芯片生产过程中非常关键的一个参数就是良率如果我们按照传统的比如像我们现在设计芯片可能单芯片尺寸的极限就是差不多800平方毫米如果在这样的下面的话你一个晶圆上面可以切出四五十个类似的芯片可能三四十个的所以你的良率会影响这三四十个里面有多少是好的有多少是坏的比如说你的良率是50%你可能就能切出来20个是好的但如果当你单一芯片或者单一产品的尺寸就是整个微分的时候那只要这个Wafer上面可能有超过30%的瑕疵因为Cheribus很大的工程上面的技术壁垒在怎么接受这个良率比如它能接受到30%的这个良率但是你是没有这么多个晶圆可以让你切出30%的这个良率的水平的你是想说30%的良率还是70%的良率其实这样我觉得是有两个良率的概念比如说正常的一个芯片如果我们没有做任何Partial Good的设计的话比如它好就是好坏了就是坏了这是我刚刚说的比如50%两对我们可以生产出来20个好的芯片但是Cerebrus会做很多事情在于我接受我这个芯片上面30%的点都是坏的仍然让我这个产品能用但这时候仍然和你其实大概率里面40%50%都是坏了的良率是不匹配的而且他的坏是一旦你整个晶圆达不到他对于良率的需求整个晶圆其实就作废了这个背后就意味着当你要刻出或制造出一个成功的或好的晶圆级的产品的时候成本是非常非常高的这个成本能达到多少就是一次流骗这都不是流片的成本这个是实际因为整个芯片成本就是两部分流片的成本在如果你出货量足够大的情况下它是可以被摊薄的比如你去做个玩具对吧做玩具你一个玩具一块钱两块钱但是你可能找那个玩具厂开模对它再更上一次对它是那个演模的成本或者首次流片的成本其实是开模的那个成本那个不会直接影响到你实际磨开了之后你玩具是每造一个需要多少成本这是两个概念但是3Bus的问题在于就是你这个磨开完之后仍然你每造10个可能里边9个都不能用那这时候其实影响的是你实际生产时候的成本对 我觉得除了刚刚说到的良率和怎么用的问题它还有一个整个系统要为这么一个和其他芯片都完全不一样的设计做系统的改变比如说刚刚说的软件上这整个晶圆上可能是有几十万个小的Cord坏了哪些部分我是能绕过去的如果坏在一些比较关键的部分这怎么做这些事情之前都没有针对这样一个系统研究过所以他首先要解决这边的软件问题还有你这个系统要怎么去插到这么一个机柜里那这里也有一些额外的事情他都要自己解决因为它可能是现在唯一一个比较有名的这种晶圆级的生产商我觉得这个问题非常复杂我们要捋一下这个逻辑首先当我们说实际的成本的时候大家最关心的其实是token的成本Token的成本其实是我们刚刚强调了很多带宽的成本因为你每推一次Token意味着你要把整个模型从这个存储戒指比如SRM里面读上来但是最终大家关心这个token的成本其实回到这个数据中心本质的成本其实有两个部分就一个是你去采购这个系统的成本另外一个是你实际运行中电费比如能源的消耗这部分的成本大家计算的方式是比如说我有一个新的芯片我要建一个新的数据中心我计划这个数据中心比如服务三年或者服务五年的时间内我能推理出多少token可能是一个非常大的量级除以整个的我需要消耗在上面的硬件的成本以及能源的成本两率导致的成本高都是他硬件的那部分成本高这部分其实某种程度上摊薄了他能够在实际带宽上获得的收益比如说我们看到如果是简单的芯片没有那些良率的问题可能我单芯片的成本可以做到英伟达的十分之一然后带宽可能做到它的十倍就比如Groke这种形态但由于它制造那部分的成本太高了它很有可能是比如十倍英伟达的 [30:00] 带宽 但是三倍HPM的成本就这中间带宽实际的性价比就要打一个折扣这个其实很类似比如Grock我们认为要在为他的确定性打一个折扣Cerebus要为它的复杂的良率成本打一个折扣最终折扣是要打到token的成本上面对我记得在80年代的时候也有人想做这种晶圆级的芯片,但是失败了。为什么现在做芯片是一个好时候之前去做各种奇奇怪怪的芯片实验包括Intel也出了这个Itanium芯片有一个灾难的被丢掉的这么一个芯片的架构去做我们说这种易购的或者是一个全新的芯片或者为了这芯片它可能对软件站有一个新的依赖它有两件事情一个是经济性上我做一个芯片要对它投入的研发成本和新的生产设计的成本我需要能贪保所以在之前的那些时代我们没有看到一个单一的大应用能够像今天的AI一样这么容易把贪薄这件事情说清楚现在AI的各种系统开销里面我们去留一次片的几百万美金上亿的研发成本好像都不算一棵大的树了所以在今天去做一个新的芯片本身经济上的难度降低了第二个是今天这个时代做软件站的难度其实大大降低了为什么因为尤其是推理芯片这里一方面是我们有一个单一的大应用以前在Intel里头它可能会有几百个重要公司的几千款应用每一个CPU要设计出来它要在这几千款应用里面都跑一个测试我们叫Benchmarking最后它要和它之前的一代芯片相比不能任何一个公司任何一个应用掉队太多这样就会影响所以之前的做芯片鸟就做了整个软件优化你要考虑我要把这几千的应用都要做好今天的话其实只有一个单一的大的应用甚至单一大应用里面只有一个比较大的模型分类就是这种Transformer的分类它本身也是一个大力出奇迹的所以它本身的结构是相对简单的我们看到现在这个模型就几十层几乎结构一模一样的层所以你去分解来看它的本身应用简单了很多第二随着AI的coding的能力编程的能力在不断的提高软件这种尤其针对推理的kernel 这算子的优化 其实可以被AI大大加速的所以我们在看到这种新的模型出来了以后有一些新的需求在和之前的模型差别不是很大的时候AI自己就可以解决这个问题所以软件站上的入门的门槛被降低了英伟达为什么要花200亿去Aquihail这个Glock英伟达最看重的点是什么我觉得这也很streetforward就确实我跟Bit会聊很多技术上面的一些需求是GPU这个价格没有办法很好解决的其实就是大家看到了推理上面带来的新的大带宽的需求我觉得从NVIDIA的角度它也有一些大公司有些技术架构上面比如Cuda的护城河对它来说既是一个很强的护城河同时也是在某种程度上创新的一个包袱但是它确实我觉得Jensen很清楚的意识到了未来推理里面算力不一定是唯一的它需要补充带宽的这部分技术能力综合各种原因考虑Aquihire一个有这种能力的公司我觉得是一个非常好的决定对我刚刚其实也是在想因为尾达他肯定是能看到趋势是什么的他也知道他哪一部分是短板的他其实也是可以从内部做的但很难吗对因为我会知道就是因为被我在NV Research他们其实会做非常多的架构层面的创新而且从很早就开始做当然这个CGRA什么东西Paper其实都发了很多但是这个东西在一个成熟的公司里面把一个Research Idea颠覆式的推给产品的团队还是难度非常大的即使是英伟达这样的公司不如我干脆Aquihire一个和之前团队没有什么关系新的技术团队对所以你觉得现在或者在做芯片因为我们之前说英伟达它有很大的一个护城河是它的CUDA的体系你觉得有多大程度上可以绕过苦打或者说建立一套全行业通用的软件体系对所以从推理芯片这个角度我觉得绕过CUDA是百分百会发生的事实上比如我们去看这几家大厂的推理芯片比如说TPO比如说亚马逊的Trainian都没有一丁点的说要兼容CUDA但依然大家会觉得TPU它的软件系统是难用的就是为什么Anthropic它能大量的去采购TPU我听到一个说法就是因为它有很多的工程师是谷歌过去的大家知道那个JAX在这个上面怎么用但是呢如果你让一个从来没有做过软件编译器的工程师去做这件事情的话大家会觉得还是难的就是TPU在这个软件层它还是一个黑盒除非非常懂的人除非谷歌自己的人对关于这个本身男的这件事情其实我刚刚那个问题是很好回答的他只要不是非常多个男的问题 [35:00] 是一个难的问题我解完这个问题这事就解决了我只要把Transformer里的所有的算子都在新的芯片上写出来我Transformer就能跑了我商业上的逻辑其实就通了然后第二个就是有了AI的加持现在我们看到针对算子和整个运行时代的开发其实大大加速了我先说一个结论大家认为推理芯片绕过枯杆是一定的事情对 然后我想说一下原理 比如用TPU的软件 用AWS的软件 包括比如用华为的软件是很难用 这一点我不否认核心的点在于训练时代和推理时代大家多么愿意为软件的好用买单相比于为绝对Token成本降低买单我觉得这一点在训练时代和推理时代发生了比较本质的变化有一些软件它是很难用的但是如果男用能够带来他有更好的性能有更好的性价比这个在推理时代可能大家的天平会更多的往更好的性能性价比上面倾斜以至于我们看到的很多已有的做法比如说Deep Seek虽然他用GPU的芯片但其实他更愿意本质的去写很底层的PTX的汇编的那些代码去做很底层的优化我觉得这是为什么我们觉得推理时代KUDA是一定会被绕过的我们刚一直在说成本这件事情那现在来看Grock Cerebras还有你们未来做的芯片你觉得它的性能跟性价比相比于现在用市场上主流的芯片我们说GP鱼娃大概是一个什么样的量级已经做到的情况下我们刨除掉所有的因素跟比如说我们刚刚说的一些正面跟反面就是现在综合的一个性价比从我们很多原理分析的角度认为未来一个更理想的整个的推理系统我觉得是有机会在速度上做到比现在GPU或者以通用AI芯片GPUHBM这种架构在推移速度上至少两到三个数量级的提升就从可能几十个token per second到一千个甚至一万个token per second这样一个对于单用户推理速度提升以及10倍左右性价比的提升那你要不要讲一下你们的SRAM的解决方案是什么你们做推理芯片的方案是什么对我们其实刚刚说到了SRAM本质的性价比还有一个它的trade off的点就是它的容量所以我们本质上就是在SRAM和HBM本质有两到三个数量级的芯片层的性价比的提升的情况下我想最后把它变成整个系统在有比如说上千颗芯片的时候它还能有十倍就是一个数量级的性价比的提升和一到两个数量级的速度的提升本质的说我们一个芯片上能放的SRAM的数量这个是很公开的就单科芯片上就是几百兆币的SRAM的数量现在的模型大概在一个T如果是FP8的量化的话那也是刚好是一个TB的这样一个量级所以你把这两个数除一除大概需要上千颗芯片才能在容量上放下整个模型才能去做相对应的推理所以我们在做的事情就是如何把这上千个芯片用某一种拓扑把它连接起来使得中间的每颗芯片和芯片之间的连接不成为我推理时候的瓶颈然后让每一个芯片SFram它本身的带宽充分的利用起来肯定会有一定的损失但是在这个损失最后折算下来整个系统的成本和它的带宽要能提高十倍的性价比所以我们从技术上来看单颗芯片比如说500兆币这样的一个大小去放模型的参数我的整个token的隐藏的叫hidden state一点一点的穿过我们的芯片网络从一边走到另一边就是出最后的结果还有一个点是我们芯片刚说到一个很重要概念是e-go所以我们的芯片和我们的系统不会去做整个模型的所有的事情因为我们很相信应该用最合适的硬件去做对应部分的应用所以整个模型会被区分成注意力的一边和非注意力的FFN的一边然后我们会比较类似Groak也不完全一致的去做后半段非注意力的一边对然后这个我觉得是解释一下为什么本来是三个数量级的成本性价比的提升最后变成了10倍其实是因为M.Slow是一个易购的系统我们解决了90%的问题但是我们留了那10%的问题给GPU来解决所以最多我们的系统就能提升10倍虽然我们可能以1000倍的提升效率解决了那个90%的问题我觉得现在其实整个中国不管在训练推理上芯片其实都是供不应求的我们都不说产业链了就从芯片层面上也是供不应求的从你们现在开始做到整个的芯片会出来你觉得大概它需要一个多长的时间呢这是一个非常好的问题其实我们也在不断地更新我们对这一部分的认知因为传统上做一个芯片就是从你开始设计从用户端开始反推直到流片测试大概是一年半到两年这样一个事情但是我们也看到OpenAI发布了自己的芯片的时候号称是九个月完成流片当然有其他的一部分原因但我们的确是认为在足够聚焦且我们是觉得有一个很难的情况下 [40:00] 更快的迭代对这个迭代的节奏可以加快很多真正制约我们的当然还有一些物理上的设计和流片那一部分但剩下的部分我觉得会慢慢的更像一个软件的公司哦有意思Mark你刚一直在说你是在用一套全新的架构去解决这个供应链上的问题吗它是一个更底层的创新吗从推理的角度还是它是一个微创新就像你刚刚开始我们提到我们有全新的架构肯定就供应链的问题是一部分可以顺便解决但是肯定要解决最本质的问题是我刚刚说的token的速度token的成本的问题对对对对对相比于现有的推理芯片觉得它是一个颠覆式的创新还是一个微创新是一个在架构层次颠覆性的创新因为其实分了很多不同的层就因为你芯片造出来其实有很多物理上的事情要解决比如光刻的事情怎么解决再比如说现在国内很多公司包括英伟达希望解决的3D堆叠的问题又是另外一个层次的问题但其实我们是希望在我们做一家AI芯片设计公司在芯片设计以及系统设计这个角度做真的颠覆式的东西来提供更好的产品竞争力对你们觉得怎么样去判断一个推理芯片它是不是好的大家的评价框架是什么比如说每个token产出的成本推理的速度然后每个token的耗电量芯片的算力到底被利用到了多少利用率以及软件跟编译器你们觉得哪些方法是重要的我觉得在推理的时代前三个是重要的前三个成本速度耗电量对然后第四个会影响第一个就是你的利用率会影响到你的成本但是最终大家关心的肯定是成本就因为我们看未来整个系统是异构的所以对于一个芯片来说它可能并不能单纯从它的算力带宽容量让大家对整个系统产生一个综合的认知未来衡量芯片的好话一定要在系统这个层次去衡量还是要再强调一下我们在说的这时候云端的AI推理芯片就如果我们说的是一个盒子或者放在手机上这个芯片那可能每一个token的成本并不是最重要的事情它最重要的可能是我最多花100美元为这个芯片付这么样一个成本这100亿美元能达到某一个速度的推理这个东西就能卖得出去所以对于这种端侧的AI芯片它考虑的是完全另外一个事情但是从我们云端的考虑最终的成本会被分解到每个token的成本所以我们会第一优先级的去考虑这个token生产的成本是什么第二优先级的去考虑速度但是速度我们认为是未来非常重要的一个指标是很核心的一个AI infra的一个指标后面的用电量在云端的角度来看在今天的总的持有成本现在用电量是在整个比例里头是较小的那一端国内和美国其实这一点上有比较大的区别对 主要是美国缺电缺能源对对对 这个可能是倒过来的国内我们了解到大概是三分之一在电美国大概三分之二在电所以这个其实会导致大家有多关心比如老黄天天讲tokens per watt还是大家关心tokens per dollar你刚刚提到能源三分之一的成本是说什么三分之一的成本就是比如电费比如算下来 子杨刚刚提到TCO里面分两部分一个是capex 一个是opaxcapex就是你买芯片买机房的这部分OPEX是你比如说计划这一代数据中心运行五年这五年里面你的功耗是多少乘以时间长度再乘以你的电费这部分是OPEX的成本就包括散热这些对应的能源消耗如果你们在国内做的话所以你们这个耗电量可能关注的就小一点我觉得不是我关注的小一点是因为客户关注的会小一点对我是在想芯片之间你怎么去做性能成本的平衡因为我觉得长远来讲芯片成本是钱的事情就钱不是一个很本质的限制但是能源是就未来我们看整个AI更大的一些未来发展的趋势的话OK如果你们遇到同行了或者看一家芯片公司你们会怎么去判断一家芯片公司行不行如果用一个问题去问这个芯片公司你们会觉得它是什么呢我觉得你刚刚说那三个问题其实都是很好的问题但我觉得我们比较关心的其实就是两个问题就是你的tokens per second可以做多快多便宜如果你还站在从芯片的角度出发的话可能很多实际在做推理芯片的公司根本没有这个数字对 我觉得这个从用户端的角度理解就是在这个芯片组成的系统它的per token的价格和他每秒对于单一用户的推理速度这两个是我们关心的最核心的问题推理速度现在会是一个核心的制约瓶颈吗因为从我自己作为一个用户的体验来说我觉得现在推理速度够用了这是一个非常好的问题是一个我们其实思考了非常多的一个问题就是做快这个快本身有多大的意义我们先从今天的商业逻辑来说自从agent开始大规模爆发以后我们现在大量的语言模型产生的token其实并没有被人来读这里有两个点一个是在agent之前有个东西叫chain of thought这个是思维链它在产生的 [45:00] Token的这一部分其实不是给你看是给模型自己去产生最后结论这个智能的这一部分的速度要快一些因为它是最后给自己看的agent的这一部分它产生也不是给人看的是去给别的agent去读的所以人本身阅读token的速度的确没有那么快我们可能做到100token每秒人就已经读不完了所以今天的很多GPU或者别的系统它去反推的时候都是往这100TOKEN每秒这个时间上去发展的甚至会低一些50TOKEN每秒但是对于这种 agent 的系统我们认为这个速度其实是一定程度上没有上限越快越好这更核心的可能是一个AI长期的一个制约里头有一个刚说到的能耗还有就是时间我们在单位时间里面能解决掉多少事情这个本质上就是我们要用系统的对单用户的这个速度去解决对 我觉得刚才你提的一个很好点就是你觉得已经很快了你觉得已经够用了然后我觉得核心点就是它一定会让你觉得够用了但是它会在别的地方去实现这一点比如说它知道用户不能接受我一个问题要想两天剩一个小时可能都不能接受所以这时候实际上本质的限制了在这一天或者一个小时之内我能生产多少poken来解决用户的这个问题所以推得速度更快并不意味着你要从一分钟的思考最后你跟他的交互速度要变成一秒钟而是在都是一分钟交互速度情况下你这个模型可以用10倍更多的token做更多内部自我的思考来提升它的智能水平或者用agent的方式去做很多确实的实验来回答这个问题有意思就是在我看到答案的时间可能是一样的但是背后是这个模型他思考了一遍还是他思考了十倍与我这个问题的内容所以推理芯片做的好可以让模型更智能在同样的时间里对对对是的是所以你看老黄的演讲的PUT他的这个图的坐标纵轴是tokens per watt或者什么tokens per second per watt是说token的成本横轴其实他讲的就是推理的速度那Bill喜欢叫interactivity但是老黄的PUT里面那横轴的标数就是smarter AI他认为推力更快的速度意味着整个AI可以变得更聪明就是基于我刚刚的那个逻辑哦我理解了所以说有的时候比如说我看到一些应用他很快能给我答案可能只是因为AI思考的少而已是是哦这个太有意思了对我们甚至会觉得之后这个会慢慢的像大部分更大程度的token其实都在AI自己的这个系统里去转来为你产生最终的那个智能比如说如果哪一天这个AI系统足够聪明我就说你去解决癌症然后他在那慢慢去解决这大部分的token是在他自己里头赚的自己里头赚的这部分token至少有一些思维链的速度当然是越快越好剩下的可以用冰形度去换但是有一些逻辑思考的部分是越快越好如果你问这么一个问题 比如说他用100年思考 可能对我们意义不大那我会希望他在有限的时间内解决刚刚那个例子其实不是特别直接能体会出时间的紧迫性但比如说我想让一个AI系统来判断明天的股票市场怎么样他如果用两天的时间去想这个问题那这个回答就没有任何的意义所以我们为什么觉得时间是一个非常重要的本质约束因为世界这个时间不会为了别的慢下来很多事情是需要有个确定时间点之前就要得到这个答案比如说等一个小时就不耐烦了 需要一分钟之内得到也是这么一个时间的卡点我们就希望在确定的时间卡点里获得更多智能这个就翻译成快所以对最后AI芯片的快其实是有要求因为我们说现在整个模型在训练预训练的方法上包括在推理上包括现在整个agent它的互联上它是有很多的创新的比如说刚好我们提到了像思维链的这个模式它可能就会对Grock它的这些整个工作的原理会产生影响那我觉得现在模型也在提这个RSI,然后也在提强化学习,同时整个agent市场它也在发生改变,所有这些在大模型预训练领域里面发生的这些改变会影响大家芯片的设计,以及比如说你们现在在设计一场芯片的时候。包括我们说还有大模型跟所有的图片模型视频模型事件模型它的不同的训练方法所有的这些不同的预训练的方式会改变大家的芯片的设计方式吗以及你们现在在设计的时候会往前看一两年两三年吗先回答最后一个问题我们肯定是要向前看的向前看的时候是去找一些本质的会影响我们芯片设计就前半部分的这个问题首先模型结构本身一定会影响就比如说刚刚说到这个视频生成图像生成这里头生成里头很大的一部分是一个diffusion model这种模型它和现在transformer的方式就是不一样的所以我们就要做两个选择一个是芯片做不做这件事情就是异构的选择我们去想清楚 [50:00] 第二个是如果要做的话在我们心里上怎么做这件事情所以像这种diffusion这种事情技术上来说它是一个计算非常密集的一个事情所以它适合的硬件可能是另外一种范式另外一个去看本质的这个transformer它会怎么变就是我们想要瞄准的这一块它会不会有很大的变化我们先看这整个模型大规模的在变的是哪一部分现在还没有收敛的算法上是哪一部分和已经收敛的是哪一部分这家公司优先去解决已经收敛的这部分可以去做芯片的这一部分所以我们现在看到的刚刚从这个模型本身来说Transform模型里头注意力的机制这边其实在算法上还有非常多的格型每一个新的lab出来他会经常发一些paper说我又做了一个什么新的思路但是后面的这段FFN自从变成MOE以后其实变成了一个相对不变量刚刚说到了有些2L的这些东西其实是没有本质的影响这个模型的结构的如果这个模型本身结构是一样的它只是尤其二要珠在后训练里头更是没有影响这个模型的结构那这个对于我们来说就是一个相对没有那么重要的事情所以你们现在是主要是做transformer的模型就是Diffusion的推力你们是现阶段还没有考虑进去的对 更多我考虑问题的点其实是在于就未来AI的系统不管是什么模型很本质的它会有两部分的需求现在看到比较明确的有算力的需求我们看到现在解决不太好的有带宽的需求其实我们是希望找到一个最贴近于当前带宽需求的从芯片道系统的解决方案这个未来我觉得不绑定在具体的模型上面虽然我们现在看的肯定会觉得未来等我们芯片出来的时候大概率还是很Transformer但其实我们是有这种比如说图像的生成视频的生成这些未来算法上有很大的空间它可能也变成自回归式的甚至是两种的结合但这种的话就如果它变成了我们可能可以支持很好那如果它没有变成的话那它天然就不是我们想解决这个问题面对的对象嗯了解我看现在有很多的国产芯片啊甚至我们说包括像英伟达的芯片大家有一个宣传出来的纸面的算力的值但是大家在真实的用起来感觉这个算力是不是没有跑满啊有的时候是不是连一个对折都没有打到啊这中间消失的算力去哪了为什么会有一部分算力的浪费它达不到这个理论算力的值我觉得两部分因为如果单纯想算力浪费其实现在很多国家包括现在的一些注意力的机制很多应用它的计算和仿存的比例就没有长在英伟达GPU的甜点上面这个是可能比较大的一些之所以算是用不起来的方向因为你卡在带宽上基本机体结构有一个roofline啊这总没法翻译了好像是没有一个屋顶结构对还有一个基本的这个结构如果你是带宽瓶颈那显然你的算力就用不起来另外因为推理其实是一个非常快速有很多细小的算子组成的你想每秒钟都两三百个token了这时候你每一个token对应的计算任务其实变得非常细碎比起训练的这种都是大矩阵相承而这种细碎其实是会造成你有一部分调度的损失的它是使用者用的问题还是芯片设计的问题还是软件层的问题?这三个都有其实刚刚Mark说到的那部分比如说算力和仿存这个就更本质一些这个可能是硬件设计和现在用的workload这个应用它不匹配造成的在技术一点的话现在经常会说它的芯片在等数据从别的芯片传过来这个的意思就是其实是我们在互联中卡住了任何的一个数据它没有及时的到要去算的那一边无论是因为你在这一片上的HPM带宽不够大你从那读出来的时间太长了它的计算单元在那空转或者是我要从别的地方传这个数据导致的空转最后就导致了我们的计算单元在做矩阵乘法现在的模型里最大的东西就是做矩阵乘法我们在算MFU模型算力利用率里头基本上只在算矩阵乘法的这一块所以一旦我们发现矩阵乘法在空转我们最后会得到一个比较低的MFU所以我们就会说芯片没有被很好的用起来回到刚刚那个roofline model我们其实在推理尤其是为了高单用户推理速度的场景的时候其实还有另外一个场景叫MBU是memory bandwidth utilization仿存的带宽有多少被用起来所有的利用率它都是到了100%这一点就没有问题了但是比如说我带宽拉到了100%我这个芯片是不是100%用起来也不完全是因为这个芯片它至少有两个单位一个是纺存带宽有没有100%用起来一个是算力有没有百分用起来这个就回到刚刚说的第一点 如果我设计的时候 我这带宽设计的非常小 算力非常的大那我把带宽吃满的时候我的算力可能就还是空着是所以它是一个综合的问题你们自己在设计推理芯片的时候 [55:00] 会把这些考虑在里面吗理论上的利用率跟实际的利用率我们会考虑在里面就怎么说避免一些实际执行过程中的调度一些摩擦导致的利用率的损失就这点可能是我们更多的可以在芯片设计上面做优化的点对大家要不要给听众的科普一下就比如说一个芯片它如果要设计一整个流程的话它是什么样的对一开始的时候肯定是更多的架构上面的设计其实是需求的分析芯片定位是什么我要解决什么样的问题哪些问题是技术上的问题哪些问题是一些客户的问题有些客户可能要求一些安全性这肯定是第一步的点先梳理需求为而这些需求就会有具体的高层架构的设计这个架构可能包含了不光是芯片本身就未来实际我交付的可能是一个服务器甚至是一个集群这种集群里面拆解到对于系统的需求比如芯片监护链的需求对于服务器监护链的需求以及拆解到对于具体每一颗芯片的需求而且我理解这个里面其实是有很多创业机会的你做服务器集群是一种你做芯片是一种你卖一个从芯片软硬间一提的这种解决方案的可能还是一种是 但是我的意思是从系统架构的层面你要考得清楚你未来支持场景是什么以及为了这个场景去做真的实际芯片架构的定义到芯片架构定义之后就会有一些更多V架构的定义比如说我芯片里面打算计算单元核打算怎么设计核里面的矩阵单元单元怎么设计相当单元单元怎么设计然后我用什么样的指令集存储放在哪比如说我们想用SRM来做SRM放在哪这些都确定了之后你就会有一个非常详细的特性列表feature list然后这里面就会具体指导实际做RTL编码的时候该怎么去做一个一个模块具体RTL编码的编写大家都说做芯片要一两年的时间实际这一部分编写的时间可能也就两三个月但是大部分事情会化在比如前期的需求架构上面说到这个RTL编码之后其实就是一些验证的工作至少传统意义上来讲大家说做一个大芯片流片的成本是相当相当高的所以大家希望在流片的时候保证这个芯片不需要有一些功能上的问题所以在流片之前非常充足的对于芯片编码的验证 比如我写是不是有bug 要么比如说靠很复杂很多的测试用力 要么是比如靠一些形式化的验证从数学上去做证明 这个又回到了 我当时在博士的时候做很强逻辑的那个东西 就是这部分的形式化证明就会用那部分东西去做 就当你把验证充分的做完了之后会有很多后端的东西 就是刚刚说的那些东西基本都算芯片的前端当你每一个晶体管怎么连都确定 后端会实际的把它尝试排布在可行的一个物理空间上面就比如这个芯片的不具不线 线要怎么绕 不同的计算单要摆在哪存储单元的比如长宽高的这些比例都需要靠后端去做具体的图纸就真的变成了实际光刻 我需要在哪一块刻什么样的晶体管这些信息但是那个过程中又有很多的我们叫SDC就是根据比如Fab的一些信息去做很多重复的检查当然最终就是要保证在流片的时候不要出很大的问题等这些做完之后你就可以去流片了其实流片本身这个动作是它去给你生产这个模具眼磨Mask这个其实只是第一次流片会有一个这个东西因为你这个东西如果没有问题的话后续的量产你这个模具就不用做特别大的改动了等身着第一代芯片量产回来之后又会有很多封装测试的东西在里面因为其实本身大家看到这个英伟达的一个芯片好像都很大都快半个手机大了但其实里面真正实际光刻出来那部分占比比较小去解决怎么把那么细的光刻的线引到我实际产品的板子上面的线当然测试的工作在于刚才说到有良率的问题那你需要有一个很体系的方法 让你能够知道你造了一批芯片出来哪些是好哪些是坏的这本身又是一个很大的课题 到后面实际你要去交付的时候如果你要交付一个比较复杂的系统 你又会涉及到比如实际你的PCB板 这要怎么设计 你的芯片可能只是系统的一部分上面可能会有一些控制芯片 有一些switch 交换的芯片 有一些网口 其他的接口怎么去设计再到整个集群的宫殿散热工网怎么去设计这部分我听到这段话我自己有一个感受啊就Mark你太厉害了我觉得芯片创业是一个门槛很高的事情它的每一个环节首先它要解决无数的技术挑战其次它是一个成本很高的东西你需要很多的钱去做这些事情去流片去设计然后承担各种流片的风险包括到最后量产了以后我们要去控制良率同时你还要去解决供应链的事情因为现在大家知道包括连谷歌连英伟达他们在去做芯片的时候整个供应链上的各种环节都是缺货的所以硬件是一个很难的事情但是赔率足够大对而且我之前其实有问过很多英伟达的科学家我就说你们其实有这么多年的经验芯片又这么缺为什么不自己出来创业呢大家觉得这个事情要敲动的产业链太大了对的确我们也不是一个人在战斗尤其是后端其实是要和很多很多的 [60:00] 合作方一起去配合的我们这里更多的是把用户和这个模型怎么去设计这款芯片想得非常清楚了后面会有非常多的和供应商的沟通和互相帮助的阶段你们现在在整个设计过程跟流片跟我不知道你们到哪个环节了到可能到最后量产的环节供应链会是一个问题吗供应链会是一个非常非常关键的问题因为我们看其实国内整个芯片的市场可能在未来两到三年都会长期处于一个供小于求的状态所以未来我们是否能成功的关键并不一定在于比如说我们的芯片设计的多好横横就在于能不能造出足够多的芯片了但其实在这上面我们反而有我们自己的一些优势正是因为我们在设计上面有了很多比较大胆的创新所以更多的放松了我们对于最先进制程的要求比如说我们是有机会把大家可能用不起来或者已经认为淘汰掉了的成熟的制程用得很好制造出来可能使用了成熟的工艺但是在最终我们关心的Token Per Second, Token Per Dollar上面比可能先进工艺做出来的系统还要更好的一些解决方案所以是通过架构创新做到的是的但是在供应链上依然会是面临很多的挑战是的对你们为什么要回国创业其实Mark我觉得你的背景即使在美国创业也是会很成功的我当回国不是因为创业这一件事情回国因为当毕业之后有一些在国内比较好的工作的机会然后我也很感兴趣我就已经回来了所以我在国内已经待了三年左右但这个过程中因为我很多PG的朋友老师背望还在美国所以就每年也会有几次去规国和大家继续交流虽然现在国内有这些先进制成的实际技术上面的一些限制和约束但我觉得长远在一些更挑战国内整个的环境是有更大的优势主要是供应链比较完善供应商也比较多即使你在美国可能也经常要回来看这些硬件的环节再本质一点的就是搭基础设施的能力因为我们本身去搭的是一个推理的基础设施这里涉及到几个最核心的点比如说你的数据中心在哪怎么建用水用电中国有非常强的优势可能还有另外一个点就是中国也是一个非常大的一个市场它是能完全转起来的其实还有另外一个角度当时Groke 3Bus做的比较艰难的点在于美国最主流的模型不是开源的当你做一个很新的芯片你要让也不懂你芯片的人适配你的模型也不太现实你要强顺让自己去适配一个自己不知道的模型也不太现实所以当你做出一个芯片你其实更希望的是有些开源的东西可以让你自己拿来跑在自己上面做出一些效果来但是至少当时那些开源的比如像千问像Lama显然不是美国最主流用的最多的模型所以他们在商业化上会面临着短期只能看到逆时的那部分小的开源的市场反而是倒过来的就是国内一些最强大的模型以Deep Seek为代表质朴至少在架构层面他们都是更开放而且从市场角度来讲国内可以稳定获取的最好的AI的模型的API其实也都是这些开源模型但像千万也在做自己的芯片我觉得这个问题是不是模型厂商也在做自己的芯片对你要怎么去竞争如果是已经是一个开源的话模型厂上做自己的芯片和我们做芯片他们没有比我们很本质的优势做这个系统要把系统其他的部分想清楚在这一点上模型厂商他不是做这个但他们可能更加先进的模型并没有完成开源以及他在设计模型的时候他的软硬件团队是可以协同的比如说谷歌的TPU它可以在模型往前发展的时候就把芯片应该怎么设计考虑进去我觉得首先模型厂商分几类一类是比如传统的互联网大厂我们说国内就当他们做芯片的时候因为本身如果你同时做模型你同时会有很多训练的需求同时你的模型也是多种多样的你会有很多像自己也有C-Dance那一部分模型的需求当你开始投入资源做芯片的时候你又希望这个芯片不要那么针对性的只对你部分的需求有效果而说要更好的兼容你上面所有对于AI有需求的业务包括训练包括各种图像生成也包括这个Transformer推理我们看到实际在做的可能还是更多的去替代已有的通用的AI芯片训练偏多训练或者通用性偏多就实际用可能推力也很多但推力里面可能有一部分是prefill有一部分比如说是图像生成AIGC这部分我觉得纯粹的模型厂商比如像Deepseek 质朴KIMI设计一个好的模型需要的能力和设计一个好的芯片需要的能力是完全不一样的就甚至有时候当你把完全不一样的能力整合进同一体 [65:00] 公司的时候不一定是个好事就这件事也是需要异购的我觉得是需要一家氛围上面能适合算法设计的公司来做模型的事情氛围上面更适合芯片设计相关的公司来做芯片的事情这个东西把大家都融合在一起不一定完全是一个非常好的事情Mark当时你去Stanford读PhD的时候Bill Daly他其实很有名因为他的手机科学家我们也可以说他是整个芯片领域的GPU的电机人因为他通过在Stanford做的流出理研究变成了今天的GPU当时你为什么选他做导师就是你跟他的交流是怎么样的你说Stream Processing 这其实应该是他在2000年之前做的工作只要后面NVIDIA更成功把这件事情做商业化但是他后面随着和NVIDIA合作其实逐渐他又重新在产业上面主导很多类似的方向我是在应该是大四的有一个学期我去和韩松就是他当时马上毕业了一个学生但是后面他其实做了很多成功的公司包括他后面去MIT当Professor但其实当时是他拉我过去想让我帮忙他做一些Research Assistant所以当时做的更多的工作是围绕着他当时的模型的减脂压缩我们叫pruning quantization这些点继续往下做了一些更新的如何让模型更efficient的跑在硬件上的算法层面的研究然后那时候就虽然是松哥之间mentor我但是就是美洲会和Bill有例会就这个人给我的第一反应是非常非常聪明的一个人然后另外一个点其实是他在research上看的问题是一些很本质的问题就他不会去尝试解一些low hanging fruit已经也不在他的career path的必要性上面他是一个很senior professor他没有任何短期学术上需要比如发多少paper的这些压力所以他看到的一些更本质是他实际上感兴趣的技术上面的一些点这些点往往是那些其实很难做但一旦做出来可能对整个学界业界有非常非常大的影响的一些点这是我非常非常从那时候开始就欣赏他的特质对你刚刚提到了Bio他看问题是看到了非常本质的地方你觉得从你开始读他的PhD17年开始有哪几个他在关注的主要方向以及他有哪几次在跟你的交流中你觉得OK他没有去关注这个表面上的细节而是直接戳到了比如说当前芯片设计的最核心的一个环节我真的去加入他的组里跟他非常认真的去做一些研究的时候他当时一上来非常感兴一点其实我觉得除了他没有人看到那个点他当然去尝试做完全和现在的深度学习不一样的另外一类完全逻辑的AI的加速从过去AI的发展是有两个不同的分支的一个是偏深度学习神经网络这种感知的这种分支然后另外一个是强逻辑的分支去尝试构建很大的知识图谱去建立非常严谨的逻辑现在就变成比如说大家尝试去用AI证明一些数学定理那是哪一年17年的时候对但那个逻辑的AI的发展其实已经过去三四十年都有而且到现在为止都有很强的应用在比如我刚才提到的一些数学原理的证明再到一些芯片后面不屈不屑里面其实是有非常强的逻辑的AI参与的所以被我当时很感兴趣的点就是因为大家已经可以把这种偏感知的神经网络里的AI加速的很好但他看来其实未来的AI是强逻辑加强感知但强逻辑那一部分其实当时的角度基本上没有人在关心因为之前几乎没有人做过针对性的硬件去做这件事情大家可能更多停留在软件层面那时候我们从头去设计了一个全新的芯片架构就它和现在CPU GPU包括我们想做这些完全不一样的一个专门的加速器的架构来加速这件事情从现在角度看来因为我知道现在硅谷其实很多创业公司大家开始有这个想法如何让比如现在的这些原模型Transformer更好的为一些数学原理物理原理来服务其实这部分我觉得未来可能也会是非常非常有影响力的一部分新的芯片的工作长逻辑的芯片就是重新设计的这个芯片在今天的AI时代已经变成了一个主要方向还是说它还是一个研发中的东西我觉得它还处在算法研发的过程中本身解这个逻辑问题的算法是非常固定的叫set问题但如何把这个问题和Transformer更好结合起来让Transformer去把实际的复杂的数学和物理的问题拆解成这种强逻辑的问题我觉得是现在很多在尝试做AI for Science的公司在做的事情现在在算法层面还没有收敛未来如果大家发现这个真的很有效以及未来如果真的科学探索的瓶颈在如何更快的解一个很复杂逻辑的问题上面的话对芯片和硬件的需求会是确定的你觉得他给你的启发更多的是在芯片领域上说在学术领域的一些具体的我要走哪条路哪个方向的一些学术上的启发还是他的思考方式沟通方式一些人格特质上的启发更多我觉得是后者 刚提到我跟Bill做的第一个 [70:00] 之后包括我PHS Theisers那些很多东西并不一定是某一个确定的方向比如说大家会看到他现在是GPU的电机人但其实我觉得本质他并没有和GPU绑定GPU只是结果原因实际上它是一个非常好的researcher非常好的一个architect所以他能发现最重要的东西是什么并以最好的方式去把它做出来这个成就了现在的GPU但是它对我影响更大的可能是一些芯片设计系统设计甚至怎么做研究更本质的需要关注的一些点举一个例子举一个例子就是我们现在做的很多芯片会围绕一个点去出发叫locality 局部性而这件事情最早我是从Bill那块得到了非常大的震撼他跟我说整个芯片设计一切都是围绕局部性去展开的什么叫局部性局部性就是location把东西放在哪儿它的原话是就是时间上的局部性空间上的局部性比如说我们之前会有CPU里面cache的设计其实本身就是一种时间的局部性和空间局部性的使用时间局部性就是如果我用了一段数据那我会在未来的一段时间里面大概率会重复的使用这段数据这是时间局部性空间局部性就是如果我用了一段数据那我大概率马上会用到它周围的一部分数据这是空间局部性其实是我们在做AI芯片把模型的权重存在哪这件事情为什么我们想用SRAM来做这件事情就是因为希望使用SRAM提供最好的局部性因为在AI的这个时代尤其是我们做推理decode的这个过程时间局部性和空间局部性在算法上都被抹平了就这些都不复存在了所以我们就要在架构上做更多实际硬件上面的局部性来弥补这个一点我觉得他在知道怎么更好的做事情或者找到更值得做的事情的时候我觉得他的逻辑是要找到最难的事情然后找到对整个系统影响最大的那个点并尝着去解决它它会关心trade off就当你只做微小的提升的时候其实你是可以保全大局的你不需要做颠覆式的修改但如果你要做很难的数量级的提升的时候你一定要很清楚的想明白哪些东西是你可以牺牲掉的哪些东西是你真正关键的只有当你想明白这些问题的时候你才能在整个系统层面做出更关键的选择你能跳出这个local minimum就像是深度学习的时候找到一个更大的全局自由的解对我觉得很有意思这个其实就是说我们不要去做微创新我们要找到最难的那个问题从全局的角度去做颠覆市场新但它意味着失败的概率很高你跟Bill在合作的过程中有遇到说OK我找到了一个解我尝试从这个方向做但是他失败了我觉得非常非常多但是我刚刚说的点其实和成功失败没有关系它是你做事情的逻辑什么样的事情是Bill觉得值得做的以及现在是我们觉得值得做的但做的过程中肯定会有很多很多失败的情况但是他不会否定你要解决的这个问题不是正确的问题它只是你可能没有找到正确的解法甚至这个解法可能是没有的我觉得这段非常鼓舞人心你回来创业Bill Daly给了你什么样的建议我跟Bill会讨论很多很多技术上面的细节就比如说当时我有一些想法想把SRM来做的时候我会跟他讨论非常多因为他一开始也没有很细节的去看这个方向但是当时我们是真的很仔细的去算了这个点他会给我很多技术上面的建议因为其实我现在想做很多东西和我当时PHA跟他一块做的东西从方法原理上来讲是很相像的具体创业的建议的话我想想Bill给我的建议就是一定不要用PhD写的代码因为这是Bill上一个创业里面的惨痛教训他的整个特质还是更偏一个科学家是是是对这是exactly我刚刚其实想说Bill当时给我另外一些点其实是怎么做研究但其实我现在会发现比如那些东西并不一定是做公司最好的点我觉得做研究很本质就是用最小的代价获取最多的知识研究的本质,所以当时比如说涉及到其他很多会愿意真的去流片,用科研经费把片子造出来,但是在比我看来这个就完全不必要,因为你已经在流片之前获得99%的支持了,流片并不能给你带来一些额外的除了工程上面实现之外的东西,但是就现在创业这件事情其实就是你要去解决那个剩下1%工程上面实现,而且这部分可能要花费你99%的精力。工程可能不算剩下1%吧它应该也是一个占挺大的比重的对对对我的意思是实际上你要花很多的精力去做它但是它对于这件事情能不能做成的贡献就是没有那么大你可以在不做工程之前就从设计的角度知道这件事情技术的瓶颈在哪能不能做但是实际工程上要解决的实际设计散热供电的那些问题是你要花很多的精力去真的把它做出来的那子阳你要不要讲一下就是你在亚马逊做自研的AI芯片比如说你给他们写编译器写软件站因为我在亚马逊他也有一个非常哲学思考的问题 [75:00] 刚刚Mark说的是有一些一脉相承的就是说我们不要先从一个细小的点去推这个事情应该怎么样因为你要先设计整个系统再去反推最优的芯片是什么样的你要不要讲一下整个亚马逊它的包括你做软件的这一套工程哲学首先从系统上来说软件是在系统最上方的用户是从软件入手的其实亚马逊有两个哲学一个跟芯片相关是从系统去反推硬件还有一个就是customer obsession,我们要想的是用户最后想要的是什么所以用户他去用的这个软件站要来反推之前的所有的东西另外一种方法可能是以中为史所以我们在去思考这件事的时候比如说我们要做一个AI的加速器那要很明确的想清楚我们这个要加速的workload是什么样的它是哪一些模型或者是哪一类的模型会放在我们这个加速器上去做它是去做训练还是推理还是两者都做这个会直接的影响到你从每一层的从高维的系统往回反推最后到芯片上的一个具体的设计是怎么样的首先大方向要掌握对然后要能从这个大方向一点一点的有逻辑的反推回来比如说其实在这个芯片设计里面有一个非常重要的参数它的定义是指你的计算的带宽和你的纺存带宽的一个比值这个会决定我们在读取一份数据以后在这一份数据上要做多少次计算他才能把计算和仿存都给用到这个笔值会直接的影响到哪一些模型或者应用在这款芯片上他用的是最好的所以比如我们在设计下一代的芯片的时候就会很明确的去想最终的workload是什么样我们的系统会是多少个节点去做这个完整的系统这可能要先从这多少个节点可以在物理上装得下能装下模型和在物理上能被接纳这样再去反推最后去结偶到最后我们要把这个笔值定在多少当硬件一旦确定的话,我们之后其实会直接影响你要怎么去对不同的软件做优化。所以我觉得整体的方向上首先要知道用户想要的是什么这有可能不一定是用户今天在用的有可能是用户在芯片制作出来的那个时候会想要的时候未来两三年会用到对未来两三年因为本身芯片是一个长周期的一个事情好的好的好谢谢谢谢两位好谢谢大家那今天是我们在节目发出前的一次补录来聊一聊OpenAI的推理芯片因为OpenAI其实是在我们录制的当天也就是6月24号我通发布了第一颗字眼的推理芯片HalaPenio子杨你们在这些天有没有研究OpenAI它的推理方案是怎么样的就跟你们想的思路有什么不一样对的我们其实也在HalaPenio出了以后认真地探索了一下他们公开资料有的这些信息包括他们在Hot Chips分享的一些内容首先他们做的这个芯片目前是一个AI推理芯片但是定性的它是一个通用的AI推理芯片和GPU还是比较接近的它的通用性体现在它可以跑各种模型,甚至一些游戏它都demo可以跑出来可以说几个我们看下来它的几个侧重点包括一些和我们不一样的点最重要的一个其实是我们之前讨论过的一个店的效率和钱的效率上OpenAI看到的是它对电的效率非常非常的敏感因为现在美国这个数据中心缺的并不是资本和这些空间,而是这个电的供给所以它非常需要同样的电的产能,能产出更多的token,产出更多的智能,也意味着更多的收入。然后我们看到这颗芯片,它在功耗上做了很多的工作。所以它的每瓦 每或者每MW能产出的这个Token数是大于英伟达对应的Rubin的架构另外一个特点就刚刚说到它是一个通用的,这也包含很多的意涵首先它通用性体现在它把我们之前说的一些异构的部分,包括prefill, decode,然后还有attention, ffn,其实它都用一颗芯片全包了它在设计上比如说加入了一些对小的维度的矩阵乘法支持所以在整个Batch Size比较小的情况下性能也能做到比较好还有一些公开信息甚至说他下一代要去支持训练所以其实是在通信上是和我们的一些包括GroxCyberus这个系统级的异购思路上是有一些不同的还有一个小的特点就是这颗芯片它其实去说了它用了很多的这个AI来帮助包括从这个软件站上看,它的Long的语言写的kernel很多的优化很大程度上交给了codex另外它的芯片的设计无论是性能的优化还是Time to market就从它的项目启动到 [80:00] 一些速度我们看到是和之前的这些芯片项目比有挺大的提升的他的说是启动到流片用了9个月对这个速度是相当快了那我其实有一个疑问啊就是当时我们在录播客的时候我们是讲到其实业界您提到推理芯片它是在向SRAM的这条路径收敛但是我们看其实OpenAI的这个芯片它并没有走上存储的这条路而是把HBM4的带宽堆到了单封装每秒15.4TB我好奇的问题是比如说它同样是解决带宽的问题啊但HBM它其实是挺贵的一条路为什么他们会选这条最贵的路对其实贵就是很重要的一点这个贵是代表着你买对应的芯片买存储这个存储的带宽你的价格比较高但是比如刚刚说其实OpenAI它的最本质的限制在于电,它可能对于这个资本的开销对于造芯片的这些成本来说没有那么敏感这个其实也和中美的一些在算整个经济账上不太一样中国的电的比例比较低,占1/3甚至更少,在美国2/3更多是电。但其实这个本身成本是一部分,另外一部分是供给。美国的电本身有比较明确的一个每年能提供多少新增的电的产能如果我想要在这个确定产能内去产出更多的token更多的智能其实我们更关心的是这个芯片的电转换成token的效率所以在用更贵的存储的方向至少OpenAI选择了相对来说不那么关心我们之前提到SRAM的最本质的一个优势是每一块钱买到的带宽比HBM高很多数量级然后这一点其实就转化成的是你最后花同样的价格去生产芯片或者是同样的芯片产品去生产芯片我们能得到更多的token但目前来看OpenA跟关系的是另外一个指标就是从电的角度OK总结来说还是第一点省电对省电其实是就是反过来就是为什么SRAM相对来说没那么诱惑的一点是他们对这个成本没那么关心SRAM它带宽非常高但是它在容量上比较受限所以在做这个芯片的通用性上比较受限包括我们自己的方案包括Groke 3Brush的方案它都会去做一种系统级的易购所以它的一个芯片要去和别的芯片去配合但我们看到OpenAI的选择方案是去做一个更通用的芯片这个其实我们在上一次讨论的时候说到了这种模型公司和这种云场商它业务比较多元然后也有训练的需求模型也五花八门语音这种图像的模型也要跑所以它对于这个芯片的通用能力要求比较高就本身做芯片都是trade off嘛当你的需求的点有一些对容量要求很高有些对带宽要求很高那我就要找一个更全能的他可能会更贵的一个解决方案他的最后就指向在这个点上 HBM 的确做得很好,尤其 HBM 都是它的带宽的确比之前也有很大的提高那如果是常上架文的KVCatchHBM的方案会比SRAM有优势吗?这个其实涉及到还是我们要不要做易购包括我们自己想的方案和block去和GPU的结合的方案都其实把Tension这部分的KVCache是放在了另外一块芯片上就是不是大SRAM的这个方案上至于这个长上下文,它对于这个KVCash,对于这个容量需求有多大,其实我们看到最近的几个月有非常大的变化,包括DeepSeek的新模型出了之后,它的第一张图就是每一个token的KCash它在每一代都往下缩这次是缩了四分之一到八分之一所以具体就是在我们之后遇到场上下文,它对容量有多大的需求这个是一个正在变化的事情但是因为它的需求是动态的并且随着用的人数随着上下文的增长它会不断的变大所以一定程度上对于容量的性价比是有要求那这一点就落在了一个SRAM不太舒适的区间内所以我们自己去想这个问题的时候是我们不会优先的考虑用SRAM去存KVCache哦 了解那还有一个问题是因为HBM它每一代的带宽提升比SRAM它的密度提升要快吗所以SRAM其实它是需要六个晶体管才能存一个比特的那SRAM它路径的优势窗口会不会在两三年以后就关上了因为其实芯片的周期还是很快的比如说一年半到两年然后OpenAI这个九个月就造出来了但是我们去看HBM它的带宽的增长虽然现在已经做到一个很好的一个数字但它带宽的增长其实也没有大家想的那么乐观包括这一代之后的带宽增长从哪里来其实也不是很确定这个其实低性的去思考的就是你的连线还是是通过走 [85:00] 某一种铜线它不一定是同线,但是它不是这个光刻出来这个线去走在一个带内的这个线去走线所以它的密度是有些天然的瓶颈包括我们看到HPM其实一定程度上走到极限是会类似于现在还有一些厂家在做这种3D DRAM去把一个边上去走线变成一个面上去走线我们看到这些都是一些去解决存储的未来很乐观的一些方向,但它最后会落在整个tradeoff空间里的不同的点位上。我们现在看在带宽这个点位上HBM也好其他的HBF也好很难达到SRAM的带宽的绝对值和性价比你觉得SRAM它现在相比于其他的方案它有哪些缺点对最大的缺点其实就是容量的性价比因为它要用6个transistor去锁一个bit而且一般来说我们为了达到这个带宽要放在同一个带上所以SRAM的堆叠其实是会降低它的出来的带宽的所以在这个点上它的容量的性价比非常的低如果我们对存储有很大的需求 需要存非常多的数据那SRAM它可能不是一个最优的方案但这个其实要分成两个问题讨论你要存的数据量可能很大 但它是一个固定的量的时候比如说我们要把模型的权重全部存在S上了我们可以用很多个芯片去组成一个集群去做这个还是在SRAM可以接受空间内,但如果你的要存的数据它是一个变化很多,并且可能未来持续增长,比如说我们刚刚说到这个KVCatch,那我们就认为它在容量上的受限这个缺点就会使得它不适合这个场景。嗯了解上一次其实我们在聊天的时候你有说到你觉得业界推理芯片的方案在向SRAM收敛那OpenAI这个芯片出来以后你还会保持这个判断吗我觉得在一定程度上在这个大的系统机溢构中,为了提高token的性价比这边,还会有很多公司在向Astron这里收敛。但是的确OpenAI提出这个思路有非常有意思的地方它其实是把异构的这一点给做进了一个芯片就是它的芯片里有很多的这些部分它们之间是异构的然后OpenAI提出了一个Dark Silicon暗规的一个概念当然这个概念一直都存在了就是OpenAI认为它比较容易接受这个的成本代价就是我拿着一个芯片去做不同的事做某些事的时候可以把其中的一些部分关掉或者降低它的功耗我们想的系统级的这个EGO的最大的区别其实还是它是用了更多的这个成本去买这个芯片但是它可以做到电的效率更高所以从per dollar的角度,它这个方案其实是不会很好的我觉得这个其实涉及到一个我们在不同的市场条件下限制条件不同,它会收敛到不太一样的地方然后我们看到在对带宽的要求非常高和带宽性价比非常高的地方还是会收敛到SRAM这个方案但是比如说对电是第一限制的话那可能OpenAI这个方案也是一个很好的解决方案你们在研究它这个方案的时候会觉得对你们现在做芯片的思路有什么样的启发吗我觉得其实对于AI的使用上一部分验证我们的一些想法包括软件站能被AI快速的提升但是他们比如说这个AI怎么来做这个芯片的设计和优化这个对我们其实有一定的启发异构是发生在系统级 用不同的芯片去组异构还是发生在芯片内 用不同的单元去组异构我觉得这个其实就是在不同市场下它的限制条件不一样会走出不一样的路径这个在我们看清楚了之后我们觉得我们的一些想法还是成立的对然后异构发生在芯片内这个现在业界是只有OpenAI这样做了对不对就是液构发生在芯片内,这是OpenAI比较明确的展示出来但比如说原先的宁伟达的GPU也可以理解为Ego发生在芯片内只不过它是一个通用的芯片更强调它的通用性就是它没有想要换下去说我把不同的需求放在一起并且通过各种方式能关闭一些东西来提高它的电的效率这个是我第一次看到这样一个解决方案异构发生在系统级 包括之前讨论到的Block、Sorebras和现在很多的AI芯片其实都是在往这个系统级的方式走一些芯片来配合做不同的事情包括PT分离这个大的场景下包括训练和推理分离这些都是异构发生在系统级了解您觉得现在或者说未来整个推理芯片市场还会是英伟达的天下吗整个市场格局会变成什么样这个问题很难回答我们当然不希望它是英伟达的天下探索的公司那这句话就意味着这些公司就不 [90:00] on So we saw that as GPUs as the main source of the Inuit答, in other research, In the time of time, the time of time of time will have a certain limit So we also saw that there are many new ways that are not from the UNVEDA. We also saw that UNVEDA went to the UNVEDA. 对 所以我觉得我没有办法直接回答这个问题 但是我们希望整个AI的芯片变得更多彩一些 这个方案变得更多一些 这个也符合我们对于整个异构的一个认知 感谢紫阳的这个补充 我觉得还是解决了很多困惑的 好的 好的 好了 那这就是我们今天的节目 这期节目确实比较技术 理解起来会有一点困难 如果大家不在这个行业呢 听不懂也没关系 I also have some time to use it to use it. But I'm really happy to have a lot of young people in this industry to talk about it. It's not just the technology that we can talk about. Every time we talk about a company, we can take a lot of people from their own hands. It's just the same thing that we can get from them. What kind of experience is that? Welcome to our channel. We can also use the Apple Podcast, the Spotify, and the Spotify. We can also use the YouTube channel to use it. 搜索硅谷101播客找到我们 我是红军 感谢大家的收听