英伟达收购Groq难挡架构分化 推理芯片绕过CUDA重构百亿算力格局

英伟达收购Groq难挡架构分化 推理芯片绕过CUDA重构百亿算力格局 大模型推理瓶颈从算力转向内存带宽与电力，由于客户极度追求单Token成本，单一GPU架构垄断难以为继，CUDA在推理时代必然被专用异构方案彻底绕过。 节目深入剖析了训练与推理在商业模式与计算特征上的本质区别，指出推理 Decode 阶段的核心瓶颈在于内存带宽而非单纯算力。围绕如何打破访存墙，嘉宾详细对比了 Groq 的确定性静态编译、Cerebras 的晶圆级巨型集成、初创团队的 SRAM 系统级异构以及 OpenAI Jalapeño 采用 HBM4 配合片内暗硅异构等不同技术路线的代价与考量。对话还拆解了“速度越快，AI越聪明”的底层逻辑，断言在推理时代全行业为了极致性价比必将绕过 CUDA，并系统分享了现代 GPU 并行架构奠基人 Bill Dally“围绕局部性展开”、敢于跳出局部最优做权衡的芯片设计哲学。 训练与推理在商业与计算模式上存在本质分水岭：训练是不计成本追求模型能力上限，计算密度高、瓶颈在算力；推理则是按百万Token付费的明确账本，自回归Decode阶段每生成一个词都要全量搬运权重，瓶颈完全转移至内存带宽。 (4:17) 存储介质的物理局部性决定了带宽与成本上限：SRAM直接光刻于片内，带宽高出HBM两到三个数量级且延迟极低，但容量极小；以SRAM构建推理系统需依靠大规模分布式互联以片上存储合力容纳大模型权重。 (10:44) Groq与Cerebras代表了克服集群通信瓶颈的两条激进路径：Groq以编译器为核心做极致的静态调度与时钟同步，但难以适应MoE等动态工作负载；Cerebras则用晶圆级芯片消除芯片间物理距离，但面临极高的良率风险、报废成本与定制化工程难题。 (18:08) 在推理时代，CUDA护城河必将被彻底绕过：与训练时代极度依赖软件生态灵活性不同，推理场景目标极度收敛于单一Transformer架构的单Token成本与能效，只要算子能跑通并实现极致性价比，全行业甘愿忍受难用的专有软件栈甚至手写底层汇编。 (32:32) 两位创业嘉宾提出基于阿姆达尔定律的SRAM系统级异构方案：用上千颗SRAM芯片构成的互联集群攻坚占模型约90%静态参数的FFN前馈网络，将剩余10%动态注意力计算交由GPU，从而在系统层面换取约10倍的性价比跃迁。 (36:14)

AI芯片创业者Mark与徐子扬在《硅谷101》播客中指出，大模型推理的计算瓶颈正由训练阶段的矩阵算力转向Decode阶段的内存带宽。围绕这一分水岭，行业分化出以SRAM极致互联为代表的系统级异构和以OpenAI暗硅机制为代表的片内异构等多条技术路线。 算力与带宽的分水岭：为什么Decode阶段需要专用芯片 (4:17) 大模型处理在Prefill阶段具备充足并行度，核心瓶颈在于矩阵计算算力；但进入逐词自回归的Decode阶段后，每生成一个Token都需将全量模型权重从存储搬运至计算单元，导致访存带宽成为绝对制约。传统GPU为了填满算力被迫依赖大Batch机制，直接牺牲了单请求的生成延迟与交互体验。SRAM虽然单比特面积远超DRAM，但凭借片上金属布线带来的超强物理局部性，其访存带宽高出HBM两到三个数量级。 两位创业者强调，随着思维链（CoT）和自主Agent的大规模调用，AI输出的Token越来越多地服务于机器内部逻辑推演或Agent间通信，速度的提升直接拓展了模型在固定时间窗口内调动更多计算思考的能力，推理速度因而直接关联到模型的智能上限。 Groq与Cerebras的权衡：静态编译与晶圆级互联的代价 (18:08) 面对集群调度与通信瓶颈，Groq与Cerebras走向了截然相反的极端路线。Groq采用以编译器为核心的确定性时钟静态调度，排除了运行时的读取抖动与调度开销，但在面对MoE等动态路由模型时容易出现芯片空转；Cerebras则通过晶圆级物理集成打通互联带宽，却必须承受极高缺陷率导致的综合晶圆良率损失，以及定制化供电、散热和坏核绕行算法带来的系统复杂度。 从全生命周期总拥有成本（TCO）来看，理论带宽的领先并不等于最终性价比。芯片必须在生产良率、能耗和调度损耗折算后，交出有竞争力的单Token成本（Tokens per dollar）答卷。但受访者也指出，部分企业客户为了获取数百至数千Tokens/s的极致低延迟，现阶段仍愿意承担相应的溢价。 架构创新对抗制程瓶颈与CUDA护城河的松动 (32:32) 在训练时代，频繁微调的模型架构高度依赖CUDA生态的通用性与开发灵活性；而在推理时代，Transformer架构高度收敛，商业考量彻底转向单Token生产成本与能耗控制。两位嘉宾判断，随着AI编程工具大幅降低底层算子（Kernel）优化门槛，推理芯片绕开CUDA直接编写硬件适配层甚至PTX汇编已是必然趋势，谷歌TPU和亚马逊Trainium等方案已证明了非CUDA软件栈的可行性。 针对外部先进制程供应链的不确定性，Mark指出通过在存储拓扑与系统互联上的架构级创新，推理硬件能够在成熟制程上实现超越先进制程的Tokens per dollar产出。此外，国内如DeepSeek、智谱等顶尖模型的架构开放性，为第三方专用ASIC提供了比欧美闭源环境更易落地的原生商业土壤。 系统级异构 vs OpenAI片内暗硅：能源与成本的路径分岔 (77:30) SRAM专用方案的硬伤在于单芯片容量通常仅有数百兆字节，必须依赖千卡互联构成系统级异构网络，通常将占90%参数的静态FFN分配给SRAM网络，10%的动态Attention交给GPU兜底。受阿姆达尔定律限制，其整机性价比提升上限约为10倍。该路线最适合国内以采购成本（CAPEX占大头）为核心驱动的应用场景。 相比之下，OpenAI与博通联合推出的Jalapeño芯片则选择了全能型、片内异构的暗硅（Dark Silicon）路线。由于美国数据中心建设面临严峻的电网配额瓶颈，OPEX电费占TCO的三分之二，OpenAI宁愿牺牲芯片硅片面积成本、采用昂贵且能效更均衡的HBM4，通过在执行特定计算时关停闲置硬件模块来追求极限的“每瓦Token产出”（Tokens per watt）。 Bill Dally的设计哲学：局部性与颠覆式创新的取舍 (70:20) Mark回顾其师从英伟达首席科学家Bill Dally的经历时强调，计算机体系结构的核心就在于物理“局部性”。传统CPU缓存建立在时间与空间局部性假设上，而自回归大模型恰恰打破了这一规律，因此专用推理硬件必须在物理层面上将数据尽可能拉近计算核心。同时，颠覆式架构创新必须跳出对局部最优的修补，敢于明确为了全局性能飞跃所做出的妥协与牺牲。 徐子扬也分享了亚马逊自顶向下的“以终为始”体系结构方法，强调硬件定义必须从未来2至3年的模型计算访存比与机房物理预算倒推。英伟达虽以约200亿美元吸收Groq团队的技术与人才，但通用GPU的庞大历史资产与软件兼容包袱，决定了其难以在极端专用场景下做到完全取舍，为多元化的异构方案留下了生存空间。 未来推理芯片市场难以由单一架构统吃。电网指标吃紧的头部巨头倾向于以高成本采购换取片内暗硅的高能效，而追求带宽性价比与特定吞吐的场景则将持续倒逼SRAM等专用互联系统的落地，全行业的技术收敛最终取决于应用场景的核心物理约束。

[33:58] 徐子扬: 推理时代，Cuda一定会被绕过 [44:25] Mark: 快并不是单纯为了让人类读得更爽，推理速度决定了模型的智商上限。 [44:25] Mark: 推理速度的倍增，在逻辑上直接等价于AI智能水平的跃迁。 [68:35] Mark: GPU 只是结果，原因是因为他是一个非常好的 Researcher、非常好的一个 Architect。所以他能发现最重要的东西是什么，并以最好的方式去把它做出来。 [69:40] Mark: 一切围绕局部性展开 [70:20] Bill Dally: Location, location, location（位置、位置、还是位置）。 [71:43] Bill Dally: 要找到最难的事情，找到对整个系统影响最大的那个点，并尝试去解决它。 [71:43] Bill Dally: 为了实现全局飞跃，你愿意牺牲掉什么？ [73:03] Bill Dally: 一定不要用 PhD（博士生）写的代码。

[0:01] Hello 大家好 [0:01] 欢迎来到《硅谷101》 我是泓君 [0:04] 过去几年 我们通过播客与视频 [0:10] 最值得关注的公司 技术还有人 [0:13] 今年我们会继续把讨论带到线下 [0:16] 也把那些真正身处在变化中心的人 [0:19] 带到大家的面前 [0:21] 今年10月10号到11号 [0:23] 《硅谷101》会在硅谷的Sunnyvale [0:25] 举办我们第三届 [0:26] Alignment 2026年度大会 [0:29] 我们也会在现场聊一聊 [0:31] 日常创作节目中的一些花絮 [0:33] 期待与大家线下见 [0:35] 报名链接 [0:36] 我已经放在Shownotes中了 [0:37] 感兴趣的听众 [0:38] 欢迎通过Shownotes报名 [0:41] 今天我们来聊一聊推理芯片 [0:44] 随着Token经济的发展 [0:45] 推理消耗的Token在过去几年 [0:48] 是涨了几个数量级 [0:50] 这一集我们就聊一聊 [0:51] 推理芯片到底是什么 [0:53] 以及像Groq还有Cerebras [0:56] 它们不同的技术路径 [0:57] 和各自的优缺点是什么 [1:00] 我们的录制是在今年的6月24号 [1:02] 巧的是 在那天 [1:04] OpenAI发布了他们第一颗推理芯片 [1:07] 而它在存储上的选择 [1:09] 和我们今天的两位嘉宾 [1:11] 判断不太一样 [1:12] 这一点我们会在节目最后 [1:14] 专门去拆解 [1:16] 本期嘉宾自己也在做 [1:18] AI推理芯片的创业 [1:20] 只是还在更早的阶段 [1:22] 所以我们今天聊到的这些公司 [1:24] 对他们来说 [1:24] 既是研究对象 也是参照系 [1:27] 其中 Mark [1:28] 是英伟达首席科学家 [1:30] Bill Dally的学生 [1:31] Bill Dally是现代GPU并行架构 [1:34] 最重要的奠基者之一 [1:37] 我们也会通过Mark的视角 [1:38] 聊一聊这位芯片大师 [1:40] 是怎么看问题 拆解问题的 [1:43] 下面就请收听我们今天的节目 [1:47] 今天跟我在一起的两位嘉宾 [1:49] 一位是负责推理芯片的硬件 [1:51] 还有系统架构的Mark [1:52] Hello Mark 你好 [1:53] Hello 大家好 [1:54] 还有一位是子扬 [1:56] 子扬是负责软件和编译器方向的 [1:59] Hello 大家好 我是子扬 [2:01] 因为我们今天要讲推理芯片 [2:02] 大家要不要先简单介绍一下 [2:04] 自己的背景 [2:05] 以及自己跟芯片的关系是什么 [2:07] 我是2017年的时候 [2:09] 去Stanford读的PhD [2:10] 方向也是EE（电子工程）的方向 [2:12] 导师是Bill Dally [2:13] Bill是在英伟达 [2:14] 从早期的GPU显卡的芯片 [2:17] 转型到现在AI芯片这个过程中 [2:19] 参与了非常多技术上面的 [2:21] 方向和决策 [2:23] 所以本身我读PhD的时候 [2:24] 就对AI计算 [2:26] 尤其GPU怎么做这方面 [2:27] 有相当多的了解 [2:28] 但是其实我本身读PhD的时候 [2:31] 更多的注重在 [2:32] 可能面向一个大的CPU集群 [2:34] 里面的一些内存语义的 [2:36] 调度 控制 通信 [2:37] 这方面的很多系统层次的架构设计 [2:40] 我PhD毕业之后 [2:41] 在国内的芯片大厂 [2:42] 做了三年左右的 [2:44] 偏向通用GPU类芯片研发的工作 [2:48] 我可能做的硬件比较多 [2:49] 其实是因为我当时做的 [2:50] 可能更多的是从芯片架构的设计 [2:52] 一直到几百个芯片 [2:53] 这种类似超节点的设计 [2:56] 也请子扬来介绍一下 [2:57] 自己过往的工作经历 [2:59] 我的上一段工作 [3:00] 是在亚马逊的Annapurna Labs [3:03] 做Trainium（亚马逊自研AI芯片） [3:04] 芯片上的软件栈 [3:05] 作为科学家的角色 [3:07] 所以会看更前瞻一些的东西 [3:09] 我从最下面的这种算子的编译优化 [3:12] 一直到上面的算法的模型切割 [3:14] 怎么把这个模型 [3:16] 确定地放在我们这种大集群上 [3:18] 都做了很多工作 [3:19] 我在本科的时候 [3:20] 当时还是上一波 [3:22] 语音和图像识别的时候 [3:23] 我就在做云端边的一些整合 [3:26] 我的本科毕业论文 [3:27] 其实就在做的端侧和边侧的 [3:30] 语音识别的加速工作 [3:32] 其实我在本科 [3:33] 在爱丁堡交换时候 [3:34] 还做了语言模型的一些前期工作 [3:38] 不过和现在大语言模型没什么关系 [3:40] 博士在普林斯顿读的时候 [3:42] 我做的一段 [3:43] 和AI相对没有什么关系的 [3:45] 在做多核上的并行计算 [3:48] 其实把单一线程的一个东西 [3:50] 放在500多个CPU核上去做 [3:52] 这个其实和现在的一些 [3:54] AI系统上要做的一些加速 [3:56] 有一些关系 [3:56] 但是当时做的 [3:57] 这个workload（工作负载） [3:58] 本身是传统的一些CPU workload [4:00] 对 所以我可以简单来说就是 [4:02] Mark 你其实是一直在研究这个芯片 [4:05] 它的硬件怎么搭 [4:06] 包括跟它的内存 它的通信之间 [4:09] 是有很多的关系的 [4:10] 子扬 其实你在亚马逊的工作经历 [4:12] 主要是从跟芯片结合的软件层 [4:15] 来去做这部分的工作的 [4:17] 没错 [4:17] 大家要不要跟我们的听众 [4:19] 简单地介绍一下 [4:21] 大家通常在说大模型需要GPU [4:24] 但是这个GPU它也是分类的 [4:26] 比如说有一部分是训练芯片 [4:28] 现在可能更多的是推理芯片 [4:30] 那么训练跟推理 [4:32] 对芯片的不同要求是什么 [4:34] 为什么它可能要的是 [4:36] 两种不一样的芯片 [4:37] 这点我觉得有两个层面 [4:39] 可能不光是技术科普的角度 [4:41] 我觉得从商业模式上 [4:42] 其实大家需要这个系统 [4:43] 来做什么样的事情本身 [4:45] 也是有比较大的区别 [4:46] 一个是大家有多关心成本 [4:48] 另外一个点是 [4:50] 技术上大家多关心带宽 [4:52] 而不是多关心算力 [4:53] 成本的角度 [4:54] 我觉得是商业模式决定的 [4:56] 就在训练的时代 [4:58] 大家是没有办法依靠训练 [5:00] 来获得任何商业上的回报的 [5:02] 就训练本身是一个 [5:04] 没有直接回报的事情 [5:06] 所以当大家开始计算 [5:07] 训练的成本的时候 [5:09] 这个东西是不可量化的 [5:10] 大家的期望都是 [5:11] 我要赌一个最强大的训练集群 [5:14] 可以让我拥有最强大的模型 [5:16] 而这个最强大的模型未来 [5:17] 可能会在推理的场景下 [5:19] 帮助我把之前训练投入的成本 [5:21] 都能够收回来 [5:23] 但是推理的时候 [5:24] 从商业上的角度来讲 [5:25] 这就是一个可以很容易 [5:27] 很清楚算明白账的事情 [5:29] 用户愿意为 [5:30] 比如每100万个Token付多少钱 [5:32] 我推理的系统 [5:33] 推理出的这100万Token [5:34] 我需要花多少成本 [5:35] 成本可能包括 [5:36] 比如我要买GPU的成本 [5:37] 包括我推理时候要消耗电 [5:40] 所以推理这件事情 [5:40] 从商业的角度来讲 [5:42] 它是一个追求性价比 [5:44] 而不是追求极致的性能 [5:46] 它会更多地把成本考虑进来 [5:48] 比较有意思的点就是计算密度 [5:49] 它的英文是arithmetic intensity [5:51] 就它也叫AI [5:53] 对 其实本质的点是 [5:55] 训练的时候你是有海量的数据 [5:57] 可以把你多的这部分算力 [5:59] 都充分利用起来 [6:00] 它有足够的并行度 [6:02] 但是推理的时候 [6:03] 语言模型大家认为是一个 [6:04] 强逻辑的事情 [6:05] 这个逻辑是需要一定的顺序 [6:08] 来完成的 [6:09] 举个例子 就是我说一句话 [6:10] 我可能必须得 [6:11] 第一点是什么 第二点是什么 [6:13] 我第二点可能要基于 [6:14] 我第一点说了什么 [6:15] 来顺序地去展开 [6:16] 所以说导致现在整个语言模型 [6:18] Token生产的这个过程 [6:20] 在推理的过程里面 [6:21] 是严格意义上线性的 [6:23] 或者说是严格意义上自回归的 [6:25] 就我必须知道了 [6:27] 我当前的Token推出来的结果是什么 [6:29] 我把这个结果作为输入 [6:30] 喂给我的模型 [6:31] 它才能告诉我下一个Token [6:33] 应该是什么 [6:34] 这种就导致了它的计算的模式 [6:37] 变成了像训练或者在一些 [6:39] 比如prefill（预填充）阶段的特征是 [6:40] 你有很多个Token可以并行地处理 [6:43] 但是在decode（解码） [6:44] 真的产生Token的时候 [6:46] 变成了我必须一个一个Token去产生 [6:49] 但是每次产生一个Token的代价 [6:51] 其实是把你所有这么大的一个模型 [6:53] 1.6T的模型 [6:54] 都从你的这个存储介质里面 [6:56] 读到计算单元里面 [6:58] 所以这个是本质地产生了推理 [7:00] 尤其是decode的阶段 [7:01] 对于算力和带宽的需求 [7:03] 产生了本质的变化 [7:05] 我可不可以理解成 [7:06] GPU在训练部分 [7:08] 要核心解决的问题是算力 [7:10] 然后在推理部分 [7:12] 要核心解决的问题是内存带宽 [7:15] 应该是说 在训练的时候 [7:17] 或者在推理的分成两个阶段 [7:20] Prefill的这个阶段 [7:21] 它有大量的并行度 [7:23] 所有的Token都是已知的 [7:25] 我用大量的并行度 [7:26] 可以在读取一次数据以后 [7:28] 同时做非常多的计算 [7:30] GPU这个本身的硬件 [7:32] 需要你同时做非常多的运算 [7:34] 才能把它的硬件资源给用满 [7:36] 它这个比例下的带宽其实是不足的 [7:39] 好的 我们给用户一个 [7:41] 更加形象化的解释吧 [7:43] 就比如说我给大模型问了一个问题 [7:46] 你出一个今天我们的采访提纲 [7:49] 当用户把这样的一个提示词 [7:51] 输给大模型 [7:52] 然后它要开始去做推理 [7:54] 它要开始去写这个提纲的时候 [7:57] 它会用到多少的GPU [8:00] 或者是推理芯片 [8:01] 用GPU跟用专业的推理芯片 [8:05] 它产生的结果从延迟性 从成本上 [8:08] 会有什么样的不一样 [8:09] 对 我觉得这是一个比较好的例子 [8:11] 在prefill阶段 [8:13] 它是可以并行地处理 [8:14] 我刚刚说的所有的单词的 [8:16] 就是它可以把这一整句话 [8:17] 同时喂给这个模型 [8:19] 让它去推理出 [8:20] 它要出的提纲的第一个词 [8:22] 比如它的回答可能是“好的” [8:24] 那这个“好的” 是它在 [8:25] 接收到了这句完整的信息之后 [8:27] 吐出的第一个Token [8:28] 刚刚说的prefill这部分 [8:30] 它是有充足的并行度的 [8:31] 它只要把模型 [8:32] 从GPU的HBM（高带宽存储器） [8:34] 里面 读到计算单元里面一次 [8:36] 就可以把刚刚说的一句话里面 [8:37] 比如10个Token同时处理完 [8:39] 当然你刚刚只是10个Token [8:40] 很有可能是你先喂给它的一些文章 [8:42] 这些东西其实可以 [8:43] 带来足够多的并行度 [8:44] 让GPU把它的算力 [8:46] 都充分地利用起来 [8:47] 但是到了推理这块 [8:48] 比如说它要说 [8:49] 好的 下面是我为你准备的 [8:51] 一份采访提纲 [8:53] 这一句话里面的每一个Token [8:55] 每一个词 [8:56] 都意味着你需要把你的模型 [8:58] 从存储介质里面读上来一遍 [9:00] 这个是我觉得更形象地说了 [9:02] 在读取模型次数上面 [9:03] 大家可以很清楚地感受到 [9:04] 你是一句话读一次 [9:06] 还是一个词读一次 [9:07] 读的量都是整个模型的权重 [9:09] 实际过程中 就是我们看到 [9:11] 因为GPU 它其实不能接受 [9:13] 你把模型从HBM读到计算单元里面 [9:17] 就只真的处理一个用户的Token [9:19] 所以它真正做的其实是 [9:20] 它要做我们叫batching [9:22] 或者批量化处理 这样一个操作 [9:24] 它要收集1万个用户的 [9:25] 不同的推理的任务 [9:27] 虽然对于一个用户来说 [9:28] 它必须要顺序地 [9:29] 一个词跟着一个词来推理 [9:31] 但是它可以并行地 [9:33] 把这1万个用户里面的所有的 [9:35] 比如第一个词 第二个词 第三个词 [9:37] 一起推理出来 [9:38] 所以这时候从用户的角度 [9:40] 他会感受到 [9:41] 为什么我这推一个Token [9:42] 这么慢的点其实核心在于 [9:44] 如果用GPU来做这件事情的话 [9:46] 你不光是在等GPU [9:47] 推理完你自己这一个Token [9:49] 你还在等GPU算完 [9:50] 和你同一批里面其他9999个 [9:53] 用户的这一个Token [9:54] 因为GPU这种大的算力密度 [9:56] 用HBM提供了非常昂贵的带宽 [9:59] 导致其实用户体验下来 [10:00] 现在不管是agent场景 [10:01] 还是reasoning [10:02] 自己思考的场景 [10:04] 大家对于推理的速度 [10:05] 有比较强的限制 [10:06] 那如果用推理芯片呢 [10:08] 我觉得推理芯片其实是一个非常 [10:10] 分太多种了 [10:11] 非常非常泛的词 [10:13] 对 因为本身推理也是一个 [10:15] 足够复杂任务 [10:15] 分这个prefill 分这个decode [10:17] Decode里面其实 [10:18] 因为模型还分什么attention FFN [10:20] 我们是觉得 [10:21] 未来我们希望的推理系统 [10:23] 它里面可能包含了 [10:24] 很多种不同的芯片 [10:26] 能够做到把实际decode Token [10:28] 这一个过程做得足够便宜 [10:31] 而且足够快 [10:32] 这可能是我们现在看到的一些 [10:34] 需要打破GPU传统的这种架构 [10:37] 做一些更针对性的新的架构 [10:39] 以及用一些有异于HBM的其他介质 [10:42] 来做的意义所在 [10:44] 我知道你们也在做这个方向 [10:46] 从现在市面上已经出来的 [10:50] 说我要自己做推理芯片的 [10:52] 这些公司来说 [10:53] 你觉得做得最好的是哪家 [10:54] 比如说Groq怎么样 [10:55] 我觉得Groq Cerebras都是 [10:58] 在这个技术路线上 [10:59] 我觉得大家是看到了正确的问题 [11:01] 我觉得它们确实在 [11:02] 已经把东西做出来 [11:04] 而且像Groq现在 [11:06] 和英伟达配合的关系 [11:07] 确实是我们设想中比较理想的 [11:09] 比如GPU处理哪一部分任务 [11:11] 然后由Groq处理哪一部分任务 [11:13] 所以我觉得整体 [11:14] 在这件事情大的方向上面 [11:16] 尤其是在英伟达把Groq收购了之后 [11:19] 更好地做一个异构的推理系统的 [11:21] 这个角度来讲 [11:22] 其实我现在是比较看好Groq的 [11:24] 这个技术路线 [11:26] 怎么说 可以展开聊一下吗 [11:27] 我觉得最关键两个点吧 [11:29] 一个是怎么提供刚刚说的 [11:32] 高性价比的带宽 [11:33] 包括我们最初想做 [11:34] 我们现在的这个项目 [11:35] 其实也是因为看中了 [11:37] 有远比HBM要好两三个数量级 [11:40] 更好带宽性价比的介质 [11:42] 这种介质其实不在于介质本身 [11:44] 而在于你要关注局部性的问题 [11:46] 你要提供 [11:47] 比起HBM更高一层的局部性 [11:50] 也就是HBM其实是 [11:51] 把存储和计算放到了一个封装里面 [11:54] 这个其实是HBM [11:55] 它之所以带宽能做到很高 [11:57] 但其实我们是希望把这个高 [11:58] 放到下一个层次 [12:00] 就我们希望把存储 [12:01] 直接放到计算的芯片里面 [12:03] 因为带宽其实核心就是 [12:05] 你连线的密度以及频率 [12:07] 当你把这个线从封装的走线 [12:10] 变成了计算芯片内部光刻的这个线 [12:14] 这两种线的本质 [12:15] 在线的密度 线的成本 [12:17] 包括能耗上面 [12:18] 都是有本质的差别的 [12:20] 如果有些介质 [12:21] 让我能够把模型权重 [12:22] 放到我的计算单元 [12:24] 或者我的计算芯片上面 [12:25] 那其实就是一个质的提升 [12:27] 这个是解决最本质的 [12:29] 带宽的问题的方法 [12:30] 而SRAM（静态随机存取存储器） [12:31] 只是刚好一个 在目前这个阶段 [12:34] 最成熟的 最可靠的 [12:35] 可以让你有机会把存储 [12:37] 放到计算芯片里面的一个方式 [12:40] 现在Groq是这种方式吗 [12:42] 我知道你们要做这样的方式 [12:43] 是 然后Groq也是这种方式 [12:44] 对 Groq是这种方式 [12:45] 就是我刚刚说的一个点 [12:46] 然后另外一个点 [12:47] 其实我觉得是异构的这个点 [12:49] 我之所以觉得Groq比起Cerebras [12:52] 做得稍微好一点的点 [12:53] 其实就在于它和GPU [12:55] 可以更好地结合起来 [12:56] 因为我们刚刚聊到的 [12:57] 推理的这些过程 大家发现 [12:59] 推理不是钢板一块 [13:01] 它里面其实有这个算力密集的部分 [13:03] 就当你同时处理 [13:04] 第一句的prompt（提示词）的 [13:05] 部分的时候 [13:06] 你是有机会做得很算力密集的 [13:08] 那部分更多的GPU做得也很好 [13:11] 如果你未来的一个系统 [13:12] 是一个更好地把异构 [13:14] 这个点可以做得比较极致的话 [13:16] 那其实在芯片以外的系统层次 [13:19] 我觉得会有更大的一些优势 [13:21] 我们其实刚刚一段时间的讨论 [13:23] 都是围绕着云端的推理芯片 [13:25] 推理芯片是一个很巨大的市场 [13:27] 其实还有端侧的推理芯片 [13:30] 云端的 边侧的 [13:31] 大家各有侧重 [13:32] 我们这里也会更深入地研究 [13:34] 云端这个推理芯片它是什么样子的 [13:36] 大家都要去获得相对低廉的 [13:39] 这个带宽 [13:40] 但比如说在端侧上 [13:41] 它有其他的一些限制 [13:43] 比如它物理上的空间上的限制 [13:45] 它就是一个小设备 [13:46] 它没有办法把足够的 [13:48] 你这个内存的带宽放进去 [13:49] 对 然后还有一些功耗上的限制 [13:51] 这样就导致了 [13:52] 在端侧上面我们可能会看到 [13:54] 还有其他的一些思路 [13:56] 比如说 [13:56] 3D DRAM （三维动态随机存取存储器） [13:57] 其实有很多思路都在 [13:58] 提供更高 更便宜的带宽 [14:00] 包括我们现在听到的所有 [14:02] HB开头的这个词 [14:04] HBM HBF（高带宽闪存） [14:06] 它都是想要把原先的一个介质 [14:08] 做到更高的带宽 [14:10] 当然在这个做的过程中 [14:11] 也希望它能更便宜 [14:13] 我先花一点时间解释一下 [14:15] 我们这一集要频繁提到的三个词 [14:17] SRAM DRAM还有HBM [14:20] 最简单的理解方式就是 [14:22] 它们都是存储数据的地方 [14:24] 但是区别就是说 [14:25] 离干活的地方有多远 [14:27] DRAM是你电脑里面的内存条 [14:30] 它能装很多 但是离得远 [14:32] 来回取数据要花时间 [14:34] HBM 它是把DRAM [14:36] 搬到了计算芯片的旁边 [14:38] 而且还开了很多条通道 [14:40] 所以它的容量大 速度也快 [14:42] 现在英伟达它的高端GPU [14:44] 用的就是它 [14:45] 那它的代价是什么呢 [14:46] 就是贵 而且全球的产能非常紧张 [14:50] SRAM不一样 [14:51] 它可以直接做在计算芯片里面 [14:54] 所以它其实是最快的方案 快很多 [14:57] 但是它有一个致命的缺点 [14:59] 就是太占地方 [15:00] 存同样多的数据 [15:01] SRAM需要的芯片面积 [15:03] 是DRAM的几十倍 上百倍 [15:05] 所以我们总结一下就是说 [15:07] DRAM 它的方向是便宜 但是慢 [15:10] HBM 快 但是贵 而且抢不到货 [15:13] SRAM最快 但是它装不下 [15:16] 那好 子扬 你继续 [15:17] 对 但是我们刚刚讨论的 [15:19] 在云端的这个场景 [15:21] 我们可能对整个系统铺多大 [15:23] 没有那么大的限制 [15:24] 只要它能给我们提供足够多的吞吐 [15:27] 我们会去很本质地考虑 [15:28] 在这么一个限制条件下 [15:30] 什么样的物理介质 [15:31] 能为我们提供最密的连线 [15:34] 和最高的带宽 [15:35] 所以我们是找到的SRAM [15:37] 另外一个补充点就是 [15:38] Groq和Cerebras这两家公司 [15:41] 本质上 它的速度和它可能的性价比 [15:44] 他们没有在着重说这一点 [15:46] 其实都是来自于SRAM [15:48] 不仅仅是他们 [15:49] 现在其他的一些美国的 [15:51] AI推理芯片的创业公司 [15:53] 包括d-Matrix MatX [15:55] 他们也是往着SRAM方向走 [15:57] 并且大厂TPU Trainium [15:59] 如果我们去看现在所有发布的芯片 [16:01] 每一代它的SRAM [16:02] 都是变得越来越大的 [16:04] 每一个具体的云端的 [16:06] 推理的解决方案里 [16:07] 大家用SRAM的方式是不同的 [16:10] 比如说谷歌它可能会把SRAM [16:12] 用更多来存KV cache [16:13] 至少它的blog里是这么说的 [16:16] 其他的公司都有其他的设想 [16:18] 但本质上用好这个大带宽的介质 [16:20] 来把整个系统的访存更加速 更廉价 [16:24] 整个SRAM和现有的 [16:26] 其他的提供存储的介质来比 [16:29] 从带宽这个角度 [16:30] 它无论是绝对的数量 [16:31] 还是它每块钱能买到的性价比 [16:34] 都是非常高的 [16:35] 所以其实我们能看到 [16:37] 大家都在往这个方向去收敛 [16:40] 因为我们刚刚提到 [16:41] 有tradeoff（权衡取舍） [16:43] 大家可不可以先跟大家 [16:44] 一句话总结一下Cerebras [16:47] 它相当于是在一个巨大的晶圆上 [16:49] 做一整块的芯片设计 [16:51] 它的优点是什么 缺点是什么 [16:53] 它跟Groq相比 [16:54] 它的优劣势是什么 [16:55] 然后大家各自的trade off是什么 [16:58] 我觉得可以以一个更统一的视角 [17:00] 去看大家做的这些事情 [17:01] 比如以Cerebras和Groq为例 [17:03] 我觉得大家是在 [17:04] Transformer还未出来之前 [17:05] 就看到了 [17:06] 未来可能有一部分AI的系统 [17:08] 是对于带宽有非常大的需求的 [17:11] 大家都经历了 [17:11] 我们刚刚经历的这个思想过程 [17:13] 怎么把带宽做得更便宜 做得更高 [17:16] 最后都发现 [17:17] 其实SRAM是一个比较好的介质 [17:19] 但是做这件事情是会有trade off [17:21] 就是你要跳出 [17:22] 这个localminimum（局部最优） [17:23] 你是要损失一点东西的 [17:25] SRAM损失的东西 [17:26] 其实就是单芯片的容量 [17:27] DRAM是一个晶体管和一个电容 [17:30] 去做一个比特存储 [17:31] 然后SRAM本质需要六个晶体管 [17:33] 这是代表它面积 [17:34] 就存储一个比特的代价会变高 [17:36] 一个芯片上能做的容量会变得很低 [17:38] 就可能比HBM要低两个数量级 [17:41] 大家都发现了这一点 [17:43] 怎么把容量提升呢 [17:44] 最简单 最直接的就是 [17:45] 你要把整个系统做得大 [17:47] 你要做几百个 几千个芯片 [17:49] 单纯就为了把你所有的模型权重 [17:51] 都能放到六个晶体管的SRAM里面 [17:53] 大家就会发现 放是都能放下 [17:55] 就只要我系统做得够大就能放下 [17:57] 但这问题在于 你光放下了 [17:58] 它如果就在里面存着 [18:00] 其实不能产生Token [18:01] 你得用另一种方式把它读出来 [18:03] 并且做有效的计算 [18:05] 这时候大家会发现 [18:06] 当你系统做得足够大了之后 [18:08] 很多计算或整个系统效率的瓶颈 [18:11] 就卡在了怎么做通信这件事情上面 [18:14] 所以本身大家思想的思维实验 [18:16] 其实都做到了这一步 [18:17] 这时候Cerebras和Groq [18:19] 开始产生分歧了 [18:20] 大家用了两条不同技术路线 [18:21] 来尝试解决大集群通信调度的问题 [18:24] Groq的思路是 [18:26] 因为是个实际的调度 [18:27] 它如果在运行时去做 [18:29] 开销往往会很大 [18:31] 它希望把这个实际的调度 [18:32] 放在运行之前 [18:34] 也就是在编译器这个时间点 [18:36] 就把未来芯片整个系统里面 [18:38] 可能做的所有的计算 通信 [18:40] 都想明白了 [18:41] 我们哪个使用周期 [18:42] 要做什么样的计算 [18:43] 然后我哪个使用周期 [18:45] 要开始做通信 [18:46] 它把这些都排布好了之后 [18:48] 实际运行的时候 [18:48] 就没有调度的这个问题了 [18:50] 这时候某种程度上 [18:52] 缓解了刚刚说的 [18:53] 集群大了 调度成为瓶颈的问题 [18:56] Cerebras我们觉得就更简单粗暴一点 [18:58] 就是你之所以集群通信有代价 [19:00] 是因为你是要一个柜子 [19:02] 几百个芯片做这个事情 [19:03] 大家总是有物理距离的 [19:05] 那如果把你一个柜子的事情 [19:06] 塞到了一个大的wafer（晶圆）上面 [19:08] 那自然这个物理的距离 [19:10] 然后它能出的这个线的带宽 [19:11] 都会变得更好一些 [19:13] 但我们看起来 [19:14] 首先他们在他们做这个技术决策 [19:17] 那个时间点 [19:18] 没有足够的信息来支撑他们未来 [19:21] 需要具体面向 [19:22] 哪样一个workload来优化 [19:24] 因为那时候 [19:24] Transformer其实还没有出来 [19:25] Cerebras最后可能面临的 [19:27] 比较大的技术挑战就是 [19:29] 如何控制这一整个wafer的良率 [19:31] 以及成本 [19:32] 这个可能是它最大的挑战 [19:34] Groq的话 其实是 [19:35] 在他做出我需要依靠编译器 [19:37] 做完全静态的调度和编译 [19:39] 这个选项的时候 [19:40] 没有办法去预先知道 [19:42] 现在语言模型Transformer推理 [19:45] 里面有如此大的动态性 [19:47] 就比如MoE（混合专家模型）的产生 [19:48] 其实原理上和它做出的技术选择 [19:51] 并没有匹配得很好 [19:53] 这个怎么说 [19:54] 可以详细解释一下吗 [19:56] 其实MoE这样一个网络 [19:58] 它是有非常多的专家 [20:00] 然后每一个Token在推理的时候 [20:03] 它是去激活专家里的一小部分 [20:06] 这个一小部分是在运行时决定的 [20:08] 随着我们不同的Token在选择 [20:11] 比如说在128个专家里头去选8个 [20:15] 这件事情 [20:16] 你没有办法在编译的时候去预测 [20:18] 它是不同的Token [20:19] 它是会选不同的专家的 [20:21] 所以我们在去考虑 [20:22] 现在的单颗SRAM能放的容量的时候 [20:25] 它是没有办法 [20:26] 把整个网络都放进去的 [20:27] 就一定会出现 [20:29] 有一些专家在一部分芯片上 [20:31] 那这里就有一个调度问题 [20:32] 我要把这样的一个Token [20:34] 送到哪一颗芯片上去 [20:36] 这本身是有一定的动态性 [20:39] 如果我想要用一个静态的方式 [20:41] 去解决这个动态性 [20:42] 一种思路就是 [20:44] 我非常地保守 [20:45] 我把它都送过去 [20:46] 那有一个就在空转 [20:48] 那另一种解决方式 [20:49] 我就换一种方法来切这个模型 [20:52] 但是具体的我们推演了 [20:54] 如果你把这个模型 [20:55] 不用这个专家去切分的话 [20:57] 现在这个模型的大小 [20:59] 很难用其他的这几个维度 [21:00] 把它切得很干净 很高效 [21:02] 所以刚刚的这个动态性就变成了 [21:04] 它的静态调度的很大的问题 [21:07] 对 我印象中MoE应该是 [21:10] 当时DeepSeek那个发布 [21:12] 它变得非常主流 [21:14] 引起大家强烈的关注的 [21:16] 但是Nvidia [21:17] 在Aqui-hire（技术授权及人才收购） [21:18] Groq它应该是在2025年底 [21:22] 我觉得他们应该也是 [21:23] 能看到这些问题的 [21:25] 他当时为什么会做出收购的决策 [21:29] 大家有没有一些 [21:30] 相关的消息跟推理 [21:32] 因为本身 刚刚说的 [21:33] 从一个保守的方式来去想 [21:35] 它会有一些芯片空转 [21:38] 这件事情只会影响性价比 [21:40] 对 [21:40] 然后现在 [21:41] 但它依然是当下除了GPU以外 [21:44] 比较好的一个选择 [21:45] 就是它还是需要一款推理芯片的 [21:48] 这里就说到了现在市场上 [21:50] 对于Groq和Cerebras的 [21:51] 它的定位其实就是快 [21:53] 性价比呢 [21:53] 性价比其实没有被拿到台前上 [21:56] 去那么多的讨论 [21:57] 就是低延迟 [21:58] 对 现在整个商业逻辑是这样的 [22:01] 如果我做的这个推理比别人快几倍 [22:03] 比如说我是100Token每秒 [22:06] 但是拿Cerebras能做到750每秒 [22:08] 甚至2000Token每秒 [22:10] 那么我可以为此付非常多的溢价 [22:12] 所以Cerebras跟Groq谁更贵 [22:17] 我觉得是Cerebras [22:18] Cerebras更贵 [22:19] 我们待会儿可以聊一下为什么 [22:20] 对 在这个角度上来说 [22:21] 比如说SRAM有一些芯片它空转了 [22:24] 它并不影响我能做到很快这件事情 [22:27] 另外一个角度是本身 [22:29] SRAM和HBM相比性价比 [22:31] 其实是有两到三个数量级的优势的 [22:34] 所以我们在做整个系统里面 [22:36] 其实可以浪费掉 [22:37] 一个数量级 [22:39] 对 [22:39] 为什么浪费掉 你换取了什么 [22:42] 它首先有三个数量级的优势 [22:44] 我牺牲掉一个数量级 [22:45] 我还是可以比它更好 [22:47] 所以牺牲掉的其实就是 [22:49] 它为了解决这个MoE [22:50] 去做技术上的一个tradeoff [22:52] 了解 [22:53] 所以哪怕现在在使用SRAM [22:56] 这种多卡的系统里头 [22:58] 没有充分利用所有SRAM的带宽 [23:01] 从带宽这个角度来说 [23:02] 性价比还是更高的 [23:04] 对 我觉得从商业的角度来讲 [23:06] 当你可以做出一个比别人更快 [23:08] 而且更便宜的东西的时候 [23:09] 你不会告诉别人 [23:11] 你的成本其实是更便宜的 [23:12] 因为别人如果 [23:15] 如果愿意为更快买单的话 [23:17] 对 Jonathan Ross（Groq创始人） [23:19] 他其实也是谷歌TPU的 [23:21] 一个奠基人跟创始人 对不对 [23:23] 他在设计这两套架构的时候 [23:24] 他的主要思想的核心的 [23:26] 关注点的区别是什么 [23:27] 整个Groq的这个思路 [23:29] 其实围绕着编译器发生的 [23:31] 因为Jonathan Ross本身也是 [23:33] 编译器团队的一个leader [23:34] 他出来做这整个东西的思路就是 [23:37] 把一个确定性的编译 [23:38] 然后围绕这个编译去做这个硬件 [23:41] 所以就从静态的编译和静态的调度 [23:43] 这里重新设计了硬件 [23:45] 刚刚说的一个静态的调度是一点 [23:47] 还有另外一点 [23:48] 其实是一个determinism（确定性） [23:50] 它是一个确定性 [23:51] 比如说我们想要从一个 [23:53] 存储介质里面把东西读出来 [23:55] 它是100纳秒之后出来 [23:57] 还是300纳秒出来 [23:58] 它是会有一个抖动的 [24:00] 这个抖动在DRAM之中更明显 [24:02] 当它用了整个SRAM [24:03] 再加上芯片的设计 [24:05] 它其实是 [24:06] 去把这个确定性做到极致 [24:07] 也把静态的时钟的同步做到极致 [24:10] 这一切都是围绕着 [24:11] 最后我能在编译器看到整个系统 [24:14] 并且为它做这么样一个排列 [24:17] 但是就他创业的 [24:18] 这个时间点的一些特性 [24:20] 2016年Groq成立 [24:21] 他们最开始想要做的 [24:23] 很多是和图像 和语音 [24:25] 但他们一直想做的是推理 [24:27] 在那个时代 [24:28] 它的整个模型和今天Transformer [24:30] 和包括MoE出来以后 [24:32] 模型是不一样的 [24:33] 所以包括一些动态性 [24:34] 在那个时间点和今天 [24:36] 它的需求是不一样的 [24:38] 在那个时间点 [24:39] 如果我会去决策的话 [24:40] 我也会觉得 [24:41] 围绕着编译器去设计硬件 [24:43] 是一个非常有意思的思路 [24:44] 到今天也是一个很有意思的思路 [24:46] 但是可能今天会有一些问题 [24:48] 就需要用一些方法去解决 [24:51] 我们刚刚讲到了 [24:52] 其实Groq跟Cerebras [24:54] 都是有一些时代的局限性在里面的 [24:57] 比如说他们创业的那个时间点 [24:59] 那个时候生成式AI跟大模型 [25:01] 还没有出来 [25:02] 但是其实深度学习 [25:04] 整个业界应该是一个 [25:05] 比较主流的方向了 [25:07] 但是是不是以Transformer为主的 [25:10] 我们不知道 [25:11] 包括我们刚刚提到了像Groq [25:13] 它在事前预测的时候 [25:14] 跟MoE也会有一点点小小的 [25:17] 不match（不匹配） [25:18] 那Cerebras为什么 [25:20] 它的成本比Groq还要高 [25:22] 包括它当时创业 [25:24] 以及现在在2026年的这个时间点 [25:27] 将近9到10年之后 [25:29] 它又站到了一个大家关注的焦点上 [25:32] 你觉得在这个中间 [25:33] 它调整了什么 做对了什么事情 [25:35] 我觉得我先回答第一个问题 [25:37] 就是关于我为什么刚刚第一反应是 [25:39] 它的成本会比Groq高 [25:41] 一个是首先 [25:42] 它从本身的技术路线上来讲 [25:44] 因为它更多的是 [25:45] 需要以一个wafer的scale（晶圆规模） [25:47] 一个整个晶圆的规模 [25:49] 去生产它的产品 [25:50] 这时候其实会遇到 [25:52] 在芯片生产过程中 [25:53] 非常关键的一个参数 就是良率 [25:57] 如果我们按照传统的 [25:58] 比如像我们现在设计芯片 [25:59] 可能单芯片尺寸的极限 [26:02] 就是差不多800平方毫米 [26:04] 如果在这样的下面的话 [26:05] 你一个晶圆上面 [26:07] 可以切出四五十个类似的芯片 [26:09] 可能三四十个的 [26:10] 所以你的良率会影响 [26:11] 这三四十个里面 [26:13] 有多少是好的 有多少是坏的 [26:15] 比如说你的良率是50% [26:16] 你可能就能切出来20个是好的 [26:18] 但是如果当你单一芯片 [26:20] 或者单一产品的尺寸 [26:22] 就是整个wafer的时候 [26:24] 那只要这个wafer上面 [26:25] 可能有超过30%的瑕疵 [26:27] 因为Cerebras很大的 [26:29] 工程上面的技术壁垒 [26:31] 在怎么接受这个良率 [26:32] 比如它能接受到30%的这个良率 [26:35] 但是其实你是没有这么多个晶圆 [26:37] 可以让你切出 [26:38] 30%的这个良率的水平的 [26:40] 你是想说30%的良率 [26:41] 还是70%的良率 [26:43] 其实这样 [26:43] 我觉得是有两个良率的概念 [26:45] 比如说正常的一个芯片 [26:47] 如果我们没有做任何 [26:48] Partial Good（部分良品）设计的话 [26:50] 比如它好就是好 坏了就是坏了 [26:52] 这是我刚刚说的 比如50%良率 [26:54] 我们可以生产出来20个好的芯片 [26:56] 但是Cerebras会做很多事情在于 [26:59] 我接受我这个芯片上面 [27:00] 30%的点都是坏的 [27:02] 仍然让我这个产品能用 [27:04] 但这时候仍然和你 [27:05] 其实大概率里面40% 50%都是坏的 [27:08] 这个良率是不匹配的 [27:10] 而且它的坏是一旦 [27:12] 你整个晶圆达不到 [27:13] 它对于良率的需求 [27:14] 整个晶圆其实就作废了 [27:16] 这个背后就意味着 [27:18] 当你要刻出或制造出一个成功的 [27:21] 或者好的晶圆级的产品的时候 [27:23] 成本极高 [27:23] 成本是非常非常高的 [27:26] 这个成本能达到多少 [27:27] 就是一次流片 [27:29] 这个不是流片的成本 [27:30] 这个是整个芯片成本 两部分 [27:34] 流片的成本 [27:35] 在如果你出货量足够大的情况下 [27:36] 它是可以被摊薄的 [27:38] 比如你去做个玩具 [27:40] 做玩具 你一个玩具一块钱 两块钱 [27:41] 但是你可能找那个玩具厂开模 [27:43] 对 它的更上一层 [27:44] 对 那个掩模的成本 [27:46] 或者首次流片的成本 [27:48] 其实是开模的那个成本 [27:50] 那个不会直接影响到 [27:52] 你实际模开了之后 [27:54] 你玩具是每造一个需要多少成本 [27:56] 这是两个概念 [27:57] 但是Cerebras的问题在于 [27:59] 就是你这个模开完之后 [28:00] 仍然 你每造10个 [28:02] 可能里边9个都不能用 [28:04] 这时候其实影响的 [28:05] 是你实际生产时候的成本 [28:07] 对 我觉得除了刚刚说到的 [28:09] 良率和怎么用的问题 [28:11] 它还有一个整个系统 [28:12] 要为这么一个 [28:13] 和其他芯片都完全不一样的设计 [28:16] 做系统的改变 [28:18] 比如说刚刚说的软件上 [28:19] 这整个晶圆上 [28:20] 可能是有几十万个小的core（核心） [28:23] 坏了哪些部分我是能绕过去的 [28:25] 如果坏在一些比较关键的部分 [28:27] 这怎么做 [28:28] 这些事情之前 [28:29] 都没有针对这样一个系统研究过 [28:32] 所以它首先要解决这边的软件问题 [28:34] 还有你这个系统要怎么去 [28:36] 插到这么一个机柜里面 [28:38] 这里也有一些额外的事情 [28:39] 它都要自己解决 [28:41] 因为它可能是现在唯一一个 [28:43] 比较有名的这种晶圆级的生产商 [28:46] 我觉得这个问题非常非常复杂 [28:47] 我们要捋一下这个逻辑 [28:49] 首先 当我们说实际的成本的时候 [28:52] 大家最关心的其实是Token的成本 [28:55] Token的成本 [28:56] 其实是我们刚刚强调了很多 [28:58] 带宽的成本 [28:59] 因为你每推一次Token [29:00] 意味着你要把整个模型 [29:01] 从这个存储介质 [29:03] 比如SRAM里面读上来 [29:04] 但是最终大家关心这个Token的成本 [29:07] 其实回到这个数据中心本质的成本 [29:09] 其实是有两个部分的 [29:10] 一个是你去采购这个系统的成本 [29:13] 另外一个是你实际运行中电费 [29:15] 比如能源的消耗 [29:16] 这部分的成本 [29:17] 大家计算的方式是 [29:18] 比如说我有一个新的芯片 [29:20] 我要建一个新的数据中心 [29:21] 我计划这个数据中心 [29:22] 比如服务3年或服务5年的时间内 [29:25] 我能推理出多少Token [29:26] 可能是一个非常非常大的量级 [29:28] 除以整个的 [29:29] 我需要消耗在上面的 [29:30] 硬件的成本以及能源的成本 [29:32] Cerebras刚刚提到的所有 [29:34] 由于良率导致的成本高 [29:36] 都是它硬件的那部分成本高 [29:38] 这部分其实某种程度上摊薄了 [29:40] 它能够在实际带宽上获得的收益 [29:43] 就比如说我们看到 [29:45] 如果是简单的芯片 [29:46] 没有那些良率的问题 [29:48] 可能我单芯片的成本 [29:49] 可以做到英伟达的1/10 [29:51] 然后带宽可能做到它的10倍 [29:53] 就比如Groq这种形态 [29:55] 但由于它制造那部分的成本太高了 [29:58] 它很有可能是 [29:58] 比如10倍英伟达的带宽 [30:00] 但是3倍HBM的成本 [30:02] 就这中间带宽实际的性价比 [30:04] 就要打一个折扣 [30:06] 这个其实类似 [30:07] 比如Groq我们认为要在 [30:08] 为它的确定性打一个折扣 [30:10] 那Cerebras要为它的 [30:12] 复杂的良率成本 打一个折扣 [30:14] 其实最终这个折扣是要打到 [30:15] Token的成本上面的 [30:17] 对 我记得在80年代的时候 [30:20] 也有人想做这种晶圆级的芯片 [30:23] 但是失败了 [30:24] 为什么现在做芯片是一个好时候 [30:27] 之前去做各种奇奇怪怪的芯片实验 [30:30] 包括Intel也出了 [30:31] Itanium（安腾）芯片 [30:32] 有一个灾难的 被丢掉的 [30:34] 这么一个芯片的架构 [30:36] 去做我们说这种异构的 [30:37] 或者是一个全新的芯片 [30:39] 或者为了这芯片 [30:40] 它可能对软件栈有一个新的依赖 [30:42] 它有两件事情 [30:44] 一个是经济性上 [30:45] 我做一个芯片 [30:46] 要对它投入的研发成本 [30:48] 和新的生产设计的成本 [30:50] 我需要能摊薄 [30:52] 所以在之前的那些时代 [30:53] 我们没有看到一个单一的大应用 [30:56] 能够像今天的AI一样 [30:57] 这么容易把摊薄这件事情说清楚 [31:00] 现在AI的各种系统开销里面 [31:02] 我们去流一次片的几百万美金 [31:05] 上亿的研发成本 [31:06] 好像都不算一个大的数了 [31:08] 所以在今天去做一个新的芯片本身 [31:11] 经济上的难度降低了 [31:13] 第二个是今天这个时代 [31:15] 做软件栈的难度其实大大降低了 [31:18] 为什么 [31:18] 因为 尤其是推理芯片这里 [31:20] 一方面是我们有一个单一的大应用 [31:23] 以前在Intel里头 [31:24] 它可能会有几百个 [31:26] 重要公司的几千款应用 [31:29] 每一个CPU要设计出来 [31:31] 它要在这几千款应用里面 [31:33] 都跑一个测试 [31:34] 我们叫bench marking（基准测试） [31:35] 最后它要和它之前的一代芯片相比 [31:38] 不能 任何一个公司 [31:39] 任何一个应用掉队太多 [31:40] 这样就会影响 [31:42] 所以你之前的这个做芯片 [31:43] 做了整个软件优化 你要考虑 [31:45] 我要把这几千个应用都要做好 [31:48] 今天的话 [31:49] 其实是只有一个单一的大的应用 [31:51] 甚至这个单一大应用里面 [31:52] 只有一个比较大的一种模型分类 [31:54] 就是这种Transformer分类 [31:56] 它本身也是一个大力出奇迹的 [31:59] 所以它本身的结构是相对简单的 [32:01] 我们看到 [32:02] 现在这个模型就几十层 [32:03] 几乎结构一模一样的层 [32:06] 所以你去分解来看 [32:07] 它的本身应用简单了很多 [32:09] 第二 随着AI的Coding能力 [32:11] 编程的能力在不断地提高 [32:13] 软件这种 [32:14] 尤其针对推理的Kernel [32:16] 算子的优化 [32:17] 其实可以被AI大大加速的 [32:20] 所以我们在看到这种 [32:22] 新的模型出来了以后 [32:24] 有一些新的需求 [32:25] 在和之前的模型差别 [32:27] 不是很大的时候 [32:27] AI自己就可以解决这个问题 [32:29] 所以软件栈上的入门的门槛 [32:31] 被降低了 [32:32] 英伟达为什么要花200亿 [32:34] 去Aqui-hire Groq [32:36] 英伟达最看重的点是什么 [32:38] 我觉得这也很直接了当 [32:40] 就确实我跟Bill会聊很多 [32:42] 技术上面的需求 [32:43] 是GPU这个架构 [32:44] 没有办法很好地解决的 [32:45] 其实就是大家看到了 [32:46] 推理上面带来的新的大带宽的需求 [32:49] 我觉得从NVIDIA的角度 [32:50] 它也有一些大公司 [32:52] 尤其是技术架构上面 [32:53] 比如CUDA的护城河 [32:54] 对于它来说既是一个很强的护城河 [32:56] 同时也是在某种程度上 [32:58] 创新的一个包袱 [33:00] 但是它确实 我觉得 [33:01] Jensen（黄仁勋）很清楚地意识到了 [33:03] 未来推理里面 [33:05] 算力不一定是唯一的 [33:07] 它需要补充带宽的这部分技术能力 [33:10] 综合各种原因考虑 [33:11] Aqui-hire一个有这种能力的公司 [33:14] 我觉得是一个非常好的决定 [33:16] 对 我刚刚其实也是在想 [33:18] 因为英伟达他肯定是能 [33:19] 看到趋势是什么的 [33:21] 他也知道他哪一部分是短板的 [33:24] 他其实也是可以从内部做的 [33:26] 但很难吗 [33:27] 对 因为我会知道 [33:29] 因为Bill在NVIDIA Research （英伟达研究院） [33:31] 他们其实会做非常多的 [33:32] 架构层面的创新 [33:33] 而且从很早就开始做 [33:35] 当然这个CGRA（粗粒度可重构架构） [33:36] 什么东西 [33:36] 论文其实都发了很多 [33:38] 但是这个东西 [33:39] 在一个成熟的公司里面 [33:41] 把一个research idea（研究想法） [33:43] 颠覆式地推给产品的团队 [33:45] 还是难度非常大的 [33:46] 即使是英伟达这样的公司 [33:48] 不如我干脆Aqui-hire一个 [33:51] 和之前团队没有什么关系 [33:52] 新的技术团队 [33:54] 对 所以你觉得现在 [33:55] 比如说我们在做一个推理芯片 [33:58] 或者在做芯片 [33:58] 因为我们之前说英伟达 [34:00] 它有很大的一个护城河 [34:01] 是它的CUDA的体系 [34:03] 你觉得有多大程度上 [34:05] 可以绕过CUDA [34:06] 或者说建立一套 [34:08] 全行业通用的软件体系 [34:11] 对 所以从推理芯片这个角度 [34:14] 我觉得绕过CUDA是百分百会发生的 [34:17] 事实上比如我们去看 [34:18] 这几家大厂的推理芯片 [34:19] 比如说TPU [34:20] 比如说亚马逊的Trainium [34:22] 都没有一丁点的说要兼容CUDA [34:25] 但依然大家会觉得 [34:27] TPU它的软件系统是难用的 [34:30] 为什么Anthropic [34:31] 它能大量地去采购TPU [34:33] 我听到一个说法 [34:34] 就是因为它有很多的工程师 [34:35] 是谷歌过去的 [34:36] 大家知道那个JAX在这个上面怎么用 [34:40] 但是呢 如果你让一个 [34:41] 从来没有做过软件编译器的工程师 [34:44] 去做这些事情的话 [34:45] 大家会觉得还是难的 [34:46] 就是TPU在这个软件层 [34:48] 它还是一个黑盒 [34:50] 除非非常懂的人 [34:51] 除非谷歌自己的人 [34:52] 对 关于“本身难”的这件事情 [34:54] 其实我刚刚那个问题是很好回答的 [34:57] 它只要不是非常多个难的问题 [35:00] 是一个难的问题 [35:01] 那我解完这个问题 这事就解决了 [35:03] 我只要把Transformer里的 [35:04] 所有的算子 [35:05] 都在这个新的芯片上写出来 [35:07] 那我Transformer就能跑了 [35:09] 我这个商业上的逻辑其实就通了 [35:11] 第二个就是有了AI的加持 [35:13] 现在我们看到 [35:14] 针对算子 和整个运行时的开发 [35:16] 其实大大加速了 [35:18] 我先说一个结论 [35:19] 大家认为推理芯片绕过CUDA [35:21] 是一定的事情 [35:22] 对 然后我想说一下原理 [35:24] 比如用TPU的软件 [35:26] 用AWS的软件 [35:27] 包括比如用华为的软件 [35:28] 其实很难用 [35:29] 这一点我不否认 [35:31] 核心的点在于 [35:32] 训练时代和推理时代 [35:34] 大家多么愿意为软件的好用买单 [35:37] 相比于对为绝对Token成本降低买单 [35:41] 我觉得这一点 [35:42] 在训练时代和推理时代 [35:44] 发生了比较本质的变化 [35:45] 有一些软件它是很难用的 [35:47] 但是如果难用 [35:48] 能够带来它有更好的性能 [35:50] 有更好的性价比 [35:51] 这个在推理时代 [35:52] 可能大家的天平会更多地 [35:54] 往更好的性能 性价比上面倾斜 [35:56] 以至于我们看到了很多已有的做法 [35:58] 比如说DeepSeek [35:59] 虽然它用GPU的芯片 [36:01] 但其实它更愿意本质地去写 [36:03] 很底层的PTX的 [36:05] 汇编的那些代码 [36:06] 去做很底层的优化 [36:07] 我觉得这是为什么我们觉得 [36:09] 推理时代CUDA是一定会被绕过的 [36:12] 我们刚刚一直在说成本这件事情 [36:14] 那现在来看Groq Cerebras [36:17] 还有你们未来做的芯片 [36:19] 你觉得它的性能跟性价比 [36:21] 相比于现在用市场上主流的芯片 [36:23] 我们说GPU [36:25] 大概是一个什么样的量级 [36:26] 已经做到的情况下 [36:28] 我们刨除掉所有的技术因素跟 [36:30] 比如我们刚刚说的一些正面跟反面 [36:32] 就是现在综合的一个性价比 [36:33] 从我们很多原理分析的角度 [36:36] 认为未来一个更理想的 [36:38] 整个的推理系统 [36:39] 我觉得是有机会在速度上 [36:41] 做到比现在GPU [36:42] 或者以通用AI芯片GPU [36:44] HBM这种架构 [36:46] 在推理速度上 [36:47] 至少两到三个数量级的提升 [36:49] 就从可能几十个Token per second [36:51] 到1000个甚至1万个 [36:52] Tokens per second [36:54] 这样一个对于单用户 [36:55] 推理速度的提升 [36:56] 以及10倍左右性价比的提升 [36:59] 那你要不要讲一下 [37:00] 你们的SRAM的解决方案是什么 [37:02] 你们做推理芯片的方案是什么 [37:04] 对 我们其实刚刚说到了 [37:05] SRAM本质的性价比 [37:07] 还有一个它的trade off的点 [37:09] 就是它的容量 [37:10] 所以我们本质上 [37:11] 就是在SRAM和HBM [37:13] 本质有两到三个数量级的 [37:15] 芯片层的性价比的提升的情况下 [37:17] 我想最后把它变成整个系统 [37:20] 在有比如说上千颗芯片的时候 [37:23] 它还能有10倍 [37:24] 就是一个数量级的性价比的提升 [37:27] 和一到两个数量级的速度的提升 [37:29] 本质地说 我们一个芯片上 [37:31] 能放的SRAM的数量 [37:33] 这个是很公开的 [37:34] 就你单颗芯片上 [37:36] 就是几百MB的 [37:37] SRAM的数量 [37:38] 现在的模型 大概在1个T [37:41] 如果是FP8的 [37:42] 量化的话 [37:43] 那也刚好是1TB的 [37:45] 这样一个量级 [37:46] 所以把这两个数除一除 [37:48] 大概需要上千颗芯片 [37:50] 才能在容量上放下整个模型 [37:53] 才能去做相对应的推理 [37:55] 所以我们在做的事情就是 [37:57] 如何把这上千个芯片 [37:58] 用某一种拓扑把它连接起来 [38:01] 使得中间的 [38:03] 每颗芯片和芯片之间的连接 [38:05] 不成为我推理时候的瓶颈 [38:07] 然后让每一个芯片SRAM [38:10] 它本身的带宽充分地利用起来 [38:12] 肯定会有一定的损失 [38:14] 但是在这个损失最后折算下来 [38:16] 整个系统的成本和它的带宽 [38:18] 要能提高10倍的性价比 [38:20] 所以我们从技术上来看 [38:22] 单颗芯片 [38:23] 比如说500MB这样的一个大小 [38:25] 去放模型的参数 [38:27] 我的整个Token的隐藏的 [38:29] 叫 hidden state [38:30] 一点一点地穿过 [38:31] 我们的这个芯片网络 [38:33] 从一边走到另一边 [38:34] 就是出最后的这个结果 [38:36] 还有一个点是 我们这个芯片 [38:38] 刚刚说到一个很重要的概念是异构 [38:40] 所以我们的芯片和我们的系统 [38:42] 不会去做整个模型的所有事情 [38:45] 因为我们很相信 [38:47] 应该用最合适的硬件 [38:48] 去做对应部分的应用 [38:50] 所以整个模型会被区分成 [38:52] 注意力的一边 [38:53] 和非注意力的FFN的一边 [38:56] 我们会比较类似Groq [38:58] 也不完全一致地去做后半段 [39:01] 非注意力的一边 [39:02] 对 这个我觉得是解释一下 [39:04] 为什么本来是三个数量级的 [39:05] 成本性价比的提升 [39:06] 最后变成了10倍 [39:07] 其实是因为 [39:08] Amdahl's Law（阿姆达尔定律） [39:09] 是一个异构的系统 [39:10] 我们解决了90%的问题 [39:11] 但是我们留了那10%的问题 [39:12] 给GPU来解决 [39:13] 所以最多我们的系统就能提升10倍 [39:15] 虽然我们可能以1000倍的提升效率 [39:17] 解决了那个90%的问题 [39:20] 我觉得现在其实整个中国 [39:21] 不管在训练推理上 [39:22] 芯片其实都是供不应求的 [39:24] 我们都不说产业链了 [39:25] 就从芯片层面上也是供不应求的 [39:27] 从你们现在开始做 [39:29] 到整个的芯片出来 [39:30] 你觉得大概它需要一个多长的时间 [39:33] 这是一个非常好的问题 [39:34] 其实我们也在不断地 [39:36] 更新我们对这部分的认知 [39:38] 因为传统上做一个芯片 [39:39] 就是从你开始设计 [39:41] 从用户端开始反推 [39:43] 直到流片测试 [39:44] 大概是一年半到两年这样一个时间 [39:46] 但是我们也看到 [39:47] OpenAI发布自己的芯片时候 [39:49] 号称是9个月完成流片 [39:51] 当然有其他的一部分原因 [39:53] 但我们的确是认为 [39:54] 在足够聚焦且AI可以赋能的情况下 [39:59] 我们是觉得流片的节奏 [40:00] 可以更快地迭代 [40:01] 对 这个迭代的节奏可以加快很多 [40:04] 真正制约我们的 [40:05] 当然还有一些物理上的设计 [40:07] 和流片那一部分 [40:08] 但剩下的部分 [40:09] 我觉得会慢慢地更像一个软件公司 [40:13] 有意思 [40:14] Mark你刚刚一直在说 [40:16] 你是在用一套全新的架构 [40:18] 去解决这个供应链上的问题 [40:20] 它是一个更底层的创新吗 [40:22] 从推理的角度 [40:23] 还是它是一个微创新 [40:25] 就像你刚刚开始我们提到的 [40:26] 我觉得全新的架构肯定 [40:28] 供应链的问题是一部分 [40:29] 可以顺便解决 [40:30] 但是肯定要解决最本质的问题是 [40:32] 我刚说的Token的速度 [40:33] Token的成本问题 [40:34] 对 相比于现有的推理芯片 [40:36] 你觉得它是一个颠覆式的创新 [40:37] 还是一个微创新 [40:38] 是一个在架构层次颠覆性的创新 [40:41] 因为其实分了很多不同的层 [40:42] 因为芯片造出来 [40:44] 其实有很多物理上的事情要解决 [40:45] 比如光刻的事情怎么解决 [40:47] 再比如说现在国内很多公司 [40:49] 包括英伟达都很希望解决的 [40:51] 3D堆叠的问题 [40:52] 又是另外一个层次的问题 [40:54] 但其实我们是希望 [40:55] 在我们做一家AI芯片设计公司 [40:58] 在芯片设计以及系统设计这个角度 [41:01] 做真的颠覆式的东西 [41:03] 来提供更好的产品竞争力 [41:06] 对 你们觉得怎么样去判断 [41:08] 一个推理芯片它是不是好的 [41:11] 大家的评价框架是什么 [41:13] 比如说每个Token产出的成本 [41:15] 推理的速度 [41:16] 然后每个Token的耗电量 [41:18] 芯片的算力到底被利用到了 [41:20] 多少利用率 [41:21] 以及软件跟编译器 [41:23] 你们觉得哪些方向是重要的 [41:25] 我觉得在推理的时代 [41:25] 前三个是重要的 [41:27] 前三个 [41:27] 然后 [41:28] 成本 速度 耗电量 [41:29] 对 然后第四个会影响第一个 [41:31] 就是你的利用率会影响到你的成本 [41:33] 但是最终大家关心的肯定是成本 [41:35] 是因为我们看未来 [41:36] 整个系统是异构的 [41:37] 所以对于一个芯片来说 [41:38] 它可能并不能单纯地 [41:40] 从它的算力 带宽 容量 [41:42] 让大家对整个系统 [41:43] 产生一个综合的认知 [41:45] 未来衡量芯片的好坏 [41:46] 一定要在系统这个层次去衡量 [41:48] 还是要再强调一下 [41:49] 我们在说的是云端的AI推理芯片 [41:52] 如果我们说的是一个盒子 [41:54] 或者放在手机上的这个芯片 [41:55] 那可能每个Token的成本 [41:57] 并不是最重要的事情 [41:59] 它最重要的可能是 [42:00] 我最多花100美元 [42:02] 为这个芯片付这么样一个成本 [42:05] 那这100个美元 [42:06] 能达到某一个速度的推理 [42:08] 那这个东西就能卖得出去 [42:10] 所以对于这种端侧的AI芯片 [42:12] 它考虑的是完全另外一个事情 [42:15] 但是从我们云端的考虑 [42:16] 最终的成本会被分解到 [42:18] 每个Token的成本 [42:19] 所以我们会第一优先级地去考虑 [42:22] 这个Token生产的成本是什么 [42:23] 第二优先级地去考虑速度 [42:25] 但是速度我们认为是 [42:27] 未来非常重要的一个指标 [42:29] 是很核心的一个 [42:30] AI Infra（基础设施）的指标 [42:32] 后面的用电量在云端的角度来看 [42:35] 在今天的总的持有成本里 [42:37] 现在用电量在整个比例里头 [42:40] 是较小的那一端 [42:41] 国内和美国其实这一点上 [42:43] 有比较大的区别 [42:44] 对 主要是美国缺电缺能源 [42:46] 对 这个可能是倒过来的 [42:47] 国内我们了解到 [42:48] 大概是1/3在电 [42:50] 美国大概2/3在电 [42:51] 这个其实会导致大家有多关心 [42:54] 比如老黄天天讲 [42:55] Tokens per watt（每瓦特Token数） [42:56] 还是大家关心 [42:57] Tokens per dollar（每美元Token数） [42:58] 你刚刚提到能源1/3的成本 [43:00] 是说什么1/3的成本 [43:02] 就是 比如电费 [43:04] 比如算下来 子扬刚刚提到TCO [43:06] 里面分两部分 [43:07] 一个是CAPEX（资本性支出） [43:08] 一个是OPEX（运营性支出） [43:09] CAPEX就是你买芯片 买机房的 [43:11] 这部分一次性投入 [43:12] OPEX是你 比如说 [43:13] 计划这一代数据中心运行5年 [43:16] 这5年里面你的功耗是多少 [43:18] 然后乘以时间长度 [43:19] 再乘以你的电费 [43:20] 这部分是OPEX的成本 [43:22] 包括散热这些对应的能源消耗 [43:25] 如果你们在国内做的话 [43:26] 所以你们这个耗电量 [43:27] 可能关注得就小一点 [43:29] 我觉得不是我们关注得小一点 [43:31] 是因为客户关注得会小一点 [43:34] 我是在想芯片之间 [43:35] 你怎么去做性能成本的平衡 [43:38] 因为我觉得长远来讲 [43:39] 芯片成本是钱的事情 [43:41] 钱不是一个很本质的限制 [43:43] 但是能源是 [43:45] 未来我们看整个AI更大的 [43:47] 一些未来发展的趋势的话 [43:50] 如果你们遇到同行了 [43:51] 或者看一家芯片公司 [43:53] 你们会怎么去判断 [43:53] 一家芯片公司行不行 [43:55] 如果用一个问题去问这个芯片公司 [43:58] 你们会觉得它是什么呢 [43:59] 我觉得你刚刚说的那三个问题 [44:00] 其实都是很好的问题 [44:01] 但我觉得我们比较关心的 [44:03] 其实就是两个问题 [44:04] 就是你的 [44:04] Tokens per second（每秒Token数） [44:05] 可以做到多快多便宜 [44:07] 如果你还站在 [44:07] 从芯片的角度出发的话 [44:10] 可能很多实际在做推理芯片的公司 [44:12] 根本没有这个数字 [44:13] 对 我觉得这个从用户端的角度理解 [44:16] 就是在你这个芯片组成的系统 [44:18] 它的每个Token的价格 [44:20] 和它每秒对于单一用户的推理速度 [44:23] 这两个是我们关心的最核心的问题 [44:26] 推理速度现在会是一个 [44:28] 核心的制约瓶颈吗 [44:29] 因为从我自己 [44:30] 作为一个用户的体验来说 [44:32] 我觉得现在推理速度够用了 [44:34] 这是一个非常非常好的问题 [44:36] 是一个我们思考了非常多的问题 [44:39] 就是做快 [44:40] 这个“快”本身有多大的意义 [44:42] 我们先从今天的商业逻辑来说 [44:45] 自从Agent开始大规模爆发以后 [44:48] 我们现在大量的 [44:49] 语言模型产生的Token [44:51] 其实并没有被人来读 [44:53] 这里有两个点 [44:54] 一个是在Agent之前 [44:56] 有个东西叫chain of thought [44:57] 这个是思维链 [44:59] 它在产生Token的这一部分 [45:01] 其实不是给你看的 [45:02] 是给模型自己去产生 [45:03] 最后结论这个智能的 [45:05] 这一部分的速度要快一些 [45:08] 因为它是最后给自己看的 [45:10] Agent这一部分 [45:11] 它产生也不是给人看的 [45:12] 是去给别的Agent读的 [45:14] 所以人本身 [45:16] 阅读Token的这个速度 [45:17] 的确没有那么快 [45:18] 我们可能做到100Token每秒 [45:20] 人就已经读不完了 [45:21] 所以今天的很多GPU或者别的系统 [45:24] 它去反推的时候 [45:25] 都是往100Token每秒 [45:27] 这个时间上去发展的 [45:28] 甚至会低一些 50Token每秒 [45:30] 但是对于这种Agent系统 [45:33] 我们认为这个速度其实是 [45:34] 一定程度上没有上限的 [45:36] 越快越好 [45:37] 这更核心的可能是一个 [45:39] AI长期的一个制约里头 [45:41] 有一个刚刚说到的能耗 [45:42] 还有就是时间 [45:44] 我们在单位时间里面 [45:45] 能解决掉多少事情 [45:47] 这个本质上就是我们要用系统的 [45:49] 对单用户的速度去解决 [45:52] 我觉得刚刚你提的一个很好的点 [45:53] 就是你觉得已经很快了 [45:55] 你觉得已经够用了 [45:56] 我觉得核心点就是 [45:57] 它一定会让你觉得够用了 [45:59] 但是它会在别的地方 [46:00] 去实现这一点 [46:02] 比如说它知道用户不能接受 [46:04] 我一个问题要想两天 [46:05] 甚至一个小时可能都不能接受 [46:07] 所以这时候实际上本质地限制了 [46:09] 在这一天或者一个小时之内 [46:11] 我能生产多少Token [46:12] 来解决用户的这个问题 [46:14] 所以推理速度更快并不意味着 [46:16] 你要从一分钟的思考 [46:18] 最后你跟它的交互速度 [46:19] 要变成一秒钟 [46:21] 而是在都是一分钟的 [46:22] 交互速度的情况下 [46:23] 你这个模型可以用10倍 [46:25] 更多的Token [46:25] 做更多内部自我的思考 [46:28] 来提升它的智能水平 [46:29] 或者用Agent的方式去做很多 [46:32] 确实的实验 来回答这个问题 [46:35] 有意思 我看到答案的时间 [46:39] 可能是一样的 [46:40] 但是背后是这个模型 [46:42] 它思考了一遍 [46:43] 还是它思考了十倍于 [46:45] 我这个问题的内容 [46:46] 是的 [46:46] 所以推理芯片做得好 [46:48] 可以让模型更智能 [46:49] 在同样的时间里 [46:50] 对 是的 [46:51] 所以你看老黄演讲的PPT [46:53] 他的图的坐标纵轴是 [46:55] 每瓦特Token数 [46:57] 或者什么 [46:57] 每瓦特每秒Token数 [46:58] 是说Token的成本 [47:00] 横轴 其实他讲的就是推理的速度 [47:02] Bill喜欢叫interactivity（交互性） [47:03] 但是老黄的PPT里面 [47:05] 那横轴的标数就是 [47:06] Smarter AI [47:08] 他认为推理更快的速度 [47:09] 意味着整个AI可以变得更聪明 [47:11] 就是基于我刚刚的那个逻辑 [47:13] 我理解了 所以说有的时候 [47:15] 比如说我看到一些应用 [47:17] 它很快能给我答案 [47:18] 可能只是因为AI思考得少而已 [47:20] 是的 [47:21] 这个太有意思了 [47:23] 对 我们甚至会觉得之后 [47:24] 这个会慢慢地向大部分 [47:27] 更大程度的Token [47:28] 其实都在AI自己的这个系统里去转 [47:30] 来为你产生最终的那个智能 [47:33] 比如说如果哪一天 [47:34] 这个AI系统足够聪明 [47:36] 我就说你去解决癌症 [47:38] 然后它在那慢慢去解决 [47:39] 这大部分的Token是在它自己里头转 [47:42] 这个自己里头转的这部分Token [47:43] 至少有一些思维链的速度 [47:46] 当然是越快越好 [47:47] 剩下的可以用并行度去换 [47:49] 但是有一些逻辑思考的部分 [47:51] 是越快越好 [47:53] 如果你问这么一个问题 [47:54] 比如说它用了100年思考 [47:56] 那可能对我们意义不大 [47:57] 那我们会希望 [47:58] 它在有限的时间内解决 [48:00] 刚刚那个例子其实不是特别 [48:02] 直接能体会出时间的紧迫性 [48:04] 但比如说我想让一个AI系统来判断 [48:06] 明天的股票市场怎么样 [48:08] 它如果用两天的时间去想这个问题 [48:11] 那这个回答就没有任何的意义 [48:13] 所以我们为什么觉得 [48:14] 时间是一个非常重要的本质约束 [48:17] 因为世界这个时间 [48:19] 不会为了别的慢下来 [48:20] 很多事情是需要有个 [48:21] 确定的时间点之前 [48:22] 就要得到这个答案 [48:24] 比如说等一个小时就不耐烦了 [48:25] 需要一分钟之内得到 [48:26] 也是这么一个时间的卡点 [48:28] 我们就希望在确定的时间卡点里 [48:31] 获得更多智能 [48:32] 这个就翻译成“快” [48:34] 所以对最后的AI芯片的快 [48:36] 其实是有要求的 [48:38] 因为现在整个模型 [48:40] 在训练 预训练的方法上 [48:42] 包括在推理上 [48:43] 包括现在整个Agent的互联上 [48:45] 它是有很多的创新的 [48:47] 比如说刚刚我们提到了 [48:48] 像思维链的这个模式 [48:50] 它可能就会对Groq [48:52] 整个工作的原理会产生影响 [48:55] 那我觉得现在模型 [48:56] 也在提这个RSI（递归自我提升） [48:59] 然后也在提强化学习 [49:01] 同时整个Agent市场 [49:03] 它也在发生改变 [49:04] 所有在大模型预训练领域里面 [49:07] 发生的这些改变 [49:08] 会影响大家芯片的设计 [49:10] 以及比如说 你们现在 [49:11] 在设计一款芯片的时候 [49:13] 包括我们说还有大模型 [49:15] 跟所有的图片模型 [49:17] 视频模型 世界模型 [49:19] 它的不同的训练方法 [49:20] 所有的这些不同的预训练方式 [49:22] 会改变大家芯片的设计方式吗 [49:25] 以及你们现在在设计的时候 [49:26] 会往前看一两年 两三年吗 [49:29] 先回答最后一个问题 [49:30] 我们肯定是要向前看的 [49:32] 向前看的时候是去找一些本质的 [49:34] 会影响我们芯片设计 [49:35] 就前半部分的这个问题 [49:37] 首先模型结构本身一定会影响 [49:40] 就比如说刚刚说到的 [49:42] 视频生成 图像生成 [49:44] 生成里头很大的一部分 [49:46] 是一个diffusion model（扩散模型） [49:47] 这种模型 [49:48] 它和现在transformer的方式 [49:50] 是不一样的 [49:51] 所以我们就要做两个选择 [49:53] 一个是芯片做不做这件事情 [49:55] 就是异构的选择 [49:56] 们去想清楚我们要解决的 [49:58] 那个更核心的问题是什么 [50:00] 第二个是如果要做的话 [50:01] 在我们芯片上怎么做这件事情 [50:03] 所以像diffusion这种事情 [50:06] 技术上来说 [50:06] 它是一个计算非常密集的事情 [50:09] 所以它适合的硬件 [50:10] 可能是另外一种范式 [50:12] 另外一个 去看本质的 [50:13] 这个transformer它会怎么变 [50:14] 就是我们想要瞄准的这一块 [50:17] 它会不会有很大的变化 [50:18] 我们先看这整个模型 [50:20] 大规模地在变的是哪一部分 [50:22] 现在还没有收敛的算法上 [50:25] 是哪一部分 [50:26] 和已经收敛的是哪一部分 [50:27] 这家公司优先去解决 [50:30] 已经收敛的这部分 [50:31] 可以去做芯片的这一部分 [50:34] 所以我们现在看到的 [50:35] 刚刚从这个模型本身来说 [50:37] Transformer模型里头 [50:38] 注意力的机制这一边 [50:39] 其实在算法上还有非常多的革新 [50:42] 每一个新的实验室出来 [50:43] 它会经常发一些论文 [50:45] 说我又做了一个什么新的思路 [50:47] 但是后面的这一段FFN [50:49] 自从变成了MoE以后 [50:50] 其实变成了一个相对不变量 [50:53] 刚刚说到了有一些 [50:54] RL（强化学习）的这些东西 [50:55] 其实是没有本质地影响 [50:57] 这个模型的结构的 [50:59] 如果这个模型本身结构是一样的 [51:01] 它只是 尤其RL如果在后训练里头 [51:03] 更是没有影响这个模型的结构 [51:05] 那这个对于我们来说就是一个 [51:07] 相对没有那么重要的事情 [51:09] 所以你们现在主要是 [51:10] 做Transformer的模型 [51:12] 就是diffusion的推理 [51:14] 你们是现阶段还没有考虑进去的 [51:16] 对 更多我考虑问题的点其实是在于 [51:18] 未来AI的系统不管是什么模型 [51:20] 很本质的 它会有两部分的需求 [51:22] 现在看到比较明确的有算力的需求 [51:25] 我们看到现在解决不太好的 [51:26] 有带宽的需求 [51:27] 其实我们是希望找到一个 [51:29] 最贴近于当前带宽需求的 [51:31] 从芯片到系统的解决方案 [51:33] 这个未来我觉得不绑定在 [51:35] 具体的模型上面 [51:36] 虽然我们现在看的肯定会 [51:38] 觉得未来等我们芯片出来的时候 [51:39] 大概率还是从Transformer [51:41] 更适合运行在我们上面 [51:42] 但其实我们是有这种 [51:44] 比如说图像的生成 视频的生成 [51:47] 这些未来算法上有很大的空间 [51:50] 它可能也变成自回归式的 [51:51] 甚至是两种的结合 [51:53] 但这种的话 如果它变成了 [51:55] 我们可能可以支持很好 [51:56] 如果它没有变成的话 [51:58] 那它天然就不是我们 [51:59] 想解决这个问题面对的对象 [52:02] 了解 我看现在也有很多的国产芯片 [52:05] 甚至包括像英伟达的芯片 [52:08] 大家有一个宣传出来的 [52:10] 纸面的算力的值 [52:12] 但是大家真实地用起来感觉 [52:14] 这个算力是不是没有跑满 [52:15] 有的时候是不是 [52:16] 连一个对折都没有达到 [52:18] 这中间消失的算力去哪了 [52:19] 为什么会有一部分算力的浪费 [52:21] 它达不到这个理论算力的值 [52:23] 我觉得两部分吧 [52:24] 如果单纯讲算力的浪费的话 [52:26] 其实现在很多workload [52:28] 包括现在一些注意力的机制 [52:30] 很多应用 [52:30] 它的计算和访存的比例 [52:32] 就没有长在英伟达GPU的甜点上面 [52:36] 这个是可能比较大的一些 [52:38] 之所以算力用不起来的方向 [52:39] 因为你卡在带宽上了 [52:40] 计算机体系结构 [52:41] 有一个roofline [52:43] 这怎么没法翻译了 [52:45] 好像是没有一个屋顶结构 [52:47] 对 它有一个基本的结构 [52:48] 少量的Token [52:49] 如果你是带宽瓶颈 [52:50] 那显然你的算力就用不起来 [52:52] 另外因为推理其实是一个非常快速 [52:55] 有很多很多细小的算子组成的 [52:57] 你想 每秒钟都两三百个Token了 [53:00] 这时候你每一个Token [53:01] 对应的计算任务其实变得非常细碎 [53:04] 比起训练的那种 [53:05] 都是大矩阵相乘 [53:06] 这种细碎其实会造成 [53:08] 你有一部分调度的损失 [53:11] 它是使用者用的问题 [53:13] 还是芯片设计的问题 [53:14] 还是软件层的问题 [53:15] 这三个都有 [53:17] 都有 [53:17] 对 其实刚刚Mark说到的那部分 [53:20] 比如说算力和访存 [53:22] 这个就更本质一些 [53:23] 这个可能是硬件设计 [53:25] 和现在用的workload这个应用 [53:27] 不匹配造成的 [53:29] 再技术一点的话 [53:30] 现在经常我们会说 [53:32] 它的芯片在等数据 [53:33] 从别的芯片传过来 [53:34] 这个的意思其实是 [53:36] 我们在互联中卡住了 [53:38] 任何一个数据 [53:39] 它没有及时地到要去算的那一边 [53:42] 无论是因为你在这一片上的 [53:44] HBM带宽不够大 [53:45] 你从那读出来的时间太长了 [53:47] 它的计算单元在那空转 [53:49] 或者是我要从别的地方传这个数据 [53:52] 导致的空转 [53:53] 最后就导致了我们的这个计算单元 [53:55] 在做矩阵乘法 [53:56] 现在的模型里最大的那个东西 [53:58] 就是做矩阵乘法 [53:59] 我们在算MFU（模型算力利用率） [54:01] 这个模型算力利用率里头 [54:02] 基本上只在算矩阵乘法的这一块 [54:05] 所以一旦我们发现矩阵乘法在空转 [54:08] 我们最后会得到一个比较低的MFU [54:11] 所以我们就会说这个芯片 [54:12] 没有被很好地用起来 [54:14] 回到刚刚那个roofline model [54:16] 我们其实在推理 [54:17] 尤其是为了高单用户推理速度的 [54:20] 这个场景的时候 [54:21] 其实还有另外一个场景 [54:23] 叫MBU（内存带宽利用率） [54:24] 是Memory Bandwidth Utilization [54:26] 访存的带宽有多少被用起来 [54:28] 所有的利用率 [54:30] 它都是到了100% [54:31] 那这一点就没有问题了 [54:33] 但是比如说我带宽拉到了100% [54:36] 我这个芯片是不是百分百用起来 [54:38] 也不完全是 [54:38] 因为这个芯片它至少有两个单位 [54:41] 一个是访存带宽 [54:42] 有没有百分百用起来 [54:43] 一个是算力有没有百分百用起来 [54:45] 这个就回到刚刚说的第一点 [54:47] 如果我设计的时候 [54:48] 我这带宽设计得非常小 [54:50] 算力非常非常的大 [54:52] 那我把带宽吃满的时候 [54:53] 我的算力可能就还是空着 [54:55] 是 所以它是一个综合的问题 [54:58] 你们自己在设计推理芯片的时候 [55:00] 会把这些考虑在里面吗 [55:01] 理论上的利用率跟实际的利用率 [55:03] 我们会考虑在里面 [55:04] 怎么说避免一些 [55:05] 实际执行过程中的调度 [55:07] 一些摩擦导致的利用率的损失 [55:10] 这点可能是我们更多的 [55:11] 可以在芯片设计上面做优化的点 [55:15] 大家要不要给听众们科普一下 [55:17] 比如说一个芯片 [55:18] 如果要设计一整个流程的话 [55:21] 它是什么样的 [55:23] 一开始的时候 [55:24] 肯定是更多的架构上面的设计 [55:25] 其实是需求的分析 [55:27] 这个芯片定位是什么 [55:28] 我要解决什么样的问题 [55:29] 哪些问题是技术上的问题 [55:30] 哪些问题是一些客户的问题 [55:32] 有些客户可能要求一些安全性 [55:34] 这肯定是第一步的点 [55:35] 先梳理需求 [55:36] 围绕这些需求就会有具体的 [55:38] 高层架构的设计 [55:39] 这个架构可能包含了 [55:40] 不光是芯片本身 [55:41] 未来我实际交付的 [55:43] 可能是一个服务器 [55:44] 甚至是一个集群 [55:45] 这种集群里面拆解到 [55:46] 对于系统的需求 [55:48] 比如芯片间互联的需求 [55:49] 对于服务器间互联的需求 [55:51] 以及拆解到 [55:52] 对于具体每一颗芯片的需求 [55:54] 而且我理解 [55:55] 这个里面其实是有很多创业机会的 [55:56] 你做服务器集群是一种 [55:58] 你做芯片是一种 [55:59] 然后你卖一个从芯片软硬件一体的 [56:02] 这种解决方案的可能还是一种 [56:04] 是 但是我的意思是 [56:05] 从系统架构的层面 [56:07] 你要考虑清楚 [56:08] 你未来支持的场景是什么 [56:09] 以及围绕这个场景 [56:10] 去做真的实际芯片架构的定义 [56:13] 到芯片架构定义之后 [56:14] 就会有一些更多微架构的定义 [56:16] 比如说我芯片里面 [56:17] 计算单元盒打算怎么设计 [56:19] 盒里面的矩阵单元打算怎么设计 [56:21] 向量单元打算怎么设计 [56:22] 然后我用什么样的指令集 [56:24] 存储放在哪 [56:25] 比如说我们想用SRAM来做 [56:26] SRAM放在哪 [56:27] 这些都确定了之后 [56:28] 你就会有一个非常详细的特性列表 [56:30] Feature list [56:31] 这里面就会具体指导 [56:33] 实际做RTL编码的时候 [56:35] 该怎么去做一个一个模块 [56:36] 具体RTL编码的编写 [56:38] 大家都说做芯片要一两年的时间 [56:40] 实际这一部分编写的时间 [56:41] 可能也就两三个月 [56:42] 但是大部分事情会花在 [56:44] 比如前期的需求 架构上面 [56:46] 说到这个RTL编码之后 [56:48] 其实就是一些验证的工作 [56:50] 至少传统意义上来讲 [56:51] 大家说做一个大芯片 [56:53] 流片的成本是相当相当高的 [56:55] 所以大家希望在流片的时候 [56:56] 保证这个芯片不需要有一些 [56:58] 功能上的问题 [56:59] 所以在流片之前会做非常充足的 [57:02] 对于芯片编码的验证 [57:03] 比如我写得是不是有bug [57:04] 要么比如说靠很复杂 [57:06] 很多的测试用例 [57:08] 要么是比如靠一些形式化的验证 [57:10] 从这个数学上去做证明 [57:12] 这个又回到了我当时在博士的时候 [57:14] 做很强逻辑的那个东西 [57:16] 就是这部分的形式化证明 [57:17] 就会用那部分东西去做 [57:19] 就当你把验证充分地做完了之后 [57:21] 会有很多后端的东西 [57:23] 就是刚刚说的那些东西 [57:23] 基本上都算芯片的前端 [57:25] 当你每一个晶体管怎么连都确定 [57:29] 后端会实际地把它尝试排布在 [57:31] 可行的一个物理空间上面 [57:33] 就比如这个芯片的布局布线 [57:34] 线要怎么绕 [57:35] 不同的计算单元要摆在哪 [57:37] 存储单元的比如长宽高的这些比例 [57:39] 都需要靠后端去做具体的图纸 [57:42] 就真的变成了实际光刻 [57:44] 我需要在哪一块刻什么样的晶体管 [57:46] 这样一些信息 [57:47] 但是那个过程中又有很多的 [57:49] 我们叫SDC（设计约束检查） [57:50] 就是根据比如Fab（晶圆厂）的 [57:51] 一些信息去做很多重复的检查 [57:53] 但是最终就是要保证 [57:54] 在流片时候不要出很大的问题 [57:56] 等这些做完之后 [57:57] 你就可以去流片了 [57:59] 其实流片本身这个动作是 [58:01] 他去给你生产这个模具 掩模（Mask） [58:03] 这个其实只是第一次流片 [58:06] 会有一个这个东西 [58:06] 因为你这个东西如果没有问题的话 [58:08] 后续的量产 [58:09] 你这个模具就不用做特别大的改动 [58:11] 等真正第一代芯片量产回来之后 [58:14] 又会有很多封装测试的东西在里面 [58:16] 因为其实本身大家看到 [58:17] 英伟达的一个芯片好像都很大 [58:19] 都快半个手机大了 [58:20] 但其实里面真正实际 [58:22] 光刻出来那部分占比比较小 [58:24] 更多的是要在一个 [58:26] 比较大的封装里面去解决 [58:27] 怎么把那么细的光刻的线 [58:30] 引到我实际产品的板子上面的线 [58:33] 当然测试的工作 [58:34] 在于刚刚说到有良率的问题 [58:36] 那你需要有一个很体系的方法 [58:38] 让你能够知道你造了一批芯片出来 [58:40] 哪些是好 哪些是坏的 [58:42] 这本身又是一个很大的课题 [58:44] 到后面实际你要去交付的时候 [58:46] 如果你要交付一个比较复杂的系统 [58:48] 你又会涉及到 比如实际 [58:49] 你的PCB（印刷电路板）板子 [58:50] 要怎么设计 [58:51] 你的芯片可能只是系统一部分 [58:53] 上面可能会有一些控制芯片 [58:54] 有一些Switch（交换）的芯片 [58:56] 有一些网口 [58:58] 其他的接口怎么去设计 [59:00] 再到整个集群的供电 散热 [59:02] 公网怎么去设计 这部分 [59:05] 我听到这段话 我自己有一个感受 [59:07] 就Mark你太厉害了 [59:09] 我觉得芯片创业 [59:10] 是一个门槛很高的事情 [59:12] 它的每一个环节 [59:13] 首先它要解决无数的技术挑战 [59:16] 其次它是一个成本很高的东西 [59:19] 你需要很多的钱去做这些事情 [59:22] 去流片 去设计 [59:23] 然后承担各种流片的风险 [59:25] 包括到最后量产了以后 [59:26] 我们要去控制良率 [59:28] 同时你还要去解决供应链的事情 [59:31] 因为现在大家知道 [59:32] 包括连谷歌 连英伟达 [59:34] 他们在去做芯片的时候 [59:36] 整个供应链上的各种环节 [59:37] 都是缺货的 [59:39] 所以硬件是一个很难的事情 [59:41] 但是赔率足够大 [59:43] 对 而且我之前其实有问过 [59:44] 很多英伟达的科学家 [59:46] 我就说你们其实有这么多年的经验 [59:48] 芯片又这么缺 [59:49] 为什么不自己出来创业呢 [59:51] 大家觉得 [59:51] 这个事情要撬动的产业链太大了 [59:54] 对 的确 我们也不是一个人在战斗 [59:57] 尤其是后端 [59:58] 其实是要和很多很多的合作方 [60:00] 一起去配合的 [60:01] 我们这里更多地是把用户和模型 [60:05] 怎么去设计这款芯片 [60:06] 想得非常清楚了 [60:08] 后面会有非常多的和供应商的沟通 [60:11] 和互相帮助的阶段 [60:13] 你们现在在整个设计过程跟流片 [60:16] 我不知道你们到哪个环节了 [60:17] 可能到最后量产的环节 [60:19] 供应链会是一个问题吗 [60:21] 供应链会是一个 [60:21] 非常非常关键的问题 [60:23] 因为我们看其实国内 [60:24] 整个芯片的市场 [60:25] 可能在未来两到三年 [60:27] 都会长期处在一个供小于求的状态 [60:30] 所以未来我们是否能成功的关键 [60:32] 并不一定在于 [60:33] 比如说我们的芯片设计得多好 [60:35] 很可能就在于 [60:36] 能不能造出足够多的芯片来 [60:38] 但其实在这上面 [60:39] 我们反而有我们自己的一些优势 [60:41] 正是因为我们在设计上面 [60:42] 有了很多比较大胆的创新 [60:45] 所以更多地放松了 [60:47] 我们对于最先进制程的要求 [60:49] 比如说我们是有机会 [60:50] 把大家可能用不起来 [60:52] 或者已经认为淘汰掉了的 [60:54] 成熟的制程用得很好 [60:56] 制造出来可能使用了成熟的工艺 [60:59] 但是在最终我们关心的 [61:00] Tokens per second [61:01] Tokens per dollar上面 [61:03] 比可能先进工艺做出来的系统 [61:06] 还要更好的一些解决方案 [61:08] 所以是通过架构创新做到的 [61:11] 是的是的 [61:12] 但是在供应链上 [61:13] 依然会是面临很多的挑战 [61:15] 是的是的 [61:16] 对 你们为什么要回国创业 [61:18] 其实Mark 我觉得你的这个背景 [61:20] 即使在美国创业也是会很成功的 [61:22] 我当时回国不是因为 [61:24] 创业这一件事情回国 [61:25] 是因为当时毕业之后 [61:26] 有一些在国内比较好的工作的机会 [61:29] 我也很感兴趣 我就已经回来了 [61:31] 所以我在国内已经待了三年左右 [61:33] 在这个过程中 [61:34] 因为我很多PhD的朋友 导师 [61:37] 还在美国 [61:38] 所以就每年也会有几次去硅谷 [61:39] 和大家继续交流 [61:41] 虽然现在国内有这些先进制程的 [61:44] 实际技术上面的一些限制和约束 [61:46] 但我觉得长远在一些更挑战 [61:49] 比如控制成本 控制性价比的 [61:51] 供应解决上面 [61:53] 国内整个的环境是有更大的优势 [61:56] 主要是供应链比较完善 [61:58] 供应商也比较多 [61:59] 即使你在美国 可能也经常要回来 [62:01] 看这些硬件的环节 [62:04] 再本质一点的 [62:05] 就是搭基础设施的能力 [62:07] 因为我们本身去搭的 [62:08] 是一个推理的基础设施 [62:10] 这里涉及到几个最核心的点 [62:12] 比如说你的数据中心在哪 怎么建 [62:15] 用水用电 中国有非常强的优势 [62:18] 可能还有另外一个点 [62:19] 就是中国也是一个 [62:20] 非常大的一个市场 [62:21] 它是能完全转起来的 [62:24] 其实还有另外一个角度 [62:25] 当时Groq和Cerebras [62:27] 做得比较艰难的点在于 [62:29] 美国最主流的模型不是开源的 [62:32] 当你做一个很新的芯片 [62:34] 你要让也不懂你芯片的人 [62:36] 适配你的模型 也不太现实 [62:37] 你要强行让自己去适配一个 [62:39] 自己不知道的模型 也不太现实 [62:41] 所以当你做出一个芯片 [62:43] 你其实更希望的是 [62:44] 有一些开源的东西 [62:45] 可以让你自己拿来跑 [62:47] 在自己上面做出一些效果来 [62:48] 但是至少当时那些开源的 [62:51] 比如像千问 像Llama [62:53] 显然不是美国最主流 [62:54] 用得最多的模型 [62:56] 所以他们在商业化上会面临着 [62:57] 短期只能看到niche（利基）的那部分 [63:00] 小的开源市场 [63:01] 但是在国内反而是倒过来的 [63:03] 就是国内这些最强大的模型 [63:04] 以DeepSeek为代表 智谱 [63:06] 至少在架构层面 他们都是更开放 [63:08] 而且从市场的角度来讲 [63:10] 国内可以稳定获取的 [63:12] 最好的AI的模型的API [63:15] 其实也都是这些开源模型 [63:18] 但像千问也在做自己的芯片 [63:21] 我觉得这个问题是不是模型厂商 [63:23] 也在做自己的芯片 [63:24] 对 你要怎么去竞争 [63:27] 如果是已经是一个开源的话 [63:29] 模型厂商做自己的芯片 [63:30] 和我们做芯片 [63:32] 他们没有比我们很本质的优势 [63:34] 做这个系统要把 [63:36] 系统其他的部分想清楚 [63:38] 在这一点上 [63:39] 模型厂商他不是做这个 [63:40] 但他们可能更加先进的模型 [63:43] 并没有完全开源 [63:45] 以及他在设计模型的时候 [63:47] 他的软硬件团队是可以协同的 [63:50] 比如说谷歌的TPU [63:52] 他可以在模型往前发展的时候 [63:54] 就把芯片应该怎么设计考虑进去 [63:57] 就我觉得首先模型厂商分几类吧 [64:00] 一类是比如传统的互联网大厂 [64:02] 我们说国内 [64:03] 就当他们做芯片的时候 [64:05] 因为本身如果你同时做模型 [64:07] 你同时会有很多训练的需求 [64:09] 同时你的模型也是多种多样的 [64:11] 你会有很多 [64:12] 像字节有Seedance [64:13] 那一部分模型的需求 [64:15] 当你开始投入资源做芯片的时候 [64:17] 你又希望这个芯片 [64:18] 不要那么针对性地 [64:20] 只对你部分的需求有效果 [64:22] 而是说要更好地兼容 [64:23] 你上面所有对于AI有需求的业务 [64:27] 包括训练 包括各种图像生成 [64:29] 也包括Transformer推理 [64:31] 我们看到实际大家在做的 [64:33] 可能还是更多地去替代 [64:35] 已有的通用的AI芯片 对 [64:37] 训练偏多 [64:38] 训练或者通用性偏多 [64:40] 就实际用可能推理也很多 [64:41] 但推理里面 [64:42] 可能有一部分是prefill [64:43] 有一部分比如说是图像生成 [64:45] AIGC（人工智能生成内容）这部分 [64:47] 我觉得纯粹的模型厂商 [64:48] 比如像DeepSeek 智谱 Kimi [64:50] 设计一个好的模型需要的能力 [64:53] 和设计一个好的芯片需要的能力 [64:54] 是完全不一样的 [64:56] 就甚至有时候 [64:57] 当你把完全不一样的能力 [64:59] 整合进同一家公司的时候 [65:00] 不一定是个好事 [65:01] 就这件事情也是需要异构的 [65:03] 我觉得是需要一家 [65:04] 氛围上面更适合算法设计的公司 [65:07] 来做模型的事情 [65:08] 氛围上面更适合芯片 [65:10] 设计相关的公司来做芯片的事情 [65:12] 这个东西把大家都融合在一起 [65:13] 不一定完全是一个 [65:15] 非常非常好的事情 [65:17] Mark当时你去Stanford [65:18] 读PhD的时候 [65:20] Bill Dally他其实很有名 [65:21] 英伟达的首席科学家 [65:22] 我们也可以说他是 [65:23] 整个芯片领域的GPU的奠基人 [65:26] 因为他通过在斯坦福做的 [65:28] 流处理研究 变成了今天的GPU [65:31] 当时你为什么选他做导师 [65:34] 就你跟他的交流是怎么样的 [65:35] 你说这个stream processing（流处理） [65:36] 这其实应该是他在 [65:38] 2000年之前做的工作 [65:39] 只是后面NVIDIA更成功地 [65:41] 把这件事情做了商业化 [65:42] 但是他后面随着和NVIDIA合作 [65:44] 其实逐渐他又重新在产业上面 [65:47] 主导了很多类似的方向 [65:49] 我是在应该是大四的有一个学期 [65:51] 我去和韩松 [65:53] 就是他当时马上要毕业的一个学生 [65:54] 但是后面他其实做了 [65:55] 很多成功的公司 [65:56] 包括他后面去MIT当professor [65:58] 但其实当时是他拉我过去 [66:00] 想让我帮忙他做一些研究助理 [66:03] 所以当时做得更多的工作是 [66:05] 围绕着他当时的模型的剪枝压缩 [66:07] 我们叫pruning quantization [66:09] 这些点继续往下做了一些更新的 [66:12] 如何让模型更高效地 [66:13] 跑在硬件上的算法层面的研究 [66:15] 然后那时候就虽然是 [66:17] 松哥之前mentor（指导）我 [66:18] 但是每周会和Bill有例会 [66:21] 就这个人给我的第一反应 [66:23] 是非常非常聪明的一个人 [66:24] 然后另外一个点其实是 [66:26] 他在research上看的问题 [66:28] 是一些很本质的问题 [66:29] 就他不会去尝试解一些 [66:31] low hanging fruit（简单问题） [66:32] 因为那个已经 [66:33] 也不在他的career path（职业路径）的 [66:34] 必要性上面 [66:35] 他是一个很资深的教授 [66:37] 他没有任何短期学术上需要 [66:39] 比如发多少论文的这些压力 [66:40] 所以他看到的一些更本质 [66:42] 是他实际上感兴趣的 [66:43] 技术上面的一些点 [66:44] 这些点往往是那些其实很难做 [66:47] 但是一旦做出来 [66:48] 可能对整个学界 业界 [66:50] 有非常非常大的影响的一些点 [66:52] 这是我非常非常 [66:53] 从那时候开始就欣赏他的特质 [66:55] 对 你刚刚提到了Bill他看问题 [66:58] 是看到了非常本质的地方 [67:00] 你觉得从你开始读他的PhD [67:03] 2017年开始 [67:04] 有哪几个他在关注的主要方向 [67:06] 以及他有哪几次在跟你的交流中 [67:09] 你觉得OK [67:10] 他没有去关注这个表面上的细节 [67:12] 而是直接戳到了 [67:14] 比如说当前芯片设计的 [67:16] 最核心的一个环节 [67:17] 但是后面等我真的去加入他的组里 [67:19] 跟他非常认真地 [67:20] 去做一些研究的时候 [67:21] 他当时一上来非常感兴趣点 [67:23] 其实我觉得除了他 [67:24] 没有人看到那个点 [67:25] 他当时去尝试做 [67:27] 完全和现在的深度学习 [67:29] 不一样的另外一类 [67:30] 完全逻辑的AI的加速 [67:32] 从过去AI的发展 [67:33] 是有两个不同的分支的 [67:35] 一个是偏深度学习 [67:36] 神经网络这种感知的这种分支 [67:39] 另外一个是强逻辑的分支 [67:41] 那种分支其实大家往往会去 [67:43] 尝试构建很大的知识图谱 [67:45] 去建立非常严谨的逻辑 [67:47] 现在就变成 [67:48] 比如说大家尝试去用AI [67:49] 证明一些数学定理 [67:50] 那是哪一年 [67:51] 2017年的时候 [67:52] 对 但那个逻辑的AI的发展 [67:55] 其实已经过去三四十年都有 [67:57] 而且到现在为止 [67:57] 都有很强的应用在 [67:59] 比如我刚刚提到的 [68:00] 一些数学原理的证明 [68:01] 再到一些芯片后面布局布线里面 [68:04] 其实是有非常强的逻辑的AI参与的 [68:06] 所以Bill当时很感兴趣的点就是 [68:08] 英伟达已经可以把 [68:10] 这种偏感知的神经网络类的AI [68:12] 加速得很好 [68:13] 但是他看来其实未来的AI是 [68:15] 强逻辑加强感知 [68:17] 但强逻辑那一部分其实当时的角度 [68:19] 基本上没有人在关心 [68:20] 因为之前几乎没有人做过 [68:22] 针对性的硬件去做这件事情 [68:23] 大家可能更多停留在软件层面 [68:25] 那就是我们从头去设计了 [68:27] 一个全新的芯片架构 [68:28] 就它和现在CPU GPU [68:30] 包括我们想做这些完全不一样的 [68:32] 一个专门的加速器的架构 [68:33] 来加速这件事情 [68:35] 从现在角度看来 [68:36] 因为我知道现在硅谷 [68:37] 其实很多创业公司 [68:38] 大家一开始有这个想法 [68:40] 如何让比如现在的这些语言模型 [68:42] Transformer更好地为 [68:43] 一些数学原理 物理原理来服务 [68:46] 对 其实这部分我觉得未来可能也会是 [68:49] 非常非常有影响力的 [68:51] 一部分新的芯片的工作 [68:53] 所以你觉得他当时 [68:54] 跟你们主导的强逻辑的芯片 [68:56] 就是重新设计的芯片 [68:58] 在今天的AI时代 [69:00] 已经变成了一个主要方向 [69:01] 还是说它还是一个研发中的东西 [69:03] 我觉得它还处在算法研发的过程中 [69:06] 本身解这个逻辑问题的算法 [69:08] 是非常非常固定的 [69:09] 叫SAT（布尔可满足性）问题 [69:11] 但如何把这个问题和Transformer [69:14] 更好地结合起来 [69:15] 让Transformer去把实际的 [69:17] 复杂的数学和物理的问题 [69:19] 拆解成这种强逻辑的问题 [69:21] 我觉得是现在很多在尝试做 [69:23] AI for Science的公司在做的事情 [69:25] 现在在算法层面还没有收敛 [69:28] 未来如果大家发现这个真的很有效 [69:31] 以及未来如果真的科学探索的瓶颈 [69:34] 在如何更快地解一个 [69:36] 很复杂逻辑的问题上面的话 [69:38] 对芯片和硬件的需求会是确定的 [69:41] 你觉得他给你的启发 [69:42] 更多的是在芯片领域上说 [69:45] 在学术领域的一些具体的 [69:47] 我要走哪条路 [69:48] 哪个方向的一些学术上的启发 [69:51] 还是他的思考方式 沟通方式 [69:54] 一些人格特质上的启发更多 [69:56] 我觉得是后者 [69:58] 刚提到了我跟Bill做的第一个项目 [70:00] 之后包括我PhD thesis（博士论文） [70:02] 那些很多东西并不一定是 [70:04] 某一个确定的方向 [70:06] 比如说大家会看到 [70:06] 他现在是GPU的奠基人 [70:08] 对 但其实我觉得本质 [70:09] 他并没有和GPU绑定 [70:11] GPU只是结果 [70:12] 原因是因为他是一个 [70:14] 非常好的researcher [70:15] 非常好的一个architect（架构师） [70:16] 所以他能发现最重要的东西是什么 [70:19] 并以最好的方式去把它做出来 [70:20] 这个成就了现在的GPU [70:22] 但是他对我影响更大的 [70:24] 可能是一些芯片设计 系统设计 [70:27] 甚至怎么做研究 [70:28] 更本质的需要关注的一些点 [70:30] 举一个例子 [70:31] 举一个例子 就是我们现在做的 [70:33] 很多芯片会围绕一个点去出发 [70:35] 叫locality（局部性） [70:38] 而这件事情最早 [70:38] 我是从Bill那块得到了 [70:40] 非常非常大的震撼 [70:41] 他跟我说整个芯片设计 [70:43] 一切都是围绕局部性去展开的 [70:45] 什么叫局部性 [70:47] 局部性就是location [70:48] 把东西放在那 [70:50] 他的原话是 [70:51] 计算机系统结构就像房地产 [70:54] 一切都在于location location location [70:56] 就时间上的局部性 [70:57] 空间上的局部性 [70:58] 比如说我们之前会有CPU里面 [71:00] Cache（缓存）的设计 [71:01] 其实本身就是一种时间的局部性 [71:03] 和空间局部性的使用 [71:04] 时间局部性 [71:05] 就是如果我用了一段数据 [71:07] 那我会在未来的一段时间里面 [71:09] 大概率会重复地使用这段数据 [71:11] 这是时间局部性 [71:12] 空间局部性是如果我用了一段数据 [71:14] 那我大概率马上会用到 [71:15] 它周围的一部分数据 [71:17] 这是空间局部性 [71:18] 然后我们现在想做的很多东西 [71:19] 其实是我们在做AI芯片 [71:21] 对 把模型的权重存在哪这件事情 [71:24] 为什么我们想用SRAM来做这件事情 [71:26] 就是因为希望使用SRAM [71:27] 提供最好的局部性 [71:29] 因为在AI的这个时代 [71:30] 尤其是我们做推理decode [71:32] 这个过程 [71:33] 时间局部性和空间局部性 [71:34] 在算法上都被抹平了 [71:37] 就这些都不复存在了 [71:38] 所以我们就要在架构上 [71:39] 做更多实际硬件上面的局部性 [71:42] 来弥补这一点 [71:43] 我觉得他在指导怎么更好地做事情 [71:46] 或者找到更值得做的事情的时候 [71:48] 我觉得他的逻辑是 [71:50] 要找到最难的事情 [71:52] 找到对整个系统影响最大的那个点 [71:55] 并尝试去解决它 [71:56] 他会关心trade off [71:58] 就当你只做微小的提升的时候 [72:01] 其实你是可以保全大局的 [72:02] 你不需要做颠覆式的修改 [72:04] 但如果你要做很难的 [72:06] 数量级的提升的时候 [72:07] 你一定要很清楚地想明白 [72:09] 哪些东西是你可以牺牲掉的 [72:11] 哪些东西是你真正关键的 [72:12] 只有当你想明白这些问题的时候 [72:14] 你才能在整个系统层面 [72:15] 做出更关键的选择 [72:17] 你能跳出这个 [72:17] Local minimum（局部最优） [72:18] 就像是深度学习的时候 [72:20] 找到一个更大的全局最优的解 [72:22] 对 我觉得很有意思 [72:23] 这个其实就是说 [72:24] 我们不要去做微创新 [72:25] 我们要找到最难的那个问题 [72:27] 从全局的角度去做颠覆式创新 [72:30] 是 [72:30] 但它意味着失败的概率很高 [72:32] 你跟Bill在合作的过程中 [72:34] 有遇到说 OK 我找到了一个解 [72:37] 我尝试从这个方向做 [72:38] 但是它失败了 [72:40] 我觉得非常非常多 [72:42] 但是我刚刚说的点 [72:43] 其实和成功失败没有关系 [72:44] 就他是你做事情的逻辑 [72:46] 就是什么样的事情 [72:47] 是Bill觉得值得做的 [72:48] 以及现在是我们觉得值得做的 [72:50] 但做的过程中 [72:51] 肯定会有很多很多失败的情况 [72:53] 但是他不会否定 [72:55] 你要解决的这个问题 [72:56] 不是正确的问题 [72:57] 他只是你可能没有找到正确的解法 [72:59] 甚至这个解法可能是没有的 [73:01] 我觉得这段非常鼓舞人心 [73:03] 你回来创业 [73:04] Bill Dally给了你什么样的建议 [73:07] 我跟Bill会讨论很多很多 [73:08] 技术上面的细节 [73:10] 就比如说当时我有一些想法 [73:11] 想让SRAM来做的时候 [73:12] 我会跟他讨论非常多 [73:13] 因为他一开始 [73:14] 也没有很细节地去看这个方向 [73:16] 但是当时我们是真的 [73:17] 很仔细地去算了这个点 [73:19] 他会给我很多技术上面的建议 [73:21] 因为其实我现在想做的很多东西 [73:23] 和我当时PhD跟他一块做的东西 [73:25] 从方法原理上来讲是很相像的 [73:28] 具体创业的建议的话 我想想 [73:31] Bill给我的建议就是 [73:33] 一定不要用PhD写的代码 [73:35] 因为这是Bill上一个 [73:37] 创业里面的惨痛教训 [73:40] 他的整个特质还是更偏一个科学家 [73:43] 是 对 正是这样 [73:44] 我刚刚其实想说 [73:46] Bill当时给我另外一些点 [73:47] 其实是怎么做研究 [73:49] 但其实我现在会发现 [73:50] 比如那些东西并不一定是 [73:52] 做公司最好的点 [73:53] 我觉得做研究很本质 [73:54] 就是用最小的代价获取最多的知识 [73:57] 这是他认为研究的本质 [73:59] 所以当时比如说涉及到 [74:00] 其他很多会愿意真的去流片 [74:03] 用科研经费把片子造出来 [74:05] 但是在Bill看来 [74:06] 这个就完全不必要 [74:07] 因为你已经在流片之前 [74:08] 获得99%的知识了 [74:10] 流片并不能给你带来一些额外的 [74:11] 除了工程上面实现之外的东西 [74:13] 但是就现在创业这件事情 [74:15] 其实就是你要去解决 [74:17] 那个剩下1%工程上面的事 [74:18] 而且这部分可能要花费你 [74:20] 99%的精力 [74:21] 工程可能不算剩下1%吧 [74:23] 它应该也是一个占挺大的比重的 [74:26] 对 就我的意思是 [74:27] 实际上你要花很多的精力去做它 [74:29] 但是它对于这件事情 [74:30] 能不能做成的贡献就是没有那么大 [74:32] 你可以在不做工程之前 [74:35] 就从设计的角度知道 [74:37] 这件事情技术的瓶颈在哪 [74:39] 能不能做 [74:40] 但是实际工程上要解决的实际设计 [74:43] 散热 供电的那些问题 [74:44] 是你要花很多的精力 [74:45] 去真的把它做出来的 [74:48] 那子扬 你要不要讲一下 [74:49] 就是你在亚马逊做自研的AI芯片 [74:53] 比如说你给他们写编译器 [74:54] 写软件栈 [74:55] 因为我记得亚马逊它也有一个 [74:57] 非常哲学思考的问题 [74:59] 跟刚刚Mark说的 [75:01] 是有一些一脉相承的 [75:02] 就是说 我们不要先从一个 [75:05] 细小的点去推这个事情应该怎么样 [75:07] 因为你要先设计整个系统 [75:10] 再去反推最优的芯片是什么样的 [75:14] 你要不要讲一下整个亚马逊它的 [75:15] 包括你做软件的这一套工程哲学 [75:18] 首先从系统上来说 [75:20] 软件是在系统最上方的 [75:22] 用户是从软件入手的 [75:24] 其实亚马逊有两个哲学 [75:25] 一个跟芯片相关 [75:27] 是从系统去反推硬件 [75:29] 还有一个就customer obsession（客户至上） [75:30] 我们要想的是 [75:31] 用户最后想要的是什么 [75:33] 所以用户他去用的这个软件栈 [75:35] 要来反推之前的所有的东西 [75:38] 另外一种方法可能是以终为始 [75:40] 所以我们在去思考这件事的时候 [75:43] 比如说我们要做一个AI的加速器 [75:45] 那要很明确地想清楚 [75:46] 我们这个要加速的workload [75:48] 是什么样的 [75:48] 它是哪一些模型 [75:51] 或者是哪一类的模型 [75:52] 会放在我们这个加速器上去做 [75:54] 它是去做训练还是推理 [75:56] 还是两者都做 [75:58] 这个会直接地影响到你从每一层的 [76:01] 从高维的系统往回反推 [76:03] 最后到芯片上的 [76:04] 一个具体的设计是怎么样的 [76:07] 首先大方向要掌握对 [76:09] 然后要能从这个大方向一点一点地 [76:11] 有逻辑地反推回来 [76:13] 比如说其实在这个芯片设计里面 [76:15] 有一个非常重要的参数 [76:17] 它的定义是指 [76:18] 你计算的带宽和你访存的带宽的 [76:21] 一个比值 [76:23] 这个会决定我们在 [76:24] 读取一份数据以后 [76:26] 在这一份数据上要做多少次计算 [76:29] 它才能把计算和访存都给用到 [76:32] 这个比值会直接地影响到 [76:34] 哪一些模型或者应用 [76:37] 在这款芯片上 它用得是最好的 [76:39] 所以比如我们在设计 [76:41] 下一代的芯片的时候 [76:43] 就会很明确地去想 [76:44] 最终的workload是什么样的 [76:46] 我们的系统会是多少个节点 [76:48] 去做这个完整的系统 [76:50] 这可能要先从这多少个节点 [76:52] 可以在物理上装得下 [76:53] 能装下模型和在物理上能被接纳 [76:56] 这样再去反推 [76:58] 解耦到最后 [76:59] 我们要把这个比值定在多少 [77:02] 当硬件一旦确定 [77:04] 我们之后其实会直接影响 [77:05] 你要怎么去对不同的软件做优化 [77:08] 所以我觉得整体的方向上 [77:10] 首先要知道用户想要的是什么 [77:12] 这个有可能 [77:13] 不一定是用户今天在用的 [77:14] 有可能是用户在芯片制作出来的 [77:16] 那个时候会想要的是什么 [77:18] 未来两三年会用到的 [77:19] 对 未来两三年 [77:20] 因为本身芯片是一个长周期的事情 [77:22] 好的好的 好 谢谢 谢谢两位 [77:24] 好 谢谢大家 [77:25] 谢谢大家 [77:31] 今天是我们在 [77:32] 节目发出前的一次补录 [77:34] 来聊一聊OpenAI的推理芯片 [77:37] 因为OpenAI [77:38] 其实是在我们录制的当天 [77:40] 也就是6月24号 [77:41] 它是跟博通发布了 [77:43] 第一颗自研的推理芯片Jalapeño [77:46] 子扬 你们在这些天有没有研究 [77:49] OpenAI它的推理方案是怎么样的 [77:51] 就跟你们想的思路有什么不一样 [77:54] 对的 我们其实也在 [77:56] Jalapeño出了以后 [77:58] 认真地探索了一下 [77:59] 他们公开资料有的这些信息 [78:02] 包括他们在HotChips [78:03] 分享的一些内容 [78:05] 首先他们做的芯片 [78:07] 目前是一个AI推理芯片 [78:09] 但是定性它是一个 [78:11] 通用的AI推理芯片 [78:13] 和GPU还是比较接近的 [78:15] 它的通用性体现在 [78:17] 它可以跑各种模型 [78:18] 甚至一些游戏它都demo可以跑出来 [78:22] 可以说几个我们看下来它的侧重点 [78:25] 包括一些和我们不一样的点 [78:27] 最重要的一个 [78:28] 其实是我们之前讨论过的 [78:31] 电的效率和钱的效率上 [78:33] OpenAI看到的是 [78:35] 它对电的效率非常非常地敏感 [78:37] 因为现在美国的数据中心 [78:39] 缺的并不是资本和空间 [78:41] 而是电的供给 [78:43] 所以它非常需要同样的电的产能 [78:46] 能产出更多的token [78:48] 产出更多的智能 [78:49] 也意味着更多的收入 [78:51] 我们看到这颗芯片 [78:52] 它在功耗上做了很多的工作 [78:55] 所以它的每瓦或者每兆瓦 [78:57] 能产出的token数 [78:59] 是大于英伟达对应的Rubin架构的 [79:02] 另外一个特点 [79:03] 就刚刚说到它是一个通用的 [79:05] 这包含很多的意涵 [79:07] 首先通用性体现在 [79:09] 它把我们之前说的一些异构的部分 [79:11] 包括prefill decode [79:13] 还有attention FFN [79:15] 其实它都用一颗芯片全包了 [79:17] 它在设计上 比如说加入了一些 [79:19] 对小维度的矩阵乘法这个支持 [79:22] 所以在整个batch size [79:24] 比较小的情况下 [79:25] 性能也能做到比较好 [79:27] 还有一些公开的信息 [79:28] 甚至说它下一代要去支持训练 [79:31] 所以其实是在通用性上 [79:33] 是和我们的一些 [79:35] 包括Groq Cerebras [79:36] 系统级的异构思路上 [79:38] 是有一些不同的 [79:39] 还有一个小的特点 [79:41] 就是这颗芯片它其实去说了 [79:44] 它用了很多AI来帮助 [79:46] 包括从软件栈上看 [79:48] 它的Gluon写的kernel [79:50] 很多优化很大程度上交给了Codex [79:53] 另外它的芯片设计 [79:55] 无论是性能的优化 [79:56] 还是time to market [79:58] 就从它的项目启动到流片的速度 [80:01] 我们看到是和之前的 [80:02] 这些芯片项目比有挺大的提升 [80:05] 他说是启动到流片用了9个月 [80:08] 对 这个速度是相当快了 [80:10] 我其实有一个疑问 [80:11] 就是当时我们在录播客的时候 [80:14] 我们是讲到 [80:15] 其实业界（您提到）推理芯片 [80:17] 它是在向SRAM的这条路径收敛 [80:21] 但是我们看 [80:22] 其实OpenAI的这颗芯片 [80:23] 它并没有走上存储的这条路 [80:26] 而是把HBM4的带宽堆到了 [80:29] 单封装每秒15.4TB [80:32] 我好奇的问题是 [80:33] 它同样是解决带宽的问题 [80:36] 但HBM它其实是挺贵的一条路 [80:39] 为什么他们会选这条最贵的路 [80:42] 对 其实这个贵就是很重要的一点 [80:45] 这个贵代表着 你买对应的芯片 [80:47] 买存储 买这个存储的带宽 [80:49] 你的价格比较高 [80:51] 但是比如刚刚说 [80:52] 其实OpenAI最本质的限制在于电 [80:55] 它可能对于资本的开销 [80:56] 对于造芯片的这些成本来说 [80:58] 没有那么敏感 [80:59] 这个其实也和中美的一些 [81:01] 在算整个经济账上不太一样 [81:04] 中国电的比例比较低 [81:07] 占1/3甚至更少 [81:08] 在美国是2/3 更多是电 [81:11] 但其实这个本身成本是一部分 [81:13] 另外一部分是供给 [81:14] 美国的电本身有比较明确的一个 [81:17] 每一年能提供多少新增的电的产能 [81:20] 如果想在这个确定产能内 [81:22] 去产出更多的token 更多的智能 [81:24] 其实更关心的是这个芯片把电 [81:28] 转换成token的效率 [81:29] 所以在用更贵的存储方向 [81:32] 至少OpenAI选择了 [81:33] 相对来说不那么关心 [81:35] 我们之前提到 [81:36] SRAM最本质的一个优势是 [81:39] 每一块钱能买到的带宽 [81:41] 比HBM高很多个数量级 [81:44] 这一点其实就转化成的是 [81:46] 你最后花同样的价格去生产芯片 [81:49] 或者是同样芯片产能去生产产品 [81:51] 我们能得到更多的token [81:53] 但目前来看 [81:54] OpenAI更关心的是另外一个指标 [81:55] 就是从电的角度 [81:57] OK 总结来说还是第一点 省电 [82:00] 对 省电 其实反过来说 [82:02] 就是为什么SRAM [82:03] 相对来说没那么诱惑的一点 [82:05] 是他们对这个成本没那么关心 [82:07] SRAM它的带宽非常高 [82:09] 但是它在容量上比较受限 [82:11] 所以在做芯片的通用性上 [82:14] 其实是比较受限的 [82:15] 包括我们自己的方案 [82:17] 包括Groq Cerebras的方案 [82:18] 它都会去做一种系统级的异构 [82:21] 所以它的一个芯片 [82:22] 要去和别的芯片去配合 [82:24] 但我们看到OpenAI的选择方案是 [82:27] 去做一颗更通用的芯片 [82:28] 这个其实我们在 [82:29] 上一次讨论的时候说到了 [82:31] 这种模型公司和云厂商 [82:33] 它业务比较多元 也有训练的需求 [82:36] 模型也五花八门 [82:37] 语音 图像的模型也要跑 [82:40] 所以它对于芯片的通用能力 [82:42] 要求比较高 [82:43] 就本身做芯片都是trade off [82:45] 当你需求的点 [82:46] 有一些对容量要求很高 [82:48] 有一些对带宽要求很高 [82:50] 那我们就要找一个更全能的 [82:52] 它可能会更贵的一个解决方案 [82:54] 那它最后就指向 [82:55] 在这个点上HBM的确做得很好 [82:58] 尤其HBM4它的带宽 [83:00] 的确比之前也有很大的提高 [83:03] 那如果是长上下文的KV cache [83:06] HBM的方案会比SRAM有优势吗 [83:09] 这个其实涉及到 [83:10] 还是我们要不要做异构 [83:12] 包括我们自己想的方案 [83:14] 和Groq去跟GPU结合的方案 [83:17] 都其实都把attention [83:20] 这一部分的KV cache放在了 [83:22] 另外一块芯片上 [83:23] 就是不是大SRAM的这个方案上 [83:26] 至于长上下文 它对于KV cache [83:29] 对于容量需求有多大 [83:31] 其实我们看到最近几个月 [83:32] 有非常大的变化 [83:34] 包括DeepSeek的新模型出了之后 [83:36] 它的第一张图就是 [83:38] 每一个token的KV cache [83:40] 它在每一代都往下缩 [83:42] 这次是缩了1/4到1/8 [83:45] 所以具体就是在 [83:47] 我们之后遇到长上下文 [83:48] 它对于容量有多大的需求 [83:51] 这是一个正在变化的事情 [83:53] 但是因为它的需求是动态的 [83:55] 并且随着用的人数 [83:58] 随着上下文的增长 [83:59] 它会不断地变大 [84:01] 所以一定程度上 [84:02] 对于容量的性价比是有要求的 [84:05] 那这一点就落在了 [84:06] 一个SRAM不太舒适的区间内 [84:08] 所以我自己去想这个问题的时候是 [84:11] 我们不会优先地考虑 [84:13] 用SRAM去存KV cache [84:15] 了解 那还有一个问题是 [84:18] 因为HBM它每一代的带宽提升 [84:21] 比SRAM它的密度提升要快 [84:23] 所以SRAM其实它是需要6个晶体管 [84:26] 才能存一个比特的 [84:27] 那SRAM它路径的优势窗口 [84:30] 会不会在两三年以后就关上了 [84:33] 因为其实芯片的周期还是很快的 [84:35] 比如说一年半到两年 [84:37] 然后OpenAI这个9个月就造出来了 [84:40] 但是我们去看HBM它的带宽的增长 [84:44] 虽然现在已经做到一个很好的数字 [84:46] 但它带宽的增长 [84:47] 其实也没有大家想得那么乐观 [84:50] 包括这一代之后的 [84:51] 带宽增长从哪里来 [84:53] 其实也不是很确定 [84:54] 其实第一性去思考的 [84:57] 你的连线还是通过走着某一种铜线 [85:02] 它不一定是铜线 [85:03] 但是它不是光刻出来的这个线去走 [85:06] 在一个带内的这个线去走线 [85:08] 所以它的密度是有一些天然瓶颈的 [85:11] 包括我们看到 [85:12] HBM其实一定程度上走到极限 [85:14] 是会类似于现在还有一些厂家 [85:16] 在做这种3D DRAM [85:18] 把边上去走线变成面上去走线 [85:21] 我们看到这些都是一些 [85:23] 去解决存储未来很乐观的一些方向 [85:26] 但它最后会落在 [85:28] 整个trade off空间里的 [85:29] 不同的点位上 [85:30] 我们现在看 在带宽这个点位上 [85:33] HBM也好 其他的HBF也好 [85:35] 很难达到SRAM的 [85:36] 带宽的绝对值和性价比 [85:39] 你觉得SRAM它现在相比于 [85:41] 其他的方案它有哪些缺点 [85:43] 对 最大的缺点 [85:44] 其实就是容量的性价比 [85:46] 因为它要用6个transistor [85:48] 去锁一个bit [85:50] 而且一般来说 [85:51] 我们为了达到这个带宽 [85:52] 要放在同一个带上 [85:53] 所以SRAM的堆叠 [85:55] 其实是会降低它出来的带宽的 [85:58] 所以在这个点上 [85:59] 它的容量性价比非常地低 [86:02] 如果我们对存储有很大的需求 [86:04] 需要存非常多的数据 [86:06] 那SRAM它可能不是一个最优的方案 [86:09] 但这个其实要分成两个问题讨论 [86:11] 你要存的数据量可能很大 [86:13] 但它是一个固定的量的时候 [86:15] 比如说我们要把模型的权重 [86:18] 全部存在SRAM里 [86:19] 那我们可以用很多个芯片 [86:21] 去组成一个集群去做 [86:23] 这个还是在SRAM可以接受空间内 [86:26] 但如果你要存的数据 [86:28] 它是一个变化很多 [86:29] 并且可能未来持续增长 [86:31] 比如说我们刚刚说到KV cache [86:33] 那我们就认为 [86:34] 它在容量上的受限这个缺点 [86:37] 就会使得它不适合这个场景 [86:39] 了解 上一次我们聊天的时候 [86:42] 你有说到 [86:43] 你觉得业界推理芯片的方案 [86:45] 在向SRAM收敛 [86:46] 那OpenAI这个芯片出来以后 [86:48] 你还会保持这个判断吗 [86:52] 我觉得在一定程度上 [86:54] 在这个大的系统级异构中 [86:57] 为了提高token的性价比这边 [86:59] 还会有很多公司在向SRAM这里收敛 [87:02] 但是的确 OpenAI提出这个思路 [87:05] 有非常有意思的地方 [87:06] 它其实是把异构的这一点 [87:08] 给做进了一个芯片 [87:10] 就它的芯片里有很多的这些部分 [87:13] 它们之间是异构的 [87:15] OpenAI提出了一个 [87:17] Dark silicon（暗硅）的概念 [87:19] 当然这个概念一直都存在 [87:20] 就是OpenAI认为它比较容易接受 [87:23] 这个的成本代价 [87:24] 就是我拿这一个芯片去做不同的事 [87:26] 做某些事的时候 [87:27] 可以把其中一些部分关掉 [87:30] 或者降低它的功耗 [87:31] 这种异构和我们想的系统级异构的 [87:34] 最大的区别 [87:35] 其实还是它是用了 [87:37] 更多的成本去买这个芯片 [87:39] 但是它可以做到电的效率更高 [87:43] 所以从per dollar的角度 [87:44] 它这个方案其实是不会很好的 [87:47] 我觉得这个其实涉及到一个 [87:49] 我们在不同的市场条件下 [87:50] 限制条件不同 [87:52] 它会收敛到不太一样的地方 [87:54] 我们看到在对带宽的要求非常高 [87:57] 和带宽性价比非常高的地方 [87:59] 还是会收敛到SRAM这个方案 [88:02] 但是比如说对电是第一限制的话 [88:05] 那可能OpenAI这个方案 [88:06] 也是一个很好的解决方案 [88:08] 你们在研究他这个方案的时候 [88:10] 会觉得对你们现在做芯片的思路 [88:12] 有什么样的启发吗 [88:15] 我觉得其实对于AI的使用上 [88:18] 一部分验证了我们的一些想法 [88:20] 包括软件栈能被AI快速地提升 [88:24] 比如说AI怎么来 [88:26] 做芯片的设计和优化 [88:27] 这个对我们其实有一定的启发 [88:30] 异构是发生在系统级 [88:31] 用不同的芯片去组异构 [88:33] 还是发生在这个芯片内 [88:35] 在芯片内用不同的单元去组异构 [88:37] 我觉得这个其实就是在不同市场下 [88:40] 它的限制条件不一样 [88:41] 会走出不一样的路径 [88:43] 这个在我们看清楚了之后 [88:45] 我们觉得 [88:45] 我们的一些想法还是成立的 [88:48] 对 然后异构发生在芯片内 [88:50] 这个现在业界 [88:51] 是只有OpenAI这样做了 对不对 [88:54] 就是异构发生在芯片内 [88:56] 这个是OpenAI [88:58] 比较明确地展示出来 [89:00] 但比如说原先的英伟达GPU [89:02] 也可以理解为异构发生在芯片内 [89:04] 只不过它是一个通用的芯片 [89:07] 更强调它的通用性 [89:08] 就是它没有像OpenAI去说 [89:09] 我把不同的需求放在一起 [89:11] 并且通过各种方式能关闭一些东西 [89:15] 来提高它的电的效率 [89:17] 这个是我第一次看到 [89:20] 这样一个解决方案 [89:21] 异构发生在系统级 [89:23] 包括之前讨论到的Groq Cerebras [89:26] 和现在很多AI芯片 [89:28] 其实都是在往这个系统级的方式走 [89:31] 一些芯片来配合做不同的事情 [89:33] 包括PD分离这个大的场景下 [89:35] 包括训练和推理分离 [89:37] 这些都是异构发生在系统级 [89:40] 了解 您觉得现在 [89:42] 或者说未来整个推理芯片市场 [89:45] 还会是英伟达的天下吗 [89:46] 整个市场格局会变成什么样 [89:49] 这个问题很难回答 [89:51] 我们当然不希望它是英伟达的天下 [89:54] 这么多在做有意思探索的公司 [89:57] 这句话就意味着这些公司 [89:59] 就不会存活 包括我们 [90:02] 所以我们是看到了 [90:03] 作为以GPU为核心的英伟达 [90:06] 在做一些其他的探索上 [90:09] 可能会在迭代的速度上 [90:11] 包括他们方案的选择上 [90:13] 会有一定的限制 [90:14] 所以我们也看到了 [90:15] 有很多在做的新的方案 [90:17] 其实不是从英伟达出发的 [90:19] 包括Groq [90:20] 也看到英伟达去 [90:21] Acqui-hire了Groq [90:24] 所以我觉得我没有办法 [90:25] 直接回答这个问题 [90:26] 但是我们希望整个AI的芯片 [90:29] 变得更多彩一些 [90:30] 这个方案变得更多一些 [90:31] 这个也符合我们对于 [90:32] 整个异构的认知 [90:35] 感谢子扬的补充 [90:36] 我觉得还是解决了很多困惑的 [90:39] 好的好的 [90:43] 好了 那这就是我们今天的节目 [90:45] 这集节目确实比较技术 [90:47] 理解起来会有一点困难 [90:49] 如果大家不在这个行业呢 [90:51] 听不懂也没关系 [90:52] 因为我自己 [90:53] 也花了一些时间去消化它 [90:55] 但是 其实特别开心 [90:57] 能跟这个行业里面 [90:58] 很多有想法的年轻人去聊天 [91:01] 不仅仅是前沿技术的方向 [91:03] 每次聊到能把一个产业带起来 [91:06] 像Bill Dally的这些学术大咖们 [91:08] 也总能从他们身上去获得很多力量 [91:12] 大家听完是什么样的感受 [91:13] 欢迎与我们分享 留言 [91:16] 大家可以通过 [91:17] 苹果播客 小宇宙 Spotify [91:19] 来收听订阅我们 [91:20] 视频的听众 [91:21] 也可以通过B站和YouTube [91:23] 搜索“硅谷101播客”找到我们 [91:26] 我是泓君 感谢大家的收听