英伟达推硅光CPO与Dynamo软件筑造推理侧新护城河

英伟达推硅光CPO与Dynamo软件筑造推理侧新护城河 英伟达凭借自研光电一体封装技术与开源推理引擎，正在从硬件互联和软件调度两端全面降本提效，实现对AMD及定制ASIC芯片的生态降维打击。 2025年英伟达GTC大会虽因演讲缺乏表面惊喜导致股价短期承压，但业内对其长期生态依然高度看好。英伟达正通过“纵向扩展”升级芯片路线图，并借助集成硅光技术的CPO交换机实现“横向扩展”以大幅降本增效。同时，软件侧推出的开源推理引擎Dynamo被视为推理时代的第二道CUDA护城河，配合全面升级的数据中心物理基础设施，英伟达正以绝对的生态与技术优势对AMD和ASIC等竞争对手展开降维打击。 2025年英伟达GTC大会明确了以整个数据中心为计算单元的“纵向与横向扩展”叙事，并公布全新路线图，计划于2026年起陆续推出Vera Rubin及Feynman等超前算力架构。 (0:00) 英伟达在横向扩展端推出光电一体封装交换机（CPO），将硅光器件与ASIC深度集成，不仅将端口功耗骤降至9瓦，还将网络可靠性提升10倍，攻克模型训练中断的行业痛点。 (4:59) 针对万亿级推理市场，英伟达发布开源推理服务引擎NVIDIA Dynamo以筑牢第二道软件护城河，在GB200集群上将DeepSeek R1的单卡Token生成量提升超30倍。 (14:59) 为应对新芯片剧增的发热量，英伟达推出Kyber高密度机架架构，并将冷却分配单元（CDU）升级至2.3兆瓦，全面适配单机架高达600千瓦的严苛散热需求。 (24:59) 面对AMD及谷歌TPU等自研ASIC芯片的围剿，英伟达凭借成熟的软件生态、NVSwitch超大规模卡间互联以及高达99%的芯片良率，在训练与推理市场保持降维打击优势。 (29:59)

尽管华尔街对AI算力需求的可持续性存疑导致英伟达GTC 2025开幕当天股价下跌3%，但业内分析指出，英伟达正通过“纵向扩展”与“横向扩展”将计算基本单元推向整个数据中心，并试图借由开源推理系统Dynamo在推理侧构建对标CUDA的第二道护城河。 算力单元升维与机架级硬件演进 (0:00) 黄仁勋在GTC 2025上强调，未来的计算单元不再是单一芯片或单台服务器，而是整个数据中心集群。英伟达更新了芯片命名规则，改为以封装内实际GPU芯片数计算性能：预计2025年下半年出货的Blackwell Ultra NVL72按新定义包含144个GPU，性能为前代GB200的1.5倍；2026年下半年的Rubin NVLink 144性能提升至其3.3倍；2027年下半年的Rubin Ultra NVL576性能跃升至14倍，并计划于2028年后推出Feynman架构。 为匹配高密度的算力爆发，数据中心基础设施也迎来配套重构。英伟达推出了将计算托盘旋转90度的Kyber机架架构以提升部署密度。针对Vera Rubin Ultra单机架高达600千瓦的散热负荷，合作厂商将冷却分配单元（CDU）由1兆瓦升级至2.3兆瓦，支持从芯片直接导热至空气及城市余热回收。 硅光CPO革新网络互联与工程壁垒 (4:59) 在集群横向扩展（Scale Out）上，英伟达展示了集成硅光技术的光电一体封装交换机（CPO）。该方案将传统插拔式光收发器直接与ASIC封装，省去传统光模块后，单端口功耗从30至33瓦骤降至9瓦，能效提升3.5倍，网络可靠性提高10倍，部署时间缩短1.3倍，旨在解决超大模型训练因网络故障频繁“中断重训”的行业痛点。 硅光技术虽由英特尔在2000年左右率先投入研发，但早期因微环谐振器加工达纳米级精度、温控复杂，良品率长期极低。业内指出，万亿级大模型市场的爆发才让巨额投入具备商业回报。英伟达通过2019年收购Mellanox（其在2013年收购硅光企业Kotura）完成技术储备，并借助芯片与光模块的一体化自研（In-house co-design），在工程Know-how上建立了领先竞品数倍的研发壁垒。 推理软件Dynamo构建第二护城河 (14:59) 针对AI算力重心向推理迁移的趋势，英伟达推出开源AI推理服务框架NVIDIA Dynamo，被美股分析师定位为接替Triton、在推理侧搭建的“第二道CUDA护城河”。Dynamo扮演算力调度中心，集成了感知大模型KV缓存的智能路由器（避免重复中间计算）、动态增减算力的GPU规划器、低延迟通信库及显存管理器四大模块。 官方数据显示，在相同GPU规模下运行Llama，Dynamo使Hopper架构的吞吐量翻倍；在GB200 NVL72集群上运行DeepSeek R1时，更推动单卡每秒Token生成量增长逾30倍，力求通过大幅削减单位推理成本来巩固英伟达在推理市场的商业垄断地位。 竞争对手技术断层与全生态阳谋 (29:59) 面对AMD、Groq及云服务商自研ASIC的追赶，黄仁勋与芯片从业者均认为竞争对手短期内难以撼动其生态。AMD MI300虽硬件参数亮眼且售价便宜40%，但受困于ROCm软件Bug频发，且缺乏类似NVSwitch的芯片，目前仅能实现8卡互联（英伟达2027年即可达576卡高效互联），其替代互联技术的稳定性仅为NVLink的一半；谷歌TPU等定制ASIC的晶体管单元体积达英伟达2至4倍，良品率不足90%（英伟达达99%），且仅能封闭于自营云业务。 商业策略上，英伟达凭借软件兼容性，利用折旧完成的旧卡（如Hopper）低价扫荡推理市场，最新芯片压制训练市场。黄仁勋将2025年GTC比作各方共赢的“超级碗”，通过CudaX矩阵深度渗透通信、基因、量子计算与自动驾驶等全产业，锁定算力生态的底层话语权。 尽管英伟达展现出系统级软硬件壁垒，黄仁勋亦预测2028年全球数据中心支出将破1万亿美元，但机构投资人认为，资本市场仍急需类似GPT-5级别的下一代模型问世，以直观证明堆叠算力仍能持续实现智能跃迁，否则华尔街对算力投资回报周期的消化依然承压。

[0:00] 黄仁勋: 纵向扩展（scale up）与横向扩展（scale out） [0:00] 黄仁勋: 未来的计算单元不再是单个GPU，甚至不是单台服务器，而是一整个数据中心。 [4:59] 黄仁勋: 从Rubin架构开始，GPU的数量是根据封装中的GPU数量而非封装数量来计算。 [14:59] 业内人士: 如果大语言模型（LLM）只是一个千亿级的市场，老黄根本不会干这玩意，因为太贵了。但现在已经到了万亿级市场，只要钱怼得足够多，不违反物理定律的事情都能做成。 [14:59] NVIDIA Dynamo [29:59] 黄仁勋: 大家都有机会，但是你们的机会不大。 [34:59] 美股机构投资人: 怼算力依然特别有效，能把模型带入下一个境界 [34:59] 黄仁勋: 2024年的GTC是一场炫酷的摇滚音乐会（rock concert），而2025年的GTC则是美国春晚“超级碗（Super Bowl）”——在这里，参赛队伍、广告商、展播商和观众，生态中的每一个人都是赢家

[0:00] 英伟达2015年的GTC大会看似平淡但是魔鬼和惊喜都藏在细节中欢迎来到GTC哈喽大家好欢迎收看贵鬼101我是陈倩2025年的英伟达GTC大会我们也受邀去到了现场在3月18号的英伟达昌市人间CEO黄仁勋的演讲中看似没有什么新的信息他发布的各项更新包括芯片路线图在此前已经被市场预期消化很多梗啊也都是老梗包括最后出厂的与迪士尼合作的机器人Blue也已经在去年登台过对英伟达这次的P-Note反应比较平大家可能对做硬件的期望太高了那在本次GTC之前英伟达股价就已经承压多时华尔街对接下来AI芯片需求的可持续性存在怀疑而在整场演讲当中黄仁勋也试图打消外界的疑虑但是在当天因为他股价依然下跌3%那我刚听完黄仁勋的Kindle演讲之后呢第一反应也是觉得好像不如去年那么震撼和精彩演讲中间的PPT和流程还出现了各种的小错误让整个演讲不如去年那么完美谢谢但是结束之后呢我跟一些机构投资人和芯片从业者深调的时候发现很多人对英伟达的发展路线和布局呢还是非常非常看好的继续和竞争对手呢是甩开差距虽然在宏规层面上股价确实在近期受到多方面因素的承压它出了这个Denamo其实相当于是在大模型AI领域又再造了一个空担英伟达其实是越做越广把很多的软件都做得更通用了我没有感受到去特别明显的放缓这期视频我们就来和嘉宾们一起聊聊GTC上的观察以及试图来回答以下的这些问题一 英伟达如何继续扩宽它的后程二 在AI市场迈入推理Inferencing阶段英伟达还能是市场上独占凹头的赢家吗AMD GROCK 还有ASIC芯片还有很多的TPU等等玩家还有机会翻盘吗第三英伟达如何布局全市场生态让所谓的每个人都成为赢家呢第四啊对于目前承压的股价英伟达的下一故事是什么是机器人还是量子计算呢那么接下来呢我们来试图探索一下这些关键的问题同时呢大家记得订阅我们的频道你们的点赞留言和转发是支持我们贵福101做好深度科技和商业内容的最佳动力首先我们来聊聊第一个问题也是华人薰在Keynote演讲当中数次强调的核心观点因为它不是单张GPU芯片的叙事而是所谓的scale up and scale out更宏观的叙事黄仁勋说的scale up指的是纵向扩展也就是通过NVLink通信互联技术将单个系统的功能推到极致而scale out指的是横向扩展也就是说将数据中新的巨大算力集群通过这次发布的硅光技术CPU交换机等革命性的技术更新来实现进一步快速的扩张和啼效而在AI迈入推理时代而对算力愈加渴望之际英伟达的纵向和横向扩展将打造新一代AI强大的算力生态和架构这就是黄仁勋想讲的新故事小黄在几年前他其实也在反复强调这个概念就是说以后计算的单元不是GPU甚至不是服务器而是一整个处理中心是他的一个计算的单元就这个其实是Jensen一直在试图去推动的一个方向好那接下来我们就详细分开来说说Skill Up和Skill Out这两个升级的点首先来说一下Skill Up也就是纵向扩展这就要讲到华人薰公布的之后几代芯片的路线图了那么在Kino当中黄仁勋给出了非常清晰的英伟达长期路线图包括从当前的Blackwell到未来的Blackwell UltraVera RubinRubin Ultra最终到2028年的飞门架构其中呢大家可以看到每一代更新的芯片架构名字最后的数字呢这代表的是GPU的芯片数量而每一个架构呢代表的是一个机架的整体性能而这个清命名方式呢也是强调了我们之前说的华人星想要强调的叙事已经从单个的GPU变成了数据中心的整体算力集群系统所以我们看到2025年下半年出货的Blackwell Ultra NVL72连接了72块Blackwell Ultra GPU它的性能提升是前一代GP200的1.5倍 [4:59] 这里要注意一下,华人薰在Keynote当中又是重新的定义了皇室算法,从Rubin开始的GPU的数量是根据封装中的GPU数量而不是封装数量来计算的,所以按照新的定义,Blackwell Ultra NVL-72算是有144个GPU,之后以天文学家Vera Rubin命名的第一代GPU将于2026年的下半年推出,Vair Rubin NVLink 144的性能将是Blackwell Ultra NVL72的3.3倍而在Vair Rubin之后呢因为它预计下一代Rubin Ultra NVL576呢将会在2027年的下半年推出其性能将是Blackwell Ultra NVL72的14倍那再之后呢Rubin之后的架构代号称之为Feyman以理论物理学家Richard Feyman命名那这个呢就是2028年之后的故事了芯片从业人士告诉我们英伟达的路线图和性能提升幅度并没有出乎外界的预期范围Nothing fancy但是华人勋传达出来的信号依然是非常积极的这就是英伟达正在以及在未来几年都会稳健地给客户交付更好性能的产品其实在我们芯片行业英伟达这样的节奏发布产品已经是非常的执行力非常强了其实一般的芯片公司其实在我们芯片行业以英伟达这样的节奏发布产品已经是非常的执行力非常强了其实一般的芯片公司其实它的产品跟产品之间芯片可能需要两年出来然后产品再加上软件可能就是三到四年才会出下一代芯片芯片和系统所以英伟达的这个节奏已经非常厉害但是呢其实也对公众就是就会有一个很高的期望就是如果它在每一代产品中间比如说出现了一些量产的问题发热的问题实际上这些问题其实是很正常的不过去年年底的时候大家提到的Blackware出现这种发热散热的问题和良率的问题大家市场反应是非常的强烈在股市上但是对我们这个行业人士来说这个是非常正常的其实就可以重新再Mask Tape Out重新再修正就可以了所以大家其实对于做芯片的它芯片其实不跟软件一样其实它出现一些问题都是非常正常我觉得不管从产品的规划产品的定义然后到产品的最后落地之行其实都是非常稳健然后领先其他对手但是如果把刚才咱们抛开了投资人的预期加进来的话我觉得可能说对比预期的话是没有惊喜也没有意外那这就是华人薰所说的scale up的部分也就是嘉宾口中的与预期相同没有惊喜的部分那么接下来我们来讲讲让大家惊喜的部分也就是scale out横向扩展的布局这些技术技术的技术技术我们在TSMC工作了一段时间我们与技术的技术技术专业的技术技术以为我将来展示你这是真正的技术这些技术技术这些技术技术是采用集成的微光技术的NVIDIA光电一体封装交换机的宣布简称CPU是英文Copackaged Optics的缩写我的天啊虽然老黄在演讲中展示的时候这些黄色的线被缠在了一起弄了好久才弄开但是也是挺有话题度的让大家对这几根线更加的好奇了你可能就要问了这几根线是怎么运作的如何能让英伟达的Data Centerby scale out 横向扩展呢现在所有的Blackware的这些机器它其实是用铜就是还是基于铜的互联Copper的然后后面长效光的互联按照英伟达的说法CPU交换机的创新技术将插把式的光模块替换为与ASIC一体化封装的归光器件与传统网络相比可将现有能效提高3.5倍网络可靠性提高10倍部署时间缩短1.3倍这就是说这能极大程度增强英伟达数据中心的互联性能而这对于实现未来百万级GPU的AI工厂的大规模部署来说至关重要OpenAI去年做4O的时候4O之后训练它经常会训飞了因为它那个时候的Frontier Model已经基本穷尽了大部分的数据所以它训练失败的次数很多GPU的训练失败次数也非常多次数多了以后你要做大量的实验做大量的实验的时候你需要每次实验的时间足够短你不能说我一个时间丢出去两个礼拜没消息这是不能忍受的那怎么样缩短时间就是提高通讯能速度而除了速度快之外呢CPU交换机呢也能在能耗和价格上带来很多的成本节省我们带大家去GTC现场来看看英伟达展示的CPU实物来看看具体是如何运作的这是新的事 [9:59] Denson was talking about during the keynote. This is our Quantum X Photonics switch. This is the ASIC. This ASIC is here on this switch. Now what's really important here is that this is the first time we've been able to do CPO, co-package optics, silicon photonics right there. So instead of having what you see here is a transceiver, it's going to connect anyways to this NIC. But now on the switch, you're actually just going right into the plug. You're no longer going to need a transceiver. and without having a transceiver you do two things you reduce costs because these are fairly expensive you reduce power because these take up about 30 to 33 watts of power so we've been able to go from pluggable where the optics all are here on the switch silicon and be able to reduce that power from 30 to 9 watts我们的采访嘉宾认为训练测客户在意的是时间推理测客户在意的是成本 And CPU can be able to make two needs at a certain level of speed. The only one is really strong. The reason why we are doing the training is that we are doing a lot of training. We have a few million cards in the group Then we have a 20 million cards This time how many of the 10 million cards can be used to be able to do this It important to have a high英伟达又再一次的领先了全球因为比如说他有CPO机柜上有各种各样的这个新的花样所以我觉得就是在长线来看就是推理集群这一块英伟达的这个长线的优势也是更明显的在你做到辨认性 必须要有很多空气我们看到了很多空气你会需要很多更多很多更多人都想到之前所以要有设计的电源是高的额度和有多功能力可以推出出了一个电源和很少的电源或者是可以带走的电源你也会带走那样然后可以带走的力量但是呢关于CPU啊我在采访期间还挖出了一点点的小八卦这个八卦听上去可能会比较技术啊但是呢还是挺好玩的我建议大家不要跳过接下来这一段来感受一下光学发展中水还是很深的啊有很多故事我们采访了非常早期研究和从事归光技术CPU的研究者和业内从业者他们告诉我呢CPU这个技术从2000年左右在业界就已经开始在研究了最开始主导这个技术的是英特尔我们提出来的这个所谓的当时还比较普及的技术叫做Monalistic Integrated Contronic SE当时为什么会做这个事情呢当时有一家公司叫英特尔然后英特尔对一件事情很感兴趣叫Big Data这位资深的光学研究者告诉我们英特尔是20年前的归光子学最大的研究知识机构主要是因为大数据业务的驱动而之后发展出来的CPU技术最早是为了解决光电系统短距离通信开始研发的也是光纤通信研究发展的必然结果而在行业发展的过程当中除了英特尔其他小型一点的企业也在尝试研发这项技术 Big Data Optics Data你不需要那么高的码率100G之内都不需要Copagic Optics100G是2012年2012年发生什么事情呢2012年Spark和Apache出现了2012年的时候是Snowflakes刚刚开始快速发展的这一年这一年的时候你会发现说数据库已经开始上云了这就意味着大量数据存在一个地方读取和使用在另外一个地方你需要做query那数据的移动就变得非常复杂那个量也变得非常大这个时候你100G的数据中心之间的沟通已经不够用了所以那个时候从2012年就开始Google就开始提400G然后很快很快到疫情之前就到了800G现在同样这么大的要做800G会怎么样呢你的里面的集成度要高很多到集成度高上去了以后这个光线系统设计会非常复杂你比如说功耗怎么办Liman的问题怎么办这都非常大的问题然后这两个问题解决了以后你的良率基本上是零每一代都是这样从100到200200到400到400都是零一出来都是零然后你的那个研发基本上就是5个1往上走它的研发是非常贵的那以前的话没有新的应用就不会有研发现在有新的应用数据仓库出现了以后就有研发400到800G的时候你看Meta和Google那些报告 [14:59] 他们已经开始广泛地使用PIP和POP这两个层就是package,unpackage,package,inpackage其实跟今天的call package基本上概念应该很接近了而为什么硅光子技术的良率会这么的低需要花费的研发费用这么的高呢我们再请Kathy来跟我们科普一下我们人的头发的尺寸大概是一个0.01mm2已经是一个非常小的尺寸了但是在现实使用的这个Silicon Photonics Engine硅光光子引擎里面这个实际的micro ring resonator的尺寸比人的头发还要再小十倍是个非常非常小的尺寸在制作的时候哪怕是用现在的非常先进的工艺的时候也会很容易造成就是纳米级别的误差而一纳米级别的误差就会使得通过的光的波长有所误差所以稍微一个不留神一个小小的失误就会导致本来该通过的光完全彻底通过除此之外我们需要很好的加工精度的控制这个加工精度要精细到纳米级别较到一个纳米基度的级别是非常非常困难的一件事情然后另外温度的控制呢使得每一个ring editor它都需要它有自己的一个hitting pad然后hitting pad的脸上一个精密的一个有feedback的温度调控而同时温度调控又是一个时间的参数你这边光在以非常快的速度比如说50G赫兹的速度在通过速度但是这边温度的调控非常的慢所以需要一个非常精确非常智能的温度控制系统而且对于每一个小的这个MicroReson它需要去这样的调控可以想象在整个一个package里面有这么多的激光器有非常非常大的一个温度调控的一个算法的存在性的必要然后这一切的一切加起来呢就导致了一个最终的效果就是这个硅基光子的这个量率非常非常的低多年的从业者Mai D.S. Gary这是一个伊朗人他跟我提到过一句话电子制造之中呢你不用提良率因为良率都非常非常地高是99.9后面还跟着无数个9非常非常高的一个良率大家才能赚上钱然后在归基光子的行业中呢大家也不用提良率率因为大家都知道良率非常非常的差稍微一个不小心就导致良率整个崩盘然后这也就导致了为什么归基光子学的成本其实下不来因为这些非常非常精确的控制的需要让良率非常非常的低所以必须有一个非常需要这种非常快速非常精确的控制的一个又能同时接受稍微高一点成本的这样一个行业的需要才能让轨迹光子学发展起来那后来就是怎么发展起来把这个良率给提上去了行业一点一点的磨合吧老黄他在轨迹光子学并不是最早的英特尔在这方面真的是非常是行业的先驱在2000年就开始做但是老黄为大家找到了一个能让这个技术走进千千万万家的非常好的应用这是应用在Data Center应用到AI大模型里面然后真的让这样一个非常高精尖的技术有了他实在的用武之地那么根据嘉宾的说法英伟达的光学通信系统技术来自2019年对以色列芯片厂商Melanox公司的收购而Melanox的这个技术又源自于2013年收购硅光子公司Cultor所以在这里我们也大概讲了讲CPU技术的发展史和业内从业者对老黄说CPU是因为大家发明的这一点的challenge这一点挑战也欢迎如果有硅光子产业的从业人员给我们留言说说你们对这个技术发展的八卦和故事不过也正是因为华人勋看到了CPU在AI数据中心大规模的应用才又一次通过市场应用来支持技术的研发将这个技术带到了大众的面前如果这个LM只是一个千亿级的市场的话那么老黄根本就不会干这玩意的事这太贵了那现在已经到了万亿级的市场那老黄说那好了有钱来了就跟我之前说800G有数据仓库是一样的既然LM来了你的钱给我怼的足够多那这个世界上反正那个Cassie也知道这个东西是不违反物理经理的你只要砸钱砸得够狠不违反物理经理的事情都是能做成的那虽然CPU技术不是英伟达独家的很多大公司其实都掌握了这个技术但是我们的嘉宾认为呢英伟达在内部大力推进CPU技术整合到生态当中将CPU做到了竞品ROMAP路线图的数倍用快速的执行和研发效率进一步加深了生态的护生和壁垒英伟达在光这块其实投入也很大就到了很多团队的人其实从各大公司都挖了不少人来做这一块他这里会进一步加深这个壁垒因为做CPU这一个其实是有很多做归光的公司他其实他可以做那个module但是如果要跟AI芯片合在一起做他其实是一定要找这些大产就是AI芯片最大的出货量最大的厂去合作这里面涉及到一个芯片跟它规光模块的一个co-design的一个问题所以比如说其他的那些规光公司的话那你可能就要去找AMD或者另外一些做AI芯片的这里面如果因为它自己都是in-house做的话它其实是有很多的know-how和优势比 [19:59] 这个其他公司规光的跟AMD合作或者是其他公司跟Cerebus合作或者是跟Glock去合作其实是会有很大的优势好说完了规光子学的CPU交换机我们再来说一下英美达在软件生态上的另一个重要的更新Dynamo那么这被我们的嘉宾认为是英美达想在推理侧造就的第二个孤党在华人薰的Kindle期间他宣布在软件方面NVIDIA是推出了NVIDIA Dynamo这是一款开篇的AI推理服务软件被视为是NVIDIA Triton推理服务器的接班人亦在简化推理部署和扩展而他的设计目标也非常明确以更高效和更低成本来加速并且扩展AI模型的推理部署那简单来说呢Denimal就像AI工厂中的大脑和中数啊不择协调成百上千张GPU的协同工作确保呢每一次AI模型的推理请求都能用最少的资源最快的速度得到处理从而让部署这些模型的企业花更少的钱去办更多的事而这让一些美股分析师认为如果说Kuda是英伟达最强的软件护城河生态那么Denamo就是英伟达在推理侧想要搭建的第二道护城河英伟达基本上60%以上的护城河都来自于软件我觉得那这一次它出了这个Denamo其实相当于是在大模型AI领域又再造了一个CUDA为什么呢就是Denamo就是说它是能给推理降本的然后它也开远了这个是相当于是跟CUDA的布局是一样的早期在未来一个新方向上布局上那我觉得这个可能在长线来说可能是因为它能再造一个CUDA那这个对于它的在AI这一个领域的护生核其实是一个非常强的一个正向的东西对我觉得这个是我比较看好的一个那Denamo带来的最大亮点之一呢就是大幅度提升了推理性能和资源的利用率同时降低了单位推理政府的成本如果我们做一个类比哈这个Dynamo就像一家餐厅的智能调度经理在忙的时候能够迅速的增派更多的厨师也就是GPU上罩在闲的时候呢又让多余的厨师休息或让人力闲置才能做到高效又节约那根据英伟达官官网Dynamo包含了四项关键的创新来降低推理服务成本并且改善用户体验首先就是GPU规划器GPU Planner这是一种规划引擎可以动态的添加和移除GPU以适应不断变化的用户需求从而避免GPU配置过度或者不足那么这就像我们刚才说的厨房遇到就餐高峰的时候就去家派厨师人手开新的厨房而在客人少的时候就关掉部分的厨房但我希望确保GPU也不闲着也不堵车始终在最佳的负载下运行这样一来每一块GPU都能够充分的被利用集群整体的吞吐量随之提高那么第二就是智能路由器Smart Water那么这是一个具备大圆模型感知能力的路由器它可以在大型GPU集群当中引导请求的流向从而最大程度减少因为重复或者重叠请求而导致的代价高昂的GPU重复计算来释放出GPU资源以响应新的请求那么这有点像客服中心里面把老客户直接转接给之前服务过它的界线员因为那位界线员已经有客户的记录可以免去重复询问更快的给出回答而Denimal正是利用这种机制将过往推理中产生并且存储在显存里面的所谓知识在潜在的数千块GPU中建立所以映射那心情就来了就路由到我有相关缓存的GPU上这样一来呢大量重复的中间计算就被省略让GPU算力主要服务于新的独立请求那么第三呢是低延迟通信库Low Latency Communication Library那么这个推理优化库支持先进的GPU到GPU通信并且简化异构设备之间的复杂数据交换从而加速数据传输最后呢是显存管理器Memory Manager这是一种可在不影响用户体验的情况之下以智能的方式在低成本显存和储存设备上卸载以及重新加载推理数据的引擎这类似于把不常用的工具先放进仓库需要的时候再拿出来留出昂贵的这个工作台空间来给当前最紧要的工作那么这种分层存储和快速调取的策略呢让GPU显存的利用更高效推理成本能够随之下降而有了以上的这些优势 [24:59] 大路景黄人勋想在AI逐渐转向推理时代之际让英伟达依然保持AI芯片的霸主地位根据英伟达的官方数据在相同数量的GPU之下使用NVIDIA Hopper架构的GPU去跑LAMA大模型在采用Dynamo之后的整体推理性能和产生的结果数量直接翻倍而由GB200 NVL72机架组成的大型集群上去运行DeepSick R1模型的时候但那么让每张GPU每秒能够生成的token数量提升了超过30倍他在这条路上走得比其他人越来越远所以我觉得他传递的key message就是我就是找OIN推理然后我在推理这条线上我所有的精力都滑在这个上面然后让其他人追不上我我觉得这个是他在我认为他想传递的信息那么在今年的Kindle当中老黄的名言也变了这意味着英伟达的AI数据中心已经准备好服务推理册的客户帮助客户去省钱提效也意味着英伟达想在推理册继续成为算力八主好那以上我们讲完了Skill Up Scale Out和黄仁勋在推理侧带来的最关键的几项更新而要配合这样更大规模集群的建设相关的数据中心基建和上下游呢也需要随之更新了我们再带大家去GTC现场看看那刚才我们说到芯片架构的取名方式更新代表着黄仁勋对集群生态的强调而非单芯片那么相对应的数据中心中的机架架构呢也将升级为Kyber通过计算托盘旋转90度从而实现更高的机架密度这个是我们未来Kyber Generation是未来的下一个Generation的Product这就是一个712的GP200那这个总共是288的GP所以有72程式而除了机架的更新之外呢整个数据中心的制冷供电也都需要为新一代的芯片来进行升级如在讯息中,我们走到 Vera Rubin, Vera Rubin Ultra然后我认为你看到了新的288GPU在 NVIDIA的房子我们的工作是在工作与 NVIDIA我们工作与 NVIDIA很接近我跟他们聊天四次每天为他们做出了一些设计的设计每一个新的新的产品有更多力量,更多力量,更多温度 four times a week to come up with reference designs like this. Each new generation means more power, more liquid, more cooling capacity. So we're responding to that by making sure that the system architecture, the pipe work, the CDUs scale up to meet that new demand. And this here is an example of that. We've gone from 1 megawatt CDU's to a 2.3 megawatt CDU and this will be perfect for Vera Rubin Ultra. So this will handle, you know, 600 kilowatts per rack, no problem. And that's just one part of the system. We obviously have to go from chip to air cooling. So we'll take the heat from the servers at the rack level. exchange the heat with the facility circuit with a CDU, the cooling distribution unit, and then reject that heat to the air or the atmosphere through a trim trailer, a cooling tower, a dry cooler, or even a heat pump for using that heat in, reusing that heat in cities for heating, for example. That's essentially our job. And for the entire data center of the system, the system and the supply chain and the supply chain而对于整个数据中心的基建电力系统还有上下游供应链的选题也是我们硅谷101密切关注的话题但因为时长原因我们暂时不展开之后我们会更加深度地去聊聊这些方向接下来我们再来试图回答一个另外的关键问题AI训练策伊美达是绝对的霸主地位这个可能毫无疑问但是接下来在AI进入推理测之际AMD,Grook,谷歌GPU还有其他的ASIC这些玩家有机会分掉英伟达的蛋糕吗那么这是业内大家探讨的重要话题其实在二三年的时候我们请黄教主到我们华美半导体协会我当时还challenge问了一个问题就是说因为我自己做AI芯片很久我就是说你们的这个GPU的架构其实在很多应用场景下它的Efficiency其实不高嘛那我们现在很多在做各种定制的AI芯片有做稀疏化的有基于RES5的有基于这种Wafer Scaling的这种像Cerebras这种大的芯片然后我们是不是还有机会我其实问的是这个问题啊然后 [29:59] 老黄说的是大家都有机会但是你们的机会不大所以当时大家其实是非常好笑老黄是非常幽默的但是大家都有机会但是机会不大这个结论呢目前我聊到的无论是投资人还是芯片领域的人都基本上赞同原因是因为因为它目前的生态已经太完整过程度已经太高了不仅仅是单个GPU的性能而是整个大集群的高效联通以及CUDA软件层面的优化和支持并且就像我们上面所说到的英伟达在领先对手的情况下还在不停地去加固它新的护城河比如说大家非常关注的千年老RAMD就一直没有能够在AIGPU这方面取得突破性的市场份额在过去的一年它的股价也下滑了超过40%归根结底还是在软件方面追赶不上英伟达MI300发的时候对标的是英伟达的H100 H200我记得H100的那次应该是80G但MI300直接是190G了然后英伟达的B卡才190G啊所以你看他那次其实很高的对吧然后他还便宜比英伟达便宜40%他这个参数看起来都很美我去测试这个时候AMD的这个实际的性能远低于他写的参数原因是什么呢就两个其一是因为这个AMD的软件AMD的软件叫ROCM就是你实际上你在真的去开发去测试的时候AMD那个软件让你用的时候就全是bug你根本就跑不通模型你根本就推不出来就是AMD目前我理解他能做的比较成熟的就是八张卡互联就是64个卡我应该都没见到过就八个卡你看英伟达在27年都要576个卡了这之间的差距已经没办法去密布了就更何况对吧英伟达有NVSwitchAMD是没有相应的芯片的就他没有做这个东西或者说成型的东西没有AMD有NVLink这个替代的东西但是他稳定的是NVLink的二分之一他的效率然后没有NVSwitch他又做不了机群所以你就可以看到他只有这个八个卡所以我觉得互联差距更大但是这并不是说AMD在一些特定的市场没有机会而且市场的投资人们认为客户们不可能接受一家独大一定会给予AMD和其他芯片厂商一些机会但是最大的份额在端模型起来之前可能依然会被英伟达所占据而至于ASIC这样的专用集成电路也会有他们特定的市场但是也可能占据不了太多宁伟达的份额所以AMD在大力推AIPC然后它的GPU当然也在推但是它推的话可能也会去跟一些大模式厂商直接合作就是说某一个大模型在它这个场景上用得很好那这个应用场景非常广那其实也是有机会的这种情况下AMD的story在什么地方呢就是可能再过几年就是当C端的应用打模型的成本已经非常非常非常低的时候端侧的东西都起来了就是我可能一个电脑我一个GPU我也可以去学来打模型或者做AI的事情那这个时候AMD就OK了说白了就是它没有那么高的难度那我就可以搞了你这么理解在GPU这个领域除了英伟达以外只有AMD配在这个市场上活着对吧所以它就能吃那些中肠尾的东西对吧OK那其他的Dragon呢ASIC呢就是他们不配活着吗对对对ASIC我其实想论证的点是ASIC这个东西它落地的难度是非常非常高的就是它通用性很窄就是谷歌的那个它做核心的transistor就是做那个晶体管的那个计算的单元它那个大小是比英伟达要大两倍到四倍的这个背后的原因是啥呢就是它设计能力的不足嘛所以它大会怎么样良率很低就是谷歌的TPU的良率是很低的90都不到英伟达的可能是99背后的结果是什么呢就是它量产很难对吧就这个东西很多时候就是只能够非有大厂一两个需求第二就是ASIC的核心其实就是我先了解你的业务对吧我知道你一个代码怎么写我跟着你这个代码设计我底下的这些硬件的芯片当然中间肯定很复杂了对吧但大概的思想就是我跟你的业务设计我的芯片那这个说白了就是我只能在我谷歌的芯片我只能在谷歌的生产里面亚马逊的芯片我只能在亚马逊的生产里面我出不来所以就是我觉得未来的推演ASY和这个GPU我觉得他们是共存的就是英美达为主它会take绝大部分通用的计算需求然后ASIC他可能会take一些大厂部分的业务场景你看谷歌对吧他有那么多TPO对吧但是他也采购了大量的英伟达的卡因为他那些英伟达的卡是要用到他自己的云上面给客户用的他的TPO只用在试面或者搜索上他的墙子还是比较局限的所以呢 [34:59] 看起来就像老黄说的无论在训练侧还是在推理侧大家都有机会但是机会不大那么英伟达不可能吃掉整个蒜粒蛋糕特别是当我们要进入推理时代那么越来越多特定环境的应用的需求越来越多端侧的需求出现的时候市场是足够大能够容忍多个玩家的Inference这边我觉得竞争肯定会更激烈如果咱们只从蒜粒的一个角度来说我觉得Inference的竞争会比Training这边更激烈我觉得如果把这个视角放大一点的话就是我觉得NVIDIA其实它不是在和AMD或者在跟Broadcom和ValgerCASIC的公司在去竞争我觉得它如果视角放大一点它其实是在和这些云天参的厂商在跟Amazon在跟Microsoft去竞争然后算力是这里面非常非常重要的一个子战场老黄有个策略它可以用它上一代的旧卡让你去做推理然后它的新一代的新卡用来做训练旧卡的它其实是已经有折旧了所以折旧的旧卡在做推理的场景上其实是有优势的就是说它还是可以用旧卡的成本去跟你最新的你AI芯片公司最新的芯片跟系统去竞争然后同时对很多人来说如果训练跟推理我的软件框架是一致的实际上是一个很大的对于我做software的后面部署的成本的降低是有很大的优势所以英伟达会让你去就是说他有很多的这个打法他可以去定制这个推理卡也可以说我在我的产能受限的情况下我就针对就是训练做这个一直做这种又大又能够scale out的这个卡但是只是这个旧卡用来做推理新卡可以继续做训练所以英伟达他的这个护城河其实是挺深的那看上去业内人士们依然对英伟达的护城河和市场优势抱有非常大的信心但同时我们也确实感受到因为它的股价在最近有受到不少的压力有美股机构投资人就对我们表示除了宏观大环境的压力之外像GPT5这样的大模型性能表现依然是接下来会影响市场的重大因素我们说这么多可能大家也都知道但真的我觉得能够给投资人信心让投资人都是一帮简单粗暴的人他就是要看到你这个大家不要把他们想的太 sophisticated说白了就是要我觉得就是GPT5出来了让大家明显的看到我们这个怼算力还是特别有效而且确实把这个模型带到了下一个境界那可能就又都冲回来了在没有这个之前我觉得要花好多的教育理解可能才真正的能要么就是英伟达再跳一个台阶如果没有的话我觉得就是要花相当长一段时间真的理解了英伟达在这个生态链中的这么一个特别重要的作用我觉得股价才会慢慢慢慢有他该有的位置我们之前很多七视频也讲过黄仁勋是一个眼光非常长远的CEO而他在这一次也传递出来了这个重要的信号就是全生态布局今后任何一个需要加速计算的领域他都不会错过让我记忆很深的就是在这一次的演讲当中黄仁勋背后出现的这一排像塔罗牌一样的全生态布局标题是对每一个产业服务的CudaX包括数值计算计算光刻5G 6G信号处理决策优化基因测序医学成像天气分析量子计算量子化学甚至学习计算机辅助工程数据科学和处理物理学等等那其中量子计算自动驾驶还有机器人赛道当中的仿真平台和算法呢也是因为达目前着重布局的方向那么这几个选题呢我们之后也会去详细的追踪但是总的结论就是黄仁勋不会放过任何一个需要算力的市场而他也发出了非常强劲的信号他说去年的2024年的GTC大会就像一个rock concert一个秀肌肉炫酷的摇滚音乐会而今年2025年的GTC大会是美国橄榄球Superball超级晚因为Superball号称美国春晚里面的所有人包括两个参赛的队伍广告商 展播商 观赛的游客每个人都是赢家所以华人勋讲的全生态超级版模式的故事是NVIDIA is going to make everyone a winner也就是说在英伟达生态中的每个人都是赢家 [39:59] AI infrastructure for enterprise and AI infrastructure for robots那黄人巡亚预测2028年数据中心的支出将会突破1万亿美元而到那时AI生态会如何发展是否如我们这期节目中嘉宾们预测的那样因为他的霸主地位将会持续地保持而剩下的蛋糕又会有什么样的新机会以及量子计算机器人等产业的发展我们硅谷101也会为大家持续的关注好了以上就是我们这期视频的全部内容了你们的点赞留言和转发是支持我们硅谷101做好深度科技和商业内容的最佳动力那我们就下期视频再见了Bye谢谢大家