英伟达推Vera Rubin架构并联手Groq 解耦推理重塑万亿AI工厂

NVIDIA GTC Keynote 2026 — NVIDIA

NVIDIA

黄仁勋称全球计算已全面越过推理拐点,在数据中心电力锁死的前提下,必须通过软硬件极致协同与分离式推理将每瓦Token吞吐提升50倍以击穿商业化成本底线。

AI-assisted summary of NVIDIA GTC Keynote 2026 — original source. Check the original for full context.

Source published:

Key ideas

  • 黄仁勋发布了最新的 Vera Rubin 架构,该架构通过机架级解耦与液冷技术实现计算性能的代际跃迁,使 AI 工厂的 Token 生成速率相比 Blackwell 架构提升 35 倍。 (185:26)
  • NVIDIA 提出了“推理拐点”概念,强调 AI 工作负载已从训练转向推理,推理算力需求将在两年内激增 100 万倍,倒逼数据中心基础设施必须以每瓦 Token 数(tokens per watt)为核心指标进行重构。 (84:03)
  • NVIDIA 推出了 OpenClaw 开源智能体操作系统,致力于解决自主智能体在任务分解、工具调度及长链路执行方面的生产环境应用挑战。 (243:43)
  • 通过整合 Groq 的超低延迟推理架构与 Vera Rubin 的高吞吐算力,NVIDIA 实现了针对高价值任务的混合部署策略,可根据业务需求在延迟与吞吐之间实现最优分配。 (219:12)

Detailed notes

## Background 该视频由 NVIDIA 在 YouTube 平台官方频道于 2026 年 3 月 16 日发布。视频为 NVIDIA 创始人兼首席执行官黄仁勋在 GTC 2026 大会上的主题演讲,重点介绍了 AI 与加速计算的最新突破,探讨了智能体 AI、AI 工厂及物理 AI 如何驱动下一代智能系统。

## TL;DR 本次演讲全面剖析了 AI 算力从模型训练向推理阶段的本质跃迁,强调了 Token 经济学对未来基础设施的核心影响。黄仁勋发布了 Vera Rubin 架构、Groq 推理芯片及 DSX 数字孪生平台,旨在通过软硬件协同将算力性能提升至百万倍规模。此外,演讲还推出了 OpenClaw 智能体开源操作系统,勾勒出从企业级 AI 工厂到具身智能机器人的未来产业图景,为全球算力基础设施投资提供了技术范式。

## Atmosphere & style 整场演讲充满前瞻性的科技宏大叙事感,黄仁勋以专业且具有感染力的语调,将复杂的计算架构演进比作一场重塑全球工业文明的变革。现场气氛庄重而充满活力,通过实时仿真的视觉演示和对“AI 工厂”这一核心概念的反复强化,营造出一种紧迫与兴奋交织的氛围,仿佛带领观众亲历了一场即将改变人类生产力的计算革命。

## Bulletin - [03:05:26](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=11126s) 黄仁勋发布了最新的 Vera Rubin 架构,该架构通过机架级解耦与液冷技术实现计算性能的代际跃迁,使 AI 工厂的 Token 生成速率相比 Blackwell 架构提升 35 倍。 - [01:24:03](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=5043s) NVIDIA 提出了“推理拐点”概念,强调 AI 工作负载已从训练转向推理,推理算力需求将在两年内激增 100 万倍,倒逼数据中心基础设施必须以每瓦 Token 数(tokens per watt)为核心指标进行重构。 - [04:03:43](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=14623s) NVIDIA 推出了 OpenClaw 开源智能体操作系统,致力于解决自主智能体在任务分解、工具调度及长链路执行方面的生产环境应用挑战。 - [03:39:12](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=13152s) 通过整合 Groq 的超低延迟推理架构与 Vera Rubin 的高吞吐算力,NVIDIA 实现了针对高价值任务的混合部署策略,可根据业务需求在延迟与吞吐之间实现最优分配。

## Key takeaways - [10:02](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=602s) CUDA 已走过 20 年历程,其软硬一体的飞轮效应在于通过架构代际兼容性赋予云端硬件长效寿命,持续保护开发者与企业用户的资产投资。 - [22:30](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=1350s) DLSS 5 标志着图形渲染与生成式 AI 的深度融合,通过神经渲染实现结构化数据的实时计算,成为构建可信 AI 的基石。 - [26:59](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=1619s) 结构化数据处理(DataFrame)是 AI 智能体接入企业核心业务的关键,cuDF 和 cuVS 加速库已在多项工业测试中实现数倍至数十倍的性能提升与大幅成本削减。 - [50:03](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=3003s) NVIDIA 明确了其“垂直整合计算与水平开放生态”的战略定位,不仅提供芯片,更提供包含数十个算法库的加速平台作为公司发展的“皇冠明珠”。 - [01:16:53](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=4613s) 当前 AI 演进已进入第三阶段——以 Claude Code 等智能体(Agentic)为代表的自主行动时代,AI 不仅能生成,还能调用工具并进行自主迭代。 - [01:27:03](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=5223s) 预计到 2027 年,全球 AI 算力基础设施需求将达到 1 万亿美元,NVIDIA 的业务增长已覆盖从超大规模云厂商到企业级应用及机器人边缘端的全领域。 - [03:05:29](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=11129s) Vera Rubin 机架采用 100% 纯液冷设计,其组装效率极高,支持 45 摄氏度热水循环散热,并提供 260 TB/s 的无阻塞 NVLink 全对全互联带宽。 - [03:11:39](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=11499s) NVIDIA 与台积电联合研发 COOP 工艺,实现全球首款共封装光学(CPO)Spectrum-X 交换机,大幅提升了数据中心内部的互联带宽与能效表现。 - [02:08:58](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=7738s) Rubin Ultra 架构引入 144 卡中板设计,彻底废除传统无源铜缆布线,极大优化了高密度计算环境下的布线复杂性与信号完整性。 - [02:12:22](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=7942s) Token 已成为新的工业大宗商品,企业必须通过 AI 工厂的精细化运营,在固定电力预算内平衡高吞吐量与生成速度,以最大化商业回报。 - [02:33:36](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=9216s) Groq 系统因其编译器驱动的确定性数据流特性,能与 Vera Rubin 的通用高吞吐能力形成深度互补,解决超低延迟推理需求。 - [02:46:45](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=10005s) NVIDIA DSX 数字孪生平台通过 Omniverse 仿真物理机房供电与散热,使 AI 工厂在相同电力边界下产出提升一倍。 - [04:03:43](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=14623s) NemoClaw 架构整合了 OpenShell 安全沙箱,旨在为企业提供受控的自主智能体执行环境,加速 SaaS 向 Agentic-as-a-service 的转型。 - [03:30:37](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=12637s) 具身智能的发展已进入“自动驾驶的 ChatGPT 时刻”,通过 Isaac Lab 和 Newton 引擎在虚拟环境中训练的机器人已具备在物理世界中执行任务的能力。

## Detailed walkthrough ### [00:08](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=8s) 开场先导片:Token 经济学与智能制造

一段极具未来感与史诗气质的先导片拉开了大会的序幕。视频将人工智能的运行机制类比为一种前所未有的新型工业设施:“这便是智能被制造出来的方式:一种新型工厂,Token(标记)的发生器,构建 AI 的基础砖瓦。”在屏幕上,流动的光影与复杂的神经网络节点交织,宣告着以 Token 为核心的新计算范式正式降临。

视频描绘了 Token 作为知识与计算载体,如何穿透人类社会的方方面面:它们将海量原始数据提炼为人类认知,赋能清洁能源开发,揭示宇宙星辰的演化密码。在虚拟世界中,Token 训练机器人习得物理规律;在现实世界中,它们驱动自主农业设备开辟田垄、助力丰收;在医疗领域,它们于无声处监控生命体征,让最微弱的幼小心脏得以强劲跳动。先导片在火箭升空的壮丽画面中推向高潮,伴随着“分离已确认,飞向更遥远深空”的调度指令,宣告人类正携手迈向一个由全人类共享的智能新未来。

[03:18](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=198s) 欢迎来到 GTC 2026:AI 的“五层蛋糕”与产业生态

在现场震耳欲聋的掌声中,NVIDIA 创始人兼 CEO 黄仁勋(Jensen Huang)身着标志性皮衣快步走上舞台。他神采奕奕地张开双臂向全场致意:“欢迎来到 GTC!”面对清晨便在场外排起漫长队伍的热情观众,他笑着提醒大家保持极客精神:“我只想提醒大家,这是一场技术大会。这么多人一大早就排队入场,很高兴在这里见到大家,GTC。我们今天将深入探讨技术与平台。”

黄仁勋开门见山地指出,NVIDIA 的核心是构建技术平台,本场演讲将贯穿三项支柱级平台:成熟的 CUDA-X 软件库生态、顶尖的计算系统工程,以及全新的工业级范式——“AI 工厂(AI factories)”。在展开核心技术之前,他特别致谢了主持展前预热环节的技术投资人:Conviction 的 Sarah Guo、红杉资本(Sequoia Capital)合伙人兼 NVIDIA 首位风险投资人 Alfred Lin,以及 NVIDIA 早期最重要的机构投资人 Gavin Baker。

黄仁勋强调,全球产值达 100 万亿美元的产业代表今天几乎全员到场,共有 450 家全球领军企业赞助了本次盛会,现场设有 1,000 场深度技术分会,汇聚了 2,000 位顶尖演讲者。他将当前的人工智能体系具象化为一个“五层蛋糕”,并指出 GTC 将彻底覆盖其中的每一个切片: 1. 底层实体资源:土地(Land)、电力(Power)与数据中心外壳(Shell); 2. 物理基础设施:算力集群网络、液冷设施与服务器机架; 3. 芯片架构:GPU、CPU、DPU 及高速互连总线; 4. 核心平台与前沿模型:加速库框架、基础大模型与算法工具链; 5. 应用生态:真正决定整个产业能否腾飞的端到端行业落地场景。

[06:02](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=362s) CUDA 二十周年:软硬一体飞轮与长效算力资产

黄仁勋带领全场回顾了一段波澜壮阔的技术演进史:“今年是 CUDA 问世 20 周年。我们已经在 CUDA 上默默耕耘了整整 20 年。”二十年前,NVIDIA 颠覆性地推出了单指令多线程(SIMT)架构,让开发者能以直观的书写标量代码的方式,自动派生出大规模多线程并行任务,其可编程性远超传统的 SIMD 指令集。随着深度学习崛起,团队又引入了矩阵分块(Tiles)机制,让开发者能够极致压榨 Tensor Core 的算力极限,构筑起现代 AI 计算的数学底座。如今,CUDA 生态已演化为包含数千种编译器、工具链、运行时框架以及数以十万计开源项目的庞大软件世界。

大屏幕随后打出了展示 NVIDIA 核心商业战略架构图。黄仁勋直言,这张图揭示了他多年来反复宣讲的全部底层逻辑:在生态的最底端,是耗时二十年建立的“装机基数(Installed Base)”,这也是行业内最难逾越的护城河。目前全球已有数以亿计运行 CUDA 的 GPU 分布在主流云厂商、服务器品牌及科研机构中。庞大的装机量不断吸引顶级开发者进驻并催生算法突破(如深度学习的大爆发),算法突破开创出全新的商业市场,进而吸引更多软硬件公司加入构筑完整生态,并最终反哺更大规模的芯片装机。

```mermaid flowchart TD accTitle: CUDA 生态飞轮效应示意图 accDescr: 展示硬件装机基数如何吸引开发者、推动算法突破,并最终反哺算力生态的自增强循环

subgraph CoreLoop ["CUDA 飞轮效应(The Flywheel)"] A["全球装机基数<br/>(Installed Base)"] B["吸引开发者生态<br/>(Developers)"] C["算法质的突破<br/>(Breakthroughs 如深度学习)"] D["开拓新兴商业市场<br/>(New Markets)"] E["软硬件生态扩张<br/>(Ecosystem)"]

A --> B B --> C C --> D D --> E E --> A end

subgraph SustainedValue ["持续成本优化与生命周期赋能"] F["架构代际完全兼容"] G["软件栈持续优化更新"] H["计算成本成倍下降<br/>有效服役寿命延长"]

A -.-> F F --> G G --> H end ```

黄仁勋特别指出,这种庞大的装机基数赋予了云端基础设施超乎寻常的有效服役寿命(Useful Life)。由于全生命周期的算力皆能被各类计算流水线调用,六年前发布的 Ampere 架构 GPU 在各大公有云中的租用价格至今依然坚挺甚至反向走高。正是由于底层架构保持兼容,团队对软件栈的每一次编译优化与底层调优,都能瞬间惠及全球数以千万计存量硬件,在初次部署加速的基础上持续压低算力单位成本。

[10:23](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=623s) GeForce 传承与深度学习宇宙大爆炸

回溯 CUDA 的起源,黄仁勋深情谈及 25 年前的 GeForce 显卡如何成为 NVIDIA 最成功的长线布局。他风趣地调侃台下早已成为行业栋梁的工程师与科学家:“GeForce 是 NVIDIA 史上最伟大的营销战役。我们在你们完全掏不起钱的时候,就已经吸引了你们成为未来的客户。那时候都是你们的父母掏钱给你们买显卡!一年又一年,父母不断充值,直到有一天你们成为了顶尖的计算机科学家,成为了成熟的企业级客户与开发者。”

25 年前,NVIDIA 打造出了历史上首款可编程加速芯片——具备可编程着色器(Programmable Shader)的像素着色器,开启了图形可编程流水线先河;5 年后,团队倾注全部心力孤注一掷研发 CUDA。当时公司财力极为有限,CUDA 的研发几乎吞噬了公司的绝大部分利润,但 NVIDIA 凭借坚定的信念,顶着巨大的财务风浪,硬是在 13 代产品迭代中让 CUDA 搭载在 GeForce 显卡的脊背上走进了千家万户。正是这一决定,让 Alex Krizhevsky、Ilya Sutskever、Geoffrey Hinton 与吴恩达(Andrew Ng)等学者能够触手可及地使用便宜且算力恐怖的 GPU,一举引爆了现代 AI 的宇宙大爆炸。大约十年前,NVIDIA 又做出了另一次颠覆性的跨界决策:重新设计现代图形架构,在硬件中硬核塞入实时光线追踪核心(RT Cores),并大胆押注“AI 终将重塑计算机图形学”。

[13:50](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=830s) DLSS 5 震撼公布:神经渲染与生成式 AI 的双向融合

“今天,我将向你们展示未来的模样。这是我们的下一代图形技术,我们称之为‘神经渲染(Neural Rendering)’——3D 图形学与人工智能的终极融合。这就是 DLSS 5。”

屏幕随后播放了一段DLSS 5 实机演示视频。画面中,高度复杂的 3D 几何光影与以假乱真的微观物理细节毫秒级实时生成,粒子飘散、高动态范围光追反射栩栩如生,视觉震撼引发全场屏息。演示结束后,黄仁勋振臂高呼:“这难道不令人叹为观止吗?计算机图形学彻底活了过来!”

黄仁勋在深入解析 DLSS 5 底层原理时提炼出了一个极具普适性的技术哲学: - 可控 3D 图形学(3D Graphics):代表确定性计算与虚拟世界的地面真实(Ground Truth),由结构化数据(Structured Data)精确控制几何刚体与空间坐标; - 生成式 AI(Generative AI):代表概率性计算(Probabilistic Computing),擅长生成极其自然、高度拟真且细节无限丰富的连续画质。

DLSS 5 实现了结构化数据与概率性生成的无缝咬合,既保证了场景几何交互的 100% 绝对精确可控,又获得了生成式模型赋予的非凡画质。黄仁勋以此向各行各业做出预言:“这种将结构化信息与生成式 AI 相互融合的架构设计,将在一个接一个的产业中不断自我复制重演。结构化数据正是构建可信 AI(Trustworthy AI)的基石所在。”

[16:19](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=979s) 结构化数据:企业级计算与商业世界的绝对地面真实

谈及结构化数据,黄仁勋神秘地对观众打起预防针,半开玩笑地警告台下不要倒吸凉气:“接下来的这张幻灯片可能会把你们吓一跳。我要翻页了,千万别倒吸冷气。每当我问团队‘哪张幻灯片最好’时,他们一遍遍选出的都是这张。他们甚至劝我:‘千万别讲这个,Jensen。’我说不,这些坐席对有些人来说可是免费的,这就是你们的入场代价!”

大屏幕随后展示出一张覆盖全栈企业数据管线的复杂架构图。黄仁勋严肃指出,无论是 SQL、Apache Spark、Pandas、Velox,还是云端部署的 Snowflake、Databricks、Amazon EMR、Microsoft Azure Fabric、Google Cloud BigQuery,全球企业级计算的核心全是在高频处理 DataFrame。这些 DataFrame 本质上是承载着人类社会各维度运转痕迹的超大型数据表,凝聚着企业运营的绝对“地面真实”。

如今,企业不仅要继续运行常规业务,更要让大语言模型与各类 AI 智能体接入这些企业核心库。黄仁勋以不容置疑的口吻宣告:“既然我们现在要让 AI 全面调用结构化数据,我们就必须把这种处理速度加速到极致(accelerate the living daylights out of it)。”唯有将数据准备、分析查询与特征工程的耗时缩减数个数量级,才能支撑起海量 AI 业务对实时、高吞吐结构化数据计算的严苛渴求。

- 关键事实与重要引用: - “今年是 CUDA 问世 20 周年。我们已经在 CUDA 上默默耕耘了整整 20 年。”(This is the 20th anniversary of CUDA. We've been working on CUDA for 20 years.)—— 黄仁勋 - “这种将结构化信息与生成式 AI 相互融合的架构设计,将在一个接一个的产业中不断自我复制重演。结构化数据正是构建可信 AI 的基石所在。”(This concept of fusing structured information and generative AI will repeat itself in one industry after another, industry after another industry. Structured data is the foundation of trustworthy AI.)—— 黄仁勋 - 行业大会规模:超 450 家跨国企业赞助支持,汇集 1,000 场深度前沿技术讲座及 2,000 位行业演讲嘉宾。 - 核心图形与算力里程碑:25 年前推出可编程像素着色器,20 年前推出通用计算架构 CUDA,8 至 10 年前以 RTX 系列显卡开创实时硬件光追与 AI 降噪渲染,今日正式迈向神经渲染 DLSS 5。

[17:51](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=1071s) 结构化与非结构化数据:AI 的基石与 cuDF / cuVS

黄仁勋(Jensen Huang)展望了数据架构的未来演变。未来的智能体(AI Agents)处理数据的方式将远比人类更快速、更同步,它们不仅会重度依赖结构化数据库,更将彻底激活庞大的非结构化数据世界。现实世界中每年产生的海量信息——包括向量数据、PDF、视频、语音等——有大约 90% 都是非结构化数据。黄仁勋直言不讳地指出了传统计算的局限:“直到现在,这类数据对全世界来说几乎是完全没用的。”(“Until now, this data has been completely useless to the world.”)过去人们只能阅读这些文件并把它们扔进文件系统,既无法高效查询也无法直接检索,因为非结构化数据缺乏简单的索引机制,必须先理解其深层含义与意图。

随着 AI 解决了多模态感知与理解的技术瓶颈,系统现在能够自动阅读一份复杂的 PDF 文档,提炼其语义并将其转化为高维向量嵌入,从而构建出可供毫秒级查询的语义数据库。正如当年为 3D 图形计算发明了 RTX 技术一样,NVIDIA 为现代数据处理打造了两大基石级核心加速库:针对结构化数据 DataFrame 的 **cuDF**,以及针对向量检索、语义理解与非结构化数据的 **cuVS**。全球的数据处理系统极其庞大且碎片化,NVIDIA 历经多年深度整合才打入这一复杂的软件生态,使两大库成为全球现代数据栈的底层标准。

```mermaid flowchart TD accTitle: NVIDIA 数据加速技术栈与数据分类 accDescr: 展示结构化与非结构化数据如何通过 cuDF 和 cuVS 进入 AI 应用层

subgraph InputData["原始数据输入"] Structured["结构化数据<br/>(SQL 表格 / DataFrames)"] Unstructured["非结构化数据 (占 90%)<br/>(PDF / 视频 / 语音 / 文档)"] end

subgraph AcceleratedLibs["NVIDIA 基础计算库"] CUDF["cuDF<br/>(DataFrame 极速处理引擎)"] CUVS["cuVS<br/>(向量检索与语义存储引擎)"] end

subgraph Applications["AI 应用与基础设施"] VectorDB["向量数据库 / RAG / 智能体"] DataWarehouse["现代数据仓库 / BI 分析"] end

Structured --> CUDF Unstructured -->|"多模态理解与嵌入"| CUVS CUDF --> DataWarehouse CUVS --> VectorDB ```

---

[20:16](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=1216s) IBM 与 NVIDIA 携手重塑数据处理:从 System/360、SQL 到 Watsonx.data

黄仁勋随后宣布与企业计算先驱 IBM 达成重磅合作。60 年前,IBM 推出了 System/360,开创了通用计算时代;随后 IBM 发明了 SQL 声明式查询语言以及数据仓库,奠定了现代企业级计算的基础。如今,IBM 与 NVIDIA 正在全面重塑 AI 时代的数据处理范式:IBM 将其旗舰级数据湖仓引擎 Watsonx.data 的 SQL 查询内核全面接入 NVIDIA GPU 与 cuDF 加速计算库。黄仁勋强调,数据是赋予 AI 上下文与真实语义的“真实基准(ground truth)”,而现有的 CPU 数据处理流水线在面对爆炸级数据集时已不堪重负。

在随后的案例视频中展示了全球消费品巨头雀巢(Nestlé)的实测表现。雀巢在 185 个国家开展业务,每天需要做出数以千计的复杂供应链决策。其“订单到现金”(Order-to-Cash)数据集市必须汇聚全球运营中的每一笔订单与交付事件。在传统的纯 CPU 集群上,雀巢每天只能勉强刷新该数据集市数次;而在搭载 NVIDIA GPU 与 cuDF 的加速版 Watsonx.data 方案上线后,雀巢的数据处理速度直接提升了 5 倍,同时计算成本骤降了 83%,验证了从通用 CPU 到加速计算平台的跃迁效益。

- **IBM 历史积淀**:发明现代通用计算平台 System/360、声明式数据查询语言 SQL 及企业数据仓库。 - **技术整合**:IBM Watsonx.data 数据引擎全面深度集成 NVIDIA GPU 及 cuDF 库。 - **雀巢应用指标**:覆盖 185 国全球供应链,数据处理刷新性能实现 5 倍提速(5x faster),运营成本降低 83%(83% lower cost)。

---

[21:53](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=1313s) 本地与云端数据加速:Dell、Google Cloud 与摩尔定律的终结

NVIDIA 的加速战略并不局限于单一公有云,而是横跨本地数据中心与多云环境。戴尔(Dell Technologies)作为全球领先的计算机系统与存储设备制造商,与 NVIDIA 合作打造了集成 cuDF 和 cuVS 的“Dell AI Data Platform”,在 NTT DATA 等企业客户的本地部署中实现了巨大的性能提升。在公有云方面,NVIDIA 不仅长期加速 Google Cloud 的 Vertex AI,如今更是深度加速了 Google 的核心数据分析引擎 BigQuery。在社交巨头 Snapchat 的实际生产环境中,基于 GPU 的加速计算帮助其将整体计算成本削减了近 80%。

针对企业获得的性能跃升,黄仁勋深刻剖析了底层计算经济学的逻辑转变。他指出,计算加速带来了极致速度、超大规模以及最为关键的计算成本骤降,而这原本是由摩尔定律驱动的:“然而,摩尔定律已经气数已尽。我们需要一种全新的方法。”(“Well, Moore's Law has run out of steam. We need a new approach.”)过去摩尔定律意味着在成本恒定的前提下,计算性能每隔几年翻倍;但在物理瓶颈限制下,必须依靠算法与软硬件协同的加速计算来实现跨越式增长。NVIDIA 本质上是一家算法公司,凭借极其庞大的装机量与全栈算法优化,能够持续降低每一位用户的算力单价并不断扩大吞吐规模。

---

[24:00](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=1440s) 云生态飞轮:NVIDIA 如何为 CSP 带去客户(Google、AWS、Azure、Oracle 等)

黄仁勋详细拆解了 NVIDIA 与各大云服务商(CSP)之间独特的协同商业模式。NVIDIA 在硬件平台之上构建了庞大的 CUDA-X 库(如 RTX、cuDF、cuVS),并将这些库深入整合至公有云平台与 OEM 系统中。NVIDIA 与各行业顶尖开发者和企业软件(如 Baseten、CrowdStrike、Puma、Salesforce、Synopsys)联合优化工作负载,并将这些高价值客户直接导入云厂商平台。黄仁勋生动地总结道:“我们与云服务提供商的关系,本质上是我们把客户源源不断地带给他们。”(“Our relationship with cloud service providers are essentially us bringing customers to them.”)他甚至幽默地向台下热切期望导入客户的各大云厂商喊话:“客户非常多,我们正在加速每一个人。请大家对我们保持一点耐心!”

随后黄仁勋盘点了与主流云厂商的深度合作进展: 1. **Google Cloud**:全面加速 Vertex AI、BigQuery,并在 JAX 与 XLA 编译框架上实现行业领先的加速效率。NVIDIA 是全球唯一能在 PyTorch 和 JAX/XLA 两大主流生态中均做到极致性能的计算平台。 2. **AWS**:作为 NVIDIA 历史上首家云合作伙伴,AWS 深度集成了 EMR、SageMaker 和 Bedrock。黄仁勋兴奋地宣布,今年 NVIDIA 将推动 OpenAI 落地 AWS 云端,这将极大拓宽 OpenAI 面临算力瓶颈(compute constrained)时的计算供给,并拉动 AWS 的云算力消耗。 3. **Microsoft Azure**:双方合作始于全球首台 A100 超级计算机在 Azure 上的部署,直接促成了 OpenAI 的里程碑式突破。目前双方不仅在 Azure AI Foundry 和必应搜索(Bing Search)深度绑定,还在全球 Azure 区域广泛推行**机密计算(Confidential Computing)**。NVIDIA GPU 是全球首款原生支持该特性的硬件,即便云运营商也无法窥探租户数据与模型权重,为 OpenAI 和 Anthropic 等顶尖模型的跨地域安全合规部署提供了坚实屏障。半导体设计巨头新思科技(Synopsys)亦在此平台上全面加速 EDA 和 CAE 工作流。 4. **Oracle Cloud(OCI)**:黄仁勋打趣道,许多人以为 NVIDIA 只是 Oracle 的芯片供应商,但实际上 NVIDIA 是 Oracle 的第一个 AI 云客户,正是黄仁勋当年亲自向甲骨文解释了 AI 云的定义。如今 Oracle 云上承载着 Cohere、Fireworks 以及 OpenAI 等核心客户。 5. **CoreWeave 与 Palantir**:CoreWeave 作为全球第一家纯正的“AI 原生云”(AI native cloud),专为大规模调度和托管 GPU 而生,业务正经历爆炸式增长。而在本地化与极端环境方面,NVIDIA 联合 Palantir 与 Dell 打造了端到端的本体平台(Palantir Ontology Platform)与 AIP,能够利用端到端机密计算与完整数据处理栈,在任何国家的物理隔绝(air-gapped)受限环境以及企业现场完成一键部署。

```mermaid flowchart LR accTitle: NVIDIA 与云服务商的生态飞轮 accDescr: 展示 NVIDIA 如何研发软件库、优化企业工作负载并将算力需求带给各大云厂商

subgraph NVIDIA_Stack["NVIDIA 软硬件平台"] HW["GPU / 系统架构"] Libs["CUDA-X / cuDF / cuVS / JAX / PyTorch"] end

subgraph CSPs["各大云服务商平台"] AWS["AWS<br/>(EMR / SageMaker / Bedrock)"] Azure["Microsoft Azure<br/>(AI Foundry / 机密计算)"] GCP["Google Cloud<br/>(BigQuery / Vertex AI)"] OCI["Oracle Cloud<br/>(AI 云集群)"] CW["CoreWeave<br/>(AI 原生 GPU 云)"] end

subgraph Enterprise["开发者与企业客户"] Devs["OpenAI / Anthropic / Cohere<br/>CrowdStrike / Salesforce / Synopsys"] end

NVIDIA_Stack -->|"技术与算法赋能"| Enterprise Enterprise -->|"落地运行与算力消耗"| CSPs NVIDIA_Stack -->|"深度协同集成"| CSPs ```

---

[30:03](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=1803s) 垂直整合但水平开放:加速计算的本质是“应用加速”

在梳理完多云生态版图后,黄仁勋提炼了贯穿整场演讲的核心战略哲学:NVIDIA 是“全球首家既全面垂直整合,又在生态层面水平开放的企业”(“the world's first vertically integrated but horizontally open company”)。行业内外往往将目光局限于芯片制程或单一服务器硬件,但这完全误解了加速计算的复杂性。

黄仁勋明确指出,加速计算不是单纯的芯片工程,也不是单纯的系统设计,这个行业长期以来其实忽略了一个至关重要的定语:“加速计算缺少了一个词,我们只是不再常常提起它了,那就是——应用加速。”(“Accelerated computing is not a chip problem. Accelerated computing is not a systems problem. Accelerated computing has a missing word. We just never say it anymore. Application acceleration.”)如果世界上存在一种能自动让所有程序凭空变快的通用计算机,那它的名字叫 CPU,但通用 CPU 的微架构红利早已枯竭;真正的加速必须深入算法每一层,重写数学逻辑与底层代码,这就是 NVIDIA 必须全栈垂直贯通的核心原因。

[30:47](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=1847s) 垂直整合与水平开放:加速计算的底层逻辑

黄仁勋深入阐述了英伟达的核心定位与战略哲学。他指出,未来要继续加速应用、实现巨大的速度提升和成本降低,唯一的途径就是通过特定领域或特定应用的加速(Domain-Specific Acceleration)。英伟达后来去掉了前面的前缀,统称为“加速计算”(Accelerated Computing)。

```mermaid flowchart TD accTitle: 英伟达垂直整合与水平开放架构 accDescr: 展示英伟达从底层芯片到顶层行业的垂直打通,并横向集成到各类部署环境与生态中。

subgraph Vertical ["垂直整合 (Vertical Integration)"] A["底层芯片与硬件系统 (Chips & Systems)"] B["CUDA 核心架构与加速库 (CUDA-X Libraries)"] C["领域算法与前沿模型 (Algorithms & Models)"] D["垂直行业解决方案 (Vertical Industries)"] A --> B --> C --> D end

subgraph Horizontal ["水平开放 (Horizontally Open)"] E["云端 / 数据中心 (Cloud / Data Center)"] F["本地私有云 (On-Prem)"] G["边缘计算 (Edge Computing)"] H["机器人与嵌入式 (Robotic Systems)"] end

B -.-> E B -.-> F B -.-> G B -.-> H ```

为了做到这一点,英伟达必须逐个开发程序库、攻克各个垂直行业。黄仁勋强调,英伟达必须深度理解应用场景、行业领域以及底层算法本身,并解决算法在各种不同形态下的部署挑战——无论是在数据中心、云端、企业本地机房、网络边缘,还是在机器人系统内部。正因如此,英伟达在系统与芯片层面实现了全栈垂直整合,但对外部世界却采取完全的“水平开放”,将软件、算法库与合作伙伴的技术紧密结合。

黄仁勋明确表达了公司的商业与技术模式: > “We are a vertically integrated computing company with open horizontal integration with the world.”(英伟达是一家垂直整合的计算公司,同时向全世界保持开放的水平集成。)

---

[32:08](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=1928s) 激活垂直行业:从量化交易、医疗健康到电信 AI-RAN

本届 GTC 大会汇聚了英伟达庞大的上下游生态链,包括拥有 50 年、70 年乃至 150 年历史的传统巨头,这些企业在过去一年与英伟达合作均创下了历史新高的业绩。黄仁勋强调,加速计算平台已经就绪,而激活这些计算平台的核心在于针对各个垂直行业的专用算法库:

- **金融服务(Financial Services)**:金融行业构成了本次大会占比最大的参会群体。黄仁勋风趣地调侃:“I'm hoping it's developers, not traders, guys.”(朋友们,我希望来的是开发者,而不是交易员。)算法交易正在经历从传统的人工特征工程(Quant)向大模型转变的过程,超级计算机正在海量数据中自动发现洞见与模式,迎来量化领域的“Transformer 与深度学习时刻”。 - **医疗健康(Healthcare)**:正在经历其自身的“ChatGPT 时刻”,涵盖用于药物发现的 AI 物理与 AI 生物学、用于辅助诊断和客户服务的 AI Agent,以及医疗实体机器人。 - **工业制造与 AI 工厂(Industrial & AI Factories)**:全球正在掀起人类历史上最大规模的产业重构与基础设施扩建,涵盖芯片制造厂与计算机工厂的建设。 - **媒体与娱乐(Media & Entertainment)**:借助实时 AI 平台 Holoscan 提供游戏增强、实时翻译与赛事转播支持。 - **量子计算(Quantum Computing)**:现场有 35 家公司正与英伟达联手打造下一代量子 GPU 混合计算系统(Quantum-GPU hybrid systems)。 - **零售与消费品(Retail & CPG)**:利用英伟达加速供应链管理,构建创成式购物系统与智能客服 Agent(对应 35 万亿美元规模的零售与 50 万亿美元规模的制造业)。 - **物理 AI 与机器人(Physical AI & Robotics)**:英伟达耕耘十年,为机器人打造了三台基础计算机,现场展出了 110 台机器人。 - **电信网络(Telecommunications)**:面对体量约 2 万亿美元的全球电信基础设施,英伟达正通过 **Aerial AI-RAN** 平台全面重塑基站功能。原本只承担通信单一任务的基站将转变为边缘 AI 基础设施平台,英伟达目前已与诺基亚(Nokia)、T-Mobile 等展开深度合作。

黄仁勋总结道,英伟达的本质是一家算法公司:“The libraries is the crown jewels of our company.”(算法库是我们公司的皇冠明珠。)本次大会英伟达集中发布了约 70 到 100 个专用加速库和约 40 个模型,而早期打造的 cuDNN 正是引爆现代 AI“大爆炸”(Big Bang)的基石。

---

[38:26](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=2306s) CUDA-X 视频演示:用代码与算法模拟物理世界

大会随后播放了一支由黄仁勋亲自配音的 CUDA-X 宣传短片。视频回顾了英伟达 20 年前创立 CUDA 架构至今的历程,展示了如今上千个 CUDA-X 加速库如何赋能科学与工程领域的重大突破:

- **cuOpt**:运筹优化与复杂决策加速 - **cuLitho**:计算光刻技术,突破芯片制造物理极限 - **cuDSS**:直接稀疏矩阵求解器 - **cuEquivariance**:面向几何感知神经网络的库 - **Aerial**:AI-RAN 软件定义无线接入网 - **Warp**:可微分物理仿真框架 - **Parabricks**:高通量基因组学测序分析

视频播放完毕后,黄仁勋登台揭晓幕后细节:“Everything you saw was a simulation.”(你们刚才看到的一切全都是模拟仿真。)画面中的内容没有一段属于传统美术关键帧动画或人工绑定骨骼,而是由基础物理求解器、AI 代理物理模型(AI surrogates)以及物理 AI 机器人模型实时计算推导出的仿真结果。他再次重申,正是这种将底层算法认知与顶级硬件平台深度绑定的能力,让英伟达得以开启前所未有的行业机会。

---

[43:15](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=2595s) AI 原生代(AI Natives)的崛起与计算资本大变局

除了沃尔玛(Walmart)、欧莱雅(L'Oréal)、摩根大通(JPMorgan Chase)、罗氏制药(Roche)和丰田(Toyota)等塑造了现代社会的传统巨擘,市场上正在涌现大批被称为“AI 原生代”(AI Natives)的全新初创企业。黄仁勋在幻灯片上展示了一张密密麻麻的公司名单,他开玩笑说因为名单实在太长,权衡之后干脆全放上去让大家“一个都看不清”,免得漏掉谁伤了感情。

在这份名单中,除了 OpenAI 和 Anthropic 这类家喻户晓的领头羊,还包含大量针对不同细分垂直领域的创新公司。在过去一至两年内,尤其是最近一年,这一领域发生了翻天覆地的跃迁:

- **人类历史上规模最大的风投狂潮**:风险投资向 AI 初创公司注入了高达 1500 亿美元的资金。 - **融资体量数量级跃迁**:投资规模打破了以往从数百万到数千万美元的常规演进,直接跳级跃升至数亿美元乃至数十亿美元的巨额单笔融资。 - **商业本质的根本转变**:与以往不同,每一家 AI 原生企业都对算力拥有极度饥渴的需求。“They need tokens, lots and lots of it.”(它们需要 Token,极其庞大数量的 Token。)这些公司要么自主研发基础设施去制造和生成 Token,要么在 OpenAI、Anthropic 等提供的底层 Token 之上加工并创造附加值。

黄仁勋将当下的变局与 PC 革命、互联网革命、移动云计算革命相提并论。每一次计算范式的转移,都会孕育出定义时代的关键企业(如 Google、Amazon、Meta)。加速计算对计算架构的彻底重构,正在催生下一批主导世界未来格局的全新巨头,而这个全新的计算平台转折点才刚刚拉开序幕。

[46:13](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=2773s) 从检索到生成:AI 经历的三次本质跃迁

黄仁勋(Jensen Huang)深入剖析了过去两年计算领域发生巨变的根本驱动力。他提出,AI 的进化经历了三个核心阶段:

```mermaid flowchart LR accTitle: AI 进化三阶段 accDescr: 展现 AI 从 ChatGPT 生成式、o1 推理式到 Claude Code 智能体模式的演变路径

subgraph Phase1 ["第一阶段:生成 (2022-2023)"] A["ChatGPT 诞生"] --> B["从检索转向内容生成"] end

subgraph Phase2 ["第二阶段:推理 (2024)"] B --> C["OpenAI o1 / o3"] C --> D["思维链分解与反思<br/>计算量激增"] end

subgraph Phase3 ["第三阶段:行动 (当下)"] D --> E["Claude Code / Agentic AI"] E --> F["工具调用与自主闭环<br/>从对话转为执行工作"] end ```

第一阶段始于 2022 年底至 2023 年 ChatGPT 引爆的生成式 AI 浪潮。它不仅具备感知与理解能力,还能翻译并生成全新内容。黄仁勋强调,计算机软件正经历底层重构:“Computing used to be retrieval based. Now it's generative.”(过去的计算基于检索,如今的计算基于生成)。这种范式转换直接颠覆了计算机体系架构与基础设施建设的逻辑。

第二阶段是推理式 AI(Reasoning AI)的崛起,以 OpenAI o1 和随后的 o3 为标志。推理能力赋予了模型自我反思、长远规划以及将复杂问题拆解为可理解步骤的能力,模型通过搜索与论证建立在真实证据之上。这让生成式 AI 变得可信,但也带来上下文输入 Token 与思考输出 Token 的指数级消耗,推动计算需求剧增。

第三阶段则是以 Claude Code 为代表的智能体(Agentic)模型时代的到来。AI 进化为能够读取文件、编写代码、编译、测试、评估并反复迭代的自主系统。黄仁勋以 NVIDIA 自身举例指出,公司 100% 的软件工程师都在同时协同使用 Claude Code、Codex 和 Cursor,没有任何一位程序员在没有 AI 助手的孤立状态下工作。人类不再仅仅向 AI 询问“是什么、在哪里、何时”,而是直接下达“去创建、去执行、去构建”的行动指令,AI 真正开始承担具有实质价值的生产性任务。

---

[50:43](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=3043s) 推理拐点正式到来与计算需求的百万倍爆发

随着 AI 从单纯的感知、生成走向推理与任务执行,推理(Inference)的核心地位发生了根本性逆转。黄仁勋宣告:“The inflection point for inference has arrived.”(推理的拐点已经到来)。模型要思考必须推理,要行动、阅读、论证也必须推理;AI 的核心负载已全面从训练期迈入持续高负荷的推理阶段。

在算力需求层面,过去两年不仅单个任务的计算复杂度激增约 10,000 倍,整体使用规模也扩大了近 100 倍。黄仁勋据此得出结论,全球计算需求在两年内增长了整整 100 万倍。无论是初创企业、OpenAI 还是 Anthropic,所有团队都渴望获得更多算力配额,以此产出更多 Token、扩展业务收入并加速模型迭代,形成自我强化的正向飞轮。

- **市场算力紧缺态势**:NVIDIA GPU 的现货价格飙升,市场上即便大量出货依然一卡难求。 - **复合增长动力**:单次工作负载计算量提升约 10,000 倍,整体调用与用户覆盖提升约 100 倍,催生百万倍算力扩张。 - **飞轮循环闭环**:更高算力支撑更强推理能力,释放更多经济价值,进而带来更庞大的基础设施投入。

---

[52:23](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=3143s) 基础设施需求从 5000 亿美元跃升至 1 万亿美元

黄仁勋回顾了上一届 GTC 上的预测。彼时,NVIDIA 预估到 2026 年基于 Blackwell 和 Rubin 架构的高确定性需求及在手订单约为 5,000 亿美元。而在本届大会上,他给出了更为惊人的数字:“I see through 2027. At least $1 trillion.”(我看到截至 2027 年,市场需求至少达到 1 万亿美元)。面对台下观众习以为常的反应,他幽默地调侃大家是因为过去一年都取得了创纪录的业绩而变得波澜不惊,但他坚信未来计算基础设施实际所需的资金规模甚至会突破这 1 万亿美元。

```mermaid flowchart TD accTitle: NVIDIA 业务与基础设施全栈分布 accDescr: 展示万亿美元需求下 NVIDIA 60% 云厂商与 40% 多元化市场的业务分布与底层架构支持

subgraph Market ["市场需求矩阵 (1 万亿美元+)"] H["Top 5 超大规模云厂商 (60%)<br/>· 搜索/推荐等内部业务改造<br/>· AI 实验室与原生企业托管"] D["多元化生态与边缘市场 (40%)<br/>· 区域云/主权云<br/>· 企业级/工业级/机器人"] end

subgraph Platform ["通用全栈架构 (Fungible Platform)"] F1["生命周期与低成本<br/>极长使用寿命带来极致 Token 成本"] F2["全领域覆盖<br/>语言/生物/图形/视觉/具身智能"] end

Market --> Platform ```

这笔巨额资本开支能够落地的关键,在于 NVIDIA 平台极高的通用性与生命周期投资回报率。2025 年被定义为 NVIDIA 的“推理之年”,公司确保其架构不仅专精于训练与后训练,还能在漫长的生命周期中持续跑满推理负载。NVIDIA 系统凭借架构的灵活性,能够无缝跨越语言处理、生物制药、计算机图形、化学蛋白质解析乃至机器人等所有 AI 细分领域,成为全球构建者最具信心、总持有成本最低的标准底层。

- **业务结构比例**:60% 的业务来自全球前五大超大规模云厂商(Hyperscalers),40% 分布在区域云、主权云、企业级应用、工业制造及机器人边缘计算。 - **超大规模业务内部迁移**:传统推荐系统(RecSys)正从静态表格匹配与协同过滤转向深度学习和大语言模型,传统搜索业务亦全速迈向生成式重塑。 - **多方阵营入驻**:Anthropic 以及 Meta 等重要力量均大规模采用 NVIDIA 方案,开源模型生态亦高度对齐 NVIDIA 平台。

---

[58:46](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=3526s) 极致协同设计:NVLink 72、NVFP4 与推理革命的硬件基石

为了应对推理爆发带来的成本与互连挑战,NVIDIA 在 Hopper 架构如日中天之际做出了激进变革,打破原有 8 卡 NVLink 的常规设计,全面转向机架级解耦重构的 NVLink 72 架构。

```mermaid flowchart LR accTitle: NVLink 72 与 NVFP4 核心架构突破 accDescr: 展现从芯片精度、网络互联到算法与超算集群的垂直协同工程

subgraph HW ["硬件与精度革新"] N1["NVLink 72 机架级解耦"] N2["NVFP4 全新 Tensor Core<br/>无损精度推理与训练支持"] end

subgraph SW ["软件与系统协同"] S1["TensorRT-LLM 与 Dynamo 算法"] S2["DGX Cloud 超算底座<br/>数十亿美元投入专项优化 Kernel"] end

HW --> SW ```

Grace Blackwell NVLink 72 的落地是一次跨越制造、编程模型与系统互联的宏大赌注。与此同时,NVIDIA 推出了 NVFP4。黄仁勋特别澄清,NVFP4 绝非简单的 4 位精度格式,而是一套全新的 Tensor Core 计算单元架构。工程团队已证实,NVFP4 能在保证模型输出精度不失真的前提下,大幅提升吞吐性能与能效比,且不仅适用于极速推理,同样可支撑高效的模型训练。

在底层软件栈层面,NVIDIA 深度整合了 TensorRT-LLM 与全新的 Dynamo 算法。黄仁勋透露,为了追求极致的底层算子与算力释放,公司甚至耗资数十亿美元自建了名为 DGX Cloud 的超算集群,专门用于自动优化内核(Kernel)和端到端全栈协同。通过在系统架构、数值精度与编译优化领域的垂直打通,NVIDIA 奠定了支撑万亿级别推理时代的工业级底座。

[01:00:34](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=3634s) 推理经济学与 Token 成本:颠覆摩尔定律的 50 倍能效跃升

黄仁勋(Jensen Huang)登台指出,业界过去常对他说推理任务很简单,但他坚信“推理才是终极的难关,也是终极的重要,因为它是直接驱动企业收入的引擎(Inference is the ultimate hard. It is also ultimate important because it drives your revenues.)”。他展示了由 SemiAnalysis 进行的一项规模最大、最全面的全球 AI 推理基准测试扫描。图表左侧的核心指标是“每瓦 Token 数(tokens per watt)”,这对所有数据中心都是生死线——任何数据中心本质上都受物理法则和原子定律的严格制约,一座 1 吉瓦(GW)的数据中心绝不可能凭空变成 2 吉瓦,因此必须在固定功耗下榨取最大产量的 Token。图表的横轴则是交互速度(推理速率),推理越快不仅意味着响应更迅速,更重要的是能让模型吞吐更大的上下文窗口和更深入的思考链;然而这也存在权衡:模型越聪明、思考越久,单次吞吐量就相对降低。

```mermaid flowchart LR accTitle: AI工厂与Token能效关系 accDescr: 展示数据中心功耗上限如何通过软硬件极致协同转化为高吞吐Token收益 subgraph DC["1 吉瓦物理功耗约束"] P["电力与空间上限 (GW)"] end subgraph Arch["NVIDIA 软硬件协同优化"] Opt["极致协同设计 (Extreme Co-design)"] end subgraph Output["商业产出指标"] T["吞吐量:Tokens / Watt"] C["极低单 Token 生产成本"] R["转化为企业营收"] end P --> Opt Opt --> T T --> C C --> R ```

黄仁勋半开玩笑地提醒全场,这部分硬核分析是他要“折磨”大家的环节,但每一位 CEO 未来都必须这样拆解自己的商业模型,因为这就是未来的“Token 工厂(Token factory)”。在成本曲线上,NVIDIA 展现出断层式的性能优势。按照传统摩尔定律,一代芯片通过晶体管迭代通常只能带来约 50% 到 1.5 倍的性能提升,从 Hopper H200 跨入新一代,业界原本也仅预期 1.5 倍增长。然而,黄仁勋在上一届 GTC 宣称 NVIDIA Grace Blackwell NVLink 72 实现了 35 倍的每瓦性能提升时,几乎无人相信。随后 SemiAnalysis 的 Dylan Patel 发布深入分析,甚至指责黄仁勋故意保留实力:“Jensen 留了一手,实际提升达到了整整 50 倍(Jensen sandbagged. It's actually 50 times.)”。50 倍的能效提升直接带来了 35 倍的成本下降,确立了全球无可匹敌的单 Token 最低成本。

- **400 亿美元的空厂沉没成本**:一座 1 吉瓦级数据中心在 15 年摊销期内的土地、供电与外壳基建成本高达约 400 亿美元,哪怕机房空置不放任何设备,这笔投入也已注定。 - **架构错误的代价**:“如果你选错了系统架构,就算硬件免费白送,对你来说依然不够便宜(If you have the wrong architecture, even if it's free, it's not cheap enough)。” - **Extreme Co-design 的核心壁垒**:从底层硅片、互联到上层算子库的深度协同,使系统无需等待工艺节点红利,仅凭系统级架构设计便击溃了单芯片晶体管缩放停滞的瓶颈。

---

[01:05:31](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=3931s) 从 700 到 5000:软件迭代激活 Token 工厂与极致协同设计

NVIDIA 坚持“纵向深度整合、横向全面开放(vertically integrate, horizontally open)”的战略。他们将系统、算法和网络协议栈打包整合,交付给全球的 AI 推理服务商。黄仁勋特别提到了台下的 Fireworks AI(CEO 包含 Lin 等人)以及 Together AI 等原生创新企业,这些公司在过去一年中业务规模狂飙了 100 倍。它们就是真正意义上的现代“Token 工厂”,工厂的生产力与单 Token 产出成本直接决定了企业的生死存亡。

为证明系统级优化的威力,黄仁勋公布了一组真实数据对比:在完全相同的硬件设备上,仅通过 NVIDIA 对软件栈、底层加速算法以及技术特性的全面升级,推理服务提供商的平均吞吐速度便从约 700 tokens/s 暴增至将近 5000 tokens/s,实现了整整 7 倍的飞跃。数据中心从过去存储文件的传统机房,彻底重塑为生产智能 Token 的现代工业工厂。黄仁勋断言,未来的每一家云服务商(CSP)、软件公司以至于全行业的每一家公司,都将以 Token 工厂的生产能效为核心进行运作,因为人类的智力生产力必将全面由这种数字 Token 提供增强支撑。

---

[01:07:56](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=4076s) 十年基础设施演进:从 DGX-1 到 Vera Rubin 的 4000 万倍算力跨越

现场大屏幕播放了一段由黄仁勋亲自旁白的重磅技术历史短片,回顾了从深度学习诞生至今的十年硬件演进路标:

```mermaid flowchart TD accTitle: NVIDIA十年AI超算基础设施演进史 accDescr: 从2016年DGX-1一路演进至2026年Vera Rubin平台的里程碑发展 D1["2016: DGX-1<br/>8x Pascal GPUs, NVLink 1<br/>170 TFLOPS"] --> V["Volta 架构<br/>NVLink Switch<br/>16 GPU 全互联"] V --> A["2020: DGX A100 SuperPOD<br/>NVLink 3 + Quantum InfiniBand<br/>Scale-Up 与 Scale-Out 融合"] A --> H["Hopper 架构<br/>FP8 Transformer Engine<br/>开启生成式 AI 时代"] H --> B["Blackwell 架构<br/>NVLink 72, 130TB/s 双向带宽<br/>Grace CPU + Spectrum-X"] B --> VR["2026: Vera Rubin 平台<br/>3.6 EFLOPS 算力, 260TB/s 带宽<br/>十年性能飙升 4000 万倍"] ```

- **2016 年 4 月 6 日(DGX-1 诞生)**:全球首台专为深度学习打造的超级计算机亮相,集成 8 颗 Pascal GPU 与第一代 NVLink,单机算力 170 TFLOPS。 - **Volta 时代**:引入首代 NVLink Switch 芯片,实现 16 颗 GPU 的全对全(all-to-all)无阻塞高速互联,形成“单机超大虚拟 GPU”。 - **收购 Mellanox 与 DGX A100 SuperPOD(2020)**:数据中心开始演进为单一计算单元,开创性地将基于 NVLink 3 的纵向扩展(Scale-Up)与基于 ConnectX-6 及 Quantum InfiniBand 的横向扩展(Scale-Out)深度融合。 - **Hopper 时代**:首创 FP8 Transformer Engine,搭载 NVLink 4、ConnectX-7 和 BlueField-3 DPU,直接点燃了生成式 AI 革命。 - **Blackwell 架构突破**:以 NVLink 72 彻底重定义系统拓扑,72 颗 GPU 通过机架级铜缆背板实现 130 TB/s 的全对全互联带宽,协同 Grace CPU 和 Spectrum-X 以太网体系。 - **Vera Rubin 的历史性跨越**:如今预训练、后训练和推理三大扩展定律(Scaling Laws)并驾齐驱,更迎来了 Agentic AI(智能体 AI)系统的指数级算力渴求。Vera Rubin 单机柜具备 3.6 EFLOPS 算力与 260 TB/s 的全对全 NVLink 带宽。相比十年前的初代 DGX-1,平台在短短十年内将 AI 算力整体提升了惊人的 **4000 万倍**。

---

[01:11:29](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=4289s) 专为 Agentic AI 打造:Vera Rubin 机柜集群与第六代 NVLink 互联

视频结束后,黄仁勋感慨过去在展示 Hopper 等产品时,自己只需要在台上单手举起一枚裸芯片,“那在如今看来简直太小巧可爱了(That's just adorable)”。而当谈论 Vera Rubin 时,它已不再是一颗芯片,而是一套高度垂直整合、端到端全栈协同优化的巨型机架计算系统。

```mermaid flowchart TD accTitle: Agentic AI在Vera Rubin机柜系统中的运行交互 accDescr: 展示Vera CPU、Rubin GPU、Stat存储机柜与Groq加速机柜的高速协作 subgraph RackSystem["Vera Rubin 异构机柜集群"] VCPU["Vera CPU 机柜<br/>(超高单线程 / LPDDR5 / 编排调度)"] RGPU["Vera Rubin NVLink 72 机柜<br/>(3.6 EFLOPS / 260TB/s 双向互联)"] SStorage["Stat 存储机柜<br/>(AI 原生 / BlueField-4 DPU 加速)"] Groq["Groq 3 LPX 机柜<br/>(大容量片上 SRAM / 35x 吞吐加速)"] end AgentWork["Agentic 任务流 (思考 / 工具调用 / 缓存重读)"] --> VCPU VCPU -->|"高并发工具调用与环境交互"| RGPU RGPU <-->|"高频 KV Cache / 结构化数据读写"| SStorage RGPU <-->|"极速 Token 生成辅助"| Groq ```

黄仁勋深入剖析了为什么必须重构全套系统来服务 Agentic AI: 1. **核心思考负载激增**:大语言模型规模持续扩大,要求以极快的速度吐出海量 Token,从而赋予智能体充足的“思考时间”。 2. **极度繁重的内存与存储冲击**:智能体在长程思考中需要反复疯狂调用海量 KV Cache、结构化数据、非结构化文件和知识库,NVIDIA 因而联合 BlueField-4 DPU 彻底重构了名为“Stat”的 AI 原生存储机柜。 3. **高频工具调用的低延迟需求**:与能容忍卡顿的人类不同,AI 智能体要求外部工具(如云端虚拟 PC、无头浏览器、各类 API)必须秒级甚至毫秒级响应。为此,NVIDIA 打造了全新的 Vera CPU——专为极高单线程性能设计,具备极强的数据处理吞吐和极致能效,且是全球首款采用 LPDDR5 内存的数据中心 CPU,专司智能体工作流的编排与调度。 4. **混合加速与全新集成**:集群引入了 Groq 3 LPX 机柜,通过海量片上 SRAM 作为超高速 Token 加速器与 Vera Rubin 紧密耦合,将每兆瓦的整体吞吐效率再放大 35 倍。全套平台汇集了 7 颗自研芯片与 5 款机架级计算系统。

黄仁勋展示了现场立着的 Vera Rubin 真实机架,指出该系统实现了 100% 纯液冷设计,彻底取消了所有外露的复杂跳线。过去需要工程团队耗时整整两天进行的人工线缆部署,现在缩短到了两个小时,大幅压缩了制造与交付周期。机柜更支持 45 摄氏度的高温热水循环散热,大幅免除了数据中心的传统冷却能耗开销。黄仁勋激动地指出,NVIDIA 依然是全球唯一一家研发出第六代 Scale-Up 互联交换系统的公司,这套 260 TB/s 的无阻塞超级互联“不是以太网,不是 InfiniBand,而是独步天下的第六代 NVLink”。

[01:14:59](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=4499s) 硬件突破:Groq 芯片、CPO Spectrum-X、Vera CPU 与液冷机架

黄仁勋带着极大的自豪感介绍了团队的一系列工程成就,并感叹其研发难度之高:“做成这样简直难得不可思议,坦白说,无论怎么做都极其艰难。我由衷地为团队感到自豪。”(“It is insanely hard to do well. It is insanely hard to do, period. And I'm just super proud of the team.”)首先亮相的是完全采用液冷散热的全新 Groq 系统。该系统搭载了 8 颗 Groq 芯片,具体型号为 LP 30。黄仁勋特别指出,此前世人所见到的技术都停留在初代(V1),而摆在眼前的已经是第三代产品,并且已经正式进入大规模量产阶段。

随后登场的是全球首款采用共封装光学(Co-Packaged Optics, CPO)技术的 Spectrum-X 交换机,该产品同样处于全量生产状态。在这一创新架构下,光学器件直接集成到芯片之上,与硅片紧密对接,光电信号在芯片界面完成实时转换。黄仁勋表示,这是 NVIDIA 与台积电(TSMC)联合发明的先进制程工艺,命名为 COOP,目前全球仅有 NVIDIA 实现量产。紧接着介绍的是 Vera CPU 系统,其能效表现达到当今全球所有 CPU 的两倍。黄仁勋坦承,NVIDIA 过去从未预料到自己会单独销售通用 CPU,但如今这一独立 CPU 业务已板上钉钉会成长为规模数十亿美元的庞大业务。此外,展示台上还汇聚了搭载 Vera CPU 的 ConnectX-9(CX9)网络设备以及全新的 BlueField-4 STX 存储平台。

在机架级互连方面,黄仁勋指着传统的 NVLink 机柜开玩笑说,它每年都变得越来越重,原因可能在于里面塞进了密密麻麻的铜缆。鉴于这种结构化线缆系统在数据中心内展现出的惊人效率,NVIDIA 将其复刻到了以太网领域,打造出了单机柜集成 256 个液冷节点的以太网机架,通过特制高可靠连接器实现密集互联。

- **Groq LP 30 系统**:单系统配备 8 颗芯片,跳过前期概念直接以第三代架构实现大规模量产。 - **CPO Spectrum-X**:携手 TSMC 首创 COOP 工艺,实现光引擎与计算芯片的共封装直连。 - **Vera CPU 市场突破**:能效比(Perf/Watt)超越市场现有 CPU 一倍,催生出数十亿美元级的独立 CPU 销售业务。 - **存储与网络矩阵**:包含 CX9、BlueField-4 STX 存储平台以及 256 节点液冷以太网机架。

---

[01:17:38](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=4658s) Rubin Ultra 与 Kyber 机架:突破铜缆极限的 144 卡架构

展示的高潮落在了下一代计算节点 Rubin Ultra 上。与以往横向滑入机柜的 Rubin 节点不同,Rubin Ultra 采用了一种名为“Kyber”的全新机架架构,专为在单一 NVLink 域内互连 144 颗 GPU 而设计。黄仁勋指着极其沉重的 Rubin Ultra 计算节点,幽默地调侃自己虽然举得动但还是别逞强了。该节点改为纵向(垂直)滑入 Kyber 机柜,其顶部配备了四个巨大的 NVLink 连接器,直接与机架中央的中板(Midplane)对接。

更为革命性的变革发生在中板的背面。传统的铜缆布线在信号驱动距离上存在物理瓶颈,无法支持更大规模的单域互连。Kyber 架构彻底取缔了机架内的杂乱线缆:计算节点垂直插入中板正面,而新一代 NVLink 交换机同样以垂直形态直接插入中板背面。这种“前计算、后交换”的立体对称设计,通过刚性背板彻底消除了布线损耗,将 144 颗 GPU 紧密耦合成一台超大型超级计算机。

```mermaid flowchart LR accTitle: Kyber Rack Midplane Architecture accDescr: Front-mounted Rubin Ultra compute nodes connect through a central midplane to rear-mounted NVLink switches to scale up to 144 GPUs.

subgraph Front["机柜正面 (Front)"] Compute["Rubin Ultra 计算节点<br/>(纵向滑入 / 144 颗 GPU)"] end

subgraph Center["机柜核心 (Center)"] Midplane["Kyber 高速互连中板<br/>(无铜缆 / 硬质背板)"] end

subgraph Rear["机柜背面 (Rear)"] Switches["NVLink 交换机模块<br/>(纵向滑入 / 直连背板)"] end

Compute -->|"NVLink 顶端接口插接"| Midplane Midplane -->|"背面对接直连"| Switches ```

- **单 NVLink 域突破**:从 72 卡扩展到 144 卡直连,所有 GPU 共享统一内存地址空间。 - **Kyber 机械创新**:废除长距离内部无源铜缆,采用正反中板盲插互连架构。 - **垂直散热与插拔**:计算与网络交换单元均垂直排布,优化了高密度液冷管路与风道走向。

---

[01:19:42](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=4782s) AI 工厂的通货经济学:Token 速率与吞吐量分层

在工作人员撤下重型硬件模组时,黄仁勋借着台上的小插曲打趣道:“要是彩排没练过,现场就会是这个样子。”(“This is what happens when you don't practice.”)随后,他重新投影了一张在去年便重点强调过的二维象限图,并表示在 NVIDIA 发布会上看到复用去年的幻灯片绝非偷懒,而是因为这张图对整个产业太过关键:“这大概是决定 AI 工厂未来命运最重要的一张图表,全世界的每一位 CEO 都将对它进行深度追踪与研究。”(“This is probably the single most important chart for the future of AI factories. And every CEO, every CEO in the world will be tracking it.”)

黄仁勋深度拆解了这张核心图表:纵坐标代表吞吐量(Throughput),横坐标代表 Token 生成速率(Token Rate,即每秒输出的 Token 速度)。在固定的电力预算(ISO-Power)约束下,数据中心的产出完全取决于这两者的权衡。黄仁勋断言,Token 正在成为一种全新的大宗商品(Commodity),随着市场成熟,它必将分化出清晰的商业分层: 1. **免费层(Free Tier)**:极高吞吐量但较低单流速度,用于获取海量用户与流量。 2. **中端层(Medium Tier)**:支持更大模型与较长上下文(如百万 Token 级别),具备更快速度,按每百万 Token 约 3 至 6 美元计费。 3. **高端与研究层(Premium Tier)**:极高推理速度与深度迭代思考能力,用于关键业务路径或长期科研。

黄仁勋解释道,对于尖端科研团队而言,即使达到每百万 Token 150 美元的超高单价,若每天消耗 5000 万 Token,其成本对企业研发预算来说根本不值一提。因此,未来的商业模式在于用更聪明的模型和更高的生成速度不断推高定价上限。

---

[01:23:30](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=5010s) 架构代际收益倍增:从 Hopper 到 Vera Rubin

黄仁勋随后对比了历代架构在这一经济模型上的跨越。在上一代 Hopper 时代,系统在低速高吞吐区间运行,但随着向右侧的高速率区间延伸,性能曲线迅速跌落。到了 Grace Blackwell 时代,系统不仅使免费层的吞吐能力呈爆发式上升,更在核心变现区(Monetization Tier)实现了高达 35 倍的吞吐量增长,成功开辟出了全新高单价层级。

```mermaid flowchart TD accTitle: Generations Performance and Revenue Evolution accDescr: Evolution across Hopper, Blackwell, and Vera Rubin shows massive throughput gains at high monetization tiers and revenue expansion.

subgraph Hopper["Hopper 时代"] H_Base["基准吞吐能力<br/>集中于低速交互区间"] end

subgraph Blackwell["Grace Blackwell 时代"] GB_Gain["核心变现层吞吐量提升 35x<br/>单机柜 NVLink 72 架构"] end

subgraph Rubin["Vera Rubin 时代"] VR_Gain["最高单价层吞吐再升 10x<br/>极低延迟与系统级协同设计"] end

Hopper -->|"引入大模型推理优化"| Blackwell Blackwell -->|"互连与芯片工艺全方位重构"| Rubin ```

当曲线推进到 Vera Rubin 时,整个性能包络线再次实现了不可思议的外推。在客户支付意愿最强、平均售价(ASP)最高的顶级服务区间,Vera Rubin 的吞吐性能在 Blackwell 的基础上再度暴涨 10 倍。黄仁勋指出:“在每一档层级上,我们都实现了吞吐量的阶梯式飞跃;而在你最能挣钱、客单价最高的核心业务层,我们将其整整提升了 10 倍。这背后凝聚了无数常人难以想象的苦功。”(“And at the tier that where your highest ASP and your most valuable segment, we increased it by ten X. That is the hard work.”)

以一个拥有 1 吉瓦(GW)固定电力容量的数据中心为例,若将电力平均切分为四等份分别供给免费、中端、高阶与超高端服务,Blackwell 能够创造相当于前代 5 倍的营收;而部署 Vera Rubin 则能在此基础上再度实现 5 倍的商业营收爆发。

- **阶梯式变现模型**:通过极低延迟拓展模型思考链(Reasoning)与上下文长度,直接支撑更高 ASP 的商业服务。 - **能效与算力密度**:单吉瓦数据中心在相同电力输入下,Rubin 架构通过单位成本降低与并发吞吐量剧增,带来数倍的营收转化乘数。

---

[01:26:32](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=5192s) 算力与带宽的悖论:融合 Groq 突破千字速率瓶颈

在剖析性能极限时,黄仁勋揭示了计算机体系结构中一个根深蒂固的内在矛盾:高吞吐量依赖极大的算力储备(FLOPs),而交互式超低延迟(高 Token 速率)则需要极端的内存与互联带宽。然而,芯片与系统的物理表面积是有限的,既要塞入极致算力又要提供极限带宽,在工程上近乎互斥。正如黄仁勋所强调的那样:“针对超高吞吐量进行优化与针对超低延迟进行优化,在工程本质上实际上互为死敌。”(“And so optimizing for high throughput and optimizing for low latency are in fact enemies of each other.”)

这正是 NVIDIA 收购 Groq 团队并对其核心技术进行全面技术授权与整合的根本原因。在融合了 Groq 的超低延迟技术路线后,Vera Rubin 体系在最昂贵的极致速率服务层上,性能跨越式提升了 35 倍。

黄仁勋坦率地复盘了此前的技术分界线:在传统的绝大多数 AI 工作负载中,吞吐量占据压倒性权重,NVIDIA 凭借 NVLink 72 架构确立了无可撼动的绝对统治地位,即便面对 Groq 也毫不逊色。然而,当应用场景要求将生成速率从每秒 400 Token 推向每秒 1000 Token 以上的极致互动场景时,强如 NVLink 72 也会因带宽吞吐比逼近物理边界而显露疲态。唯有通过将 NVIDIA 自研架构与 Groq 技术相融合,才能一举打破超高速 Token 生成的“物理墙”。

- **体系架构悖论**:算力密度(FLOPs 密集型)与交互带宽(Bandwidth 密集型)无法在单一经典硅片拓扑上无限制共存。 - **Groq 整合效应**:吸收 Groq 确定性低延迟架构,使旗舰平台在超高速推理区间实现 35 倍的跨越式性能迸发。 - **极速应用拓展**:为超越 1000 tokens/s 的实时 Agent 决策、严苛任务链路和深度思维链推理提供了底层算力底座。

[01:28:15](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=5295s) 将 Groq 融入数据中心:高吞吐量与高价值 Token 的混合配比

黄仁勋深入阐释了引入 Groq 架构后的性能飞跃与商业收益。在典型的通用高吞吐量负载下,全盘采用 NVIDIA Vera Rubin 能够带来相比 Blackwell 高达 5 倍的收益提升;但如果业务重心转向极具工程与商业价值的高价值领域(例如极其依赖低延迟的代码编写和复杂的推理生成),单纯依赖传统 GPU 集群就面临互联扩展上的物理约束。此时将 Groq 的超低延迟推理能力推至极限,甚至能突破以往 NVLink 72 所能达到的吞吐天花板。

针对不同应用场景的数据中心配置,黄仁勋给出了非常具象的架构建议:“Vera Rubin is five X if most of your workload is high throughput. I would stick with just 100% Vera Rubin. If a lot of your workload wants to be coding and very high valued engineering token generation, I would add Groq to it. I would add Groq to maybe 25% of my total data center. The rest of my data center is all 100% Vera Rubin.” 这种通过 25% Groq 节点与 75% Vera Rubin 节点的混合部署,使数据中心在承接高吞吐任务的同时,能极致放大低延迟代码与工程 Agent 生成的价值回报。

- **全 Vera Rubin 部署**:面向大批量通用推理,提供对比 Blackwell 达到 5 倍的商业经济价值。 - **25% Groq + 75% Vera Rubin 混合部署**:针对代码补全、长上下文工程 Agent 与低延迟交互,提供极致的端到端单 Token 生成速度。

---

[01:29:16](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=5356s) 两种极致处理器的碰撞:确定性数据流与海量存储的互补

黄仁勋谈到 Groq 芯片对他的吸引力时指出,Groq 本质上是一种确定性数据流处理器(Deterministic Data Flow Processor)。它摒弃了动态指令调度的复杂机制,完全依靠编译器进行静态编译和任务编排——编译器在运行前就精确推算出计算和数据流到达的时刻,让两者在周期级别严丝合缝地对齐。整个架构内嵌极大规模的超高速 SRAM,天生只为单一使命而生:纯粹的 AI 推理生成。然而在真实 AI 工厂的万亿参数模型面前,单颗 Groq 芯片仅有区区 500MB 片上存储,而单颗 Vera Rubin 芯片则坐拥 288GB 海量高带宽内存。如果仅靠 Groq 堆砌存储,要容纳庞大的模型权重与动态上下文 KV Cache 将付出不可承受的芯片数量代价,这也正是 Groq 过去无法独自走向主流市场的核心痛点。

黄仁勋激动地剖析了破局的关键思想:“What if we disaggregated inference all together with a piece of software called Dynamo?” 通过自研操作系统层级的软件 Dynamo,NVIDIA 彻底重构了推理全流水线的解耦范式:把最适合大吞吐吞吐处理的计算保留在 Vera Rubin 上,而将最受带宽与延迟制约的串行自回归解码阶段(Decode Generation)完全卸载至 Groq。两个处于技术极端形态的处理器终于实现融合,一个统领极速低延迟,一个坐拥高并发与海量显存。

```mermaid flowchart TD accTitle: 解耦推理流水线工作流 accDescr: 展示 Vera Rubin 与 Groq 协同运行解耦推理的工作流程

subgraph Prefill["预填充阶段 (Prefill Phase)"] A["输入 Prompt 与海量上下文"] --> B["Vera Rubin GPU 集群<br/>(高并发矩阵运算与高吞吐吞吐)"] B --> C["生成并缓存海量 KV Cache<br/>(保存在 288GB HBM 显存中)"] end

subgraph DynamoOS["Dynamo 调度引擎与低延迟专用以太网"] C <-->|"专用以太网低延迟互联 (延迟降低 50%)"| D["分布式流水线动态切分"] end

subgraph Decode["自回归解码阶段 (Decode Phase)"] D --> E["Attention 运算<br/>(Vera Rubin 处理高负载数学计算)"] D --> F["FFN / Token 串行生成<br/>(Groq LPU 静态确定性低延迟解码)"] E <--> F end ```

---

[01:31:52](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=5512s) 解耦推理架构落地:35 倍飞跃与 Groq 3 LPX 投入量产

在这套称为解耦推理(Disaggregated Inference)的体系中,前端上下文加载的 Prefill 运算由 Vera Rubin 轻松处理;而在复杂的解码阶段,对算力密度要求极高的 Attention 运算依旧留在拥有超强数学计算能力的 Vera Rubin 上进行,而对低延迟要求极致的前馈网络(FFN)与逐 Token 生成任务则交由紧密相连的 Groq 芯片完成。两者当前通过定制化模式的以太网建立严密耦合,网络延迟直接被削减了近一半。经由 Dynamo 的端到端统一编排调度,整个系统交出了跨时代的成绩单。

黄仁勋以极其自豪的语调宣布了这套融合系统带来的跨代剧变:“We run Dynamo, this incredible operating system for AI factories on top of it and you get 35 times increase. 35 times increase.” 此外,黄仁勋正式展示了包含 Groq 在内的完整 Vera Rubin 硬件形态,并公开向核心代工伙伴致谢:“I want to thank Samsung, who manufactures the Groq LP 30 chip for us. And they're cranking as hard as they can.” 负责生产 Groq LP 30 芯片的三星代工厂正开足马力全力制造,该芯片已全面进入量产阶段,预计将在当年下半年(约第三季度)正式规模出货。

- **核心架构协作**:Attention 计算驻留 Vera Rubin,FFN / Token 串行生成卸载至 Groq。 - **互联升级**:定制以太网通信模式,实现芯片间协作通信延迟减少约 50%。 - **性能飞跃**:整体系统吞吐实现 35 倍的惊人增幅。 - **制造伙伴与交付节点**:三星全速代工生产 Groq LP 30,计划于 2026 年 Q3 全面交付。

---

[01:33:28](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=5608s) Vera Rubin 全线量产与席卷全球存储产业链

在谈及市场采纳速度时,黄仁勋坦言早期的 Grace Blackwell 系统在配合 NVLink 72 进行早期送样时极其复杂,但 Vera Rubin 的送样与部署节奏异常顺利。他透露微软首席执行官萨提亚·纳德拉(Satya Nadella)刚刚发来短信确认:第一台完整的 Vera Rubin 机架已经在 Microsoft Azure 数据中心点亮上线并稳定运行。目前,NVIDIA 的供应链体系已经升级至每周能制造数千套机架系统,折合每月可在全球交付数个吉瓦级(Gigawatt)AI 工厂的基础设施算力,整个 Vera Rubin 与 GB300 机架均在全速投产状态。

与此同时,Vera CPU 获得了现象级的行业接纳。随着 Agent 智能体时代来临,AI 频繁执行工具调用(Tool Use)和海量数据交互,Vera CPU 的架构恰好精准击中了这一负载的甜蜜点。黄仁勋宣布,全球存储行业正集体拥抱 Vera CPU 与 ConnectX-9(CX-9)网卡及 BlueField-4 DPU 组成的基础栈:“100% of the world's storage industry is joining us on this system, and the reason for that is because they see exactly the same thing. The storage system is going to get pounded.” 过去的存储系统面对的是人类敲击 SQL 指令的低频调用,而未来存储系统将被高并发的自主智能体全天候轰击,系统必须支持经过 cuDF 加速的结构化查询、cuVS 加速的向量检索以及规模空前的实时 KV Cache 存储。

- **部署里程碑**:首台 Vera Rubin 机架已在 Microsoft Azure 正式点亮。 - **产能规模**:供应链每周可生产数千台高密度机架,月度出货吞吐达数吉瓦(Gigawatts)数据中心级别。 - **存储架构变革**:全球 100% 主流存储厂商全面兼容 Vera CPU + CX-9 + BlueField-4 方案,原生硬件支持 cuDF、cuVS 及大规模 KV Cache 存储交换。

---

[01:35:26](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=5726s) 极端协同设计(Extreme Co-Design)与未来架构路线图:Rubin Ultra 与 Feynman

黄仁勋计算了算力演进的几何级飞跃:在短短两年的时间周期内,在同等单座 1 吉瓦功率的 AI 工厂标准下,单纯依靠摩尔定律通常只能带来晶体管数量、浮点运算(FLOPs)和互联带宽的常规提升;但凭借全栈极端协同设计(Extreme Co-Design),AI 工厂的 Token 生成速率将直接从过去的两百万跃升至惊人的七亿,达成 350 倍的绝对跃迁。黄仁勋强调这就是 NVIDIA 的根本哲学:纵向深度一体化协同优化,横向完全开放以赋能整个计算生态。

随后黄仁勋清晰公布了面向未来的多代技术演进路线图。Blackwell 时代确立的 Oberon 机架系统全面支持向前兼容。在向更高密度的横向与纵向互联扩展时,NVIDIA 不做单选题,而是同步推进铜缆与光学方案:Kyber 系统通过铜缆直连实现 NVLink 144 Scale-Up;而 Oberon 机架则在 NVLink 72 铜缆基础上,通过合封光学器件(CPO)将光学 Scale-Up 极限拉升至 NVLink 576。接下来的 Rubin Ultra 将携全新制造的 LP 35 协处理器登场,首次引入 NVFP4 计算精度,再次拉开数倍效能差;而再往后的下一代架构代号为“Feynman”,不仅带来全新的 GPU,还将深度整合与 Groq 团队联手打造的 LP 40 芯片,并推出名为 Rosa(Rosalyne 的简写)的全新 CPU,搭配 BlueField-5 DPU 与 SuperNIC-10 网卡,全方位支持铜缆直连与 CPO 光学共存的极速扩容。

| 架构代号 / 世代 | 计算与加速核心 | 核心 CPU 与 DPU/网卡配置 | 互联与 Scale-Up 架构创新 | |:--- |:--- |:--- |:--- | | **Vera Rubin** | Rubin GPU + Groq LP 30 (三星代工) | Vera CPU + BlueField-4 + ConnectX-9 | Oberon 机架 (NVLink 72 铜缆),支持通过光学 Scale-Up 扩容至 NVLink 576;Kyber 机架支持 NVLink 144 铜缆直连 | | **Rubin Ultra** | Rubin Ultra GPU (正在流片) + LP 35 (首次支持 NVFP4 精度) | Vera CPU 平台持续演进 | Oberon NVLink 72 光学 Scale-Up,采用全球首款共封装光学交换机 Spectrum-6 | | **Feynman** | Feynman GPU + LP 40 (NVIDIA 与 Groq 团队联合深度打造) | 全新 Rosa (Rosalyne) CPU + BlueField-5 + SuperNIC-10 | Kyber 铜缆 Scale-Up 与 Kyber CPO 共封装光学 Scale-Up 双轨并行 |

面对供应链对于技术路线的争论,黄仁勋非常坚决地终结了分歧:“A lot of people have been asking, you know Jensen, is copper going to still be important? The answer is yes. Jensen are you going to scale up optical? Yes. Are you going to scale out optical? Yes.” 他呼吁整个工业生态必须大幅扩充产能——铜缆需要更大产能、传统光模块需要更大产能,CPO 同样需要空前的产能保障,因为 NVIDIA 的每一年都在全面推出全新的底层计算架构。

---

[01:40:05](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=6005s) NVIDIA DSX 与 Omniverse:吉瓦级 AI 工厂的物理孪生与电网共生

在演讲尾声的系统篇章,黄仁勋直言 NVIDIA 的身份已完成脱胎换骨的跃进:“Very quickly, NVIDIA went from a chip company to an AI factory company or AI infrastructure company, AI computing company, these systems. And now we're building entire AI factories.” 在如今吉瓦级别的超级 AI 工厂中,不同供应商的机械、散热、供电和网络设备在传统的施工逻辑下,往往直到进入数据中心施工现场时才第一次碰面,这造成了海量电力的无端浪费。

为了终结这种低效,NVIDIA 推出了基于 Omniverse 的数字孪生体系(DS World / NVIDIA DSX 平台),让所有生态链合作伙伴在物理工厂动工前,在虚拟空间中完成全方位的机械布局、流体散热、电气负荷及高速网络仿真。该系统不仅打通了机架内部微观的 Max-Q 动态供电与散热协同控制,更直接向上打通了外部电网(Grid):数据中心与电网实时握手交换负荷情报,根据电网峰谷状态毫秒级动态平抑供电负荷,消除一切无效功耗。黄仁勋坚定地表示,单是通过这种全厂级别的虚拟仿真与动态能效调优,AI 工厂在相同电力边界下就能挖掘出整整一倍(2x Factor)的净增 Token 输出能力,而在吉瓦规模的尺度下,两倍的产出差异意味着无可估量的商业与社会价值。

[01:42:02](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=6122s) NVIDIA DSX 平台与 AI 工厂数字孪生蓝图

黄仁勋正式推出了专为 AI 工厂打造的全新数字孪生平台——NVIDIA DSX。他解释道,与英伟达以往推出的所有平台一样,DSX 同样严格遵循三层架构:底层是坚实的硬件层,中间是深厚的软件库层,顶层则是广泛协同的生态系统层。黄仁勋随即通过一段视频,生动展现了全球正在展开的这场有史以来规模最大的基础设施建设浪潮。

视频旁白指出,全世界都在争相制造芯片、系统并建设 AI 工厂,在这个分秒必争的时代,建设每推迟一个月,就意味着数十亿美元的收入付诸东流。黄仁勋在旁白中一针见血地指出计算经济学的核心本质:“AI 工厂的收入等于每瓦特产出的 Token 数量,因此在电力供应受限的情况下,每一瓦未被充分利用的电力都是实打实的收入损失。”(“AI factory revenues are equal to tokens per watt, so with power constraints every unused watt is revenue lost.”)为了解决这一工业痛点,NVIDIA DSX 作为基于 Omniverse 的数字孪生蓝图应运而生,贯穿了 AI 工厂的设计、仿真与实时运营全生命周期,旨在追求极致的 Token 吞吐量、系统韧性与能耗效率。

在具体实现上,开发者可以通过多套核心 API 无缝接入该体系:用于物理、电气、热力与网络综合仿真的 DSXM;用于汇聚并交换 AI 工厂实时运维数据的 DSS Exchange;在电网与工厂间提供安全动态电力调度的 DSS Flex;以及实时动态榨取最大计算吞吐量的 DSS Max-Q。整个流程从英伟达与设备制造商提供的 SIM-Ready 资产起步,由 PTC Windchill PLM 统一管理,随后在达索系统(Dassault Systèmes)的 3DEXPERIENCE 中完成基于模型的系统工程(MBSE)。工程巨头 Jacobs 将这些数据导入其定制的 Omniverse 应用中敲定最终蓝图。在测试阶段,西门子 STAR-CCM+ 负责外部热力仿真,Cadence Reality 负责机房内部微环境,ETAP 监控电气负载,英伟达网络模拟器 DSX Air 评估网络拓扑,最后借助 Procore 完成虚拟调试,从而大幅压缩建设工期。当机房通电投产后,数字孪生系统无缝转变为实时指挥官:Phaedra 代理监管冷却与电力系统,实时向 Max-Q 发送控制信号以优化算力能效比;Emerald AI 代理则持续解读外部电网的实时负载与压力波动,毫秒级动态平抑供电。视频结束后,黄仁勋感叹道,Omniverse 最初的愿景就是容纳从整个地球到各个微观层面的数字孪生,而这些新加入的工业软件伙伴在几年前还与英伟达素未谋面,如今却紧密协作,携手以行星级规模构建人类有史以来最庞大的计算机系统。

- **DSX 核心 API**:DSXM(物理/电气/热力/网络仿真)、DSS Exchange(运营数据交换)、DSS Flex(电网动态电力安全调度)、DSS Max-Q(动态最大化 Token 吞吐量)。 - **设计与工业生态合作伙伴**:PTC Windchill PLM(资产管理)、Dassault Systèmes 3DEXPERIENCE(系统工程)、Jacobs(Omniverse 定制设计端)、Siemens STAR-CCM+(外部热力)、Cadence Reality(内部热力)、ETAP(电气仿真)、NVIDIA DSX Air(网络仿真)、Procore(虚拟调试施工)。 - **自动化运营代理**:Phaedra 智能体协同温控电气与 Max-Q,Emerald AI 智能体实时联动城市电网动态削峰填谷。

[01:45:40](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=6340s) Vera Rubin Space-1:将数据中心送入太空

黄仁勋话锋一转,略带神秘又充满雄心地提及了一项极具未来感的技术前哨站——太空计算。他透露,英伟达的足迹早已迈入太空领域,例如其车载与嵌入式计算芯片 Thor 已经顺利通过了抗辐射认证,成功搭载于轨卫星之上,在太空前沿执行遥感与对地成像处理。

然而英伟达的目光远不止于单个卫星芯片,他们的终极目标是在太空轨道上直接建造数据中心。黄仁勋坦言这是一项极其复杂的太空工程挑战,为此英伟达正与合作伙伴共同研发一款名为 Vera Rubin Space-1 的全新太空计算机模块,作为将算力基础设施向地外空间扩展的起点。黄仁勋幽默地指出了太空机房最为棘手的物理限制:在真空环境下根本不存在空气对流,所有的热量散失完全依赖于热辐射,如何在此类极端条件下为高发热量的先进制程算力机架实施有效温控,成了研发团队面临的核心命题。尽管困难重重,他充满信心地表示,英伟达优秀的工程师团队正在全力攻坚这一全新领域。

[01:46:23](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=6383s) OpenClaw 崛起:人类历史上最火爆的开源项目

黄仁勋神色兴奋地向观众介绍了一项近期席卷全球的技术突破,并特别指出了正坐在观众席中的开发者 Peter Steinberger。Peter 编写了一套名为 OpenClaw 的软件,其爆发势头之迅猛,可能连作者本人最初都始料未及。黄仁勋激动地拔高声调,向全场宣告:“OpenClaw 是当之无愧的头号项目,它是人类历史上最受欢迎的开源项目。”(“OpenClaw is the number one. It's the most popular open source project in the history of humanity.”)他补充道,OpenClaw 在短短几周内所取得的社区规模与采用率,甚至超越了 Linux 花费 30 年才构筑起来的成就。

现场随后展示了其极简的安装体验:用户只需在控制台敲入一行简单指令,系统便会自动检索、下载 OpenClaw,瞬间构建起一个全功能的 AI 智能体,随时准备接管复杂任务。大屏幕播放的精彩混剪视频展现了全球社区对 OpenClaw 的狂热:前 OpenAI 科学家 Andrej Karpathy 激动地介绍其引发的科学研发革命——给智能体一个课题后直接去睡觉,它会在一夜之间自主完成上百次对比实验,自动筛选有效代码;Peter Steinberger 本人在采访中分享了一个温馨而疯狂的故事:一位 60 岁的老父亲通过蓝牙将酿酒设备连上 OpenClaw,整个酿造流程与龙虾在线订购网站全部实现了端到端自主运转,直接引爆了深圳街头排长队抢购龙虾的盛况;社区甚至已经自发举办起了“ClawCon”全球开发者大会。

重回聚光灯下的黄仁勋深入剖析了 OpenClaw 现象背后的技术本质。他指出,OpenClaw 是一个典型的自主智能体系统(Agentic System),不仅能与大型语言模型双向交互,更关键在于它构建了一整套资源调度架构:它能调度文件系统与外部工具、管理底层模型、执行 Cron 定时任务、将人类发出的单一自然语言提示逐步拆解为环环相扣的执行链条,并自动分发生成多个下属子智能体(Sub-agents)。在交互层面,它拥有多模态 I/O,不仅支持文字交谈,还能感知手势挥舞,并能主动发短信、推邮件与人沟通。黄仁勋对此做出了极具历史分量的论断:“OpenClaw 从本质上开源了智能体计算机的操作系统。”(“OpenClaw has open sourced essentially the operating system of agentic computers.”)他类比道,正如当年 Windows 的诞生让个人电脑(PC)真正走进大众视野,OpenClaw 如今让每个人拥有个人智能体(Personal Agent)成为现实。如今全球每一家软件与科技企业的 CEO,都必须如同当年制定 Linux 战略、网页与 HTTP 战略以及移动云时代的 Kubernetes 战略那样,严肃确立属于自己的智能体开源战略。

```mermaid flowchart TD accTitle: OpenClaw 智能体操作系统架构 accDescr: 展现 OpenClaw 如何调度大语言模型、系统工具、多模态交互与子任务分发

User["用户输入 (自然语言 / 挥手 / 任意模态)"] --> Core["OpenClaw 智能体操作系统"]

subgraph CoreOS ["调度与执行核心"] Core --> Planner["任务分解器 (Prompt 逐步拆解)"] Planner --> Scheduler["定时任务与调度引擎 (Cron Jobs)"] Scheduler --> SubAgents["子智能体派生管理 (Sub-agents)"] end

subgraph ResourceMgmt ["资源与底座连接"] Core --> Tools["外部工具与 API 库"] Core --> Files["企业与本地文件系统"] Core --> LLMs["前沿大语言模型 (LLMs)"] end

subgraph IOOutput ["自主多模态通信"] Core --> Notif["外部主动触达 (短信 / 邮件 / 系统通知)"] end ```

[01:52:48](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=6768s) 从传统企业 IT 到 AaaS:Agentic 时代的范式转移与安全挑战

黄仁勋接下来深入对比了 OpenClaw 问世前后企业级 IT 架构的根本性变迁。在传统的企业 IT 体系中,“数据中心”之所以得名,是因为那些庞大的建筑里主要存放着各家企业的核心数据与静态结构化文件。这些数据通过预设流程、记录系统(Systems of Record)等高度硬编码的软件工具进行流转,再由人类员工或传统“数字化劳动力”在各种操作界面上完成业务处理;全球系统集成商(GSI)与咨询顾问则围绕这些工具提供合规、治理、安全与集成服务。这些传统积淀虽然至关重要,但在智能体普及的后时代,整体商业范式正在被彻底重塑。

黄仁勋给出了掷地有声的商业预言:“毫无疑问,世上的每一家 SaaS 公司都将转变为 AaaS 公司,即‘智能体即服务’公司。”(“Every single SaaS company will become Agaas company, an Agentic-as-a-service company.”)如同 Linux、HTML 与 Kubernetes 恰逢其时地支撑起互联网与云计算时代一样,OpenClaw 为整个行业提供了现成且统一的开源抓手。

然而,企业内网的实际落地却横亘着一道极其致命的安全红线。黄仁勋严肃地告诫全场,智能体系统在企业网络中天然具备三种极具破坏潜力的能力: 1. **访问高度敏感信息**:能够轻而易举地触碰员工隐私、核心财务数据以及敏感情报。 2. **在宿主机与环境中执行任意代码**。 3. **主动进行外部通信**:可自主将抓取到的数据打包外发。

如果对这些行为放任不管,企业极易遭遇灾难性的数据外泄与内网失控。黄仁勋透露,英伟达在第一时间与作者 Peter Steinberger 取得深度合作,抽调了全球顶尖的软硬件安全计算专家团队,共同对 OpenClaw 实施底层安全加固,旨在赋予其完备的企业级安全保障与隐私防御能力。

[01:55:36](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=6936s) NVIDIA NemoClaw 与 OpenShell:打造企业级安全智能体参考架构

针对上述严峻的安全挑战,黄仁勋正式发布了英伟达为企业量身定制的参考设计——NVIDIA NemoClaw。该架构基于 OpenClaw 打造,打包了完整的 Agentic AI 工具套件,其核心是英伟达研发的“OpenShell”技术,目前已深度整合至 OpenClaw 体系内,使这一爆款开源框架真正达到了企业就绪(Enterprise-Ready)的生产标准。

黄仁勋详细拆解了 NemoClaw 的防护机制:企业可以自由下载并把玩这套参考堆栈,并将其直接挂接到全球各大 SaaS 厂商经过多年打磨、极具商业价值的策略引擎(Policy Engine)上。NemoClaw 与搭载 OpenShell 的 OpenClaw 能够以沙箱化的受控方式精确执行各项安全策略。系统内建了严格的策略控制器、网络护栏(Network Guardrail)以及隐私路由器(Privacy Router),构建起全方位的防护网,彻底封堵敏感信息外溢与违规代码执行的风险,从而让功能强大的各类“Claw”能够在企业内网安全合规、各司其职。黄仁勋最后强调,打造属于企业专有定制智能体的另一大核心,在于必须能够灵活接入最顶级的自定义大模型,而这正是英伟达发起开放模型倡议(Open Model Initiative)、推出 Nemotron 等一系列涵盖全领域前沿开源模型的根本原因。

```mermaid flowchart LR accTitle: NVIDIA NemoClaw 企业安全架构 accDescr: 展示 OpenShell 与企业策略引擎、网络护栏、隐私路由器协同保护内网安全的完整流程

subgraph Internal ["企业内网敏感环境"] SensitiveData["敏感业务数据 (财务 / 员工 / 供应链)"] SaaSPolicy["SaaS 策略引擎 (Policy Engine)"] end

subgraph NemoClawStack ["NVIDIA NemoClaw 参考架构"] OpenShell["OpenShell 安全沙箱与执行引擎"] NetGuard["网络护栏 (Network Guardrail)"] PrivRouter["隐私路由器 (Privacy Router)"] end

subgraph Models ["底座算力与模型层"] CustomModels["企业专属模型 / NVIDIA Nemotron"] end

SensitiveData <--> OpenShell SaaSPolicy -->|"注入安全与合规策略"| OpenShell OpenShell <--> NetGuard OpenShell <--> PrivRouter OpenShell <--> CustomModels NetGuard -->|"阻断异常出网 / 阻断外泄"| ExternalSafe["受控外部通信"] ```

- **核心组件**:OpenShell(已原生合流至 OpenClaw)、NemoClaw 企业级参考堆栈。 - **安全与合规模块**:兼容企业级 SaaS 策略引擎(Policy Engine)、网络护栏(Network Guardrail)、隐私路由器(Privacy Router)。 - **模型接入能力**:无缝对接企业私有微调模型及 NVIDIA Nemotron 开放模型生态。

[01:57:11](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=7031s) 开放前沿模型家族:六大基石与全行业赋能

黄仁勋列举了 NVIDIA 打造的一系列前沿模型:用于物理世界生成的 Cosmos 世界基础模型、面向通用人形机器人的 GR00T、赋能自动驾驶的 Alpamayo、面向数字生物学的 BioNeMo,以及植根于 AI 物理学的 Earth-2。黄仁勋强调,NVIDIA 在这些领域均处于绝对前沿地位。

随后的官方演示视频指出,现实世界高度多元,没有任何单一模型能通吃所有行业。开源模型生态已汇聚近 300 万个模型,涵盖语言、视觉、生物、物理和自主系统。NVIDIA 作为开源 AI 的最大贡献者之一,正式发布并开源了六大家族的前沿基础模型,不仅公开模型权重,还配套提供训练数据、配方(recipes)与开发框架,帮助全球开发者基于特定领域进行定制。每一模型家族均推出了登顶各大权威榜单的新版本: - **Nemotron**:涵盖语言、视觉理解、RAG(检索增强生成)、安全及语音的推理模型核心; - **Cosmos**:用于物理 AI、世界生成与环境理解的前沿基础模型; - **Alpamayo**:全球首个具备思考与因果推理能力的自动驾驶 AI; - **GR00T**:面向通用机器人的基础模型; - **BioNeMo**:针对生物、化学和分子设计的开源模型; - **Earth-2**:基于 AI 物理学的全尺度天气与气候预测模型。

黄仁勋重申了 NVIDIA 的长期承诺:“Our models are valuable to all of you because, number one, it's on the top of the leaderboard. It's world class. But most importantly, it's because we are not going to give up working on it.” 他明确表示,Nemotron 3 之后会有 Nemotron 4,Cosmos 1 之后已有 Cosmos 2,GR00T 也正在迈向第二代。NVIDIA 坚持“垂直整合,横向开放”(Vertical integration, Horizontal openness)的战略,让全球各行各业都能平权接入 AI 革命。在 OpenClaw 基准测试中,Nemotron 3 位列全球前三顶级模型之一。紧接着,黄仁勋隆重宣布推出 **Nemotron 3 Ultra**,称其将成为全球有史以来最出色的基础底座模型,专为企业和各国的下游微调及后训练(post-training)而生。

---

[02:00:40](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=7240s) Nemotron 联盟成立与主权 AI 战略

为了帮助全球每个国家和企业构建属于自己的“主权 AI”(Sovereign AI),黄仁勋宣布正式成立 **Nemotron 联盟(Nemotron Coalition)**。NVIDIA 已投入数十亿美元的基础设施建设,旨在开发推理库等核心计算引擎,同时打造足以激活实体产业的 AI 模型。黄仁勋分析道,通用大语言模型固然至关重要,但从生物学、物理学、自动驾驶到机器人,各行业的数据域差异极大,每个地区都需要根据本地语言和规范定制模型。该联盟的核心目标正是联合全球顶级 AI 先锋力量,共同打磨并加速下一代 Nemotron 4。

黄仁勋现场逐一介绍了加入 Nemotron 联盟的核心成员公司与领军人物: - **Black Forest Labs**:前沿图像生成技术领军者; - **Cursor**:知名 AI 编程平台(黄仁勋特别提到“NVIDIA 内部大量使用 Cursor”); - **LangChain**:拥有超过十亿次下载量、用于构建自定义 Agent 的主流框架; - **Mistral**:欧洲顶尖开源大模型公司(黄仁勋向坐在台下的创始人 Arthur Mensch 致意); - **Perplexity**:革命性的多模态 Agent 系统,黄仁勋极力推荐:“Perplexity is computer, absolutely use it. Everybody use it. It is so good.”; - **Reflection**:先进推理与反思机制模型团队; - **Sarvam AI**:深耕印度本土语言与主权 AI 的先锋企业; - **Thinking Machines Lab**:由 OpenAI 前 CTO Mira Murati 创立的新前沿实验室。

```mermaid flowchart TD accTitle: Nemotron 联盟生态与主权 AI 架构 accDescr: 展示从计算基础设施到 Nemotron 基础模型,再通过联盟生态落地到主权 AI 与各行业 Agent 的层级结构。

subgraph Infra["底层支撑"] HW["NVIDIA AI 工厂与计算基础设施"] end

subgraph CoreModels["前沿底座模型"] N3["Nemotron 3 / Nemotron 3 Ultra"] N4["Nemotron 4 (下一代联合攻关)"] end

subgraph Coalition["Nemotron 联盟生态伙伴"] C1["代码与工具: Cursor / LangChain"] C2["模型与前沿实验室: Mistral / Thinking Machines Lab"] C3["搜索与图像: Perplexity / Black Forest Labs"] C4["主权与特定领域: Sarvam AI / Reflection"] end

subgraph Target["落地价值"] SAI["主权 AI (Sovereign AI)"] EA["企业级 Agentic 系统"] end

HW --> CoreModels CoreModels --> Coalition Coalition --> SAI Coalition --> EA ```

---

[02:02:37](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=7357s) 企业 Agent 战略与“Token 薪酬”新范式

黄仁勋向所有企业和软件厂商发出了明确倡议:“I said that every single enterprise company, every single software company in the world needs an agent strategy. You need to have an open source strategy.” 他指出,全球主流软件巨头正全面拥抱 NVIDIA,深度集成 NemoClaw 参考架构、NVIDIA Agentic AI 工具包以及全套开源模型。

黄仁勋判断,企业 IT 产业正在经历一场从传统 2 万亿美元规模向“数万亿美元级超级产业”的文艺复兴。未来的软件不仅提供工具,更是直接出租在专业领域内具备专家级能力的自主 Agent。这一变革彻底重塑了工程师的生产方式。黄仁勋预测,未来企业的工程师都将拥有自己的年度“Token 预算”: “I could totally imagine in the future, every single engineer in our company will need an annual token budget. They're going to make a few hundred thousand dollars a year their base pay. I'm going to give them probably half of that on top of it as tokens so that they could be amplified 10X.”

在硅谷,“岗位附带多少 Token 额度”已经悄然成为最核心的招聘筹码之一。每一位掌握充裕 Token 的工程师,工作产能将被放大 10 倍,而这些 Token 都由企业与 NVIDIA 合作部署的 AI 工厂源源不断地产出。今天的软件企业运行在传统文件系统和数据中心之上,未来的软件公司则全员 Agent 化,转型为“Token 制造者与消耗者”。关于开源 Agent 生态,黄仁勋赋予了 OpenClaw 极高的历史地位:“The OpenClaw event cannot be understated. This is as big of a deal as HTML. This is as big of a deal as Linux.” 为了让全行业安全可靠地落地该架构,NVIDIA 推出了经过全栈性能优化、安全可控的 **NemoClaw** 参考设计。

---

[02:05:26](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=7526s) 物理 AI 与机器人时代的工业落地

黄仁勋从数字世界的 Agent 转入对实体世界“物理 AI”(Physical AI)与机器人的讨论。数字 Agent 的感知、推理与行动局限于虚拟环境,而具身智能则需要指挥实体硬件在物理世界中作业。黄仁勋透露,现场汇聚了多达 110 台机器人,全球几乎所有研发机器人的企业都在使用 NVIDIA 平台。

NVIDIA 打造了支撑物理 AI 闭环运作的“三台计算机”架构: 1. **训练计算机**:负责预训练大规模基础模型与物理认知网络; 2. **合成数据生成与仿真计算机**:利用物理引擎与 Omniverse 大规模合成训练场景与极限工况数据; 3. **车载/机载机器人计算机**:直接部署在机器人或汽车本体内的边缘实时计算核心。

在工业自动化领域,ABB、Universal Robots、Kuka 等工业机器人巨头,以及重工巨头 Caterpillar 均已将 NVIDIA 物理 AI 深度嵌入其仿真与产线系统中。在电信基础设施方面,T-Mobile 与 NVIDIA 合作研发 **Aerial AI-RAN**,将传统的地面通信基站彻底改造为具备自主推理能力的“机器人无线电塔”(Robotics radio tower),基站能够自主分析网络流量、实时动态调整波束成形(beamforming),在大幅削减能耗的同时最大化无线信道保真度。

```mermaid flowchart LR accTitle: NVIDIA 物理 AI 三机计算架构 accDescr: 描述物理 AI 的训练计算机、合成数据与仿真计算机、机载边缘计算机之间的三机协同流程。

subgraph Loop["物理 AI 闭环体系"] C1["训练计算机<br/>(AI 基础模型训练)"] C2["仿真与合成数据计算机<br/>(Omniverse / Isaac Lab)"] C3["机器人机载计算机<br/>(实时边缘推理与执行)"] end

C1 -->|"模型策略输出"| C2 C2 -->|"大规模合成数据反馈"| C1 C1 -->|"部署推理策略"| C3 C3 -->|"真实世界长尾场景回传"| C2 ```

---

[02:06:37](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=7597s) 自动驾驶 Robotaxi 联盟与物理推理内核

黄仁勋直言:“The ChatGPT moment of self-driving cars has arrived. We now know we could successfully, autonomously drive cars.” 自动驾驶迎来拐点之际,NVIDIA 正式公布了 **Robotaxi Ready** 平台的四大全新整车制造合作伙伴:**比亚迪(BYD)、现代汽车(Hyundai)、日产(Nissan)与吉利(Geely)**。这四家车企每年的乘用车总产量高达 1,800 万辆,它们将与梅赛德斯-奔驰(Mercedes-Benz)、丰田(Toyota)、通用汽车(GM)一同构成庞大的智驾生态。与此同时,NVIDIA 宣布与 **Uber** 达成深度战略合作,未来这些具备 Robotaxi Ready 能力的智能车辆将直接接入 Uber 全球出行服务网络,在多个国际城市开展规模化商业营运。

在随后播放的现场演示视频中,NVIDIA 展示了搭载 **Alpamayo** 大脑的智能汽车如何在真实道路中进行自主逻辑思考。汽车不仅能平稳驾驶,还能实时用自然语言向乘客解说自身的决策逻辑: - 在变道时,车辆主动播报:“I'm changing lanes to the right to follow my route.”(我正在向右变道以跟随导航路线); - 面对复杂突发障碍时,车辆能够主动解释因果关系:“There's a double parked vehicle in my lane. I'm going around it.”(前方车道内有违章并排停放的车辆,我正在绕过它); - 当车主发出指令“Hey, Mercedes, can we speed up?”时,系统顺畅理解语境并予以加速响应。

视频阐述道,物理世界极端不可预测且充斥着长尾边缘案例(edge cases),单纯依靠现实路采数据永远无法穷尽所有可能。对于物理机器人而言,“计算即数据”(Compute is data)。开发者先在大规模互联网视频与人类操作示范上预训练世界基础模型(World Foundation Models),随后利用经典仿真与神经仿真技术大规模合成虚拟场景数据,对控制策略进行强化学习后训练。为支持这一工作流,NVIDIA 开源了专为机器人训练、评估与仿真设计的 **Isaac Lab**,以及支持 GPU 加速可微物理仿真的 **Newton** 仿真框架。

[02:10:27](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=7827s) 实体 AI 与机器人开发者生态:缩小物理世界的数据鸿沟

在实体 AI(Physical AI)领域,NVIDIA 正在构建一条以神经仿真与基础模型为核心的技术链路。这一体系依赖用于神经仿真的 Cosmos 世界模型(Cosmos world models),以及专为机器人推理与动作生成设计的 Project GR00T 开放机器人基础模型。黄仁勋强调,只要拥有充足的算力支持,全球各地的开发者正在迅速缩小实体 AI 所面临的数据鸿沟。各行各业的顶尖企业已经深度接入 NVIDIA Isaac Lab 与 Cosmos 生态,加速机器人控制策略与大脑的训练。

医疗、工业制造与前沿机器人公司展示了多元的落地实践: - **Peritas AI**:在 NVIDIA Isaac Lab 中训练其手术室助手机器人,并借助 NVIDIA Cosmos 世界模型实现训练数据的成倍扩增。 - **Skild AI**:联合使用 Isaac Lab 与 Cosmos 为其“Skild AI Brain”生成后训练数据(post-training data),并通过大规模强化学习在数千种环境变体中磨砺并强化模型鲁棒性。 - **Humanoid**:利用 Isaac Lab 训练全身体态控制(whole-body control)与精密操作策略。 - **Hexagon Robotics**:依托 Isaac Lab 进行机器人策略训练与合成数据生成。 - **富士康(Foxconn)与 Noble Machines**:在 Isaac Lab 环境中针对具体场景微调 GR00T 基础模型。 - **迪士尼研究院(Disney Research)**:结合其自研的 Kamino 物理模拟器、Newton 求解器以及 Isaac Lab,跨越各个 IP 宇宙训练其角色机器人的动作策略。

```mermaid flowchart TD accTitle: 实体 AI 机器人研发与训练流水线 accDescr: 展示 Cosmos 与 GR00T 基础模型在 Isaac Lab 中驱动各行业机器人策略训练的流程架构

subgraph Foundation["底层基础模型与仿真"] A["NVIDIA Cosmos 世界模型<br>(神经仿真与数据扩增)"] B["Project GR00T 基础模型<br>(机器人推理与动作生成)"] end

subgraph Simulation["训练与验证环境"] C["NVIDIA Isaac Lab<br>强化学习与全身体态控制"] D["Newton 物理求解器<br>(基于 NVIDIA Warp)"] end

subgraph Applications["行业落地案例"] E["Peritas AI (手术室助手)"] F["Skild AI (通用大脑)"] G["Foxconn / Noble (工业制造)"] H["Disney Research (角色机器人)"] end

A --> C B --> C D --> C C --> E C --> F C --> G C --> H ```

[02:12:45](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=7965s) 雪宝(Olaf)登台:Newton 物理求解器与具身智能的奇迹

在全场瞩目中,来自迪士尼《冰雪奇缘》的经典角色——机器人雪宝(Olaf)迈着灵动的小碎步摇摇晃晃走上舞台。黄仁勋激动地惊呼:“Newton works. Wow. Omniverse works. Olaf, how are you?” 雪宝欢快地回应道:“I'm so happy now that I'm meeting you.” 黄仁勋笑着解释雪宝体内装着它的核心大脑——NVIDIA Jetson 边缘计算芯片,并透露雪宝正是借助 NVIDIA Omniverse 平台才学会了如何平稳行走。雪宝调侃说在舞台上走路“比骑驯鹿好多了”,还可以抬头仰望美丽的星空。

黄仁勋深入揭示了这只物理实体机器人背后的技术底座:这是 NVIDIA 与迪士尼研究院(Disney Research)以及 Google DeepMind 联合研发的全新物理引擎 Newton 求解器。该求解器运行在 NVIDIA Warp 框架之上,提供了极致精确的物理计算能力,才让原本头重脚轻的雪宝能够在真实的物理世界中自如适应环境、保持平衡。当黄仁勋夸赞雪宝如此聪明时,雪宝机智地接梗:“I'm a snowman, not a snowclopedia.” 逗得全场哄堂大笑。黄仁勋随后畅想了迪士尼乐园的未来形态,届时无数注入了具身智能的角色机器人将自由穿梭在园区中与游客互动。他还开玩笑地调侃雪宝:“I thought you were going to be taller. I've never seen such a short snowman, to be honest.”

- **Jetson 边缘端嵌入**:雪宝的机身内部搭载了 NVIDIA Jetson 计算平台,承担实时感知与动作控制处理。 - **联合研发突破**:Newton 物理求解器由 NVIDIA、Disney Research 与 DeepMind 三方共同打造,运行于 NVIDIA Warp 编程框架之上,专门解决复杂多关节角色机器人的仿真与实体落地难题。

[02:14:24](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=8064s) 2026 年 GTC 总结与闭幕视频

临近大会尾声,黄仁勋邀请雪宝一起为整场长达两个多小时的 Keynote 做最终收尾。按照惯例,黄仁勋快速提炼了本次发布会的核心支柱: 1. **推理转折点(Inference Inflection)**:算力经济模型从单纯训练转向全方位的超大规模实时推理与思考。 2. **AI 工厂(AI Factory)**:以 Rubin 系列架构为代表的数据中心全栈级工业基础设施。 3. **开源核心 Agent 革命(Open-Core Agent Revolution)**:以 NemoClaw 和自主长程 Agent 为前沿的全新企业级智能化工作范式。 4. **实体 AI 与机器人(Physical AI and Robotics)**:神经仿真与物理世界紧密结合,具身智能真正走出虚拟仿真步入现实。

黄仁勋决定打破常规:“Usually I close the keynote by telling you what I told you... But tell you what, why don't we get some friends to help us close it out?” 随着雪宝开心地欢呼,大屏幕播放了充满未来感与震撼视觉特效的 GTC 2026 官方闭幕视频。在激昂的音乐与掌声中,黄仁勋最后向全球开发者道别:“All right. Have a great GTC.” 为本届大会画上了圆满的句号。

## Notable quotes > [01:00:34](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=3634s) If you have the wrong architecture, even if it's free, it's not cheap enough. — 黄仁勋

> [46:13](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=2773s) Computing used to be retrieval based. Now it's generative. — 黄仁勋

> [01:42:02](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=6122s) AI factory revenues are equal to tokens per watt, so with power constraints every unused watt is revenue lost. — 黄仁勋

> [01:48:48](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=6528s) Every single SaaS company will become Agaas company, an Agentic-as-a-service company. — 黄仁勋

> [02:06:37](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=7597s) The ChatGPT moment of self-driving cars has arrived. We now know we could successfully, autonomously drive cars. — 黄仁勋

> [30:47](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=1847s) We are a vertically integrated computing company with open horizontal integration with the world. — 黄仁勋

> [01:26:32](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=5192s) And so optimizing for high throughput and optimizing for low latency are in fact enemies of each other. — 黄仁勋

> [01:00:34](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=3634s) Inference is the ultimate hard. It is also ultimate important because it drives your revenues. — 黄仁勋

## Mentioned 黄仁勋 (Jensen Huang), NVIDIA, CUDA, CUDA-X, GeForce, DLSS 5, cuDF, cuVS, IBM, Watsonx.data, System/360, 雀巢 (Nestlé), Dell Technologies, Google Cloud, BigQuery, Vertex AI, Snapchat, AWS, Microsoft Azure, Oracle Cloud (OCI), OpenAI, Anthropic, CoreWeave, Palantir, Synopsys, Aerial AI-RAN, cuOpt, cuLitho, cuDSS, Warp, Parabricks, Claude Code, Cursor, Codex, OpenAI o1, OpenAI o3, Hopper, Grace Blackwell, NVLink 72, NVFP4, DGX Cloud, SemiAnalysis, Dylan Patel, Fireworks AI, Together AI, DGX-1, Vera Rubin, Vera CPU, BlueField-4, Groq, Groq 3 LPX, Groq LP 30, Spectrum-X, TSMC, Rubin Ultra, Kyber, Samsung, Omniverse, NVIDIA DSX, PTC Windchill PLM, Dassault Systèmes, Jacobs, Siemens, Cadence, ETAP, Procore, Peter Steinberger, OpenClaw, Andrej Karpathy, NemoClaw, OpenShell, Nemotron, Cosmos, GR00T, Alpamayo, BioNeMo, Earth-2, LangChain, Mistral, Perplexity, Sarvam AI, Thinking Machines Lab, Black Forest Labs, Isaac Lab, Newton, ABB, Universal Robots, Kuka, Caterpillar, T-Mobile, BYD, Hyundai, Nissan, Geely, Mercedes-Benz, Toyota, GM, Uber, Disney Research, Google DeepMind, Olaf

## Video description Watch NVIDIA Founder and CEO Jensen Huang’s GTC keynote as he unveils the latest breakthroughs in AI and accelerated computing. See how agentic AI, AI factories, and physical AI are powering the next generation of intelligent systems.

0:00 The Economics of Tokens: Scaling Intelligence via High-Throughput Tokenomics 3:15 Welcome to GTC 2026 6:02 20 Years of CUDA 10:23 GeForce 13:50 DLSS 5 16:19 Structured Data is the Ground Truth of AI 19:45 NVIDIA's Vertical Integration 20:16 IBM Reinvents Data Processing With NVIDIA 38:26 CUDA-X 38:31 NVIDIA Foundational Technology Montage 43:15 AI Natives 46:01 Inference Inflection Arrives 50:43 "The inflection point for inference has arrived." 52:23 Inference Inflection Drives Strong Growth 1:00:53 How Nvidia delivers industry’s lowest token cost - 50x perf/watt leads to 35x lower cost 1:04:50 InferenceMAX King 1:06:13 NVIDIA is the Global Standard for AI Inference at Scale 1:06:46 AI Factories are the Industrial Infrastructure of the AI Era 1:07:56 A Decade of AI Infrastructure Innovation: From NVIDIA DGX-1 to NVIDIA Vera Rubin 1:11:26 NVIDIA Vera Rubin 1:13:53 NVIDIA Vera Rubin, NVLink and Groq 1:15:29 NVIDIA Spectrum-X Switch, Co-Packaged Optics, Vera and NVIDIA BlueField-4 1:17:38 Rubin Ultra 1:19:41 Inference Performance and Efficiency Drive Company Results 1:29:16 Uniting Processors of Extreme Performances 1:32:52 NVIDIA Groq 3 LPX 1:33:30 Announcing NVIDIA Launch Partners 1:35:26 NVIDIA Vera Rubin: 7 Chips – 5 Rack Systems 1:36:28 NVIDIA Extreme Co-Design Delivering X-Factors Every Year 1:40:05 NVIDIA DSX AI Factory Platform 1:42:15 How AI Factories Maximize Tokens, Power, and Profit With NVIDIA DSX 1:45:40 Space-1 Vera Rubin Module 1:46:23 NemoClaw for OpenClaw 1:47:47 OpenClaw: The ChatGPT Moment for Long-Running, Autonomous Agents 1:57:01 NVIDIA Nemotron and Open Models 1:57:29 How NVIDIA Open Models Power Every Industry’s AI 2:01:46 Announcing Global AI Leaders Join NVIDIA Nemotron Coalition to Advance Open Frontier Models 2:04:43 Announcing NVIDIA NemoClaw Reference OpenClaw 2:05:22 Physical AI and Robotics 2:08:33 The Age of Physical AI and Robotics 2:13:00 Olaf Takes the Stage With Jensen Huang 2:14:55 Official Keynote Closing Video | GTC 2026

[Source](https://www.youtube.com/watch?v=jw_o0xr8MWU)

中文简报

NVIDIA GTC 2026 主题演讲 黄仁勋宣布,全球人工智能格局已明确从训练转向推理,预计将推动算力需求实现百万倍激增,并在2027年前带来超过1万亿美元可见的硬件需求。为应对这一拐点,NVIDIA 推出了 Vera Rubin 平台并整合了 Groq 的低延迟 LPU,构建了能够在1吉瓦功耗预算内将 Token 生成规模提升高达350倍的解耦架构。本次演讲还拓展了 NVIDIA 的全栈战略,包括用于 AI 工厂模拟的 DSX 数字孪生平台、面向自主智能体集群的开源核心 NemoClaw 企业框架,以及 Nemotron 和 Cosmos 等前沿开放模型生态系统。主题演讲最后展示了物理 AI 的实际应用,重点展现了通过 Alpamayo 实现的自动驾驶汽车实时推理、广泛的工业机器人部署,以及由 Jetson 和 Newton 物理引擎驱动的迪士尼“雪宝”(Olaf)双足机器人登台亮相。 黄仁勋预计,随着工作负载从训练转向智能体推理,算力需求将出现百万倍的激增,到2027年可见的算力需求和采购订单将超过1万亿美元。 (52:23) NVIDIA 发布了 Vera Rubin 平台,该平台包含七款芯片、五种机架架构、3.6 exaflops 算力以及 45°C 温水冷却,相比 2016 年的 DGX-1 实现了 4000 万倍的算力扩展。 (67:56) 在收购 Groq 的工程团队和知识产权后,NVIDIA 推出了一种解耦推理架构,将预填充路由至 Vera Rubin,将 Token 解码路由至 Groq LPU,在交互式延迟层级实现了 35 倍的性能提升。 (88:15) 为支持自主智能体工作流并推动从传统 SaaS 向“智能体即服务”过渡,NVIDIA 与 OpenClaw 创作者 Peter Steinberger 合作推出了企业级沙箱运行环境 NemoClaw。 (112:48)

精炼阅读摘要

在NVIDIA GTC 2026主题演讲中,黄仁勋阐述了英伟达从图形与计算系统公司向全栈“AI工厂”平台的战略跃迁,主张现代计算已演进为以Token为基本产出的工业化制造体系,并预测到2027年公司在相关基础设施上的需求能见度将至少达到1万亿美元。 算力飞轮与全栈哲学:从CUDA到数据处理加速 (6:02) 回顾CUDA问世20周年与GeForce推出25周年,黄仁勋回顾了单指令多线程(SIMT)架构及Tensor Cores对现代深度学习的奠基作用。针对企业级软件与图形渲染的演进,英伟达发布了DLSS 5,将确定性的3D几何物理管线与概率性生成式AI模型相融合。黄仁勋强调,结构化数据是构建可靠且可审计AI系统的核心基石,这一模式同样适用于全行业企业AI应用。面对占据每年新增信息量约90%的非结构化数据,英伟达推出cuDF和cuVS底层加速库,分别处理关系型DataFrame以及高维向量检索。 黄仁勋将英伟达的竞争定位概括为“垂直整合但水平开放”的计算公司。他指出,计算加速不能依赖通用的硬件单点堆砌,其实质是贯穿算法、库、系统到芯片的“应用加速”。例如,在与IBM合作加速Watsonx.data SQL引擎后,雀巢全球供应链数据处理速度提升了5倍,计算成本降低了83%;在Google Cloud BigQuery中引入加速管线后,Snapchat相关算力成本降低了近80%。英伟达通过在AWS、Azure、Google Cloud和OCI等主流云平台落地全栈优化库,以此锁定开发者生态。 AI工厂经济学与推理突破:机架规模与万亿需求 (58:46) 黄仁勋将AI算力需求划分为生成式、推理型(如OpenAI o1/o3)和代理型(Agentic)三个阶段,并由此给出了最新的财务能见度预测:继2025年提出5000亿美元需求后,他目前预计到2027年Blackwell和Rubin相关的高确定性资本支出需求至少达到1万亿美元,且预计供给端仍将受限。英伟达指出,业界普遍低估了推理任务的复杂性与经济价值。在数据中心面临严格电网容量限制(如单体1吉瓦功率上限)的前提下,AI工厂的核心优化指标是“每瓦Token生成量”与“交互响应速度”,二者直接决定了分层商业化Token的吞吐量与单价梯次。 为突破传统8卡服务器在处理大规模专家混合模型(MoE)时的网络瓶颈,英伟达在Grace Blackwell世代推出了NVLink 72机架级架构,并引入NVFP4精度格式。在2026年发布的Vera Rubin架构中,系统进一步实现100%全液冷,取消了背板外部铜缆线束,使机架装配时间从两天压缩至两小时。Rubin架构搭载专为代理型高并发与工具调用设计的Vera CPU(首款配备LPDDR5内存的数据中心处理器)。对于更高密度的Rubin Ultra,英伟达推出了Kyber机架架构,通过垂直中平面正反双面插接144块GPU,在单物理域内彻底消除长距离外部铜缆布线限制。 解耦推理与先进封装:Groq整合与吉瓦级数字孪生 (88:15) 在硬件微架构层面,英伟达展示了与台积电合作研发COOP工艺并实现量产的首款共封装光学(CPO)Spectrum-X交换机,通过芯片级光电转换消除传统电路损耗。在推理拓扑设计上,黄仁勋推荐在以代码生成等高价值Token为主的AI数据中心中,采用解耦推理架构(Disaggregated Inference):将25%的算力分配给Groq技术(LP 30芯片由三星制造,预计2026年下半年量产),75%保留在Vera Rubin。该架构由Dynamo软件调度,由Rubin负责计算密集的Prefill和Attention阶段,由基于SRAM和编译器静态排期的Groq芯片专门负责Decode前馈网络加速。 针对吉瓦级设施的工程损耗问题,英伟达发布了Omniverse DSX(超大规模数据中心模拟平台)。该平台在物理破土动工前,联合PTC、达索系统等多家工程软件,在数字孪生空间中对电气母线、流体与冷却、机械应力、网络拓扑及电网双向遥测进行多物理场联合仿真,并借助Max-Q动态调节计算能耗以释放热余量。此外,英伟达披露其Drive Thor平台已在轨运行,正与航天伙伴共同研发面向近地轨道及深空环境的Vera Rubin Space-1空间计算模块,通过全辐射散热解决无大气对流条件下的算力部署难题。 从AaaS软件架构到具身智能:物理AI的工业落地 (125:26) 在软件架构层面,黄仁勋预测传统SaaS将全面转向“代理即服务”(AaaS)。面对开源代理操作系统OpenClaw的高速普及,英伟达推出了企业级NemoClaw框架,提供OpenShell沙箱运行环境、企业策略引擎与隐私路由防护,以保障企业核心资产安全。在基础模型方面,英伟达推出了Nemotron 3 Ultra开源底座模型,并联合Mistral AI、Perplexity、Cursor、LangChain等企业组建Nemotron Coalition联盟,协同推进涵盖语言、物理世界生成(Cosmos)、自动驾驶(Alpamayo)、人形机器人(GR00T)等六大开源前沿模型家族。 在物理AI领域,英伟达确立了“三台计算机协同”架构:由DGX/Rubin超算负责预训练,OVX/Omniverse负责合成数据生成与强化学习数字孪生仿真,最终将验证后的策略部署到机载端侧计算机(DRIVE Thor/Jetson)。黄仁勋宣布自动驾驶迎来拐点,比亚迪、现代、日产和吉利四家年产量合计达1800万辆的汽车制造商加入其Robotaxi-Ready平台;现场展示的Alpamayo模型实现了具备显式思维链交互的自动驾驶控制。演讲最后通过迪斯尼研究团队合作开发的双足雪宝(Olaf)机器人登台,展示了基于Newton微分物理求解器与Warp框架在虚拟环境中端到端训练步态平衡的实际成果。 黄仁勋在演讲总结中重申,现代计算的底层逻辑已完成由通用数据检索向生成式与代理式Token工厂的彻底迁移。然而,将这一庞大的软硬件蓝图付诸实施,不仅高度依赖每年数十吉瓦的电力基础设施落地与先进制程供应链交付,还面临真实物理世界高精度仿真与海量长尾安全场景验证等多重工程挑战。

Detailed notes — zh

## Background 该视频由 NVIDIA 在 YouTube 平台官方频道于 2026 年 3 月 16 日发布。视频为 NVIDIA 创始人兼首席执行官黄仁勋在 GTC 2026 大会上的主题演讲,重点介绍了 AI 与加速计算的最新突破,探讨了智能体 AI、AI 工厂及物理 AI 如何驱动下一代智能系统。 ## TL;DR 本次演讲全面剖析了 AI 算力从模型训练向推理阶段的本质跃迁,强调了 Token 经济学对未来基础设施的核心影响。黄仁勋发布了 Vera Rubin 架构、Groq 推理芯片及 DSX 数字孪生平台,旨在通过软硬件协同将算力性能提升至百万倍规模。此外,演讲还推出了 OpenClaw 智能体开源操作系统,勾勒出从企业级 AI 工厂到具身智能机器人的未来产业图景,为全球算力基础设施投资提供了技术范式。 ## Atmosphere & style 整场演讲充满前瞻性的科技宏大叙事感,黄仁勋以专业且具有感染力的语调,将复杂的计算架构演进比作一场重塑全球工业文明的变革。现场气氛庄重而充满活力,通过实时仿真的视觉演示和对“AI 工厂”这一核心概念的反复强化,营造出一种紧迫与兴奋交织的氛围,仿佛带领观众亲历了一场即将改变人类生产力的计算革命。 ## Bulletin - [03:05:26](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=11126s) 黄仁勋发布了最新的 Vera Rubin 架构,该架构通过机架级解耦与液冷技术实现计算性能的代际跃迁,使 AI 工厂的 Token 生成速率相比 Blackwell 架构提升 35 倍。 - [01:24:03](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=5043s) NVIDIA 提出了“推理拐点”概念,强调 AI 工作负载已从训练转向推理,推理算力需求将在两年内激增 100 万倍,倒逼数据中心基础设施必须以每瓦 Token 数(tokens per watt)为核心指标进行重构。 - [04:03:43](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=14623s) NVIDIA 推出了 OpenClaw 开源智能体操作系统,致力于解决自主智能体在任务分解、工具调度及长链路执行方面的生产环境应用挑战。 - [03:39:12](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=13152s) 通过整合 Groq 的超低延迟推理架构与 Vera Rubin 的高吞吐算力,NVIDIA 实现了针对高价值任务的混合部署策略,可根据业务需求在延迟与吞吐之间实现最优分配。 ## Key takeaways - [10:02](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=602s) CUDA 已走过 20 年历程,其软硬一体的飞轮效应在于通过架构代际兼容性赋予云端硬件长效寿命,持续保护开发者与企业用户的资产投资。 - [22:30](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=1350s) DLSS 5 标志着图形渲染与生成式 AI 的深度融合,通过神经渲染实现结构化数据的实时计算,成为构建可信 AI 的基石。 - [26:59](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=1619s) 结构化数据处理(DataFrame)是 AI 智能体接入企业核心业务的关键,cuDF 和 cuVS 加速库已在多项工业测试中实现数倍至数十倍的性能提升与大幅成本削减。 - [50:03](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=3003s) NVIDIA 明确了其“垂直整合计算与水平开放生态”的战略定位,不仅提供芯片,更提供包含数十个算法库的加速平台作为公司发展的“皇冠明珠”。 - [01:16:53](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=4613s) 当前 AI 演进已进入第三阶段——以 Claude Code 等智能体(Agentic)为代表的自主行动时代,AI 不仅能生成,还能调用工具并进行自主迭代。 - [01:27:03](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=5223s) 预计到 2027 年,全球 AI 算力基础设施需求将达到 1 万亿美元,NVIDIA 的业务增长已覆盖从超大规模云厂商到企业级应用及机器人边缘端的全领域。 - [03:05:29](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=11129s) Vera Rubin 机架采用 100% 纯液冷设计,其组装效率极高,支持 45 摄氏度热水循环散热,并提供 260 TB/s 的无阻塞 NVLink 全对全互联带宽。 - [03:11:39](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=11499s) NVIDIA 与台积电联合研发 COOP 工艺,实现全球首款共封装光学(CPO)Spectrum-X 交换机,大幅提升了数据中心内部的互联带宽与能效表现。 - [02:08:58](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=7738s) Rubin Ultra 架构引入 144 卡中板设计,彻底废除传统无源铜缆布线,极大优化了高密度计算环境下的布线复杂性与信号完整性。 - [02:12:22](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=7942s) Token 已成为新的工业大宗商品,企业必须通过 AI 工厂的精细化运营,在固定电力预算内平衡高吞吐量与生成速度,以最大化商业回报。 - [02:33:36](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=9216s) Groq 系统因其编译器驱动的确定性数据流特性,能与 Vera Rubin 的通用高吞吐能力形成深度互补,解决超低延迟推理需求。 - [02:46:45](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=10005s) NVIDIA DSX 数字孪生平台通过 Omniverse 仿真物理机房供电与散热,使 AI 工厂在相同电力边界下产出提升一倍。 - [04:03:43](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=14623s) NemoClaw 架构整合了 OpenShell 安全沙箱,旨在为企业提供受控的自主智能体执行环境,加速 SaaS 向 Agentic-as-a-service 的转型。 - [03:30:37](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=12637s) 具身智能的发展已进入“自动驾驶的 ChatGPT 时刻”,通过 Isaac Lab 和 Newton 引擎在虚拟环境中训练的机器人已具备在物理世界中执行任务的能力。 ## Detailed walkthrough ### [00:08](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=8s) 开场先导片:Token 经济学与智能制造 一段极具未来感与史诗气质的先导片拉开了大会的序幕。视频将人工智能的运行机制类比为一种前所未有的新型工业设施:“这便是智能被制造出来的方式:一种新型工厂,Token(标记)的发生器,构建 AI 的基础砖瓦。”在屏幕上,流动的光影与复杂的神经网络节点交织,宣告着以 Token 为核心的新计算范式正式降临。 视频描绘了 Token 作为知识与计算载体,如何穿透人类社会的方方面面:它们将海量原始数据提炼为人类认知,赋能清洁能源开发,揭示宇宙星辰的演化密码。在虚拟世界中,Token 训练机器人习得物理规律;在现实世界中,它们驱动自主农业设备开辟田垄、助力丰收;在医疗领域,它们于无声处监控生命体征,让最微弱的幼小心脏得以强劲跳动。先导片在火箭升空的壮丽画面中推向高潮,伴随着“分离已确认,飞向更遥远深空”的调度指令,宣告人类正携手迈向一个由全人类共享的智能新未来。 ### [03:18](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=198s) 欢迎来到 GTC 2026:AI 的“五层蛋糕”与产业生态 在现场震耳欲聋的掌声中,NVIDIA 创始人兼 CEO 黄仁勋(Jensen Huang)身着标志性皮衣快步走上舞台。他神采奕奕地张开双臂向全场致意:“欢迎来到 GTC!”面对清晨便在场外排起漫长队伍的热情观众,他笑着提醒大家保持极客精神:“我只想提醒大家,这是一场技术大会。这么多人一大早就排队入场,很高兴在这里见到大家,GTC。我们今天将深入探讨技术与平台。” 黄仁勋开门见山地指出,NVIDIA 的核心是构建技术平台,本场演讲将贯穿三项支柱级平台:成熟的 CUDA-X 软件库生态、顶尖的计算系统工程,以及全新的工业级范式——“AI 工厂(AI factories)”。在展开核心技术之前,他特别致谢了主持展前预热环节的技术投资人:Conviction 的 Sarah Guo、红杉资本(Sequoia Capital)合伙人兼 NVIDIA 首位风险投资人 Alfred Lin,以及 NVIDIA 早期最重要的机构投资人 Gavin Baker。 黄仁勋强调,全球产值达 100 万亿美元的产业代表今天几乎全员到场,共有 450 家全球领军企业赞助了本次盛会,现场设有 1,000 场深度技术分会,汇聚了 2,000 位顶尖演讲者。他将当前的人工智能体系具象化为一个“五层蛋糕”,并指出 GTC 将彻底覆盖其中的每一个切片: 1. 底层实体资源:土地(Land)、电力(Power)与数据中心外壳(Shell); 2. 物理基础设施:算力集群网络、液冷设施与服务器机架; 3. 芯片架构:GPU、CPU、DPU 及高速互连总线; 4. 核心平台与前沿模型:加速库框架、基础大模型与算法工具链; 5. 应用生态:真正决定整个产业能否腾飞的端到端行业落地场景。 ### [06:02](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=362s) CUDA 二十周年:软硬一体飞轮与长效算力资产 黄仁勋带领全场回顾了一段波澜壮阔的技术演进史:“今年是 CUDA 问世 20 周年。我们已经在 CUDA 上默默耕耘了整整 20 年。”二十年前,NVIDIA 颠覆性地推出了单指令多线程(SIMT)架构,让开发者能以直观的书写标量代码的方式,自动派生出大规模多线程并行任务,其可编程性远超传统的 SIMD 指令集。随着深度学习崛起,团队又引入了矩阵分块(Tiles)机制,让开发者能够极致压榨 Tensor Core 的算力极限,构筑起现代 AI 计算的数学底座。如今,CUDA 生态已演化为包含数千种编译器、工具链、运行时框架以及数以十万计开源项目的庞大软件世界。 大屏幕随后打出了展示 NVIDIA 核心商业战略架构图。黄仁勋直言,这张图揭示了他多年来反复宣讲的全部底层逻辑:在生态的最底端,是耗时二十年建立的“装机基数(Installed Base)”,这也是行业内最难逾越的护城河。目前全球已有数以亿计运行 CUDA 的 GPU 分布在主流云厂商、服务器品牌及科研机构中。庞大的装机量不断吸引顶级开发者进驻并催生算法突破(如深度学习的大爆发),算法突破开创出全新的商业市场,进而吸引更多软硬件公司加入构筑完整生态,并最终反哺更大规模的芯片装机。 ```mermaid flowchart TD accTitle: CUDA 生态飞轮效应示意图 accDescr: 展示硬件装机基数如何吸引开发者、推动算法突破,并最终反哺算力生态的自增强循环 subgraph CoreLoop ["CUDA 飞轮效应(The Flywheel)"] A["全球装机基数<br/>(Installed Base)"] B["吸引开发者生态<br/>(Developers)"] C["算法质的突破<br/>(Breakthroughs 如深度学习)"] D["开拓新兴商业市场<br/>(New Markets)"] E["软硬件生态扩张<br/>(Ecosystem)"] A --> B B --> C C --> D D --> E E --> A end subgraph SustainedValue ["持续成本优化与生命周期赋能"] F["架构代际完全兼容"] G["软件栈持续优化更新"] H["计算成本成倍下降<br/>有效服役寿命延长"] A -.-> F F --> G G --> H end ``` 黄仁勋特别指出,这种庞大的装机基数赋予了云端基础设施超乎寻常的有效服役寿命(Useful Life)。由于全生命周期的算力皆能被各类计算流水线调用,六年前发布的 Ampere 架构 GPU 在各大公有云中的租用价格至今依然坚挺甚至反向走高。正是由于底层架构保持兼容,团队对软件栈的每一次编译优化与底层调优,都能瞬间惠及全球数以千万计存量硬件,在初次部署加速的基础上持续压低算力单位成本。 ### [10:23](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=623s) GeForce 传承与深度学习宇宙大爆炸 回溯 CUDA 的起源,黄仁勋深情谈及 25 年前的 GeForce 显卡如何成为 NVIDIA 最成功的长线布局。他风趣地调侃台下早已成为行业栋梁的工程师与科学家:“GeForce 是 NVIDIA 史上最伟大的营销战役。我们在你们完全掏不起钱的时候,就已经吸引了你们成为未来的客户。那时候都是你们的父母掏钱给你们买显卡!一年又一年,父母不断充值,直到有一天你们成为了顶尖的计算机科学家,成为了成熟的企业级客户与开发者。” 25 年前,NVIDIA 打造出了历史上首款可编程加速芯片——具备可编程着色器(Programmable Shader)的像素着色器,开启了图形可编程流水线先河;5 年后,团队倾注全部心力孤注一掷研发 CUDA。当时公司财力极为有限,CUDA 的研发几乎吞噬了公司的绝大部分利润,但 NVIDIA 凭借坚定的信念,顶着巨大的财务风浪,硬是在 13 代产品迭代中让 CUDA 搭载在 GeForce 显卡的脊背上走进了千家万户。正是这一决定,让 Alex Krizhevsky、Ilya Sutskever、Geoffrey Hinton 与吴恩达(Andrew Ng)等学者能够触手可及地使用便宜且算力恐怖的 GPU,一举引爆了现代 AI 的宇宙大爆炸。大约十年前,NVIDIA 又做出了另一次颠覆性的跨界决策:重新设计现代图形架构,在硬件中硬核塞入实时光线追踪核心(RT Cores),并大胆押注“AI 终将重塑计算机图形学”。 ### [13:50](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=830s) DLSS 5 震撼公布:神经渲染与生成式 AI 的双向融合 “今天,我将向你们展示未来的模样。这是我们的下一代图形技术,我们称之为‘神经渲染(Neural Rendering)’——3D 图形学与人工智能的终极融合。这就是 DLSS 5。” 屏幕随后播放了一段DLSS 5 实机演示视频。画面中,高度复杂的 3D 几何光影与以假乱真的微观物理细节毫秒级实时生成,粒子飘散、高动态范围光追反射栩栩如生,视觉震撼引发全场屏息。演示结束后,黄仁勋振臂高呼:“这难道不令人叹为观止吗?计算机图形学彻底活了过来!” 黄仁勋在深入解析 DLSS 5 底层原理时提炼出了一个极具普适性的技术哲学: - 可控 3D 图形学(3D Graphics):代表确定性计算与虚拟世界的地面真实(Ground Truth),由结构化数据(Structured Data)精确控制几何刚体与空间坐标; - 生成式 AI(Generative AI):代表概率性计算(Probabilistic Computing),擅长生成极其自然、高度拟真且细节无限丰富的连续画质。 DLSS 5 实现了结构化数据与概率性生成的无缝咬合,既保证了场景几何交互的 100% 绝对精确可控,又获得了生成式模型赋予的非凡画质。黄仁勋以此向各行各业做出预言:“这种将结构化信息与生成式 AI 相互融合的架构设计,将在一个接一个的产业中不断自我复制重演。结构化数据正是构建可信 AI(Trustworthy AI)的基石所在。” ### [16:19](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=979s) 结构化数据:企业级计算与商业世界的绝对地面真实 谈及结构化数据,黄仁勋神秘地对观众打起预防针,半开玩笑地警告台下不要倒吸凉气:“接下来的这张幻灯片可能会把你们吓一跳。我要翻页了,千万别倒吸冷气。每当我问团队‘哪张幻灯片最好’时,他们一遍遍选出的都是这张。他们甚至劝我:‘千万别讲这个,Jensen。’我说不,这些坐席对有些人来说可是免费的,这就是你们的入场代价!” 大屏幕随后展示出一张覆盖全栈企业数据管线的复杂架构图。黄仁勋严肃指出,无论是 SQL、Apache Spark、Pandas、Velox,还是云端部署的 Snowflake、Databricks、Amazon EMR、Microsoft Azure Fabric、Google Cloud BigQuery,全球企业级计算的核心全是在高频处理 DataFrame。这些 DataFrame 本质上是承载着人类社会各维度运转痕迹的超大型数据表,凝聚着企业运营的绝对“地面真实”。 如今,企业不仅要继续运行常规业务,更要让大语言模型与各类 AI 智能体接入这些企业核心库。黄仁勋以不容置疑的口吻宣告:“既然我们现在要让 AI 全面调用结构化数据,我们就必须把这种处理速度加速到极致(accelerate the living daylights out of it)。”唯有将数据准备、分析查询与特征工程的耗时缩减数个数量级,才能支撑起海量 AI 业务对实时、高吞吐结构化数据计算的严苛渴求。 - 关键事实与重要引用: - “今年是 CUDA 问世 20 周年。我们已经在 CUDA 上默默耕耘了整整 20 年。”(This is the 20th anniversary of CUDA. We've been working on CUDA for 20 years.)—— 黄仁勋 - “这种将结构化信息与生成式 AI 相互融合的架构设计,将在一个接一个的产业中不断自我复制重演。结构化数据正是构建可信 AI 的基石所在。”(This concept of fusing structured information and generative AI will repeat itself in one industry after another, industry after another industry. Structured data is the foundation of trustworthy AI.)—— 黄仁勋 - 行业大会规模:超 450 家跨国企业赞助支持,汇集 1,000 场深度前沿技术讲座及 2,000 位行业演讲嘉宾。 - 核心图形与算力里程碑:25 年前推出可编程像素着色器,20 年前推出通用计算架构 CUDA,8 至 10 年前以 RTX 系列显卡开创实时硬件光追与 AI 降噪渲染,今日正式迈向神经渲染 DLSS 5。 ### [17:51](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=1071s) 结构化与非结构化数据:AI 的基石与 cuDF / cuVS 黄仁勋(Jensen Huang)展望了数据架构的未来演变。未来的智能体(AI Agents)处理数据的方式将远比人类更快速、更同步,它们不仅会重度依赖结构化数据库,更将彻底激活庞大的非结构化数据世界。现实世界中每年产生的海量信息——包括向量数据、PDF、视频、语音等——有大约 90% 都是非结构化数据。黄仁勋直言不讳地指出了传统计算的局限:“直到现在,这类数据对全世界来说几乎是完全没用的。”(“Until now, this data has been completely useless to the world.”)过去人们只能阅读这些文件并把它们扔进文件系统,既无法高效查询也无法直接检索,因为非结构化数据缺乏简单的索引机制,必须先理解其深层含义与意图。 随着 AI 解决了多模态感知与理解的技术瓶颈,系统现在能够自动阅读一份复杂的 PDF 文档,提炼其语义并将其转化为高维向量嵌入,从而构建出可供毫秒级查询的语义数据库。正如当年为 3D 图形计算发明了 RTX 技术一样,NVIDIA 为现代数据处理打造了两大基石级核心加速库:针对结构化数据 DataFrame 的 **cuDF**,以及针对向量检索、语义理解与非结构化数据的 **cuVS**。全球的数据处理系统极其庞大且碎片化,NVIDIA 历经多年深度整合才打入这一复杂的软件生态,使两大库成为全球现代数据栈的底层标准。 ```mermaid flowchart TD accTitle: NVIDIA 数据加速技术栈与数据分类 accDescr: 展示结构化与非结构化数据如何通过 cuDF 和 cuVS 进入 AI 应用层 subgraph InputData["原始数据输入"] Structured["结构化数据<br/>(SQL 表格 / DataFrames)"] Unstructured["非结构化数据 (占 90%)<br/>(PDF / 视频 / 语音 / 文档)"] end subgraph AcceleratedLibs["NVIDIA 基础计算库"] CUDF["cuDF<br/>(DataFrame 极速处理引擎)"] CUVS["cuVS<br/>(向量检索与语义存储引擎)"] end subgraph Applications["AI 应用与基础设施"] VectorDB["向量数据库 / RAG / 智能体"] DataWarehouse["现代数据仓库 / BI 分析"] end Structured --> CUDF Unstructured -->|"多模态理解与嵌入"| CUVS CUDF --> DataWarehouse CUVS --> VectorDB ``` --- ### [20:16](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=1216s) IBM 与 NVIDIA 携手重塑数据处理:从 System/360、SQL 到 Watsonx.data 黄仁勋随后宣布与企业计算先驱 IBM 达成重磅合作。60 年前,IBM 推出了 System/360,开创了通用计算时代;随后 IBM 发明了 SQL 声明式查询语言以及数据仓库,奠定了现代企业级计算的基础。如今,IBM 与 NVIDIA 正在全面重塑 AI 时代的数据处理范式:IBM 将其旗舰级数据湖仓引擎 Watsonx.data 的 SQL 查询内核全面接入 NVIDIA GPU 与 cuDF 加速计算库。黄仁勋强调,数据是赋予 AI 上下文与真实语义的“真实基准(ground truth)”,而现有的 CPU 数据处理流水线在面对爆炸级数据集时已不堪重负。 在随后的案例视频中展示了全球消费品巨头雀巢(Nestlé)的实测表现。雀巢在 185 个国家开展业务,每天需要做出数以千计的复杂供应链决策。其“订单到现金”(Order-to-Cash)数据集市必须汇聚全球运营中的每一笔订单与交付事件。在传统的纯 CPU 集群上,雀巢每天只能勉强刷新该数据集市数次;而在搭载 NVIDIA GPU 与 cuDF 的加速版 Watsonx.data 方案上线后,雀巢的数据处理速度直接提升了 5 倍,同时计算成本骤降了 83%,验证了从通用 CPU 到加速计算平台的跃迁效益。 - **IBM 历史积淀**:发明现代通用计算平台 System/360、声明式数据查询语言 SQL 及企业数据仓库。 - **技术整合**:IBM Watsonx.data 数据引擎全面深度集成 NVIDIA GPU 及 cuDF 库。 - **雀巢应用指标**:覆盖 185 国全球供应链,数据处理刷新性能实现 5 倍提速(5x faster),运营成本降低 83%(83% lower cost)。 --- ### [21:53](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=1313s) 本地与云端数据加速:Dell、Google Cloud 与摩尔定律的终结 NVIDIA 的加速战略并不局限于单一公有云,而是横跨本地数据中心与多云环境。戴尔(Dell Technologies)作为全球领先的计算机系统与存储设备制造商,与 NVIDIA 合作打造了集成 cuDF 和 cuVS 的“Dell AI Data Platform”,在 NTT DATA 等企业客户的本地部署中实现了巨大的性能提升。在公有云方面,NVIDIA 不仅长期加速 Google Cloud 的 Vertex AI,如今更是深度加速了 Google 的核心数据分析引擎 BigQuery。在社交巨头 Snapchat 的实际生产环境中,基于 GPU 的加速计算帮助其将整体计算成本削减了近 80%。 针对企业获得的性能跃升,黄仁勋深刻剖析了底层计算经济学的逻辑转变。他指出,计算加速带来了极致速度、超大规模以及最为关键的计算成本骤降,而这原本是由摩尔定律驱动的:“然而,摩尔定律已经气数已尽。我们需要一种全新的方法。”(“Well, Moore's Law has run out of steam. We need a new approach.”)过去摩尔定律意味着在成本恒定的前提下,计算性能每隔几年翻倍;但在物理瓶颈限制下,必须依靠算法与软硬件协同的加速计算来实现跨越式增长。NVIDIA 本质上是一家算法公司,凭借极其庞大的装机量与全栈算法优化,能够持续降低每一位用户的算力单价并不断扩大吞吐规模。 --- ### [24:00](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=1440s) 云生态飞轮:NVIDIA 如何为 CSP 带去客户(Google、AWS、Azure、Oracle 等) 黄仁勋详细拆解了 NVIDIA 与各大云服务商(CSP)之间独特的协同商业模式。NVIDIA 在硬件平台之上构建了庞大的 CUDA-X 库(如 RTX、cuDF、cuVS),并将这些库深入整合至公有云平台与 OEM 系统中。NVIDIA 与各行业顶尖开发者和企业软件(如 Baseten、CrowdStrike、Puma、Salesforce、Synopsys)联合优化工作负载,并将这些高价值客户直接导入云厂商平台。黄仁勋生动地总结道:“我们与云服务提供商的关系,本质上是我们把客户源源不断地带给他们。”(“Our relationship with cloud service providers are essentially us bringing customers to them.”)他甚至幽默地向台下热切期望导入客户的各大云厂商喊话:“客户非常多,我们正在加速每一个人。请大家对我们保持一点耐心!” 随后黄仁勋盘点了与主流云厂商的深度合作进展: 1. **Google Cloud**:全面加速 Vertex AI、BigQuery,并在 JAX 与 XLA 编译框架上实现行业领先的加速效率。NVIDIA 是全球唯一能在 PyTorch 和 JAX/XLA 两大主流生态中均做到极致性能的计算平台。 2. **AWS**:作为 NVIDIA 历史上首家云合作伙伴,AWS 深度集成了 EMR、SageMaker 和 Bedrock。黄仁勋兴奋地宣布,今年 NVIDIA 将推动 OpenAI 落地 AWS 云端,这将极大拓宽 OpenAI 面临算力瓶颈(compute constrained)时的计算供给,并拉动 AWS 的云算力消耗。 3. **Microsoft Azure**:双方合作始于全球首台 A100 超级计算机在 Azure 上的部署,直接促成了 OpenAI 的里程碑式突破。目前双方不仅在 Azure AI Foundry 和必应搜索(Bing Search)深度绑定,还在全球 Azure 区域广泛推行**机密计算(Confidential Computing)**。NVIDIA GPU 是全球首款原生支持该特性的硬件,即便云运营商也无法窥探租户数据与模型权重,为 OpenAI 和 Anthropic 等顶尖模型的跨地域安全合规部署提供了坚实屏障。半导体设计巨头新思科技(Synopsys)亦在此平台上全面加速 EDA 和 CAE 工作流。 4. **Oracle Cloud(OCI)**:黄仁勋打趣道,许多人以为 NVIDIA 只是 Oracle 的芯片供应商,但实际上 NVIDIA 是 Oracle 的第一个 AI 云客户,正是黄仁勋当年亲自向甲骨文解释了 AI 云的定义。如今 Oracle 云上承载着 Cohere、Fireworks 以及 OpenAI 等核心客户。 5. **CoreWeave 与 Palantir**:CoreWeave 作为全球第一家纯正的“AI 原生云”(AI native cloud),专为大规模调度和托管 GPU 而生,业务正经历爆炸式增长。而在本地化与极端环境方面,NVIDIA 联合 Palantir 与 Dell 打造了端到端的本体平台(Palantir Ontology Platform)与 AIP,能够利用端到端机密计算与完整数据处理栈,在任何国家的物理隔绝(air-gapped)受限环境以及企业现场完成一键部署。 ```mermaid flowchart LR accTitle: NVIDIA 与云服务商的生态飞轮 accDescr: 展示 NVIDIA 如何研发软件库、优化企业工作负载并将算力需求带给各大云厂商 subgraph NVIDIA_Stack["NVIDIA 软硬件平台"] HW["GPU / 系统架构"] Libs["CUDA-X / cuDF / cuVS / JAX / PyTorch"] end subgraph CSPs["各大云服务商平台"] AWS["AWS<br/>(EMR / SageMaker / Bedrock)"] Azure["Microsoft Azure<br/>(AI Foundry / 机密计算)"] GCP["Google Cloud<br/>(BigQuery / Vertex AI)"] OCI["Oracle Cloud<br/>(AI 云集群)"] CW["CoreWeave<br/>(AI 原生 GPU 云)"] end subgraph Enterprise["开发者与企业客户"] Devs["OpenAI / Anthropic / Cohere<br/>CrowdStrike / Salesforce / Synopsys"] end NVIDIA_Stack -->|"技术与算法赋能"| Enterprise Enterprise -->|"落地运行与算力消耗"| CSPs NVIDIA_Stack -->|"深度协同集成"| CSPs ``` --- ### [30:03](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=1803s) 垂直整合但水平开放:加速计算的本质是“应用加速” 在梳理完多云生态版图后,黄仁勋提炼了贯穿整场演讲的核心战略哲学:NVIDIA 是“全球首家既全面垂直整合,又在生态层面水平开放的企业”(“the world's first vertically integrated but horizontally open company”)。行业内外往往将目光局限于芯片制程或单一服务器硬件,但这完全误解了加速计算的复杂性。 黄仁勋明确指出,加速计算不是单纯的芯片工程,也不是单纯的系统设计,这个行业长期以来其实忽略了一个至关重要的定语:“加速计算缺少了一个词,我们只是不再常常提起它了,那就是——应用加速。”(“Accelerated computing is not a chip problem. Accelerated computing is not a systems problem. Accelerated computing has a missing word. We just never say it anymore. Application acceleration.”)如果世界上存在一种能自动让所有程序凭空变快的通用计算机,那它的名字叫 CPU,但通用 CPU 的微架构红利早已枯竭;真正的加速必须深入算法每一层,重写数学逻辑与底层代码,这就是 NVIDIA 必须全栈垂直贯通的核心原因。 ### [30:47](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=1847s) 垂直整合与水平开放:加速计算的底层逻辑 黄仁勋深入阐述了英伟达的核心定位与战略哲学。他指出,未来要继续加速应用、实现巨大的速度提升和成本降低,唯一的途径就是通过特定领域或特定应用的加速(Domain-Specific Acceleration)。英伟达后来去掉了前面的前缀,统称为“加速计算”(Accelerated Computing)。 ```mermaid flowchart TD accTitle: 英伟达垂直整合与水平开放架构 accDescr: 展示英伟达从底层芯片到顶层行业的垂直打通,并横向集成到各类部署环境与生态中。 subgraph Vertical ["垂直整合 (Vertical Integration)"] A["底层芯片与硬件系统 (Chips & Systems)"] B["CUDA 核心架构与加速库 (CUDA-X Libraries)"] C["领域算法与前沿模型 (Algorithms & Models)"] D["垂直行业解决方案 (Vertical Industries)"] A --> B --> C --> D end subgraph Horizontal ["水平开放 (Horizontally Open)"] E["云端 / 数据中心 (Cloud / Data Center)"] F["本地私有云 (On-Prem)"] G["边缘计算 (Edge Computing)"] H["机器人与嵌入式 (Robotic Systems)"] end B -.-> E B -.-> F B -.-> G B -.-> H ``` 为了做到这一点,英伟达必须逐个开发程序库、攻克各个垂直行业。黄仁勋强调,英伟达必须深度理解应用场景、行业领域以及底层算法本身,并解决算法在各种不同形态下的部署挑战——无论是在数据中心、云端、企业本地机房、网络边缘,还是在机器人系统内部。正因如此,英伟达在系统与芯片层面实现了全栈垂直整合,但对外部世界却采取完全的“水平开放”,将软件、算法库与合作伙伴的技术紧密结合。 黄仁勋明确表达了公司的商业与技术模式: > “We are a vertically integrated computing company with open horizontal integration with the world.”(英伟达是一家垂直整合的计算公司,同时向全世界保持开放的水平集成。) --- ### [32:08](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=1928s) 激活垂直行业:从量化交易、医疗健康到电信 AI-RAN 本届 GTC 大会汇聚了英伟达庞大的上下游生态链,包括拥有 50 年、70 年乃至 150 年历史的传统巨头,这些企业在过去一年与英伟达合作均创下了历史新高的业绩。黄仁勋强调,加速计算平台已经就绪,而激活这些计算平台的核心在于针对各个垂直行业的专用算法库: - **金融服务(Financial Services)**:金融行业构成了本次大会占比最大的参会群体。黄仁勋风趣地调侃:“I'm hoping it's developers, not traders, guys.”(朋友们,我希望来的是开发者,而不是交易员。)算法交易正在经历从传统的人工特征工程(Quant)向大模型转变的过程,超级计算机正在海量数据中自动发现洞见与模式,迎来量化领域的“Transformer 与深度学习时刻”。 - **医疗健康(Healthcare)**:正在经历其自身的“ChatGPT 时刻”,涵盖用于药物发现的 AI 物理与 AI 生物学、用于辅助诊断和客户服务的 AI Agent,以及医疗实体机器人。 - **工业制造与 AI 工厂(Industrial & AI Factories)**:全球正在掀起人类历史上最大规模的产业重构与基础设施扩建,涵盖芯片制造厂与计算机工厂的建设。 - **媒体与娱乐(Media & Entertainment)**:借助实时 AI 平台 Holoscan 提供游戏增强、实时翻译与赛事转播支持。 - **量子计算(Quantum Computing)**:现场有 35 家公司正与英伟达联手打造下一代量子 GPU 混合计算系统(Quantum-GPU hybrid systems)。 - **零售与消费品(Retail & CPG)**:利用英伟达加速供应链管理,构建创成式购物系统与智能客服 Agent(对应 35 万亿美元规模的零售与 50 万亿美元规模的制造业)。 - **物理 AI 与机器人(Physical AI & Robotics)**:英伟达耕耘十年,为机器人打造了三台基础计算机,现场展出了 110 台机器人。 - **电信网络(Telecommunications)**:面对体量约 2 万亿美元的全球电信基础设施,英伟达正通过 **Aerial AI-RAN** 平台全面重塑基站功能。原本只承担通信单一任务的基站将转变为边缘 AI 基础设施平台,英伟达目前已与诺基亚(Nokia)、T-Mobile 等展开深度合作。 黄仁勋总结道,英伟达的本质是一家算法公司:“The libraries is the crown jewels of our company.”(算法库是我们公司的皇冠明珠。)本次大会英伟达集中发布了约 70 到 100 个专用加速库和约 40 个模型,而早期打造的 cuDNN 正是引爆现代 AI“大爆炸”(Big Bang)的基石。 --- ### [38:26](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=2306s) CUDA-X 视频演示:用代码与算法模拟物理世界 大会随后播放了一支由黄仁勋亲自配音的 CUDA-X 宣传短片。视频回顾了英伟达 20 年前创立 CUDA 架构至今的历程,展示了如今上千个 CUDA-X 加速库如何赋能科学与工程领域的重大突破: - **cuOpt**:运筹优化与复杂决策加速 - **cuLitho**:计算光刻技术,突破芯片制造物理极限 - **cuDSS**:直接稀疏矩阵求解器 - **cuEquivariance**:面向几何感知神经网络的库 - **Aerial**:AI-RAN 软件定义无线接入网 - **Warp**:可微分物理仿真框架 - **Parabricks**:高通量基因组学测序分析 视频播放完毕后,黄仁勋登台揭晓幕后细节:“Everything you saw was a simulation.”(你们刚才看到的一切全都是模拟仿真。)画面中的内容没有一段属于传统美术关键帧动画或人工绑定骨骼,而是由基础物理求解器、AI 代理物理模型(AI surrogates)以及物理 AI 机器人模型实时计算推导出的仿真结果。他再次重申,正是这种将底层算法认知与顶级硬件平台深度绑定的能力,让英伟达得以开启前所未有的行业机会。 --- ### [43:15](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=2595s) AI 原生代(AI Natives)的崛起与计算资本大变局 除了沃尔玛(Walmart)、欧莱雅(L'Oréal)、摩根大通(JPMorgan Chase)、罗氏制药(Roche)和丰田(Toyota)等塑造了现代社会的传统巨擘,市场上正在涌现大批被称为“AI 原生代”(AI Natives)的全新初创企业。黄仁勋在幻灯片上展示了一张密密麻麻的公司名单,他开玩笑说因为名单实在太长,权衡之后干脆全放上去让大家“一个都看不清”,免得漏掉谁伤了感情。 在这份名单中,除了 OpenAI 和 Anthropic 这类家喻户晓的领头羊,还包含大量针对不同细分垂直领域的创新公司。在过去一至两年内,尤其是最近一年,这一领域发生了翻天覆地的跃迁: - **人类历史上规模最大的风投狂潮**:风险投资向 AI 初创公司注入了高达 1500 亿美元的资金。 - **融资体量数量级跃迁**:投资规模打破了以往从数百万到数千万美元的常规演进,直接跳级跃升至数亿美元乃至数十亿美元的巨额单笔融资。 - **商业本质的根本转变**:与以往不同,每一家 AI 原生企业都对算力拥有极度饥渴的需求。“They need tokens, lots and lots of it.”(它们需要 Token,极其庞大数量的 Token。)这些公司要么自主研发基础设施去制造和生成 Token,要么在 OpenAI、Anthropic 等提供的底层 Token 之上加工并创造附加值。 黄仁勋将当下的变局与 PC 革命、互联网革命、移动云计算革命相提并论。每一次计算范式的转移,都会孕育出定义时代的关键企业(如 Google、Amazon、Meta)。加速计算对计算架构的彻底重构,正在催生下一批主导世界未来格局的全新巨头,而这个全新的计算平台转折点才刚刚拉开序幕。 ### [46:13](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=2773s) 从检索到生成:AI 经历的三次本质跃迁 黄仁勋(Jensen Huang)深入剖析了过去两年计算领域发生巨变的根本驱动力。他提出,AI 的进化经历了三个核心阶段: ```mermaid flowchart LR accTitle: AI 进化三阶段 accDescr: 展现 AI 从 ChatGPT 生成式、o1 推理式到 Claude Code 智能体模式的演变路径 subgraph Phase1 ["第一阶段:生成 (2022-2023)"] A["ChatGPT 诞生"] --> B["从检索转向内容生成"] end subgraph Phase2 ["第二阶段:推理 (2024)"] B --> C["OpenAI o1 / o3"] C --> D["思维链分解与反思<br/>计算量激增"] end subgraph Phase3 ["第三阶段:行动 (当下)"] D --> E["Claude Code / Agentic AI"] E --> F["工具调用与自主闭环<br/>从对话转为执行工作"] end ``` 第一阶段始于 2022 年底至 2023 年 ChatGPT 引爆的生成式 AI 浪潮。它不仅具备感知与理解能力,还能翻译并生成全新内容。黄仁勋强调,计算机软件正经历底层重构:“Computing used to be retrieval based. Now it's generative.”(过去的计算基于检索,如今的计算基于生成)。这种范式转换直接颠覆了计算机体系架构与基础设施建设的逻辑。 第二阶段是推理式 AI(Reasoning AI)的崛起,以 OpenAI o1 和随后的 o3 为标志。推理能力赋予了模型自我反思、长远规划以及将复杂问题拆解为可理解步骤的能力,模型通过搜索与论证建立在真实证据之上。这让生成式 AI 变得可信,但也带来上下文输入 Token 与思考输出 Token 的指数级消耗,推动计算需求剧增。 第三阶段则是以 Claude Code 为代表的智能体(Agentic)模型时代的到来。AI 进化为能够读取文件、编写代码、编译、测试、评估并反复迭代的自主系统。黄仁勋以 NVIDIA 自身举例指出,公司 100% 的软件工程师都在同时协同使用 Claude Code、Codex 和 Cursor,没有任何一位程序员在没有 AI 助手的孤立状态下工作。人类不再仅仅向 AI 询问“是什么、在哪里、何时”,而是直接下达“去创建、去执行、去构建”的行动指令,AI 真正开始承担具有实质价值的生产性任务。 --- ### [50:43](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=3043s) 推理拐点正式到来与计算需求的百万倍爆发 随着 AI 从单纯的感知、生成走向推理与任务执行,推理(Inference)的核心地位发生了根本性逆转。黄仁勋宣告:“The inflection point for inference has arrived.”(推理的拐点已经到来)。模型要思考必须推理,要行动、阅读、论证也必须推理;AI 的核心负载已全面从训练期迈入持续高负荷的推理阶段。 在算力需求层面,过去两年不仅单个任务的计算复杂度激增约 10,000 倍,整体使用规模也扩大了近 100 倍。黄仁勋据此得出结论,全球计算需求在两年内增长了整整 100 万倍。无论是初创企业、OpenAI 还是 Anthropic,所有团队都渴望获得更多算力配额,以此产出更多 Token、扩展业务收入并加速模型迭代,形成自我强化的正向飞轮。 - **市场算力紧缺态势**:NVIDIA GPU 的现货价格飙升,市场上即便大量出货依然一卡难求。 - **复合增长动力**:单次工作负载计算量提升约 10,000 倍,整体调用与用户覆盖提升约 100 倍,催生百万倍算力扩张。 - **飞轮循环闭环**:更高算力支撑更强推理能力,释放更多经济价值,进而带来更庞大的基础设施投入。 --- ### [52:23](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=3143s) 基础设施需求从 5000 亿美元跃升至 1 万亿美元 黄仁勋回顾了上一届 GTC 上的预测。彼时,NVIDIA 预估到 2026 年基于 Blackwell 和 Rubin 架构的高确定性需求及在手订单约为 5,000 亿美元。而在本届大会上,他给出了更为惊人的数字:“I see through 2027. At least $1 trillion.”(我看到截至 2027 年,市场需求至少达到 1 万亿美元)。面对台下观众习以为常的反应,他幽默地调侃大家是因为过去一年都取得了创纪录的业绩而变得波澜不惊,但他坚信未来计算基础设施实际所需的资金规模甚至会突破这 1 万亿美元。 ```mermaid flowchart TD accTitle: NVIDIA 业务与基础设施全栈分布 accDescr: 展示万亿美元需求下 NVIDIA 60% 云厂商与 40% 多元化市场的业务分布与底层架构支持 subgraph Market ["市场需求矩阵 (1 万亿美元+)"] H["Top 5 超大规模云厂商 (60%)<br/>· 搜索/推荐等内部业务改造<br/>· AI 实验室与原生企业托管"] D["多元化生态与边缘市场 (40%)<br/>· 区域云/主权云<br/>· 企业级/工业级/机器人"] end subgraph Platform ["通用全栈架构 (Fungible Platform)"] F1["生命周期与低成本<br/>极长使用寿命带来极致 Token 成本"] F2["全领域覆盖<br/>语言/生物/图形/视觉/具身智能"] end Market --> Platform ``` 这笔巨额资本开支能够落地的关键,在于 NVIDIA 平台极高的通用性与生命周期投资回报率。2025 年被定义为 NVIDIA 的“推理之年”,公司确保其架构不仅专精于训练与后训练,还能在漫长的生命周期中持续跑满推理负载。NVIDIA 系统凭借架构的灵活性,能够无缝跨越语言处理、生物制药、计算机图形、化学蛋白质解析乃至机器人等所有 AI 细分领域,成为全球构建者最具信心、总持有成本最低的标准底层。 - **业务结构比例**:60% 的业务来自全球前五大超大规模云厂商(Hyperscalers),40% 分布在区域云、主权云、企业级应用、工业制造及机器人边缘计算。 - **超大规模业务内部迁移**:传统推荐系统(RecSys)正从静态表格匹配与协同过滤转向深度学习和大语言模型,传统搜索业务亦全速迈向生成式重塑。 - **多方阵营入驻**:Anthropic 以及 Meta 等重要力量均大规模采用 NVIDIA 方案,开源模型生态亦高度对齐 NVIDIA 平台。 --- ### [58:46](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=3526s) 极致协同设计:NVLink 72、NVFP4 与推理革命的硬件基石 为了应对推理爆发带来的成本与互连挑战,NVIDIA 在 Hopper 架构如日中天之际做出了激进变革,打破原有 8 卡 NVLink 的常规设计,全面转向机架级解耦重构的 NVLink 72 架构。 ```mermaid flowchart LR accTitle: NVLink 72 与 NVFP4 核心架构突破 accDescr: 展现从芯片精度、网络互联到算法与超算集群的垂直协同工程 subgraph HW ["硬件与精度革新"] N1["NVLink 72 机架级解耦"] N2["NVFP4 全新 Tensor Core<br/>无损精度推理与训练支持"] end subgraph SW ["软件与系统协同"] S1["TensorRT-LLM 与 Dynamo 算法"] S2["DGX Cloud 超算底座<br/>数十亿美元投入专项优化 Kernel"] end HW --> SW ``` Grace Blackwell NVLink 72 的落地是一次跨越制造、编程模型与系统互联的宏大赌注。与此同时,NVIDIA 推出了 NVFP4。黄仁勋特别澄清,NVFP4 绝非简单的 4 位精度格式,而是一套全新的 Tensor Core 计算单元架构。工程团队已证实,NVFP4 能在保证模型输出精度不失真的前提下,大幅提升吞吐性能与能效比,且不仅适用于极速推理,同样可支撑高效的模型训练。 在底层软件栈层面,NVIDIA 深度整合了 TensorRT-LLM 与全新的 Dynamo 算法。黄仁勋透露,为了追求极致的底层算子与算力释放,公司甚至耗资数十亿美元自建了名为 DGX Cloud 的超算集群,专门用于自动优化内核(Kernel)和端到端全栈协同。通过在系统架构、数值精度与编译优化领域的垂直打通,NVIDIA 奠定了支撑万亿级别推理时代的工业级底座。 ### [01:00:34](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=3634s) 推理经济学与 Token 成本:颠覆摩尔定律的 50 倍能效跃升 黄仁勋(Jensen Huang)登台指出,业界过去常对他说推理任务很简单,但他坚信“推理才是终极的难关,也是终极的重要,因为它是直接驱动企业收入的引擎(Inference is the ultimate hard. It is also ultimate important because it drives your revenues.)”。他展示了由 SemiAnalysis 进行的一项规模最大、最全面的全球 AI 推理基准测试扫描。图表左侧的核心指标是“每瓦 Token 数(tokens per watt)”,这对所有数据中心都是生死线——任何数据中心本质上都受物理法则和原子定律的严格制约,一座 1 吉瓦(GW)的数据中心绝不可能凭空变成 2 吉瓦,因此必须在固定功耗下榨取最大产量的 Token。图表的横轴则是交互速度(推理速率),推理越快不仅意味着响应更迅速,更重要的是能让模型吞吐更大的上下文窗口和更深入的思考链;然而这也存在权衡:模型越聪明、思考越久,单次吞吐量就相对降低。 ```mermaid flowchart LR accTitle: AI工厂与Token能效关系 accDescr: 展示数据中心功耗上限如何通过软硬件极致协同转化为高吞吐Token收益 subgraph DC["1 吉瓦物理功耗约束"] P["电力与空间上限 (GW)"] end subgraph Arch["NVIDIA 软硬件协同优化"] Opt["极致协同设计 (Extreme Co-design)"] end subgraph Output["商业产出指标"] T["吞吐量:Tokens / Watt"] C["极低单 Token 生产成本"] R["转化为企业营收"] end P --> Opt Opt --> T T --> C C --> R ``` 黄仁勋半开玩笑地提醒全场,这部分硬核分析是他要“折磨”大家的环节,但每一位 CEO 未来都必须这样拆解自己的商业模型,因为这就是未来的“Token 工厂(Token factory)”。在成本曲线上,NVIDIA 展现出断层式的性能优势。按照传统摩尔定律,一代芯片通过晶体管迭代通常只能带来约 50% 到 1.5 倍的性能提升,从 Hopper H200 跨入新一代,业界原本也仅预期 1.5 倍增长。然而,黄仁勋在上一届 GTC 宣称 NVIDIA Grace Blackwell NVLink 72 实现了 35 倍的每瓦性能提升时,几乎无人相信。随后 SemiAnalysis 的 Dylan Patel 发布深入分析,甚至指责黄仁勋故意保留实力:“Jensen 留了一手,实际提升达到了整整 50 倍(Jensen sandbagged. It's actually 50 times.)”。50 倍的能效提升直接带来了 35 倍的成本下降,确立了全球无可匹敌的单 Token 最低成本。 - **400 亿美元的空厂沉没成本**:一座 1 吉瓦级数据中心在 15 年摊销期内的土地、供电与外壳基建成本高达约 400 亿美元,哪怕机房空置不放任何设备,这笔投入也已注定。 - **架构错误的代价**:“如果你选错了系统架构,就算硬件免费白送,对你来说依然不够便宜(If you have the wrong architecture, even if it's free, it's not cheap enough)。” - **Extreme Co-design 的核心壁垒**:从底层硅片、互联到上层算子库的深度协同,使系统无需等待工艺节点红利,仅凭系统级架构设计便击溃了单芯片晶体管缩放停滞的瓶颈。 --- ### [01:05:31](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=3931s) 从 700 到 5000:软件迭代激活 Token 工厂与极致协同设计 NVIDIA 坚持“纵向深度整合、横向全面开放(vertically integrate, horizontally open)”的战略。他们将系统、算法和网络协议栈打包整合,交付给全球的 AI 推理服务商。黄仁勋特别提到了台下的 Fireworks AI(CEO 包含 Lin 等人)以及 Together AI 等原生创新企业,这些公司在过去一年中业务规模狂飙了 100 倍。它们就是真正意义上的现代“Token 工厂”,工厂的生产力与单 Token 产出成本直接决定了企业的生死存亡。 为证明系统级优化的威力,黄仁勋公布了一组真实数据对比:在完全相同的硬件设备上,仅通过 NVIDIA 对软件栈、底层加速算法以及技术特性的全面升级,推理服务提供商的平均吞吐速度便从约 700 tokens/s 暴增至将近 5000 tokens/s,实现了整整 7 倍的飞跃。数据中心从过去存储文件的传统机房,彻底重塑为生产智能 Token 的现代工业工厂。黄仁勋断言,未来的每一家云服务商(CSP)、软件公司以至于全行业的每一家公司,都将以 Token 工厂的生产能效为核心进行运作,因为人类的智力生产力必将全面由这种数字 Token 提供增强支撑。 --- ### [01:07:56](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=4076s) 十年基础设施演进:从 DGX-1 到 Vera Rubin 的 4000 万倍算力跨越 现场大屏幕播放了一段由黄仁勋亲自旁白的重磅技术历史短片,回顾了从深度学习诞生至今的十年硬件演进路标: ```mermaid flowchart TD accTitle: NVIDIA十年AI超算基础设施演进史 accDescr: 从2016年DGX-1一路演进至2026年Vera Rubin平台的里程碑发展 D1["2016: DGX-1<br/>8x Pascal GPUs, NVLink 1<br/>170 TFLOPS"] --> V["Volta 架构<br/>NVLink Switch<br/>16 GPU 全互联"] V --> A["2020: DGX A100 SuperPOD<br/>NVLink 3 + Quantum InfiniBand<br/>Scale-Up 与 Scale-Out 融合"] A --> H["Hopper 架构<br/>FP8 Transformer Engine<br/>开启生成式 AI 时代"] H --> B["Blackwell 架构<br/>NVLink 72, 130TB/s 双向带宽<br/>Grace CPU + Spectrum-X"] B --> VR["2026: Vera Rubin 平台<br/>3.6 EFLOPS 算力, 260TB/s 带宽<br/>十年性能飙升 4000 万倍"] ``` - **2016 年 4 月 6 日(DGX-1 诞生)**:全球首台专为深度学习打造的超级计算机亮相,集成 8 颗 Pascal GPU 与第一代 NVLink,单机算力 170 TFLOPS。 - **Volta 时代**:引入首代 NVLink Switch 芯片,实现 16 颗 GPU 的全对全(all-to-all)无阻塞高速互联,形成“单机超大虚拟 GPU”。 - **收购 Mellanox 与 DGX A100 SuperPOD(2020)**:数据中心开始演进为单一计算单元,开创性地将基于 NVLink 3 的纵向扩展(Scale-Up)与基于 ConnectX-6 及 Quantum InfiniBand 的横向扩展(Scale-Out)深度融合。 - **Hopper 时代**:首创 FP8 Transformer Engine,搭载 NVLink 4、ConnectX-7 和 BlueField-3 DPU,直接点燃了生成式 AI 革命。 - **Blackwell 架构突破**:以 NVLink 72 彻底重定义系统拓扑,72 颗 GPU 通过机架级铜缆背板实现 130 TB/s 的全对全互联带宽,协同 Grace CPU 和 Spectrum-X 以太网体系。 - **Vera Rubin 的历史性跨越**:如今预训练、后训练和推理三大扩展定律(Scaling Laws)并驾齐驱,更迎来了 Agentic AI(智能体 AI)系统的指数级算力渴求。Vera Rubin 单机柜具备 3.6 EFLOPS 算力与 260 TB/s 的全对全 NVLink 带宽。相比十年前的初代 DGX-1,平台在短短十年内将 AI 算力整体提升了惊人的 **4000 万倍**。 --- ### [01:11:29](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=4289s) 专为 Agentic AI 打造:Vera Rubin 机柜集群与第六代 NVLink 互联 视频结束后,黄仁勋感慨过去在展示 Hopper 等产品时,自己只需要在台上单手举起一枚裸芯片,“那在如今看来简直太小巧可爱了(That's just adorable)”。而当谈论 Vera Rubin 时,它已不再是一颗芯片,而是一套高度垂直整合、端到端全栈协同优化的巨型机架计算系统。 ```mermaid flowchart TD accTitle: Agentic AI在Vera Rubin机柜系统中的运行交互 accDescr: 展示Vera CPU、Rubin GPU、Stat存储机柜与Groq加速机柜的高速协作 subgraph RackSystem["Vera Rubin 异构机柜集群"] VCPU["Vera CPU 机柜<br/>(超高单线程 / LPDDR5 / 编排调度)"] RGPU["Vera Rubin NVLink 72 机柜<br/>(3.6 EFLOPS / 260TB/s 双向互联)"] SStorage["Stat 存储机柜<br/>(AI 原生 / BlueField-4 DPU 加速)"] Groq["Groq 3 LPX 机柜<br/>(大容量片上 SRAM / 35x 吞吐加速)"] end AgentWork["Agentic 任务流 (思考 / 工具调用 / 缓存重读)"] --> VCPU VCPU -->|"高并发工具调用与环境交互"| RGPU RGPU <-->|"高频 KV Cache / 结构化数据读写"| SStorage RGPU <-->|"极速 Token 生成辅助"| Groq ``` 黄仁勋深入剖析了为什么必须重构全套系统来服务 Agentic AI: 1. **核心思考负载激增**:大语言模型规模持续扩大,要求以极快的速度吐出海量 Token,从而赋予智能体充足的“思考时间”。 2. **极度繁重的内存与存储冲击**:智能体在长程思考中需要反复疯狂调用海量 KV Cache、结构化数据、非结构化文件和知识库,NVIDIA 因而联合 BlueField-4 DPU 彻底重构了名为“Stat”的 AI 原生存储机柜。 3. **高频工具调用的低延迟需求**:与能容忍卡顿的人类不同,AI 智能体要求外部工具(如云端虚拟 PC、无头浏览器、各类 API)必须秒级甚至毫秒级响应。为此,NVIDIA 打造了全新的 Vera CPU——专为极高单线程性能设计,具备极强的数据处理吞吐和极致能效,且是全球首款采用 LPDDR5 内存的数据中心 CPU,专司智能体工作流的编排与调度。 4. **混合加速与全新集成**:集群引入了 Groq 3 LPX 机柜,通过海量片上 SRAM 作为超高速 Token 加速器与 Vera Rubin 紧密耦合,将每兆瓦的整体吞吐效率再放大 35 倍。全套平台汇集了 7 颗自研芯片与 5 款机架级计算系统。 黄仁勋展示了现场立着的 Vera Rubin 真实机架,指出该系统实现了 100% 纯液冷设计,彻底取消了所有外露的复杂跳线。过去需要工程团队耗时整整两天进行的人工线缆部署,现在缩短到了两个小时,大幅压缩了制造与交付周期。机柜更支持 45 摄氏度的高温热水循环散热,大幅免除了数据中心的传统冷却能耗开销。黄仁勋激动地指出,NVIDIA 依然是全球唯一一家研发出第六代 Scale-Up 互联交换系统的公司,这套 260 TB/s 的无阻塞超级互联“不是以太网,不是 InfiniBand,而是独步天下的第六代 NVLink”。 ### [01:14:59](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=4499s) 硬件突破:Groq 芯片、CPO Spectrum-X、Vera CPU 与液冷机架 黄仁勋带着极大的自豪感介绍了团队的一系列工程成就,并感叹其研发难度之高:“做成这样简直难得不可思议,坦白说,无论怎么做都极其艰难。我由衷地为团队感到自豪。”(“It is insanely hard to do well. It is insanely hard to do, period. And I'm just super proud of the team.”)首先亮相的是完全采用液冷散热的全新 Groq 系统。该系统搭载了 8 颗 Groq 芯片,具体型号为 LP 30。黄仁勋特别指出,此前世人所见到的技术都停留在初代(V1),而摆在眼前的已经是第三代产品,并且已经正式进入大规模量产阶段。 随后登场的是全球首款采用共封装光学(Co-Packaged Optics, CPO)技术的 Spectrum-X 交换机,该产品同样处于全量生产状态。在这一创新架构下,光学器件直接集成到芯片之上,与硅片紧密对接,光电信号在芯片界面完成实时转换。黄仁勋表示,这是 NVIDIA 与台积电(TSMC)联合发明的先进制程工艺,命名为 COOP,目前全球仅有 NVIDIA 实现量产。紧接着介绍的是 Vera CPU 系统,其能效表现达到当今全球所有 CPU 的两倍。黄仁勋坦承,NVIDIA 过去从未预料到自己会单独销售通用 CPU,但如今这一独立 CPU 业务已板上钉钉会成长为规模数十亿美元的庞大业务。此外,展示台上还汇聚了搭载 Vera CPU 的 ConnectX-9(CX9)网络设备以及全新的 BlueField-4 STX 存储平台。 在机架级互连方面,黄仁勋指着传统的 NVLink 机柜开玩笑说,它每年都变得越来越重,原因可能在于里面塞进了密密麻麻的铜缆。鉴于这种结构化线缆系统在数据中心内展现出的惊人效率,NVIDIA 将其复刻到了以太网领域,打造出了单机柜集成 256 个液冷节点的以太网机架,通过特制高可靠连接器实现密集互联。 - **Groq LP 30 系统**:单系统配备 8 颗芯片,跳过前期概念直接以第三代架构实现大规模量产。 - **CPO Spectrum-X**:携手 TSMC 首创 COOP 工艺,实现光引擎与计算芯片的共封装直连。 - **Vera CPU 市场突破**:能效比(Perf/Watt)超越市场现有 CPU 一倍,催生出数十亿美元级的独立 CPU 销售业务。 - **存储与网络矩阵**:包含 CX9、BlueField-4 STX 存储平台以及 256 节点液冷以太网机架。 --- ### [01:17:38](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=4658s) Rubin Ultra 与 Kyber 机架:突破铜缆极限的 144 卡架构 展示的高潮落在了下一代计算节点 Rubin Ultra 上。与以往横向滑入机柜的 Rubin 节点不同,Rubin Ultra 采用了一种名为“Kyber”的全新机架架构,专为在单一 NVLink 域内互连 144 颗 GPU 而设计。黄仁勋指着极其沉重的 Rubin Ultra 计算节点,幽默地调侃自己虽然举得动但还是别逞强了。该节点改为纵向(垂直)滑入 Kyber 机柜,其顶部配备了四个巨大的 NVLink 连接器,直接与机架中央的中板(Midplane)对接。 更为革命性的变革发生在中板的背面。传统的铜缆布线在信号驱动距离上存在物理瓶颈,无法支持更大规模的单域互连。Kyber 架构彻底取缔了机架内的杂乱线缆:计算节点垂直插入中板正面,而新一代 NVLink 交换机同样以垂直形态直接插入中板背面。这种“前计算、后交换”的立体对称设计,通过刚性背板彻底消除了布线损耗,将 144 颗 GPU 紧密耦合成一台超大型超级计算机。 ```mermaid flowchart LR accTitle: Kyber Rack Midplane Architecture accDescr: Front-mounted Rubin Ultra compute nodes connect through a central midplane to rear-mounted NVLink switches to scale up to 144 GPUs. subgraph Front["机柜正面 (Front)"] Compute["Rubin Ultra 计算节点<br/>(纵向滑入 / 144 颗 GPU)"] end subgraph Center["机柜核心 (Center)"] Midplane["Kyber 高速互连中板<br/>(无铜缆 / 硬质背板)"] end subgraph Rear["机柜背面 (Rear)"] Switches["NVLink 交换机模块<br/>(纵向滑入 / 直连背板)"] end Compute -->|"NVLink 顶端接口插接"| Midplane Midplane -->|"背面对接直连"| Switches ``` - **单 NVLink 域突破**:从 72 卡扩展到 144 卡直连,所有 GPU 共享统一内存地址空间。 - **Kyber 机械创新**:废除长距离内部无源铜缆,采用正反中板盲插互连架构。 - **垂直散热与插拔**:计算与网络交换单元均垂直排布,优化了高密度液冷管路与风道走向。 --- ### [01:19:42](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=4782s) AI 工厂的通货经济学:Token 速率与吞吐量分层 在工作人员撤下重型硬件模组时,黄仁勋借着台上的小插曲打趣道:“要是彩排没练过,现场就会是这个样子。”(“This is what happens when you don't practice.”)随后,他重新投影了一张在去年便重点强调过的二维象限图,并表示在 NVIDIA 发布会上看到复用去年的幻灯片绝非偷懒,而是因为这张图对整个产业太过关键:“这大概是决定 AI 工厂未来命运最重要的一张图表,全世界的每一位 CEO 都将对它进行深度追踪与研究。”(“This is probably the single most important chart for the future of AI factories. And every CEO, every CEO in the world will be tracking it.”) 黄仁勋深度拆解了这张核心图表:纵坐标代表吞吐量(Throughput),横坐标代表 Token 生成速率(Token Rate,即每秒输出的 Token 速度)。在固定的电力预算(ISO-Power)约束下,数据中心的产出完全取决于这两者的权衡。黄仁勋断言,Token 正在成为一种全新的大宗商品(Commodity),随着市场成熟,它必将分化出清晰的商业分层: 1. **免费层(Free Tier)**:极高吞吐量但较低单流速度,用于获取海量用户与流量。 2. **中端层(Medium Tier)**:支持更大模型与较长上下文(如百万 Token 级别),具备更快速度,按每百万 Token 约 3 至 6 美元计费。 3. **高端与研究层(Premium Tier)**:极高推理速度与深度迭代思考能力,用于关键业务路径或长期科研。 黄仁勋解释道,对于尖端科研团队而言,即使达到每百万 Token 150 美元的超高单价,若每天消耗 5000 万 Token,其成本对企业研发预算来说根本不值一提。因此,未来的商业模式在于用更聪明的模型和更高的生成速度不断推高定价上限。 --- ### [01:23:30](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=5010s) 架构代际收益倍增:从 Hopper 到 Vera Rubin 黄仁勋随后对比了历代架构在这一经济模型上的跨越。在上一代 Hopper 时代,系统在低速高吞吐区间运行,但随着向右侧的高速率区间延伸,性能曲线迅速跌落。到了 Grace Blackwell 时代,系统不仅使免费层的吞吐能力呈爆发式上升,更在核心变现区(Monetization Tier)实现了高达 35 倍的吞吐量增长,成功开辟出了全新高单价层级。 ```mermaid flowchart TD accTitle: Generations Performance and Revenue Evolution accDescr: Evolution across Hopper, Blackwell, and Vera Rubin shows massive throughput gains at high monetization tiers and revenue expansion. subgraph Hopper["Hopper 时代"] H_Base["基准吞吐能力<br/>集中于低速交互区间"] end subgraph Blackwell["Grace Blackwell 时代"] GB_Gain["核心变现层吞吐量提升 35x<br/>单机柜 NVLink 72 架构"] end subgraph Rubin["Vera Rubin 时代"] VR_Gain["最高单价层吞吐再升 10x<br/>极低延迟与系统级协同设计"] end Hopper -->|"引入大模型推理优化"| Blackwell Blackwell -->|"互连与芯片工艺全方位重构"| Rubin ``` 当曲线推进到 Vera Rubin 时,整个性能包络线再次实现了不可思议的外推。在客户支付意愿最强、平均售价(ASP)最高的顶级服务区间,Vera Rubin 的吞吐性能在 Blackwell 的基础上再度暴涨 10 倍。黄仁勋指出:“在每一档层级上,我们都实现了吞吐量的阶梯式飞跃;而在你最能挣钱、客单价最高的核心业务层,我们将其整整提升了 10 倍。这背后凝聚了无数常人难以想象的苦功。”(“And at the tier that where your highest ASP and your most valuable segment, we increased it by ten X. That is the hard work.”) 以一个拥有 1 吉瓦(GW)固定电力容量的数据中心为例,若将电力平均切分为四等份分别供给免费、中端、高阶与超高端服务,Blackwell 能够创造相当于前代 5 倍的营收;而部署 Vera Rubin 则能在此基础上再度实现 5 倍的商业营收爆发。 - **阶梯式变现模型**:通过极低延迟拓展模型思考链(Reasoning)与上下文长度,直接支撑更高 ASP 的商业服务。 - **能效与算力密度**:单吉瓦数据中心在相同电力输入下,Rubin 架构通过单位成本降低与并发吞吐量剧增,带来数倍的营收转化乘数。 --- ### [01:26:32](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=5192s) 算力与带宽的悖论:融合 Groq 突破千字速率瓶颈 在剖析性能极限时,黄仁勋揭示了计算机体系结构中一个根深蒂固的内在矛盾:高吞吐量依赖极大的算力储备(FLOPs),而交互式超低延迟(高 Token 速率)则需要极端的内存与互联带宽。然而,芯片与系统的物理表面积是有限的,既要塞入极致算力又要提供极限带宽,在工程上近乎互斥。正如黄仁勋所强调的那样:“针对超高吞吐量进行优化与针对超低延迟进行优化,在工程本质上实际上互为死敌。”(“And so optimizing for high throughput and optimizing for low latency are in fact enemies of each other.”) 这正是 NVIDIA 收购 Groq 团队并对其核心技术进行全面技术授权与整合的根本原因。在融合了 Groq 的超低延迟技术路线后,Vera Rubin 体系在最昂贵的极致速率服务层上,性能跨越式提升了 35 倍。 黄仁勋坦率地复盘了此前的技术分界线:在传统的绝大多数 AI 工作负载中,吞吐量占据压倒性权重,NVIDIA 凭借 NVLink 72 架构确立了无可撼动的绝对统治地位,即便面对 Groq 也毫不逊色。然而,当应用场景要求将生成速率从每秒 400 Token 推向每秒 1000 Token 以上的极致互动场景时,强如 NVLink 72 也会因带宽吞吐比逼近物理边界而显露疲态。唯有通过将 NVIDIA 自研架构与 Groq 技术相融合,才能一举打破超高速 Token 生成的“物理墙”。 - **体系架构悖论**:算力密度(FLOPs 密集型)与交互带宽(Bandwidth 密集型)无法在单一经典硅片拓扑上无限制共存。 - **Groq 整合效应**:吸收 Groq 确定性低延迟架构,使旗舰平台在超高速推理区间实现 35 倍的跨越式性能迸发。 - **极速应用拓展**:为超越 1000 tokens/s 的实时 Agent 决策、严苛任务链路和深度思维链推理提供了底层算力底座。 ### [01:28:15](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=5295s) 将 Groq 融入数据中心:高吞吐量与高价值 Token 的混合配比 黄仁勋深入阐释了引入 Groq 架构后的性能飞跃与商业收益。在典型的通用高吞吐量负载下,全盘采用 NVIDIA Vera Rubin 能够带来相比 Blackwell 高达 5 倍的收益提升;但如果业务重心转向极具工程与商业价值的高价值领域(例如极其依赖低延迟的代码编写和复杂的推理生成),单纯依赖传统 GPU 集群就面临互联扩展上的物理约束。此时将 Groq 的超低延迟推理能力推至极限,甚至能突破以往 NVLink 72 所能达到的吞吐天花板。 针对不同应用场景的数据中心配置,黄仁勋给出了非常具象的架构建议:“Vera Rubin is five X if most of your workload is high throughput. I would stick with just 100% Vera Rubin. If a lot of your workload wants to be coding and very high valued engineering token generation, I would add Groq to it. I would add Groq to maybe 25% of my total data center. The rest of my data center is all 100% Vera Rubin.” 这种通过 25% Groq 节点与 75% Vera Rubin 节点的混合部署,使数据中心在承接高吞吐任务的同时,能极致放大低延迟代码与工程 Agent 生成的价值回报。 - **全 Vera Rubin 部署**:面向大批量通用推理,提供对比 Blackwell 达到 5 倍的商业经济价值。 - **25% Groq + 75% Vera Rubin 混合部署**:针对代码补全、长上下文工程 Agent 与低延迟交互,提供极致的端到端单 Token 生成速度。 --- ### [01:29:16](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=5356s) 两种极致处理器的碰撞:确定性数据流与海量存储的互补 黄仁勋谈到 Groq 芯片对他的吸引力时指出,Groq 本质上是一种确定性数据流处理器(Deterministic Data Flow Processor)。它摒弃了动态指令调度的复杂机制,完全依靠编译器进行静态编译和任务编排——编译器在运行前就精确推算出计算和数据流到达的时刻,让两者在周期级别严丝合缝地对齐。整个架构内嵌极大规模的超高速 SRAM,天生只为单一使命而生:纯粹的 AI 推理生成。然而在真实 AI 工厂的万亿参数模型面前,单颗 Groq 芯片仅有区区 500MB 片上存储,而单颗 Vera Rubin 芯片则坐拥 288GB 海量高带宽内存。如果仅靠 Groq 堆砌存储,要容纳庞大的模型权重与动态上下文 KV Cache 将付出不可承受的芯片数量代价,这也正是 Groq 过去无法独自走向主流市场的核心痛点。 黄仁勋激动地剖析了破局的关键思想:“What if we disaggregated inference all together with a piece of software called Dynamo?” 通过自研操作系统层级的软件 Dynamo,NVIDIA 彻底重构了推理全流水线的解耦范式:把最适合大吞吐吞吐处理的计算保留在 Vera Rubin 上,而将最受带宽与延迟制约的串行自回归解码阶段(Decode Generation)完全卸载至 Groq。两个处于技术极端形态的处理器终于实现融合,一个统领极速低延迟,一个坐拥高并发与海量显存。 ```mermaid flowchart TD accTitle: 解耦推理流水线工作流 accDescr: 展示 Vera Rubin 与 Groq 协同运行解耦推理的工作流程 subgraph Prefill["预填充阶段 (Prefill Phase)"] A["输入 Prompt 与海量上下文"] --> B["Vera Rubin GPU 集群<br/>(高并发矩阵运算与高吞吐吞吐)"] B --> C["生成并缓存海量 KV Cache<br/>(保存在 288GB HBM 显存中)"] end subgraph DynamoOS["Dynamo 调度引擎与低延迟专用以太网"] C <-->|"专用以太网低延迟互联 (延迟降低 50%)"| D["分布式流水线动态切分"] end subgraph Decode["自回归解码阶段 (Decode Phase)"] D --> E["Attention 运算<br/>(Vera Rubin 处理高负载数学计算)"] D --> F["FFN / Token 串行生成<br/>(Groq LPU 静态确定性低延迟解码)"] E <--> F end ``` --- ### [01:31:52](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=5512s) 解耦推理架构落地:35 倍飞跃与 Groq 3 LPX 投入量产 在这套称为解耦推理(Disaggregated Inference)的体系中,前端上下文加载的 Prefill 运算由 Vera Rubin 轻松处理;而在复杂的解码阶段,对算力密度要求极高的 Attention 运算依旧留在拥有超强数学计算能力的 Vera Rubin 上进行,而对低延迟要求极致的前馈网络(FFN)与逐 Token 生成任务则交由紧密相连的 Groq 芯片完成。两者当前通过定制化模式的以太网建立严密耦合,网络延迟直接被削减了近一半。经由 Dynamo 的端到端统一编排调度,整个系统交出了跨时代的成绩单。 黄仁勋以极其自豪的语调宣布了这套融合系统带来的跨代剧变:“We run Dynamo, this incredible operating system for AI factories on top of it and you get 35 times increase. 35 times increase.” 此外,黄仁勋正式展示了包含 Groq 在内的完整 Vera Rubin 硬件形态,并公开向核心代工伙伴致谢:“I want to thank Samsung, who manufactures the Groq LP 30 chip for us. And they're cranking as hard as they can.” 负责生产 Groq LP 30 芯片的三星代工厂正开足马力全力制造,该芯片已全面进入量产阶段,预计将在当年下半年(约第三季度)正式规模出货。 - **核心架构协作**:Attention 计算驻留 Vera Rubin,FFN / Token 串行生成卸载至 Groq。 - **互联升级**:定制以太网通信模式,实现芯片间协作通信延迟减少约 50%。 - **性能飞跃**:整体系统吞吐实现 35 倍的惊人增幅。 - **制造伙伴与交付节点**:三星全速代工生产 Groq LP 30,计划于 2026 年 Q3 全面交付。 --- ### [01:33:28](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=5608s) Vera Rubin 全线量产与席卷全球存储产业链 在谈及市场采纳速度时,黄仁勋坦言早期的 Grace Blackwell 系统在配合 NVLink 72 进行早期送样时极其复杂,但 Vera Rubin 的送样与部署节奏异常顺利。他透露微软首席执行官萨提亚·纳德拉(Satya Nadella)刚刚发来短信确认:第一台完整的 Vera Rubin 机架已经在 Microsoft Azure 数据中心点亮上线并稳定运行。目前,NVIDIA 的供应链体系已经升级至每周能制造数千套机架系统,折合每月可在全球交付数个吉瓦级(Gigawatt)AI 工厂的基础设施算力,整个 Vera Rubin 与 GB300 机架均在全速投产状态。 与此同时,Vera CPU 获得了现象级的行业接纳。随着 Agent 智能体时代来临,AI 频繁执行工具调用(Tool Use)和海量数据交互,Vera CPU 的架构恰好精准击中了这一负载的甜蜜点。黄仁勋宣布,全球存储行业正集体拥抱 Vera CPU 与 ConnectX-9(CX-9)网卡及 BlueField-4 DPU 组成的基础栈:“100% of the world's storage industry is joining us on this system, and the reason for that is because they see exactly the same thing. The storage system is going to get pounded.” 过去的存储系统面对的是人类敲击 SQL 指令的低频调用,而未来存储系统将被高并发的自主智能体全天候轰击,系统必须支持经过 cuDF 加速的结构化查询、cuVS 加速的向量检索以及规模空前的实时 KV Cache 存储。 - **部署里程碑**:首台 Vera Rubin 机架已在 Microsoft Azure 正式点亮。 - **产能规模**:供应链每周可生产数千台高密度机架,月度出货吞吐达数吉瓦(Gigawatts)数据中心级别。 - **存储架构变革**:全球 100% 主流存储厂商全面兼容 Vera CPU + CX-9 + BlueField-4 方案,原生硬件支持 cuDF、cuVS 及大规模 KV Cache 存储交换。 --- ### [01:35:26](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=5726s) 极端协同设计(Extreme Co-Design)与未来架构路线图:Rubin Ultra 与 Feynman 黄仁勋计算了算力演进的几何级飞跃:在短短两年的时间周期内,在同等单座 1 吉瓦功率的 AI 工厂标准下,单纯依靠摩尔定律通常只能带来晶体管数量、浮点运算(FLOPs)和互联带宽的常规提升;但凭借全栈极端协同设计(Extreme Co-Design),AI 工厂的 Token 生成速率将直接从过去的两百万跃升至惊人的七亿,达成 350 倍的绝对跃迁。黄仁勋强调这就是 NVIDIA 的根本哲学:纵向深度一体化协同优化,横向完全开放以赋能整个计算生态。 随后黄仁勋清晰公布了面向未来的多代技术演进路线图。Blackwell 时代确立的 Oberon 机架系统全面支持向前兼容。在向更高密度的横向与纵向互联扩展时,NVIDIA 不做单选题,而是同步推进铜缆与光学方案:Kyber 系统通过铜缆直连实现 NVLink 144 Scale-Up;而 Oberon 机架则在 NVLink 72 铜缆基础上,通过合封光学器件(CPO)将光学 Scale-Up 极限拉升至 NVLink 576。接下来的 Rubin Ultra 将携全新制造的 LP 35 协处理器登场,首次引入 NVFP4 计算精度,再次拉开数倍效能差;而再往后的下一代架构代号为“Feynman”,不仅带来全新的 GPU,还将深度整合与 Groq 团队联手打造的 LP 40 芯片,并推出名为 Rosa(Rosalyne 的简写)的全新 CPU,搭配 BlueField-5 DPU 与 SuperNIC-10 网卡,全方位支持铜缆直连与 CPO 光学共存的极速扩容。 | 架构代号 / 世代 | 计算与加速核心 | 核心 CPU 与 DPU/网卡配置 | 互联与 Scale-Up 架构创新 | |:--- |:--- |:--- |:--- | | **Vera Rubin** | Rubin GPU + Groq LP 30 (三星代工) | Vera CPU + BlueField-4 + ConnectX-9 | Oberon 机架 (NVLink 72 铜缆),支持通过光学 Scale-Up 扩容至 NVLink 576;Kyber 机架支持 NVLink 144 铜缆直连 | | **Rubin Ultra** | Rubin Ultra GPU (正在流片) + LP 35 (首次支持 NVFP4 精度) | Vera CPU 平台持续演进 | Oberon NVLink 72 光学 Scale-Up,采用全球首款共封装光学交换机 Spectrum-6 | | **Feynman** | Feynman GPU + LP 40 (NVIDIA 与 Groq 团队联合深度打造) | 全新 Rosa (Rosalyne) CPU + BlueField-5 + SuperNIC-10 | Kyber 铜缆 Scale-Up 与 Kyber CPO 共封装光学 Scale-Up 双轨并行 | 面对供应链对于技术路线的争论,黄仁勋非常坚决地终结了分歧:“A lot of people have been asking, you know Jensen, is copper going to still be important? The answer is yes. Jensen are you going to scale up optical? Yes. Are you going to scale out optical? Yes.” 他呼吁整个工业生态必须大幅扩充产能——铜缆需要更大产能、传统光模块需要更大产能,CPO 同样需要空前的产能保障,因为 NVIDIA 的每一年都在全面推出全新的底层计算架构。 --- ### [01:40:05](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=6005s) NVIDIA DSX 与 Omniverse:吉瓦级 AI 工厂的物理孪生与电网共生 在演讲尾声的系统篇章,黄仁勋直言 NVIDIA 的身份已完成脱胎换骨的跃进:“Very quickly, NVIDIA went from a chip company to an AI factory company or AI infrastructure company, AI computing company, these systems. And now we're building entire AI factories.” 在如今吉瓦级别的超级 AI 工厂中,不同供应商的机械、散热、供电和网络设备在传统的施工逻辑下,往往直到进入数据中心施工现场时才第一次碰面,这造成了海量电力的无端浪费。 为了终结这种低效,NVIDIA 推出了基于 Omniverse 的数字孪生体系(DS World / NVIDIA DSX 平台),让所有生态链合作伙伴在物理工厂动工前,在虚拟空间中完成全方位的机械布局、流体散热、电气负荷及高速网络仿真。该系统不仅打通了机架内部微观的 Max-Q 动态供电与散热协同控制,更直接向上打通了外部电网(Grid):数据中心与电网实时握手交换负荷情报,根据电网峰谷状态毫秒级动态平抑供电负荷,消除一切无效功耗。黄仁勋坚定地表示,单是通过这种全厂级别的虚拟仿真与动态能效调优,AI 工厂在相同电力边界下就能挖掘出整整一倍(2x Factor)的净增 Token 输出能力,而在吉瓦规模的尺度下,两倍的产出差异意味着无可估量的商业与社会价值。 ### [01:42:02](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=6122s) NVIDIA DSX 平台与 AI 工厂数字孪生蓝图 黄仁勋正式推出了专为 AI 工厂打造的全新数字孪生平台——NVIDIA DSX。他解释道,与英伟达以往推出的所有平台一样,DSX 同样严格遵循三层架构:底层是坚实的硬件层,中间是深厚的软件库层,顶层则是广泛协同的生态系统层。黄仁勋随即通过一段视频,生动展现了全球正在展开的这场有史以来规模最大的基础设施建设浪潮。 视频旁白指出,全世界都在争相制造芯片、系统并建设 AI 工厂,在这个分秒必争的时代,建设每推迟一个月,就意味着数十亿美元的收入付诸东流。黄仁勋在旁白中一针见血地指出计算经济学的核心本质:“AI 工厂的收入等于每瓦特产出的 Token 数量,因此在电力供应受限的情况下,每一瓦未被充分利用的电力都是实打实的收入损失。”(“AI factory revenues are equal to tokens per watt, so with power constraints every unused watt is revenue lost.”)为了解决这一工业痛点,NVIDIA DSX 作为基于 Omniverse 的数字孪生蓝图应运而生,贯穿了 AI 工厂的设计、仿真与实时运营全生命周期,旨在追求极致的 Token 吞吐量、系统韧性与能耗效率。 在具体实现上,开发者可以通过多套核心 API 无缝接入该体系:用于物理、电气、热力与网络综合仿真的 DSXM;用于汇聚并交换 AI 工厂实时运维数据的 DSS Exchange;在电网与工厂间提供安全动态电力调度的 DSS Flex;以及实时动态榨取最大计算吞吐量的 DSS Max-Q。整个流程从英伟达与设备制造商提供的 SIM-Ready 资产起步,由 PTC Windchill PLM 统一管理,随后在达索系统(Dassault Systèmes)的 3DEXPERIENCE 中完成基于模型的系统工程(MBSE)。工程巨头 Jacobs 将这些数据导入其定制的 Omniverse 应用中敲定最终蓝图。在测试阶段,西门子 STAR-CCM+ 负责外部热力仿真,Cadence Reality 负责机房内部微环境,ETAP 监控电气负载,英伟达网络模拟器 DSX Air 评估网络拓扑,最后借助 Procore 完成虚拟调试,从而大幅压缩建设工期。当机房通电投产后,数字孪生系统无缝转变为实时指挥官:Phaedra 代理监管冷却与电力系统,实时向 Max-Q 发送控制信号以优化算力能效比;Emerald AI 代理则持续解读外部电网的实时负载与压力波动,毫秒级动态平抑供电。视频结束后,黄仁勋感叹道,Omniverse 最初的愿景就是容纳从整个地球到各个微观层面的数字孪生,而这些新加入的工业软件伙伴在几年前还与英伟达素未谋面,如今却紧密协作,携手以行星级规模构建人类有史以来最庞大的计算机系统。 - **DSX 核心 API**:DSXM(物理/电气/热力/网络仿真)、DSS Exchange(运营数据交换)、DSS Flex(电网动态电力安全调度)、DSS Max-Q(动态最大化 Token 吞吐量)。 - **设计与工业生态合作伙伴**:PTC Windchill PLM(资产管理)、Dassault Systèmes 3DEXPERIENCE(系统工程)、Jacobs(Omniverse 定制设计端)、Siemens STAR-CCM+(外部热力)、Cadence Reality(内部热力)、ETAP(电气仿真)、NVIDIA DSX Air(网络仿真)、Procore(虚拟调试施工)。 - **自动化运营代理**:Phaedra 智能体协同温控电气与 Max-Q,Emerald AI 智能体实时联动城市电网动态削峰填谷。 ### [01:45:40](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=6340s) Vera Rubin Space-1:将数据中心送入太空 黄仁勋话锋一转,略带神秘又充满雄心地提及了一项极具未来感的技术前哨站——太空计算。他透露,英伟达的足迹早已迈入太空领域,例如其车载与嵌入式计算芯片 Thor 已经顺利通过了抗辐射认证,成功搭载于轨卫星之上,在太空前沿执行遥感与对地成像处理。 然而英伟达的目光远不止于单个卫星芯片,他们的终极目标是在太空轨道上直接建造数据中心。黄仁勋坦言这是一项极其复杂的太空工程挑战,为此英伟达正与合作伙伴共同研发一款名为 Vera Rubin Space-1 的全新太空计算机模块,作为将算力基础设施向地外空间扩展的起点。黄仁勋幽默地指出了太空机房最为棘手的物理限制:在真空环境下根本不存在空气对流,所有的热量散失完全依赖于热辐射,如何在此类极端条件下为高发热量的先进制程算力机架实施有效温控,成了研发团队面临的核心命题。尽管困难重重,他充满信心地表示,英伟达优秀的工程师团队正在全力攻坚这一全新领域。 ### [01:46:23](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=6383s) OpenClaw 崛起:人类历史上最火爆的开源项目 黄仁勋神色兴奋地向观众介绍了一项近期席卷全球的技术突破,并特别指出了正坐在观众席中的开发者 Peter Steinberger。Peter 编写了一套名为 OpenClaw 的软件,其爆发势头之迅猛,可能连作者本人最初都始料未及。黄仁勋激动地拔高声调,向全场宣告:“OpenClaw 是当之无愧的头号项目,它是人类历史上最受欢迎的开源项目。”(“OpenClaw is the number one. It's the most popular open source project in the history of humanity.”)他补充道,OpenClaw 在短短几周内所取得的社区规模与采用率,甚至超越了 Linux 花费 30 年才构筑起来的成就。 现场随后展示了其极简的安装体验:用户只需在控制台敲入一行简单指令,系统便会自动检索、下载 OpenClaw,瞬间构建起一个全功能的 AI 智能体,随时准备接管复杂任务。大屏幕播放的精彩混剪视频展现了全球社区对 OpenClaw 的狂热:前 OpenAI 科学家 Andrej Karpathy 激动地介绍其引发的科学研发革命——给智能体一个课题后直接去睡觉,它会在一夜之间自主完成上百次对比实验,自动筛选有效代码;Peter Steinberger 本人在采访中分享了一个温馨而疯狂的故事:一位 60 岁的老父亲通过蓝牙将酿酒设备连上 OpenClaw,整个酿造流程与龙虾在线订购网站全部实现了端到端自主运转,直接引爆了深圳街头排长队抢购龙虾的盛况;社区甚至已经自发举办起了“ClawCon”全球开发者大会。 重回聚光灯下的黄仁勋深入剖析了 OpenClaw 现象背后的技术本质。他指出,OpenClaw 是一个典型的自主智能体系统(Agentic System),不仅能与大型语言模型双向交互,更关键在于它构建了一整套资源调度架构:它能调度文件系统与外部工具、管理底层模型、执行 Cron 定时任务、将人类发出的单一自然语言提示逐步拆解为环环相扣的执行链条,并自动分发生成多个下属子智能体(Sub-agents)。在交互层面,它拥有多模态 I/O,不仅支持文字交谈,还能感知手势挥舞,并能主动发短信、推邮件与人沟通。黄仁勋对此做出了极具历史分量的论断:“OpenClaw 从本质上开源了智能体计算机的操作系统。”(“OpenClaw has open sourced essentially the operating system of agentic computers.”)他类比道,正如当年 Windows 的诞生让个人电脑(PC)真正走进大众视野,OpenClaw 如今让每个人拥有个人智能体(Personal Agent)成为现实。如今全球每一家软件与科技企业的 CEO,都必须如同当年制定 Linux 战略、网页与 HTTP 战略以及移动云时代的 Kubernetes 战略那样,严肃确立属于自己的智能体开源战略。 ```mermaid flowchart TD accTitle: OpenClaw 智能体操作系统架构 accDescr: 展现 OpenClaw 如何调度大语言模型、系统工具、多模态交互与子任务分发 User["用户输入 (自然语言 / 挥手 / 任意模态)"] --> Core["OpenClaw 智能体操作系统"] subgraph CoreOS ["调度与执行核心"] Core --> Planner["任务分解器 (Prompt 逐步拆解)"] Planner --> Scheduler["定时任务与调度引擎 (Cron Jobs)"] Scheduler --> SubAgents["子智能体派生管理 (Sub-agents)"] end subgraph ResourceMgmt ["资源与底座连接"] Core --> Tools["外部工具与 API 库"] Core --> Files["企业与本地文件系统"] Core --> LLMs["前沿大语言模型 (LLMs)"] end subgraph IOOutput ["自主多模态通信"] Core --> Notif["外部主动触达 (短信 / 邮件 / 系统通知)"] end ``` ### [01:52:48](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=6768s) 从传统企业 IT 到 AaaS:Agentic 时代的范式转移与安全挑战 黄仁勋接下来深入对比了 OpenClaw 问世前后企业级 IT 架构的根本性变迁。在传统的企业 IT 体系中,“数据中心”之所以得名,是因为那些庞大的建筑里主要存放着各家企业的核心数据与静态结构化文件。这些数据通过预设流程、记录系统(Systems of Record)等高度硬编码的软件工具进行流转,再由人类员工或传统“数字化劳动力”在各种操作界面上完成业务处理;全球系统集成商(GSI)与咨询顾问则围绕这些工具提供合规、治理、安全与集成服务。这些传统积淀虽然至关重要,但在智能体普及的后时代,整体商业范式正在被彻底重塑。 黄仁勋给出了掷地有声的商业预言:“毫无疑问,世上的每一家 SaaS 公司都将转变为 AaaS 公司,即‘智能体即服务’公司。”(“Every single SaaS company will become Agaas company, an Agentic-as-a-service company.”)如同 Linux、HTML 与 Kubernetes 恰逢其时地支撑起互联网与云计算时代一样,OpenClaw 为整个行业提供了现成且统一的开源抓手。 然而,企业内网的实际落地却横亘着一道极其致命的安全红线。黄仁勋严肃地告诫全场,智能体系统在企业网络中天然具备三种极具破坏潜力的能力: 1. **访问高度敏感信息**:能够轻而易举地触碰员工隐私、核心财务数据以及敏感情报。 2. **在宿主机与环境中执行任意代码**。 3. **主动进行外部通信**:可自主将抓取到的数据打包外发。 如果对这些行为放任不管,企业极易遭遇灾难性的数据外泄与内网失控。黄仁勋透露,英伟达在第一时间与作者 Peter Steinberger 取得深度合作,抽调了全球顶尖的软硬件安全计算专家团队,共同对 OpenClaw 实施底层安全加固,旨在赋予其完备的企业级安全保障与隐私防御能力。 ### [01:55:36](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=6936s) NVIDIA NemoClaw 与 OpenShell:打造企业级安全智能体参考架构 针对上述严峻的安全挑战,黄仁勋正式发布了英伟达为企业量身定制的参考设计——NVIDIA NemoClaw。该架构基于 OpenClaw 打造,打包了完整的 Agentic AI 工具套件,其核心是英伟达研发的“OpenShell”技术,目前已深度整合至 OpenClaw 体系内,使这一爆款开源框架真正达到了企业就绪(Enterprise-Ready)的生产标准。 黄仁勋详细拆解了 NemoClaw 的防护机制:企业可以自由下载并把玩这套参考堆栈,并将其直接挂接到全球各大 SaaS 厂商经过多年打磨、极具商业价值的策略引擎(Policy Engine)上。NemoClaw 与搭载 OpenShell 的 OpenClaw 能够以沙箱化的受控方式精确执行各项安全策略。系统内建了严格的策略控制器、网络护栏(Network Guardrail)以及隐私路由器(Privacy Router),构建起全方位的防护网,彻底封堵敏感信息外溢与违规代码执行的风险,从而让功能强大的各类“Claw”能够在企业内网安全合规、各司其职。黄仁勋最后强调,打造属于企业专有定制智能体的另一大核心,在于必须能够灵活接入最顶级的自定义大模型,而这正是英伟达发起开放模型倡议(Open Model Initiative)、推出 Nemotron 等一系列涵盖全领域前沿开源模型的根本原因。 ```mermaid flowchart LR accTitle: NVIDIA NemoClaw 企业安全架构 accDescr: 展示 OpenShell 与企业策略引擎、网络护栏、隐私路由器协同保护内网安全的完整流程 subgraph Internal ["企业内网敏感环境"] SensitiveData["敏感业务数据 (财务 / 员工 / 供应链)"] SaaSPolicy["SaaS 策略引擎 (Policy Engine)"] end subgraph NemoClawStack ["NVIDIA NemoClaw 参考架构"] OpenShell["OpenShell 安全沙箱与执行引擎"] NetGuard["网络护栏 (Network Guardrail)"] PrivRouter["隐私路由器 (Privacy Router)"] end subgraph Models ["底座算力与模型层"] CustomModels["企业专属模型 / NVIDIA Nemotron"] end SensitiveData <--> OpenShell SaaSPolicy -->|"注入安全与合规策略"| OpenShell OpenShell <--> NetGuard OpenShell <--> PrivRouter OpenShell <--> CustomModels NetGuard -->|"阻断异常出网 / 阻断外泄"| ExternalSafe["受控外部通信"] ``` - **核心组件**:OpenShell(已原生合流至 OpenClaw)、NemoClaw 企业级参考堆栈。 - **安全与合规模块**:兼容企业级 SaaS 策略引擎(Policy Engine)、网络护栏(Network Guardrail)、隐私路由器(Privacy Router)。 - **模型接入能力**:无缝对接企业私有微调模型及 NVIDIA Nemotron 开放模型生态。 ### [01:57:11](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=7031s) 开放前沿模型家族:六大基石与全行业赋能 黄仁勋列举了 NVIDIA 打造的一系列前沿模型:用于物理世界生成的 Cosmos 世界基础模型、面向通用人形机器人的 GR00T、赋能自动驾驶的 Alpamayo、面向数字生物学的 BioNeMo,以及植根于 AI 物理学的 Earth-2。黄仁勋强调,NVIDIA 在这些领域均处于绝对前沿地位。 随后的官方演示视频指出,现实世界高度多元,没有任何单一模型能通吃所有行业。开源模型生态已汇聚近 300 万个模型,涵盖语言、视觉、生物、物理和自主系统。NVIDIA 作为开源 AI 的最大贡献者之一,正式发布并开源了六大家族的前沿基础模型,不仅公开模型权重,还配套提供训练数据、配方(recipes)与开发框架,帮助全球开发者基于特定领域进行定制。每一模型家族均推出了登顶各大权威榜单的新版本: - **Nemotron**:涵盖语言、视觉理解、RAG(检索增强生成)、安全及语音的推理模型核心; - **Cosmos**:用于物理 AI、世界生成与环境理解的前沿基础模型; - **Alpamayo**:全球首个具备思考与因果推理能力的自动驾驶 AI; - **GR00T**:面向通用机器人的基础模型; - **BioNeMo**:针对生物、化学和分子设计的开源模型; - **Earth-2**:基于 AI 物理学的全尺度天气与气候预测模型。 黄仁勋重申了 NVIDIA 的长期承诺:“Our models are valuable to all of you because, number one, it's on the top of the leaderboard. It's world class. But most importantly, it's because we are not going to give up working on it.” 他明确表示,Nemotron 3 之后会有 Nemotron 4,Cosmos 1 之后已有 Cosmos 2,GR00T 也正在迈向第二代。NVIDIA 坚持“垂直整合,横向开放”(Vertical integration, Horizontal openness)的战略,让全球各行各业都能平权接入 AI 革命。在 OpenClaw 基准测试中,Nemotron 3 位列全球前三顶级模型之一。紧接着,黄仁勋隆重宣布推出 **Nemotron 3 Ultra**,称其将成为全球有史以来最出色的基础底座模型,专为企业和各国的下游微调及后训练(post-training)而生。 --- ### [02:00:40](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=7240s) Nemotron 联盟成立与主权 AI 战略 为了帮助全球每个国家和企业构建属于自己的“主权 AI”(Sovereign AI),黄仁勋宣布正式成立 **Nemotron 联盟(Nemotron Coalition)**。NVIDIA 已投入数十亿美元的基础设施建设,旨在开发推理库等核心计算引擎,同时打造足以激活实体产业的 AI 模型。黄仁勋分析道,通用大语言模型固然至关重要,但从生物学、物理学、自动驾驶到机器人,各行业的数据域差异极大,每个地区都需要根据本地语言和规范定制模型。该联盟的核心目标正是联合全球顶级 AI 先锋力量,共同打磨并加速下一代 Nemotron 4。 黄仁勋现场逐一介绍了加入 Nemotron 联盟的核心成员公司与领军人物: - **Black Forest Labs**:前沿图像生成技术领军者; - **Cursor**:知名 AI 编程平台(黄仁勋特别提到“NVIDIA 内部大量使用 Cursor”); - **LangChain**:拥有超过十亿次下载量、用于构建自定义 Agent 的主流框架; - **Mistral**:欧洲顶尖开源大模型公司(黄仁勋向坐在台下的创始人 Arthur Mensch 致意); - **Perplexity**:革命性的多模态 Agent 系统,黄仁勋极力推荐:“Perplexity is computer, absolutely use it. Everybody use it. It is so good.”; - **Reflection**:先进推理与反思机制模型团队; - **Sarvam AI**:深耕印度本土语言与主权 AI 的先锋企业; - **Thinking Machines Lab**:由 OpenAI 前 CTO Mira Murati 创立的新前沿实验室。 ```mermaid flowchart TD accTitle: Nemotron 联盟生态与主权 AI 架构 accDescr: 展示从计算基础设施到 Nemotron 基础模型,再通过联盟生态落地到主权 AI 与各行业 Agent 的层级结构。 subgraph Infra["底层支撑"] HW["NVIDIA AI 工厂与计算基础设施"] end subgraph CoreModels["前沿底座模型"] N3["Nemotron 3 / Nemotron 3 Ultra"] N4["Nemotron 4 (下一代联合攻关)"] end subgraph Coalition["Nemotron 联盟生态伙伴"] C1["代码与工具: Cursor / LangChain"] C2["模型与前沿实验室: Mistral / Thinking Machines Lab"] C3["搜索与图像: Perplexity / Black Forest Labs"] C4["主权与特定领域: Sarvam AI / Reflection"] end subgraph Target["落地价值"] SAI["主权 AI (Sovereign AI)"] EA["企业级 Agentic 系统"] end HW --> CoreModels CoreModels --> Coalition Coalition --> SAI Coalition --> EA ``` --- ### [02:02:37](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=7357s) 企业 Agent 战略与“Token 薪酬”新范式 黄仁勋向所有企业和软件厂商发出了明确倡议:“I said that every single enterprise company, every single software company in the world needs an agent strategy. You need to have an open source strategy.” 他指出,全球主流软件巨头正全面拥抱 NVIDIA,深度集成 NemoClaw 参考架构、NVIDIA Agentic AI 工具包以及全套开源模型。 黄仁勋判断,企业 IT 产业正在经历一场从传统 2 万亿美元规模向“数万亿美元级超级产业”的文艺复兴。未来的软件不仅提供工具,更是直接出租在专业领域内具备专家级能力的自主 Agent。这一变革彻底重塑了工程师的生产方式。黄仁勋预测,未来企业的工程师都将拥有自己的年度“Token 预算”: “I could totally imagine in the future, every single engineer in our company will need an annual token budget. They're going to make a few hundred thousand dollars a year their base pay. I'm going to give them probably half of that on top of it as tokens so that they could be amplified 10X.” 在硅谷,“岗位附带多少 Token 额度”已经悄然成为最核心的招聘筹码之一。每一位掌握充裕 Token 的工程师,工作产能将被放大 10 倍,而这些 Token 都由企业与 NVIDIA 合作部署的 AI 工厂源源不断地产出。今天的软件企业运行在传统文件系统和数据中心之上,未来的软件公司则全员 Agent 化,转型为“Token 制造者与消耗者”。关于开源 Agent 生态,黄仁勋赋予了 OpenClaw 极高的历史地位:“The OpenClaw event cannot be understated. This is as big of a deal as HTML. This is as big of a deal as Linux.” 为了让全行业安全可靠地落地该架构,NVIDIA 推出了经过全栈性能优化、安全可控的 **NemoClaw** 参考设计。 --- ### [02:05:26](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=7526s) 物理 AI 与机器人时代的工业落地 黄仁勋从数字世界的 Agent 转入对实体世界“物理 AI”(Physical AI)与机器人的讨论。数字 Agent 的感知、推理与行动局限于虚拟环境,而具身智能则需要指挥实体硬件在物理世界中作业。黄仁勋透露,现场汇聚了多达 110 台机器人,全球几乎所有研发机器人的企业都在使用 NVIDIA 平台。 NVIDIA 打造了支撑物理 AI 闭环运作的“三台计算机”架构: 1. **训练计算机**:负责预训练大规模基础模型与物理认知网络; 2. **合成数据生成与仿真计算机**:利用物理引擎与 Omniverse 大规模合成训练场景与极限工况数据; 3. **车载/机载机器人计算机**:直接部署在机器人或汽车本体内的边缘实时计算核心。 在工业自动化领域,ABB、Universal Robots、Kuka 等工业机器人巨头,以及重工巨头 Caterpillar 均已将 NVIDIA 物理 AI 深度嵌入其仿真与产线系统中。在电信基础设施方面,T-Mobile 与 NVIDIA 合作研发 **Aerial AI-RAN**,将传统的地面通信基站彻底改造为具备自主推理能力的“机器人无线电塔”(Robotics radio tower),基站能够自主分析网络流量、实时动态调整波束成形(beamforming),在大幅削减能耗的同时最大化无线信道保真度。 ```mermaid flowchart LR accTitle: NVIDIA 物理 AI 三机计算架构 accDescr: 描述物理 AI 的训练计算机、合成数据与仿真计算机、机载边缘计算机之间的三机协同流程。 subgraph Loop["物理 AI 闭环体系"] C1["训练计算机<br/>(AI 基础模型训练)"] C2["仿真与合成数据计算机<br/>(Omniverse / Isaac Lab)"] C3["机器人机载计算机<br/>(实时边缘推理与执行)"] end C1 -->|"模型策略输出"| C2 C2 -->|"大规模合成数据反馈"| C1 C1 -->|"部署推理策略"| C3 C3 -->|"真实世界长尾场景回传"| C2 ``` --- ### [02:06:37](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=7597s) 自动驾驶 Robotaxi 联盟与物理推理内核 黄仁勋直言:“The ChatGPT moment of self-driving cars has arrived. We now know we could successfully, autonomously drive cars.” 自动驾驶迎来拐点之际,NVIDIA 正式公布了 **Robotaxi Ready** 平台的四大全新整车制造合作伙伴:**比亚迪(BYD)、现代汽车(Hyundai)、日产(Nissan)与吉利(Geely)**。这四家车企每年的乘用车总产量高达 1,800 万辆,它们将与梅赛德斯-奔驰(Mercedes-Benz)、丰田(Toyota)、通用汽车(GM)一同构成庞大的智驾生态。与此同时,NVIDIA 宣布与 **Uber** 达成深度战略合作,未来这些具备 Robotaxi Ready 能力的智能车辆将直接接入 Uber 全球出行服务网络,在多个国际城市开展规模化商业营运。 在随后播放的现场演示视频中,NVIDIA 展示了搭载 **Alpamayo** 大脑的智能汽车如何在真实道路中进行自主逻辑思考。汽车不仅能平稳驾驶,还能实时用自然语言向乘客解说自身的决策逻辑: - 在变道时,车辆主动播报:“I'm changing lanes to the right to follow my route.”(我正在向右变道以跟随导航路线); - 面对复杂突发障碍时,车辆能够主动解释因果关系:“There's a double parked vehicle in my lane. I'm going around it.”(前方车道内有违章并排停放的车辆,我正在绕过它); - 当车主发出指令“Hey, Mercedes, can we speed up?”时,系统顺畅理解语境并予以加速响应。 视频阐述道,物理世界极端不可预测且充斥着长尾边缘案例(edge cases),单纯依靠现实路采数据永远无法穷尽所有可能。对于物理机器人而言,“计算即数据”(Compute is data)。开发者先在大规模互联网视频与人类操作示范上预训练世界基础模型(World Foundation Models),随后利用经典仿真与神经仿真技术大规模合成虚拟场景数据,对控制策略进行强化学习后训练。为支持这一工作流,NVIDIA 开源了专为机器人训练、评估与仿真设计的 **Isaac Lab**,以及支持 GPU 加速可微物理仿真的 **Newton** 仿真框架。 ### [02:10:27](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=7827s) 实体 AI 与机器人开发者生态:缩小物理世界的数据鸿沟 在实体 AI(Physical AI)领域,NVIDIA 正在构建一条以神经仿真与基础模型为核心的技术链路。这一体系依赖用于神经仿真的 Cosmos 世界模型(Cosmos world models),以及专为机器人推理与动作生成设计的 Project GR00T 开放机器人基础模型。黄仁勋强调,只要拥有充足的算力支持,全球各地的开发者正在迅速缩小实体 AI 所面临的数据鸿沟。各行各业的顶尖企业已经深度接入 NVIDIA Isaac Lab 与 Cosmos 生态,加速机器人控制策略与大脑的训练。 医疗、工业制造与前沿机器人公司展示了多元的落地实践: - **Peritas AI**:在 NVIDIA Isaac Lab 中训练其手术室助手机器人,并借助 NVIDIA Cosmos 世界模型实现训练数据的成倍扩增。 - **Skild AI**:联合使用 Isaac Lab 与 Cosmos 为其“Skild AI Brain”生成后训练数据(post-training data),并通过大规模强化学习在数千种环境变体中磨砺并强化模型鲁棒性。 - **Humanoid**:利用 Isaac Lab 训练全身体态控制(whole-body control)与精密操作策略。 - **Hexagon Robotics**:依托 Isaac Lab 进行机器人策略训练与合成数据生成。 - **富士康(Foxconn)与 Noble Machines**:在 Isaac Lab 环境中针对具体场景微调 GR00T 基础模型。 - **迪士尼研究院(Disney Research)**:结合其自研的 Kamino 物理模拟器、Newton 求解器以及 Isaac Lab,跨越各个 IP 宇宙训练其角色机器人的动作策略。 ```mermaid flowchart TD accTitle: 实体 AI 机器人研发与训练流水线 accDescr: 展示 Cosmos 与 GR00T 基础模型在 Isaac Lab 中驱动各行业机器人策略训练的流程架构 subgraph Foundation["底层基础模型与仿真"] A["NVIDIA Cosmos 世界模型<br>(神经仿真与数据扩增)"] B["Project GR00T 基础模型<br>(机器人推理与动作生成)"] end subgraph Simulation["训练与验证环境"] C["NVIDIA Isaac Lab<br>强化学习与全身体态控制"] D["Newton 物理求解器<br>(基于 NVIDIA Warp)"] end subgraph Applications["行业落地案例"] E["Peritas AI (手术室助手)"] F["Skild AI (通用大脑)"] G["Foxconn / Noble (工业制造)"] H["Disney Research (角色机器人)"] end A --> C B --> C D --> C C --> E C --> F C --> G C --> H ``` ### [02:12:45](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=7965s) 雪宝(Olaf)登台:Newton 物理求解器与具身智能的奇迹 在全场瞩目中,来自迪士尼《冰雪奇缘》的经典角色——机器人雪宝(Olaf)迈着灵动的小碎步摇摇晃晃走上舞台。黄仁勋激动地惊呼:“Newton works. Wow. Omniverse works. Olaf, how are you?” 雪宝欢快地回应道:“I'm so happy now that I'm meeting you.” 黄仁勋笑着解释雪宝体内装着它的核心大脑——NVIDIA Jetson 边缘计算芯片,并透露雪宝正是借助 NVIDIA Omniverse 平台才学会了如何平稳行走。雪宝调侃说在舞台上走路“比骑驯鹿好多了”,还可以抬头仰望美丽的星空。 黄仁勋深入揭示了这只物理实体机器人背后的技术底座:这是 NVIDIA 与迪士尼研究院(Disney Research)以及 Google DeepMind 联合研发的全新物理引擎 Newton 求解器。该求解器运行在 NVIDIA Warp 框架之上,提供了极致精确的物理计算能力,才让原本头重脚轻的雪宝能够在真实的物理世界中自如适应环境、保持平衡。当黄仁勋夸赞雪宝如此聪明时,雪宝机智地接梗:“I'm a snowman, not a snowclopedia.” 逗得全场哄堂大笑。黄仁勋随后畅想了迪士尼乐园的未来形态,届时无数注入了具身智能的角色机器人将自由穿梭在园区中与游客互动。他还开玩笑地调侃雪宝:“I thought you were going to be taller. I've never seen such a short snowman, to be honest.” - **Jetson 边缘端嵌入**:雪宝的机身内部搭载了 NVIDIA Jetson 计算平台,承担实时感知与动作控制处理。 - **联合研发突破**:Newton 物理求解器由 NVIDIA、Disney Research 与 DeepMind 三方共同打造,运行于 NVIDIA Warp 编程框架之上,专门解决复杂多关节角色机器人的仿真与实体落地难题。 ### [02:14:24](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=8064s) 2026 年 GTC 总结与闭幕视频 临近大会尾声,黄仁勋邀请雪宝一起为整场长达两个多小时的 Keynote 做最终收尾。按照惯例,黄仁勋快速提炼了本次发布会的核心支柱: 1. **推理转折点(Inference Inflection)**:算力经济模型从单纯训练转向全方位的超大规模实时推理与思考。 2. **AI 工厂(AI Factory)**:以 Rubin 系列架构为代表的数据中心全栈级工业基础设施。 3. **开源核心 Agent 革命(Open-Core Agent Revolution)**:以 NemoClaw 和自主长程 Agent 为前沿的全新企业级智能化工作范式。 4. **实体 AI 与机器人(Physical AI and Robotics)**:神经仿真与物理世界紧密结合,具身智能真正走出虚拟仿真步入现实。 黄仁勋决定打破常规:“Usually I close the keynote by telling you what I told you... But tell you what, why don't we get some friends to help us close it out?” 随着雪宝开心地欢呼,大屏幕播放了充满未来感与震撼视觉特效的 GTC 2026 官方闭幕视频。在激昂的音乐与掌声中,黄仁勋最后向全球开发者道别:“All right. Have a great GTC.” 为本届大会画上了圆满的句号。 ## Notable quotes > [01:00:34](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=3634s) If you have the wrong architecture, even if it's free, it's not cheap enough. — 黄仁勋 > [46:13](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=2773s) Computing used to be retrieval based. Now it's generative. — 黄仁勋 > [01:42:02](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=6122s) AI factory revenues are equal to tokens per watt, so with power constraints every unused watt is revenue lost. — 黄仁勋 > [01:48:48](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=6528s) Every single SaaS company will become Agaas company, an Agentic-as-a-service company. — 黄仁勋 > [02:06:37](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=7597s) The ChatGPT moment of self-driving cars has arrived. We now know we could successfully, autonomously drive cars. — 黄仁勋 > [30:47](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=1847s) We are a vertically integrated computing company with open horizontal integration with the world. — 黄仁勋 > [01:26:32](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=5192s) And so optimizing for high throughput and optimizing for low latency are in fact enemies of each other. — 黄仁勋 > [01:00:34](https://www.youtube.com/watch?v=jw_o0xr8MWU&t=3634s) Inference is the ultimate hard. It is also ultimate important because it drives your revenues. — 黄仁勋 ## Mentioned 黄仁勋 (Jensen Huang), NVIDIA, CUDA, CUDA-X, GeForce, DLSS 5, cuDF, cuVS, IBM, Watsonx.data, System/360, 雀巢 (Nestlé), Dell Technologies, Google Cloud, BigQuery, Vertex AI, Snapchat, AWS, Microsoft Azure, Oracle Cloud (OCI), OpenAI, Anthropic, CoreWeave, Palantir, Synopsys, Aerial AI-RAN, cuOpt, cuLitho, cuDSS, Warp, Parabricks, Claude Code, Cursor, Codex, OpenAI o1, OpenAI o3, Hopper, Grace Blackwell, NVLink 72, NVFP4, DGX Cloud, SemiAnalysis, Dylan Patel, Fireworks AI, Together AI, DGX-1, Vera Rubin, Vera CPU, BlueField-4, Groq, Groq 3 LPX, Groq LP 30, Spectrum-X, TSMC, Rubin Ultra, Kyber, Samsung, Omniverse, NVIDIA DSX, PTC Windchill PLM, Dassault Systèmes, Jacobs, Siemens, Cadence, ETAP, Procore, Peter Steinberger, OpenClaw, Andrej Karpathy, NemoClaw, OpenShell, Nemotron, Cosmos, GR00T, Alpamayo, BioNeMo, Earth-2, LangChain, Mistral, Perplexity, Sarvam AI, Thinking Machines Lab, Black Forest Labs, Isaac Lab, Newton, ABB, Universal Robots, Kuka, Caterpillar, T-Mobile, BYD, Hyundai, Nissan, Geely, Mercedes-Benz, Toyota, GM, Uber, Disney Research, Google DeepMind, Olaf ## Video description Watch NVIDIA Founder and CEO Jensen Huang’s GTC keynote as he unveils the latest breakthroughs in AI and accelerated computing. See how agentic AI, AI factories, and physical AI are powering the next generation of intelligent systems. 0:00 The Economics of Tokens: Scaling Intelligence via High-Throughput Tokenomics 3:15 Welcome to GTC 2026 6:02 20 Years of CUDA 10:23 GeForce 13:50 DLSS 5 16:19 Structured Data is the Ground Truth of AI 19:45 NVIDIA's Vertical Integration 20:16 IBM Reinvents Data Processing With NVIDIA 38:26 CUDA-X 38:31 NVIDIA Foundational Technology Montage 43:15 AI Natives 46:01 Inference Inflection Arrives 50:43 "The inflection point for inference has arrived." 52:23 Inference Inflection Drives Strong Growth 1:00:53 How Nvidia delivers industry’s lowest token cost - 50x perf/watt leads to 35x lower cost 1:04:50 InferenceMAX King 1:06:13 NVIDIA is the Global Standard for AI Inference at Scale 1:06:46 AI Factories are the Industrial Infrastructure of the AI Era 1:07:56 A Decade of AI Infrastructure Innovation: From NVIDIA DGX-1 to NVIDIA Vera Rubin 1:11:26 NVIDIA Vera Rubin 1:13:53 NVIDIA Vera Rubin, NVLink and Groq 1:15:29 NVIDIA Spectrum-X Switch, Co-Packaged Optics, Vera and NVIDIA BlueField-4 1:17:38 Rubin Ultra 1:19:41 Inference Performance and Efficiency Drive Company Results 1:29:16 Uniting Processors of Extreme Performances 1:32:52 NVIDIA Groq 3 LPX 1:33:30 Announcing NVIDIA Launch Partners 1:35:26 NVIDIA Vera Rubin: 7 Chips – 5 Rack Systems 1:36:28 NVIDIA Extreme Co-Design Delivering X-Factors Every Year 1:40:05 NVIDIA DSX AI Factory Platform 1:42:15 How AI Factories Maximize Tokens, Power, and Profit With NVIDIA DSX 1:45:40 Space-1 Vera Rubin Module 1:46:23 NemoClaw for OpenClaw 1:47:47 OpenClaw: The ChatGPT Moment for Long-Running, Autonomous Agents 1:57:01 NVIDIA Nemotron and Open Models 1:57:29 How NVIDIA Open Models Power Every Industry’s AI 2:01:46 Announcing Global AI Leaders Join NVIDIA Nemotron Coalition to Advance Open Frontier Models 2:04:43 Announcing NVIDIA NemoClaw Reference OpenClaw 2:05:22 Physical AI and Robotics 2:08:33 The Age of Physical AI and Robotics 2:13:00 Olaf Takes the Stage With Jensen Huang 2:14:55 Official Keynote Closing Video | GTC 2026 [Source](https://www.youtube.com/watch?v=jw_o0xr8MWU)

Source quotes

[60:34] 黄仁勋: If you have the wrong architecture, even if it's free, it's not cheap enough. [46:13] 黄仁勋: Computing used to be retrieval based. Now it's generative. [102:02] 黄仁勋: AI factory revenues are equal to tokens per watt, so with power constraints every unused watt is revenue lost. [108:48] 黄仁勋: Every single SaaS company will become Agaas company, an Agentic-as-a-service company. [126:37] 黄仁勋: The ChatGPT moment of self-driving cars has arrived. We now know we could successfully, autonomously drive cars. [30:47] 黄仁勋: We are a vertically integrated computing company with open horizontal integration with the world. [86:32] 黄仁勋: And so optimizing for high throughput and optimizing for low latency are in fact enemies of each other. [60:34] 黄仁勋: Inference is the ultimate hard. It is also ultimate important because it drives your revenues.