英伟达联手HPE推Blackwell平台 软件月更助硬件吞吐翻倍

Turning AI into ROI: How HPE & NVIDIA Accelerate Time to Value With NVIDIA — Ai4

Ai4

随着智能体推理使Token消耗激增百倍导致算力负载全面转向推理优先,企业无需更换硬件即可通过底层软件按月优化在设备周期内获取最高2.5倍性能增益并大幅摊薄TCO。

AI-assisted summary of Turning AI into ROI: How HPE & NVIDIA Accelerate Time to Value With NVIDIA — original source. Check the original for full context.

Source published:

Detailed notes

## Background 该视频由 Ai4 于 2025 年 8 月 26 日发布在 YouTube 平台上,由 NVIDIA 加速计算产品总监 Dave Salvator 主讲。视频内容聚焦于 AI 的商业价值与投资回报率(ROI)分析,展示了如何结合 HPE 的企业级经验与 NVIDIA 全栈 AI 技术来加速企业 AI 落地并最大化投资回报。

## TL;DR 演讲指出 AI 范式正迅速迈向 Agentic AI 与物理 AI,推理过程中的中间思考链导致 Token 消耗激增 100 倍,推动顶级硬件转向“推理优先”部署。通过 Blackwell 架构平台以及 NVIDIA 每月持续迭代的软件栈,企业能在相同硬件生命周期内获得 2 至 2.5 倍的免费性能红利,显著降低整体拥有成本(TCO)。此外,结合 Dynamo 分离式服务架构、推测解码技术以及 HPE 基础设施与 MGX 机架标准化设计,企业能够打破算力利用率与延迟的博弈困境。在问答环节中,演讲者进一步强调了任务的“N 线程可并行性”是判断业务应运行在 GPU 还是 CPU 上的核心决策标准。

## Atmosphere & style 演讲兼具硬核技术深度与清晰的商业洞察,Dave Salvator 以幽默自嘲且务实的工程师风格,将原本晦涩的数据中心能效与软硬件架构拆解得生动透彻。现场节奏紧凑明快,通过帕累托前沿曲线与生动的运维博弈比喻,营造出专业、高效且极具说服力的行业研讨氛围。最后的现场问答互动直击性能分析与硬件选型的底层逻辑,展现出深厚的技术底蕴与实践指导价值。

## Key takeaways - [00:04](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=4s) AI 技术范式正迅速从生成式 AI 演进至智能体 AI(Agentic AI)和物理 AI(Physical AI),NVIDIA 通过开源社区模型与安全容器化的 NIM 推理微服务框架提供“零日支持”,大幅降低企业部署门槛。 - [02:35](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=155s) 智能体推理(Reasoning)在构建复杂思考链时消耗的 Token 数量激增多达 100 倍,使得顶级算力架构从以往的“模型训练优先”历史性地转变为“重度推理优先”。 - [02:35](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=155s) 利用检索增强生成(RAG)技术,企业可以在不重新训练基础模型的前提下连接最新业务数据库,有效控制迭代成本并延展 AI 应用的生命周期。 - [05:02](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=302s) 数据中心基础设施在追求 60% 至 80% 高算力利用率以最大化 ROI,与预留冗余以保障终端用户实时低延迟交互体验之间存在天然的资源权衡拉扯。 - [06:35](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=395s) 基于 Blackwell 架构的 GB200 NVL72 在每兆瓦(MW)功耗预算下可提供较上代高达 50 倍的容量提升,大幅外推了算力利用率与响应速度的帕累托最优边界(Pareto Curve)。 - [08:30](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=510s) NVIDIA 软件栈保持按月迭代发布,工程团队持续榨取既有硬件潜力,在不更换硬件设备的前提下直接摊薄单次任务成本,降低整体拥有成本(TCO)。 - [09:21](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=561s) 硬件芯片必须依赖端到端全栈生态才能创造业务价值,NVIDIA 现已开放数百个 CUDA-X 专用加速库,全面覆盖前沿 AI 与各类科学仿真计算。 - [10:16](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=616s) HPE 基础设施与 HPE GreenLake 混合云深度整合 NVIDIA 软硬件栈,同一代 GPU 硬件在生命周期内可通过持续软件优化累计获得高达 2 至 2.5 倍的免费性能红利。 - [11:54](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=714s) 推理服务平台 Dynamo 采用分离式服务架构(Disaggregated Serving),将计算密集型的预填充(Prefill)与访存受限型的解码(Decode)物理分发解耦,使同等硬件上的 LLM 性能直接提升 30% 至 40% 以上。 - [11:54](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=714s) 结合 TensorRT-LLM 中的推测解码(Speculative Decoding)与 Agent IQ 性能画像工具,开发者能够以极低算力开销达成更优的吞吐与延迟指标。 - [14:19](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=859s) NVIDIA 维持一年一代的全栈架构迭代,并通过向 OCP 捐赠 MGX 模块化机架参考设计规范,帮助服务器厂商缩减 6 至 12 个月的研发验证周期并加速整机落地。 - [16:01](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=961s) 工作负载的可并行性(Parallelizability)与 N 线程无限制线性扩展能力,是评估任务是否适合迁移到 GPU 还是保留在 CPU 的核心技术判定标准。 - [17:02](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=1022s) 在生产环境中部署 AI 时,模型防护栏(Guardrails)与实时可观测性对于抑制幻觉和拦截不当输入至关重要,这些实时安全监控任务同样依赖 GPU 算力进行加速。

## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=4s) 从生成式 AI 到智能体与物理 AI:社区模型与 NIM 框架的赋能

在科技行业深耕近三十年的演讲者开场提到,尽管行业向来因宣传炒作(hype)而闻名,但眼下 AI 技术的进化速度确实令人震撼。仅仅大约一年前,生成式 AI(Generative AI)还是全行业最核心的话题;而转眼之间,技术焦点已迅速转向智能体 AI(Agentic AI),并进一步向物理 AI(Physical AI,如自主设备、机器人、自动驾驶汽车等)延伸拓展。这种前所未有的创新节奏不仅体现在底层计算平台能力的跃升上,也体现在上层 AI 应用的爆炸式增长中。

从历史上看,从零开始预训练(Pre-training)大模型曾是 AI 落地的最大门槛,因为它不仅需要承担高昂的算力基础设施成本,还需要耗费海量的训练时间。如今,具备雄厚资源的模型开发者正在构建并向社区开放各类优秀的开源社区模型(Community Models)。企业和开发者能够获取这些模型,通过微调自身数据集、采用各类优化算法来激发下一轮业务创新。为了确保生态效率,NVIDIA 为这些社区模型提供“零日支持”(Day 0 Support),并将其封装进 NIM 框架(NVIDIA Inference Microservices,NVIDIA 推理微服务)。NIM 提供经过安全漏洞扫描的容器化服务,内置深度性能优化,使企业能够跨本地数据中心(On-premises)或公有云环境无缝部署高性能推理。

```mermaid flowchart LR accTitle: AI模型从预训练到企业部署的演进路径 subgraph S1["模型生产与优化"] A["基础模型预训练"] --> B["开源社区模型发布"] B --> C["企业专有数据微调/优化"] end subgraph S2["NVIDIA NIM 交付与部署"] C --> D["NIM 容器化与安全扫描"] D --> E1["本地数据中心 (On-Prem)"] D --> E2["公有云环境 (Public Cloud)"] end ```

---

[02:35](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=155s) 推理算力爆炸:从简单问答到 100 倍 Token 的复杂推理

随着 AI 范式从生成式转向智能体(Agentic),算力需求的核心瓶颈正在发生历史性转移。过去的生成式 AI 主要是“输入 Token — 输出 Token”的简单问答模式;而具备复杂推理能力(Reasoning)的智能体,不再只是回答事实性问题,而是承接“依据特定标准撰写完整市场深度分析报告”等高难度复杂任务。模型在得出最终结论前,会在内部生成长链条的中间思考过程(Chain of Thought),导致推理过程消耗的 Token 数量激增多达 100 倍,对计算算力提出了极高的即时响应要求。

由于推理负载激增,传统上“训练吃重算力、推理吃轻算力”的格局彻底逆转。诸如 NVIDIA Blackwell 系列(如 GB200 旗舰平台)等最新架构,过去通常优先部署于大规模训练集群,现在许多客户却选择将其作为“推理优先”(Inference-first)的平台进行上线。与此同时,在企业落地层面,如何兼顾系统响应速度、互操作性以及复用现有数据资产成为核心挑战。通过检索增强生成(RAG)技术,企业可以在不重新训练模型的前提下,让应用持续查询最新的业务数据库,既延展了 AI 应用的生命周期,又显著控制了迭代成本。

- **推理模式对比**:传统生成式 AI 是单轮问答(Q&A),而智能体推理(Reasoning)需要拆解子任务并规划求解路径。 - **计算倍率剧增**:推理思考链阶段生成的中间 Token 量可达传统生成的 100 倍(100x more tokens)。 - **工作负载翻转**:顶级算力芯片从以往的“首选用于模型训练”转变为现在的“优先部署于重度推理业务”。 - **RAG 降本增效**:利用企业现有数据库进行知识增强,避免高昂的模型重训练成本,延长模型业务周期。

---

[05:02](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=302s) 基础设施的双向博弈:利用率与用户体验的平衡

在推理算力需求激增的背景下,数据中心面临着严峻的资源权衡挑战。演讲者幽默地提到自己像“电视台天气预报员一样频频转头看大屏幕”,随后深入拆解了基础设施架构师的核心痛点:如何在“维持高算力利用率”与“提供极致终端用户体验”之间找到平衡点。

任何基础设施运维管理者(Infra Manager)的核心 KPI 都是服务器算力利用率。如果算力集群长期闲置,就意味着企业未能最大化投资回报(ROI)。行业通常追求将集群利用率维持在 60% 至 80% 的高负载区间,预留 20%~40% 的冗余缓冲(Headroom)以应对瞬时流量洪峰。然而,极高的利用率往往会导致排队延迟增加,进而损害终端用户的实时交互体验与响应速度。这两者在实际运维中往往是相互拉扯的“拔河”关系,不同企业和业务场景必须在延迟与成本之间进行精准取舍。

```mermaid flowchart TD accTitle: 基础设施利用率与用户体验之间的平衡博弈 subgraph TradeOff["数据中心资源权衡矩阵"] direction TB A["高算力利用率 (60% - 80%)"] --- VS["⚖️ 权衡与取舍"] --- B["极致用户响应体验 (低延迟)"] A --> C["优势: 提升硬件投资回报 (ROI)<br/>劣势: 瞬时高并发易产生排队延迟"] B --> D["优势: 保证复杂推理即时交互<br/>劣势: 需预留高昂算力冗余成本"] end ```

---

[06:35](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=395s) Blackwell 矩阵与帕累托前沿:打破每兆瓦算力极限

为彻底解决利用率与响应速度的冲突,NVIDIA 推出了基于 Blackwell 架构的全系列算力平台,并与 HPE 等合作伙伴共同推向市场:

1. **GB200 NVL72**:将 72 颗 Blackwell GPU 通过统一的 NVLink 互联网络连接在一个域内,逻辑上表现为一颗拥有统一内存池的“超大 GPU”。 2. **HGX B200**:采用更为标准传统的 8 卡(8-way)模组形态,可适配标准风冷服务器,满足主流机房的快速升级需求。 3. **GB200 NVL4**:专为 HPC 与科学模拟(如计算流体力学 CFD、分子动力学等)量身定制的算力形态。

演讲者通过帕累托曲线(Pareto curves)阐述了硬件跃迁带来的业务变革。帕累托曲线反映了在给定功耗(例如每兆瓦 MW)限制下,基础设施利用率与终端响应性能的最佳平衡边界。相较于上一代 Hopper 架构,GB200 NVL72 能够在每兆瓦功耗预算下提供高达 50 倍的容量提升。这不仅意味着极限性能的飞跃,更为企业在帕累托最优前沿上提供了更大的战略自由度——企业可以根据自身的预算、延迟容忍度和并发需求,自由选择最理想的业务落点。

[08:30](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=510s) 软件持续迭代释放隐性收益:以更高性能降低整体拥有成本(TCO)

每个企业在规划 AI 落地时,都必须面临一项关键决策:如何以兼具成本效益的方式进行系统部署。随着时间推移,业务需求和技术环境都在不断演化,而 NVIDIA 平台的独特优势在于其容器化软件保持着大约每月一次的发布节奏。在每个月的新版本中,工程团队不仅在排查并修复 Bug,更关键的是在“完全相同的硬件上榨取并交付出更高的性能”。

从商业价值的角度来看,单纯追求更高性能虽然令人兴奋,但当它被转化为财务指标时,其核心本质在于“相同的硬件投资能够交付更多的业务吞吐能力”,从而直接拉低部署应用的整体拥有成本(TCO)。企业无需更换物理基础设施,仅凭软件升级就能使单次推理或任务调用的成本持续摊薄。

- **按月更新节奏**:NVIDIA 保持约每月发布一次容器化软件镜像,在生命周期内持续深挖硬件潜力。 - **商业本质转化**:在算力投资固定不变的前提下,性能的提升直接等同于 TCO 的降低。

---

[09:21](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=561s) 硬件本身无法解决问题:纵贯全栈的 CUDA-X 软件生态

仅仅拥有强大的硬件是无法直接解决实际业务痛点的。计算芯片本身并不能凭空产出价值,企业必须依赖一个向上贯穿整个技术栈的健壮平台。NVIDIA 与 HPE 的合作正是基于这一整套端到端架构。以 NVIDIA 的 CUDA-X 库为例,其数量现已扩充至数百个,覆盖的领域不仅包括尖端的人工智能,还延伸至极其广泛的科学仿真计算。

所有这些加速库均已对外开放,开发者可以直接从 NVIDIA NGC 网站下载,或者在 GitHub 上获取开源实现。如果某项极其小众或新兴的应用场景在当前库目录中尚未找到现成工具,NVIDIA 的工程团队也在持续评估开发者诉求,并以极快的速度补充新的专用加速库,确保上层开发者能够以最低的工程阻力构建应用并获取所需的极致吞吐。

```mermaid flowchart TD accTitle: NVIDIA与HPE全栈协同架构 subgraph AppLayer["业务与应用层"] A["企业生成式 AI / 科学仿真 / Agent 应用"] end

subgraph SoftwareStack["NVIDIA 平台软件栈"] B["NIM / Agent IQ / Dynamo 推理服务"] C["CUDA-X 专用加速库群(数百个)"] D["底层 CUDA 驱动与月度优化容器"] end

subgraph HardwareLayer["HPE 基础设施与云服务"] E["HPE GreenLake 混合云服务"] F["HPE AI 硬件系统(B200 / GB200 / GB300 等)"] end

A --> B B --> C C --> D D --> E E --> F ```

---

[10:16](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=616s) HPE 基础设施与 NVIDIA 平台协同:硬件生命周期内的 2~2.5 倍免费红利

当 NVIDIA 的软件平台落实在 HPE 构建的本地服务器上时,协同效应开始显现。无论企业部署的是基于当前世代的 B200、GB200,还是面向未来的 B300 与 GB300 架构,这些设备均能原生获得软件持续优化所带来的全部红利。企业在采购硬件时,实际上是在对 HPE 的企业级基础设施与 NVIDIA 的软件平台进行双重投资。

在以往的 GPU 世代中,凭借工程团队在每月容器迭代中持续进行的“无休止软件调优”,客户往往能在不改动任何硬件的前提下,让既有系统跑出相比初始交付状态 2 倍、甚至高达 2.5 倍的性能提升。这种性能飞跃对企业而言相当于获得了一笔持续的“免费 TCO 缩减红利”,构成了企业与 HPE 及 NVIDIA 长期绑定的核心财务逻辑。与此同时,HPE 还通过其 HPE GreenLake 云平台提供了涵盖监控、管理在内的丰富企业级附加服务,使企业不仅获得了 NVIDIA 的核心算力,也完整拥有了 HPE 构建的私有云与混合云运营保障。

- **同代硬件性能增益**:通过容器化软件持续优化,同一代 GPU 硬件在生命周期内可累计实现高达 2 至 2.5 倍的性能提升。 - **多代产品演进支持**:全面覆盖从 Blackwell 世代的 B200、GB200 到后续 B300、GB300 的全线服务器阵列。 - **HPE 增值服务整合**:借助 HPE GreenLake 提供弹性的云化交付与运营支持,降低本地机房的管理复杂度。

---

[11:54](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=714s) 突破推理吞吐瓶颈:开源社区模型、Dynamo 分离式服务与推测解码

随着应用逐渐从单次 Prompt 交互走向复杂的 Agentic AI(智能体应用),对计算性能的需求呈现指数级爆发。为了协助开发者将应用精确调优至帕累托最优曲线(Pareto curve),NVIDIA 提供了多种进阶工具与前沿架构:

在模型与调优层面,NVIDIA 基于 Meta 的开源 Llama 架构微调并开源了三个不同尺寸的社区模型供生态免费使用;配合 Agent IQ 等性能画像与优化工具,开发者能够精准微调业务应用,以最优算力开销达成既定延迟与质量目标。

在系统级服务层面,NVIDIA 引入了专为生成式 AI 和 Agent 设计的全新推理服务软件平台 Dynamo,其核心杀手锏是**分离式服务架构**(Disaggregated Serving)。传统的 LLM 推理过程被划分为计算密集型的“预填充”(Prefill)阶段和访存受限型的“解码”(Decode)阶段。由于二者对硬件资源的敏感维度截然不同,Dynamo 将这两个阶段在物理层面上解耦,分别调度到不同 GPU 节点上独立执行。

仅通过转向分离式服务架构,在完全相同的硬件设备上,大语言模型的实际性能即可迎来大约 30% 乃至超过 40% 的直接跃升。此外,集成在 TensorRT-LLM 中的**推测解码**(Speculative Decoding)技术也发挥了关键作用:系统通过轻量级的草稿模型(Draft Model)先行推测候选 Token,再交由主模型一次性验证,以极低的算力开销换取更高的推理生成速度。

---

[14:19](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=859s) 一年一度的架构跨越与机架级工程标准:MGX 规范加速落地

NVIDIA 目前保持着每年推出一套全新计算架构的极快演进节奏。这种升级不仅仅局限于 GPU 芯片本身,而是全方位涵盖 CPU、GPU、网络互联以及至关重要的**机架级系统设计**(Rack Design)。在以 Grace Blackwell 为代表的高密度、全液冷系统中,机架工程对于系统的正常运转起到了决定性作用。

针对服务器厂商长达 6 到 12 个月的底盘设计与工程验证周期,NVIDIA 推出了模块化参考设计架构 **MGX**(包括针对 GB200 及未来 GB300 的专用方案)。它为 HPE 等系统制造商提供了一套已经过完整优化与压力验证的工程蓝图,使合作伙伴可以快速推出整机系统、加速上市。NVIDIA 甚至将包括 GB200 在内的多项 MGX 规范无偿捐赠给了开放计算项目(Open Compute Project, OCP),将其转化为行业开放参考标准。面对传统数据中心行业相对保守的演进习惯,NVIDIA 正试图通过整机设计标准化,“带动整个数据中心产业跟上每年一次的大步快跑节奏”。

- **全要素年度迭代**:芯片(GPU/CPU)、高速互连网络与机架结构全面保持一年一代的同步刷新。 - **液冷工程蓝图**:MGX 参考规范有效省去了服务器厂商耗时 6~12 个月的机箱底盘重新研发周期。 - **生态开放共享**:将 GB200 的 MGX 核心规范捐献给 OCP,确立全球数据中心基础设施的标准化范本。

---

[16:01](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=961s) 现场互动:任务的可并行性决定底层芯片选型

在演示主体内容提前五分钟结束后,演讲者开放了现场问答。面对台下观众关于“如何评估一项业务任务究竟适合跑在 GPU 还是 CPU 上”的提问,演讲者风趣地调侃称:“在科技行业,所有问题的标准答案通常都是‘视情况而定’(It depends)。”

随后,演讲者给出了一个直击本质的技术判断标准——**任务的可并行性**(Parallelizability):

如果一个业务计算任务可以被拆解成众多相互独立的子任务,并在海量计算核心上同时分发处理,那么 GPU 展现出的吞吐优势将是碾压式的,性能差距往往会达到数倍甚至数十倍的数量级。相反,如果业务流程高度依赖串行逻辑、前一步输出直接决定下一步分支,那么 CPU 依然是更合理的选择。因为 CPU 虽然核心总数较少,但每个单核的主频通常更高,底层微架构也是专门为了快速处理高度串行化的任务而设计的。随着未来各类业务可观测性数据分析与算法逻辑向并行化重构,GPU 适用的场景边界还将继续向传统 CPU 阵地扩展。

[17:02](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=1022s) 模型防护栏、可观测性与 GPU 的安全角色

在模型运行与部署过程中,对大语言模型进行实时监控与状态追踪(Observability)是一项至关重要的任务。这不仅包括设置防护栏(Guardrails)以最大限度地抑制和避免幻觉(Hallucinations),还包括对输入提示词进行实时审查,确保模型在遭遇不当提示(Inappropriate Prompts)时能够明确拒绝回答。戴夫·萨尔瓦托(Dave Salvator)打着手势引号强调,必须确保模型“表现规矩”("behaving itself"),而在处理这些防护栏算法与实时可观测性任务时,GPU 算力同样扮演着不可或缺的关键加速角色。

```mermaid flowchart TD accTitle: AI 模型安全与可观测性流程 subgraph InputControl["输入控制"] A["用户 Prompt 输入"] --> B["Guardrails 防护栏检测"] B -->|"拦截恶意/不当请求"| C["拒绝响应"] end subgraph Execution["模型推理与监控"] B -->|"安全通过"| D["LLM 核心推理"] D --> E["幻觉抑制与输出审查"] E --> F["合规输出结果"] end subgraph Acceleration["底层算力支撑"] G["GPU 算力加速安全监测与推理"] -.-> B G -.-> D G -.-> E end ```

---

[17:33](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=1053s) 传统性能分析法与 GPU 适用性:如何判断任务是否适合并行加速

在演讲进入最后两分钟的问答环节时,针对现场关于“是否利用 AI 本身来分析大型应用内部各个子任务”的提问,戴夫表示英伟达内部通常更依赖传统的性能特征分析(Performance Characterization),而非直接使用 AI 去做代码拆解。判断一个应用是否适合移植到 GPU 的核心首要问题,在于该算法是否具备“$N$ 线程化”(N-threaded)的能力——即能否随着处理器核心数的增加无限制地扩展线程数量并获得线性的性能提升。有些程序天生受限,最多只能扩展到 2 到 4 个线程,而另一些程序则是“你给它多少线程,它就敢吞下多少线程”。对于后者而言,迁移到 GPU 获得巨大加速是毫无悬念的选择。

现代计算任务中,AI 和 3D 图形渲染均属于典型的“易并行”(Embarrassingly Parallelizable)工作负载,这正是 GPU 架构最擅长的领域。对于传统的 CPU(如 x86 架构)应用程序,业界通常使用英特尔经典的 VTune 等工具来进行深度剖析,以此诊断程序的性能瓶颈究竟是卡在内存带宽、缓存命中率不足,还是属于纯粹的计算受限(Compute-bound)。

如果分析表明应用程序具备高度的 $N$ 线程并行能力,并且数据流与缓存调度得当、计算单元不会发生饥饿等待,那么将其迁移到 GPU 上必定会带来显著的性能跃升。相反,如果算法在架构上只能扩展两三个线程,最理智的策略则是将其留在 CPU 上处理,仅把高度并行的子任务卸载给 GPU。在回答完该问题后,戴夫向现场观众致谢并结束了本次演讲。

```mermaid flowchart LR accTitle: 工作负载特征分析与硬件选型决策流程 A["应用程序性能分析<br>(例如使用 Intel VTune)"] --> B{"是否可 N 线程并行扩展<br>(N-threaded)?"} B -- "高并行度 / 易并行<br>(AI、图形计算)" --> C{"瓶颈是否为计算受限<br>(Compute-bound)?"} C -- "数据供给充分 / 计算受限" --> D["迁移至 GPU 加速<br>(获得显著性能提升)"] C -- "内存带宽受阻" --> E["优化缓存与数据流后<br>再迁移至 GPU"] B -- "仅支持 2-4 线程<br>(串行度高)" --> F["保留在 CPU 运行<br>(仅卸载局部并行任务)"] ```

- **任务并行特征分类**: - **易并行任务(Embarrassingly Parallel)**:如 AI 大模型计算、3D 渲染,对线程数需求极高,是 GPU 加速的最佳场景。 - **低并行/串行任务**:仅能扩展 2 至 4 个线程,强行迁移到 GPU 无法发挥架构优势,更适合保留在 CPU。 - **性能诊断工具**:推荐使用如 Intel VTune 等工具定位程序瓶颈(分析程序是卡在缓存、受限于内存压力,还是纯粹的计算受限)。

## Notable quotes > [02:35](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=155s) 输入 Token — 输出 Token — Dave Salvator

> [02:35](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=155s) 推理优先 — Dave Salvator

> [08:30](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=510s) 完全相同的硬件上榨取并交付出更高的性能 — Dave Salvator

> [08:30](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=510s) 相同的硬件投资能够交付更多的业务吞吐能力 — Dave Salvator

> [10:16](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=616s) 无休止软件调优 — Dave Salvator

> [10:16](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=616s) 免费 TCO 缩减红利 — Dave Salvator

> [14:19](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=859s) 带动整个数据中心产业跟上每年一次的大步快跑节奏 — Dave Salvator

> [16:01](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=961s) 在科技行业,所有问题的标准答案通常都是‘视情况而定’(It depends) — Dave Salvator

> [17:02](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=1022s) 表现规矩 — Dave Salvator

> [17:33](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=1053s) 你给它多少线程,它就敢吞下多少线程 — Dave Salvator

> [17:33](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=1053s) 易并行 — Dave Salvator

## Mentioned Dave Salvator, NVIDIA, HPE, HPE GreenLake, NIM, Blackwell, GB200 NVL72, HGX B200, GB200 NVL4, B300, GB300, Hopper, CUDA-X, NVIDIA NGC, GitHub, Agent IQ, Dynamo, TensorRT-LLM, Meta Llama, MGX, Open Compute Project (OCP), Intel VTune

## Video description Dave Salvator, Director of Accelerated Computing Products, NVIDIA

Abstracts

This session will explore AI's business value. Attendees will learn to conduct ROI analysis for AI use cases, using NVIDIA's success stories. The session will compare the ROI of on-premises AI infrastructure versus cloud deployment, highlighting the benefits of on-prem solutions compared to the public cloud. Combining HPE’s enterprise expertise with NVIDIA’s AI stack, the session demonstrates how integrated solutions accelerate AI adoption and maximize ROI

[Source](https://www.youtube.com/watch?v=5QLF2jgJKWU)

中文简报

英伟达转向使用旗舰Blackwell芯片承接AI推理负载 智能体AI的推理需求产生多达100倍的中间Token,促使企业直接将顶级硬件部署于推理,而非仅用于模型训练。 Dave Salvator概述了AI从生成式AI向智能体AI及物理AI的快速演进,重点指出了多步推理引发的算力激增如何促使NVIDIA Blackwell GB200等旗舰硬件转向以推理为主的部署模式。他详细介绍了包括NVIDIA NIM微服务、通过Dynamo实现的解耦服务以及每月容器更新在内的软件创新,这些创新大幅降低了总体拥有成本,并使现有硬件性能提升高达2.5倍。结合HPE的服务器生态系统与GreenLake云平台,上述解决方案及年度硬件更新周期有助于企业客户实现投资回报率的最大化。该环节最后以问答收尾,探讨了CPU与GPU工作负载的适用性、并行化分析和实时AI安全护栏等议题。 AI 发展正从生成式 AI 迅速转向智能体 AI(Agentic AI),并进一步扩展至自动驾驶和机器人等具身智能(Physical AI)领域。 (0:04) 智能体 AI 的多步推理过程生成的中转 token 数量是传统问答的 100 倍,这促使企业采取“推理优先”策略,将 NVIDIA Blackwell GB200 等旗舰硬件直接部署于推理任务。 (4:15) 数据中心通常将 GPU 利用率设定在 60% 至 80% 之间以优化 ROI;而液冷架构 GB200 NVL72 相比上一代 Hopper 架构每兆瓦计算容量提升了高达 50 倍。 (5:42) NVIDIA 通过月度容器化软件更新使同一硬件生命周期内性能提升 2 至 2.5 倍,并通过 Dynamo 的解耦式推理(Disaggregated Serving)为现有 GPU 集群带来 30% 到 40% 的吞吐量提升。 (11:54)

精炼阅读摘要

NVIDIA的Dave Salvator代表Hewlett Packard Enterprise(HPE)指出,企业级AI正快速从基础生成式对话转向多步推理的代理型(Agentic)与物理AI,中间推理Token激增促使基础设施向“推理优先”转型,必须依托全栈软硬件协同来优化帕累托效率并加速投资回报(ROI)。 AI范式演进与推理算力激增 从基础生成式AI向代理型AI与物理AI(涵盖自主设备、机器人与自动驾驶)的演化正在深刻重塑计算架构。传统的生成式AI仅处理基础的提示词输入与文本输出问答,而代理型工作流需要执行复杂任务(例如自动生成多变量市场分析报告),其依赖的多步骤“思维链”(Chain-of-Thought)推理过程在生成最终结果前,后台产生的中间推理标记(Tokens)数量可达传统问答模式的100倍。 由于从头预训练模型需要耗费巨大的资金与算力,大多数企业倾向于采用开源社区基础模型并进行微调。同时,庞大的推理计算负担打破了以往“新旗舰芯片仅用于训练、淘汰旧硬件用于推理”的传统惯例。为了承载高密度的推理需求,众多企业开始将NVIDIA Blackwell架构和GB200等最新旗舰系统直接作为“推理优先”的基础设施进行部署。此外,企业利用检索增强生成(RAG)技术连接实时内部数据库,在避免昂贵的全量模型重新训练的同时拓展了应用寿命,但也进一步推高了生产环境的持续推理算力负载。 硬件架构演进与数据中心能效平衡 (5:42) 在数据中心运营中,IT团队通常将GPU的目标利用率设定在60%至80%之间,旨在最大化基础设施投资回报率的同时为突发流量峰值预留响应缓冲。NVIDIA通过帕累托(Pareto)曲线评估每兆瓦电力产出与响应延迟的最佳平衡点,并推出了多款适配不同工作负载的硬件方案:其中单液冷NVLink域连接72颗Blackwell GPU的GB200 NVL72系统,每兆瓦计算容量相较上一代Hopper架构提升高达50倍;面向传统标准数据中心提供8卡风冷的HGX B200;4卡配置的GB200 NVL4则专注于科学计算、分子动力学与流体仿真。 为应对硬件年度快速迭代对数据中心部署带来的挑战,NVIDIA与HPE展开深度合作,采用MGX预验证模块化服务器蓝图,帮助硬件制造商将机箱与冷却方案的设计周期缩短6至12个月。同时,NVIDIA已将GB200 MGX液冷机架设计捐赠给开放计算项目(OCP),推动业界形成统一的标准化基础设施参考规范。 全栈软件优化与分拆服务架构 (11:54) 单纯依靠物理硬件无法完全解决落地成本瓶颈,持续的软件栈优化是降低总体拥有成本(TCO)的关键手段。NVIDIA大约每月发布一次更新的容器化推理微服务(NIM)与数百个CUDA-X加速库,全面集成于HPE各代服务器(涵盖B200、GB200及未来的B300和GB300)与HPE GreenLake云平台。得益于编译器与运行时的持续优化,同一代物理GPU在其生命周期内通常能实现2至2.5倍的性能提升,无需企业追加硬件采购支出。 在服务部署层面,NVIDIA Dynamo框架引入了“分拆服务”(Disaggregated Serving)技术,将推理过程细分为处理上下文输入的Prefill阶段与生成输出Token的Decode阶段,并将其分别调度至针对该任务特别优化的专用GPU上。这种解耦机制使现有硬件集群的推理性能直接提升30%至40%。此外,配合投机解码(Speculative Decoding)技术、寻找帕累托最优配置的Agent IQ调优工具,以及基于Meta Llama开源的三种尺寸社区微调模型,企业能够更加高效地优化代理工作流。 计算负载选型准则与安全可观测性 (16:00) 针对应用在CPU与GPU之间的选型问题,核心判定标准在于算法架构是高度可并行还是高度序列化。具备高度并行特征的任务(如3D图形渲染与深度学习模型)在GPU架构上能够实现量级式的加速提升;而高度串行化的任务则依然在具备高时钟频率的传统CPU核心上运行更为高效。对于现有x86传统软件的代码现代化评估,开发者需借助Intel VTune等性能分析工具进行画像,明确其延迟瓶颈究竟源于内存压力、缓存饥饿还是原始算力不足;只有属于计算受限型且具备“N线程扩展”能力的任务,迁移至GPU后才能真正释放性能收益。 另一方面,随着生成式模型进入大规模实时生产,运维安全与可观测性成为不可忽视的关键环节。为了在生产环境中动态减少模型幻觉并过滤违规提示词,系统需要部署实时安全护栏(Guardrails)。这些实时的内容监控与安全审计机制本身对算力有着严苛的时效要求,正越来越依赖GPU强大的实时并行计算能力以维持合规保障。 Salvator强调,将AI转化为实际ROI的核心在于软硬件深度协同与端到端的工程化落地;然而,随着代理型推理对中间算力消耗呈百倍爆发,企业在实际扩张过程中仍面临如何在推理延迟瓶颈、动态安全护栏开销与高密度能耗极限之间达成长期平衡的现实考验。

Detailed notes — zh

## Background 该视频由 Ai4 于 2025 年 8 月 26 日发布在 YouTube 平台上,由 NVIDIA 加速计算产品总监 Dave Salvator 主讲。视频内容聚焦于 AI 的商业价值与投资回报率(ROI)分析,展示了如何结合 HPE 的企业级经验与 NVIDIA 全栈 AI 技术来加速企业 AI 落地并最大化投资回报。 ## TL;DR 演讲指出 AI 范式正迅速迈向 Agentic AI 与物理 AI,推理过程中的中间思考链导致 Token 消耗激增 100 倍,推动顶级硬件转向“推理优先”部署。通过 Blackwell 架构平台以及 NVIDIA 每月持续迭代的软件栈,企业能在相同硬件生命周期内获得 2 至 2.5 倍的免费性能红利,显著降低整体拥有成本(TCO)。此外,结合 Dynamo 分离式服务架构、推测解码技术以及 HPE 基础设施与 MGX 机架标准化设计,企业能够打破算力利用率与延迟的博弈困境。在问答环节中,演讲者进一步强调了任务的“N 线程可并行性”是判断业务应运行在 GPU 还是 CPU 上的核心决策标准。 ## Atmosphere & style 演讲兼具硬核技术深度与清晰的商业洞察,Dave Salvator 以幽默自嘲且务实的工程师风格,将原本晦涩的数据中心能效与软硬件架构拆解得生动透彻。现场节奏紧凑明快,通过帕累托前沿曲线与生动的运维博弈比喻,营造出专业、高效且极具说服力的行业研讨氛围。最后的现场问答互动直击性能分析与硬件选型的底层逻辑,展现出深厚的技术底蕴与实践指导价值。 ## Key takeaways - [00:04](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=4s) AI 技术范式正迅速从生成式 AI 演进至智能体 AI(Agentic AI)和物理 AI(Physical AI),NVIDIA 通过开源社区模型与安全容器化的 NIM 推理微服务框架提供“零日支持”,大幅降低企业部署门槛。 - [02:35](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=155s) 智能体推理(Reasoning)在构建复杂思考链时消耗的 Token 数量激增多达 100 倍,使得顶级算力架构从以往的“模型训练优先”历史性地转变为“重度推理优先”。 - [02:35](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=155s) 利用检索增强生成(RAG)技术,企业可以在不重新训练基础模型的前提下连接最新业务数据库,有效控制迭代成本并延展 AI 应用的生命周期。 - [05:02](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=302s) 数据中心基础设施在追求 60% 至 80% 高算力利用率以最大化 ROI,与预留冗余以保障终端用户实时低延迟交互体验之间存在天然的资源权衡拉扯。 - [06:35](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=395s) 基于 Blackwell 架构的 GB200 NVL72 在每兆瓦(MW)功耗预算下可提供较上代高达 50 倍的容量提升,大幅外推了算力利用率与响应速度的帕累托最优边界(Pareto Curve)。 - [08:30](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=510s) NVIDIA 软件栈保持按月迭代发布,工程团队持续榨取既有硬件潜力,在不更换硬件设备的前提下直接摊薄单次任务成本,降低整体拥有成本(TCO)。 - [09:21](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=561s) 硬件芯片必须依赖端到端全栈生态才能创造业务价值,NVIDIA 现已开放数百个 CUDA-X 专用加速库,全面覆盖前沿 AI 与各类科学仿真计算。 - [10:16](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=616s) HPE 基础设施与 HPE GreenLake 混合云深度整合 NVIDIA 软硬件栈,同一代 GPU 硬件在生命周期内可通过持续软件优化累计获得高达 2 至 2.5 倍的免费性能红利。 - [11:54](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=714s) 推理服务平台 Dynamo 采用分离式服务架构(Disaggregated Serving),将计算密集型的预填充(Prefill)与访存受限型的解码(Decode)物理分发解耦,使同等硬件上的 LLM 性能直接提升 30% 至 40% 以上。 - [11:54](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=714s) 结合 TensorRT-LLM 中的推测解码(Speculative Decoding)与 Agent IQ 性能画像工具,开发者能够以极低算力开销达成更优的吞吐与延迟指标。 - [14:19](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=859s) NVIDIA 维持一年一代的全栈架构迭代,并通过向 OCP 捐赠 MGX 模块化机架参考设计规范,帮助服务器厂商缩减 6 至 12 个月的研发验证周期并加速整机落地。 - [16:01](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=961s) 工作负载的可并行性(Parallelizability)与 N 线程无限制线性扩展能力,是评估任务是否适合迁移到 GPU 还是保留在 CPU 的核心技术判定标准。 - [17:02](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=1022s) 在生产环境中部署 AI 时,模型防护栏(Guardrails)与实时可观测性对于抑制幻觉和拦截不当输入至关重要,这些实时安全监控任务同样依赖 GPU 算力进行加速。 ## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=4s) 从生成式 AI 到智能体与物理 AI:社区模型与 NIM 框架的赋能 在科技行业深耕近三十年的演讲者开场提到,尽管行业向来因宣传炒作(hype)而闻名,但眼下 AI 技术的进化速度确实令人震撼。仅仅大约一年前,生成式 AI(Generative AI)还是全行业最核心的话题;而转眼之间,技术焦点已迅速转向智能体 AI(Agentic AI),并进一步向物理 AI(Physical AI,如自主设备、机器人、自动驾驶汽车等)延伸拓展。这种前所未有的创新节奏不仅体现在底层计算平台能力的跃升上,也体现在上层 AI 应用的爆炸式增长中。 从历史上看,从零开始预训练(Pre-training)大模型曾是 AI 落地的最大门槛,因为它不仅需要承担高昂的算力基础设施成本,还需要耗费海量的训练时间。如今,具备雄厚资源的模型开发者正在构建并向社区开放各类优秀的开源社区模型(Community Models)。企业和开发者能够获取这些模型,通过微调自身数据集、采用各类优化算法来激发下一轮业务创新。为了确保生态效率,NVIDIA 为这些社区模型提供“零日支持”(Day 0 Support),并将其封装进 NIM 框架(NVIDIA Inference Microservices,NVIDIA 推理微服务)。NIM 提供经过安全漏洞扫描的容器化服务,内置深度性能优化,使企业能够跨本地数据中心(On-premises)或公有云环境无缝部署高性能推理。 ```mermaid flowchart LR accTitle: AI模型从预训练到企业部署的演进路径 subgraph S1["模型生产与优化"] A["基础模型预训练"] --> B["开源社区模型发布"] B --> C["企业专有数据微调/优化"] end subgraph S2["NVIDIA NIM 交付与部署"] C --> D["NIM 容器化与安全扫描"] D --> E1["本地数据中心 (On-Prem)"] D --> E2["公有云环境 (Public Cloud)"] end ``` --- ### [02:35](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=155s) 推理算力爆炸:从简单问答到 100 倍 Token 的复杂推理 随着 AI 范式从生成式转向智能体(Agentic),算力需求的核心瓶颈正在发生历史性转移。过去的生成式 AI 主要是“输入 Token — 输出 Token”的简单问答模式;而具备复杂推理能力(Reasoning)的智能体,不再只是回答事实性问题,而是承接“依据特定标准撰写完整市场深度分析报告”等高难度复杂任务。模型在得出最终结论前,会在内部生成长链条的中间思考过程(Chain of Thought),导致推理过程消耗的 Token 数量激增多达 100 倍,对计算算力提出了极高的即时响应要求。 由于推理负载激增,传统上“训练吃重算力、推理吃轻算力”的格局彻底逆转。诸如 NVIDIA Blackwell 系列(如 GB200 旗舰平台)等最新架构,过去通常优先部署于大规模训练集群,现在许多客户却选择将其作为“推理优先”(Inference-first)的平台进行上线。与此同时,在企业落地层面,如何兼顾系统响应速度、互操作性以及复用现有数据资产成为核心挑战。通过检索增强生成(RAG)技术,企业可以在不重新训练模型的前提下,让应用持续查询最新的业务数据库,既延展了 AI 应用的生命周期,又显著控制了迭代成本。 - **推理模式对比**:传统生成式 AI 是单轮问答(Q&A),而智能体推理(Reasoning)需要拆解子任务并规划求解路径。 - **计算倍率剧增**:推理思考链阶段生成的中间 Token 量可达传统生成的 100 倍(100x more tokens)。 - **工作负载翻转**:顶级算力芯片从以往的“首选用于模型训练”转变为现在的“优先部署于重度推理业务”。 - **RAG 降本增效**:利用企业现有数据库进行知识增强,避免高昂的模型重训练成本,延长模型业务周期。 --- ### [05:02](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=302s) 基础设施的双向博弈:利用率与用户体验的平衡 在推理算力需求激增的背景下,数据中心面临着严峻的资源权衡挑战。演讲者幽默地提到自己像“电视台天气预报员一样频频转头看大屏幕”,随后深入拆解了基础设施架构师的核心痛点:如何在“维持高算力利用率”与“提供极致终端用户体验”之间找到平衡点。 任何基础设施运维管理者(Infra Manager)的核心 KPI 都是服务器算力利用率。如果算力集群长期闲置,就意味着企业未能最大化投资回报(ROI)。行业通常追求将集群利用率维持在 60% 至 80% 的高负载区间,预留 20%~40% 的冗余缓冲(Headroom)以应对瞬时流量洪峰。然而,极高的利用率往往会导致排队延迟增加,进而损害终端用户的实时交互体验与响应速度。这两者在实际运维中往往是相互拉扯的“拔河”关系,不同企业和业务场景必须在延迟与成本之间进行精准取舍。 ```mermaid flowchart TD accTitle: 基础设施利用率与用户体验之间的平衡博弈 subgraph TradeOff["数据中心资源权衡矩阵"] direction TB A["高算力利用率 (60% - 80%)"] --- VS["⚖️ 权衡与取舍"] --- B["极致用户响应体验 (低延迟)"] A --> C["优势: 提升硬件投资回报 (ROI)<br/>劣势: 瞬时高并发易产生排队延迟"] B --> D["优势: 保证复杂推理即时交互<br/>劣势: 需预留高昂算力冗余成本"] end ``` --- ### [06:35](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=395s) Blackwell 矩阵与帕累托前沿:打破每兆瓦算力极限 为彻底解决利用率与响应速度的冲突,NVIDIA 推出了基于 Blackwell 架构的全系列算力平台,并与 HPE 等合作伙伴共同推向市场: 1. **GB200 NVL72**:将 72 颗 Blackwell GPU 通过统一的 NVLink 互联网络连接在一个域内,逻辑上表现为一颗拥有统一内存池的“超大 GPU”。 2. **HGX B200**:采用更为标准传统的 8 卡(8-way)模组形态,可适配标准风冷服务器,满足主流机房的快速升级需求。 3. **GB200 NVL4**:专为 HPC 与科学模拟(如计算流体力学 CFD、分子动力学等)量身定制的算力形态。 演讲者通过帕累托曲线(Pareto curves)阐述了硬件跃迁带来的业务变革。帕累托曲线反映了在给定功耗(例如每兆瓦 MW)限制下,基础设施利用率与终端响应性能的最佳平衡边界。相较于上一代 Hopper 架构,GB200 NVL72 能够在每兆瓦功耗预算下提供高达 50 倍的容量提升。这不仅意味着极限性能的飞跃,更为企业在帕累托最优前沿上提供了更大的战略自由度——企业可以根据自身的预算、延迟容忍度和并发需求,自由选择最理想的业务落点。 ### [08:30](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=510s) 软件持续迭代释放隐性收益:以更高性能降低整体拥有成本(TCO) 每个企业在规划 AI 落地时,都必须面临一项关键决策:如何以兼具成本效益的方式进行系统部署。随着时间推移,业务需求和技术环境都在不断演化,而 NVIDIA 平台的独特优势在于其容器化软件保持着大约每月一次的发布节奏。在每个月的新版本中,工程团队不仅在排查并修复 Bug,更关键的是在“完全相同的硬件上榨取并交付出更高的性能”。 从商业价值的角度来看,单纯追求更高性能虽然令人兴奋,但当它被转化为财务指标时,其核心本质在于“相同的硬件投资能够交付更多的业务吞吐能力”,从而直接拉低部署应用的整体拥有成本(TCO)。企业无需更换物理基础设施,仅凭软件升级就能使单次推理或任务调用的成本持续摊薄。 - **按月更新节奏**:NVIDIA 保持约每月发布一次容器化软件镜像,在生命周期内持续深挖硬件潜力。 - **商业本质转化**:在算力投资固定不变的前提下,性能的提升直接等同于 TCO 的降低。 --- ### [09:21](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=561s) 硬件本身无法解决问题:纵贯全栈的 CUDA-X 软件生态 仅仅拥有强大的硬件是无法直接解决实际业务痛点的。计算芯片本身并不能凭空产出价值,企业必须依赖一个向上贯穿整个技术栈的健壮平台。NVIDIA 与 HPE 的合作正是基于这一整套端到端架构。以 NVIDIA 的 CUDA-X 库为例,其数量现已扩充至数百个,覆盖的领域不仅包括尖端的人工智能,还延伸至极其广泛的科学仿真计算。 所有这些加速库均已对外开放,开发者可以直接从 NVIDIA NGC 网站下载,或者在 GitHub 上获取开源实现。如果某项极其小众或新兴的应用场景在当前库目录中尚未找到现成工具,NVIDIA 的工程团队也在持续评估开发者诉求,并以极快的速度补充新的专用加速库,确保上层开发者能够以最低的工程阻力构建应用并获取所需的极致吞吐。 ```mermaid flowchart TD accTitle: NVIDIA与HPE全栈协同架构 subgraph AppLayer["业务与应用层"] A["企业生成式 AI / 科学仿真 / Agent 应用"] end subgraph SoftwareStack["NVIDIA 平台软件栈"] B["NIM / Agent IQ / Dynamo 推理服务"] C["CUDA-X 专用加速库群(数百个)"] D["底层 CUDA 驱动与月度优化容器"] end subgraph HardwareLayer["HPE 基础设施与云服务"] E["HPE GreenLake 混合云服务"] F["HPE AI 硬件系统(B200 / GB200 / GB300 等)"] end A --> B B --> C C --> D D --> E E --> F ``` --- ### [10:16](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=616s) HPE 基础设施与 NVIDIA 平台协同:硬件生命周期内的 2~2.5 倍免费红利 当 NVIDIA 的软件平台落实在 HPE 构建的本地服务器上时,协同效应开始显现。无论企业部署的是基于当前世代的 B200、GB200,还是面向未来的 B300 与 GB300 架构,这些设备均能原生获得软件持续优化所带来的全部红利。企业在采购硬件时,实际上是在对 HPE 的企业级基础设施与 NVIDIA 的软件平台进行双重投资。 在以往的 GPU 世代中,凭借工程团队在每月容器迭代中持续进行的“无休止软件调优”,客户往往能在不改动任何硬件的前提下,让既有系统跑出相比初始交付状态 2 倍、甚至高达 2.5 倍的性能提升。这种性能飞跃对企业而言相当于获得了一笔持续的“免费 TCO 缩减红利”,构成了企业与 HPE 及 NVIDIA 长期绑定的核心财务逻辑。与此同时,HPE 还通过其 HPE GreenLake 云平台提供了涵盖监控、管理在内的丰富企业级附加服务,使企业不仅获得了 NVIDIA 的核心算力,也完整拥有了 HPE 构建的私有云与混合云运营保障。 - **同代硬件性能增益**:通过容器化软件持续优化,同一代 GPU 硬件在生命周期内可累计实现高达 2 至 2.5 倍的性能提升。 - **多代产品演进支持**:全面覆盖从 Blackwell 世代的 B200、GB200 到后续 B300、GB300 的全线服务器阵列。 - **HPE 增值服务整合**:借助 HPE GreenLake 提供弹性的云化交付与运营支持,降低本地机房的管理复杂度。 --- ### [11:54](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=714s) 突破推理吞吐瓶颈:开源社区模型、Dynamo 分离式服务与推测解码 随着应用逐渐从单次 Prompt 交互走向复杂的 Agentic AI(智能体应用),对计算性能的需求呈现指数级爆发。为了协助开发者将应用精确调优至帕累托最优曲线(Pareto curve),NVIDIA 提供了多种进阶工具与前沿架构: 在模型与调优层面,NVIDIA 基于 Meta 的开源 Llama 架构微调并开源了三个不同尺寸的社区模型供生态免费使用;配合 Agent IQ 等性能画像与优化工具,开发者能够精准微调业务应用,以最优算力开销达成既定延迟与质量目标。 在系统级服务层面,NVIDIA 引入了专为生成式 AI 和 Agent 设计的全新推理服务软件平台 Dynamo,其核心杀手锏是**分离式服务架构**(Disaggregated Serving)。传统的 LLM 推理过程被划分为计算密集型的“预填充”(Prefill)阶段和访存受限型的“解码”(Decode)阶段。由于二者对硬件资源的敏感维度截然不同,Dynamo 将这两个阶段在物理层面上解耦,分别调度到不同 GPU 节点上独立执行。 仅通过转向分离式服务架构,在完全相同的硬件设备上,大语言模型的实际性能即可迎来大约 30% 乃至超过 40% 的直接跃升。此外,集成在 TensorRT-LLM 中的**推测解码**(Speculative Decoding)技术也发挥了关键作用:系统通过轻量级的草稿模型(Draft Model)先行推测候选 Token,再交由主模型一次性验证,以极低的算力开销换取更高的推理生成速度。 --- ### [14:19](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=859s) 一年一度的架构跨越与机架级工程标准:MGX 规范加速落地 NVIDIA 目前保持着每年推出一套全新计算架构的极快演进节奏。这种升级不仅仅局限于 GPU 芯片本身,而是全方位涵盖 CPU、GPU、网络互联以及至关重要的**机架级系统设计**(Rack Design)。在以 Grace Blackwell 为代表的高密度、全液冷系统中,机架工程对于系统的正常运转起到了决定性作用。 针对服务器厂商长达 6 到 12 个月的底盘设计与工程验证周期,NVIDIA 推出了模块化参考设计架构 **MGX**(包括针对 GB200 及未来 GB300 的专用方案)。它为 HPE 等系统制造商提供了一套已经过完整优化与压力验证的工程蓝图,使合作伙伴可以快速推出整机系统、加速上市。NVIDIA 甚至将包括 GB200 在内的多项 MGX 规范无偿捐赠给了开放计算项目(Open Compute Project, OCP),将其转化为行业开放参考标准。面对传统数据中心行业相对保守的演进习惯,NVIDIA 正试图通过整机设计标准化,“带动整个数据中心产业跟上每年一次的大步快跑节奏”。 - **全要素年度迭代**:芯片(GPU/CPU)、高速互连网络与机架结构全面保持一年一代的同步刷新。 - **液冷工程蓝图**:MGX 参考规范有效省去了服务器厂商耗时 6~12 个月的机箱底盘重新研发周期。 - **生态开放共享**:将 GB200 的 MGX 核心规范捐献给 OCP,确立全球数据中心基础设施的标准化范本。 --- ### [16:01](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=961s) 现场互动:任务的可并行性决定底层芯片选型 在演示主体内容提前五分钟结束后,演讲者开放了现场问答。面对台下观众关于“如何评估一项业务任务究竟适合跑在 GPU 还是 CPU 上”的提问,演讲者风趣地调侃称:“在科技行业,所有问题的标准答案通常都是‘视情况而定’(It depends)。” 随后,演讲者给出了一个直击本质的技术判断标准——**任务的可并行性**(Parallelizability): 如果一个业务计算任务可以被拆解成众多相互独立的子任务,并在海量计算核心上同时分发处理,那么 GPU 展现出的吞吐优势将是碾压式的,性能差距往往会达到数倍甚至数十倍的数量级。相反,如果业务流程高度依赖串行逻辑、前一步输出直接决定下一步分支,那么 CPU 依然是更合理的选择。因为 CPU 虽然核心总数较少,但每个单核的主频通常更高,底层微架构也是专门为了快速处理高度串行化的任务而设计的。随着未来各类业务可观测性数据分析与算法逻辑向并行化重构,GPU 适用的场景边界还将继续向传统 CPU 阵地扩展。 ### [17:02](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=1022s) 模型防护栏、可观测性与 GPU 的安全角色 在模型运行与部署过程中,对大语言模型进行实时监控与状态追踪(Observability)是一项至关重要的任务。这不仅包括设置防护栏(Guardrails)以最大限度地抑制和避免幻觉(Hallucinations),还包括对输入提示词进行实时审查,确保模型在遭遇不当提示(Inappropriate Prompts)时能够明确拒绝回答。戴夫·萨尔瓦托(Dave Salvator)打着手势引号强调,必须确保模型“表现规矩”("behaving itself"),而在处理这些防护栏算法与实时可观测性任务时,GPU 算力同样扮演着不可或缺的关键加速角色。 ```mermaid flowchart TD accTitle: AI 模型安全与可观测性流程 subgraph InputControl["输入控制"] A["用户 Prompt 输入"] --> B["Guardrails 防护栏检测"] B -->|"拦截恶意/不当请求"| C["拒绝响应"] end subgraph Execution["模型推理与监控"] B -->|"安全通过"| D["LLM 核心推理"] D --> E["幻觉抑制与输出审查"] E --> F["合规输出结果"] end subgraph Acceleration["底层算力支撑"] G["GPU 算力加速安全监测与推理"] -.-> B G -.-> D G -.-> E end ``` --- ### [17:33](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=1053s) 传统性能分析法与 GPU 适用性:如何判断任务是否适合并行加速 在演讲进入最后两分钟的问答环节时,针对现场关于“是否利用 AI 本身来分析大型应用内部各个子任务”的提问,戴夫表示英伟达内部通常更依赖传统的性能特征分析(Performance Characterization),而非直接使用 AI 去做代码拆解。判断一个应用是否适合移植到 GPU 的核心首要问题,在于该算法是否具备“$N$ 线程化”(N-threaded)的能力——即能否随着处理器核心数的增加无限制地扩展线程数量并获得线性的性能提升。有些程序天生受限,最多只能扩展到 2 到 4 个线程,而另一些程序则是“你给它多少线程,它就敢吞下多少线程”。对于后者而言,迁移到 GPU 获得巨大加速是毫无悬念的选择。 现代计算任务中,AI 和 3D 图形渲染均属于典型的“易并行”(Embarrassingly Parallelizable)工作负载,这正是 GPU 架构最擅长的领域。对于传统的 CPU(如 x86 架构)应用程序,业界通常使用英特尔经典的 VTune 等工具来进行深度剖析,以此诊断程序的性能瓶颈究竟是卡在内存带宽、缓存命中率不足,还是属于纯粹的计算受限(Compute-bound)。 如果分析表明应用程序具备高度的 $N$ 线程并行能力,并且数据流与缓存调度得当、计算单元不会发生饥饿等待,那么将其迁移到 GPU 上必定会带来显著的性能跃升。相反,如果算法在架构上只能扩展两三个线程,最理智的策略则是将其留在 CPU 上处理,仅把高度并行的子任务卸载给 GPU。在回答完该问题后,戴夫向现场观众致谢并结束了本次演讲。 ```mermaid flowchart LR accTitle: 工作负载特征分析与硬件选型决策流程 A["应用程序性能分析<br>(例如使用 Intel VTune)"] --> B{"是否可 N 线程并行扩展<br>(N-threaded)?"} B -- "高并行度 / 易并行<br>(AI、图形计算)" --> C{"瓶颈是否为计算受限<br>(Compute-bound)?"} C -- "数据供给充分 / 计算受限" --> D["迁移至 GPU 加速<br>(获得显著性能提升)"] C -- "内存带宽受阻" --> E["优化缓存与数据流后<br>再迁移至 GPU"] B -- "仅支持 2-4 线程<br>(串行度高)" --> F["保留在 CPU 运行<br>(仅卸载局部并行任务)"] ``` - **任务并行特征分类**: - **易并行任务(Embarrassingly Parallel)**:如 AI 大模型计算、3D 渲染,对线程数需求极高,是 GPU 加速的最佳场景。 - **低并行/串行任务**:仅能扩展 2 至 4 个线程,强行迁移到 GPU 无法发挥架构优势,更适合保留在 CPU。 - **性能诊断工具**:推荐使用如 Intel VTune 等工具定位程序瓶颈(分析程序是卡在缓存、受限于内存压力,还是纯粹的计算受限)。 ## Notable quotes > [02:35](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=155s) 输入 Token — 输出 Token — Dave Salvator > [02:35](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=155s) 推理优先 — Dave Salvator > [08:30](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=510s) 完全相同的硬件上榨取并交付出更高的性能 — Dave Salvator > [08:30](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=510s) 相同的硬件投资能够交付更多的业务吞吐能力 — Dave Salvator > [10:16](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=616s) 无休止软件调优 — Dave Salvator > [10:16](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=616s) 免费 TCO 缩减红利 — Dave Salvator > [14:19](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=859s) 带动整个数据中心产业跟上每年一次的大步快跑节奏 — Dave Salvator > [16:01](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=961s) 在科技行业,所有问题的标准答案通常都是‘视情况而定’(It depends) — Dave Salvator > [17:02](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=1022s) 表现规矩 — Dave Salvator > [17:33](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=1053s) 你给它多少线程,它就敢吞下多少线程 — Dave Salvator > [17:33](https://www.youtube.com/watch?v=5QLF2jgJKWU&t=1053s) 易并行 — Dave Salvator ## Mentioned Dave Salvator, NVIDIA, HPE, HPE GreenLake, NIM, Blackwell, GB200 NVL72, HGX B200, GB200 NVL4, B300, GB300, Hopper, CUDA-X, NVIDIA NGC, GitHub, Agent IQ, Dynamo, TensorRT-LLM, Meta Llama, MGX, Open Compute Project (OCP), Intel VTune ## Video description Dave Salvator, Director of Accelerated Computing Products, NVIDIA Abstracts This session will explore AI's business value. Attendees will learn to conduct ROI analysis for AI use cases, using NVIDIA's success stories. The session will compare the ROI of on-premises AI infrastructure versus cloud deployment, highlighting the benefits of on-prem solutions compared to the public cloud. Combining HPE’s enterprise expertise with NVIDIA’s AI stack, the session demonstrates how integrated solutions accelerate AI adoption and maximize ROI [Source](https://www.youtube.com/watch?v=5QLF2jgJKWU)

Source quotes

[2:35] Dave Salvator: 输入 Token — 输出 Token [2:35] Dave Salvator: 推理优先 [8:30] Dave Salvator: 完全相同的硬件上榨取并交付出更高的性能 [8:30] Dave Salvator: 相同的硬件投资能够交付更多的业务吞吐能力 [10:16] Dave Salvator: 无休止软件调优 [10:16] Dave Salvator: 免费 TCO 缩减红利 [14:19] Dave Salvator: 带动整个数据中心产业跟上每年一次的大步快跑节奏 [16:01] Dave Salvator: 在科技行业,所有问题的标准答案通常都是‘视情况而定’(It depends) [17:02] Dave Salvator: 表现规矩 [17:33] Dave Salvator: 你给它多少线程,它就敢吞下多少线程 [17:33] Dave Salvator: 易并行