甲骨文联手英伟达建吉瓦级AI中心 部署13万颗Blackwell芯片

Unlock AI Performance with NVIDIA's Accelerated Computing With Oracel And NVIDIA — Ai4

Ai4

面对智能体AI引发的百倍算力需求激增,甲骨文依托英伟达Blackwell与解耦架构构建13.1万卡吉瓦级超级集群,以显著吞吐与网络优势锁定全球前沿大模型训练负载。

AI-assisted summary of Unlock AI Performance with NVIDIA's Accelerated Computing With Oracel And NVIDIA — original source. Check the original for full context.

Source published:

Detailed notes

## Background 本视频由 Ai4 于 2025 年 8 月 24 日发布在 YouTube 平台,由甲骨文(Oracle)云工程高级总监 Sanjay Basu 与英伟达(NVIDIA)加速计算产品总监 Dave Salvator 联合主讲。视频内容主要探讨了部署在甲骨文云基础设施(OCI)上的 NVIDIA 最新 GPU 架构(涵盖 Blackwell、Hopper 与 Ada-Lovelace 等),以及如何利用端到端参考架构优化企业级严苛 AI 负载的运行性能。

## TL;DR 演讲梳理了 AI 从生成式迈向智能体 AI 与物理 AI 的演进路径,指出推理 Token 激增 100 倍对计算系统带来的巨大挑战。NVIDIA 重点解析了针对 MoE 架构优化的 Blackwell NVL72、C2C 内存直连以及提升 30%–40% 吞吐的 Dynamo 解耦推理技术。随后 Oracle 展示了 OCI 覆盖公有云、主权云及边缘节点的分布式 AI 云布局,并深入介绍了其支持单集群 131,000 颗 Blackwell GPU 互联、供电达吉瓦(GW)级别的超大规模前沿大模型训练集群。

## Atmosphere & style 整场演讲呈现出专业硬核且节奏干练的科技峰会氛围,开场 Dave 幽默自嘲没有返送屏并调侃两人的演讲照片,迅速打破了严肃的技术距离感。随后两位技术专家进行了流畅的软硬件双重视角交接,从微观的芯片总线带宽、解耦调度,一路铺陈到宏观的 1.2 吉瓦 Stargate 超级数据中心实景。演讲既具备深度的技术架构说服力,又传递出工业级 AI 算力底座在大规模扩展时的宏伟与务实感。

## Key takeaways - [00:04](https://www.youtube.com/watch?v=0M674LDRdpA&t=4s) AI 发展正从生成式 AI 迈向智能体 AI 与物理 AI,智能体带来的复杂思维链拆解使得推理计算量激增达 100 倍,对系统利用率与低延迟响应提出了极高要求。 - [01:57](https://www.youtube.com/watch?v=0M674LDRdpA&t=117s) Blackwell 架构通过 NVLink Fabric 将 72 颗 GPU 构建为单一的 NVL72 统一域,专为混合专家模型(MoE)不同专家节点间的极速通信与超低延迟协同而设计。 - [01:57](https://www.youtube.com/watch?v=0M674LDRdpA&t=117s) GB200 单元通过芯片到芯片(C2C)高速互联直连 Grace CPU 与 Blackwell GPU,摆脱了传统 PCIe 总线带宽瓶颈,实现显存与系统内存的高速双向扩展。 - [03:39](https://www.youtube.com/watch?v=0M674LDRdpA&t=219s) 结合 Blackwell 架构与 NVIDIA FP4 精度,AI 推理的帕累托曲线整体向右上推移,使 AI 工厂能够在维持极高硬件利用率的同时交付极佳的低延迟交互体验。 - [03:39](https://www.youtube.com/watch?v=0M674LDRdpA&t=219s) Oracle 在得克萨斯州阿比林建设的 Stargate 超级数据中心现已具备 200MW 装机容量,未来规划将持续扩张至 1.2GW 乃至 2.6GW 级别的吉瓦级电力规模。 - [05:46](https://www.youtube.com/watch?v=0M674LDRdpA&t=346s) 软硬件协同是降本增效的核心,NVIDIA CUDA-X 软件栈与 OCI 深度集成,通过底层算法持续调优在不改动硬件的前提下摊薄客户的 TCO。 - [05:46](https://www.youtube.com/watch?v=0M674LDRdpA&t=346s) 开源推理服务框架 Dynamo 引入 Prefill 与 Decode 解耦调度机制,针对算力敏感与访存带宽敏感阶段分别优化,可直接带来 30% 至 40% 的推理性能飞跃。 - [08:50](https://www.youtube.com/watch?v=0M674LDRdpA&t=530s) NVIDIA 保持每年推出一代新架构的技术节奏,并已将 GB200 MGX 液冷机架参考设计正式捐赠给 OCP 联盟,协助生态伙伴加速推进液冷数据中心落地。 - [10:07](https://www.youtube.com/watch?v=0M674LDRdpA&t=607s) 现代企业应用正步入具备自主判断与规划的智能体时代,OCI 将搭载 NVIDIA 算力的基础设施无缝覆盖至公有云、政府云、主权区域及本地边缘节点。 - [12:33](https://www.youtube.com/watch?v=0M674LDRdpA&t=753s) OCI 践行“推理直接带到数据所在之处”策略,通过 Oracle Database 23ai 原生向量检索与托管主流大模型,支持企业快速编排端到端智能体工作流。 - [15:16](https://www.youtube.com/watch?v=0M674LDRdpA&t=916s) OCI AI 超级集群基于 3.2 Tbps 无阻塞 Clos 网络构建,单集群已稳定上线 65,000 颗 H200 GPU,并正在规划部署 131,000 颗 Blackwell GPU 的超大规模集群。 - [15:16](https://www.youtube.com/watch?v=0M674LDRdpA&t=916s) 全球绝大多数顶尖前沿大模型提供商均已选择在 OCI 上进行大规模分布式训练,在 MLPerf 基准测试中 OCI 的单位经济效益最高领先其他头部云厂商 220%。

## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=0M674LDRdpA&t=4s) 演进轨迹:从生成式 AI、智能体 AI 到物理 AI

NVIDIA 加速计算产品总监 Dave Salvator 开场幽默地调侃现场没有返送监视器,两位演讲者只能不时回头看大屏幕,并指着幻灯片上两人的证件照片开玩笑说“可能在邮局通缉令上见过”。他随后切入正题,介绍了本次演讲的分工:先由他梳理 NVIDIA 的加速计算平台与最新架构,再由 Oracle 云工程高级总监 Sanjay Basu 介绍 Oracle 如何将该平台落地到云端并向企业客户开放。

```mermaid flowchart LR accTitle: AI演进发展轨迹 A["生成式 AI (Generative AI)<br/>基础输入输出"] --> B["智能体 AI (Agentic AI)<br/>复杂推理与思维链"] B --> C["物理 AI (Physical AI)<br/>边缘自动设备与机器人"] ```

Dave 指出,AI 技术正经历从**生成式 AI(Generative AI)**迈向**智能体 AI(Agentic AI)**,并最终走向以自主边缘设备、机器人等为代表的**物理 AI(Physical AI)**的演进路径。这一转变带来了计算需求的剧烈阶跃(stair step),无论是在模型训练还是在推理侧,算力消耗都呈爆发式增长: - **推理 Token 激增**:在推理阶段,智能体 AI 所需的推理计算量预计将达到以往实现的 **100 倍(100x)**。 - **思维链与问题分解**:传统的生成式 AI 主要处理简单的输入(Prompt)和输出(Completion)Token;而推理型/智能体 AI 会在中间生成海量的“推理 Token(Reasoning Tokens)”。它不再停留在基础的知识库一问一答,而是将复杂问题拆解为多个子问题逐步求解,并以更透明的“思维链(Chain of Thought)”方式呈现。 - **系统核心挑战**:企业部署面临的核心难题,在于如何在保证优秀用户响应体验(低延迟)的同时,维持整个系统的高利用率(High System Utilization),从而实现高性价比的服务交付。

---

[01:57](https://www.youtube.com/watch?v=0M674LDRdpA&t=117s) Blackwell 架构创新:NVLink 72、C2C 互联与混合专家模型(MoE)

针对上述算力与协同挑战,Dave 重点介绍了 NVIDIA 推出的 Blackwell 架构以及即将推向市场的 Blackwell Ultra 架构。通过自研的 NVLink Fabric 技术,NVIDIA 成功将 72 颗 GPU 互联成一个单一的统一域(NVLink Domain)——即 **NVL72**,使其在逻辑上运作得宛如“一颗超大型 GPU”。

```mermaid flowchart TD accTitle: NVL72 与 Grace Blackwell 互联架构 subgraph Compute_Node ["GB200 计算单元"] CPU["Grace CPU (ARM 架构)"] GPU1["Blackwell GPU 1"] GPU2["Blackwell GPU 2"] CPU <-->|"C2C 高速互联 (优于 PCIe)"| GPU1 CPU <-->|"C2C 高速互联 (优于 PCIe)"| GPU2 end GPU1 & GPU2 <-->|"NVLink Fabric 统一互联"| NVLDomain["72 颗 GPU 统一 NVLink 域<br/>(超低延迟 MoE 专家间通信)"] ```

这一全新架构为当前主流的模型设计带来了巨大的架构红利: - **专为 MoE(Mixture of Experts)设计**:现代智能体应用普遍采用混合专家架构,将不同的专家模块部署在不同 GPU 上。NVLink 提供了极高的跨 GPU 通信吞吐与超低延迟,专家节点通信越快,系统性能越强,从而直接降低总拥有成本(TCO)。 - **Grace CPU 与 GPU 对等互联(C2C Link)**:在 GB200 系统中,每两颗 Blackwell GPU 搭配一颗 ARM 架构的 Grace CPU,二者通过专有的芯片到芯片(C2C, Chip-to-Chip)链路直连。这种设计彻底摆脱了传统 PCIe 总线的带宽瓶颈,实现了 GPU 显存与系统内存(System Memory)之间的极速双向按需迁移与大范围内存扩展。

---

[03:39](https://www.youtube.com/watch?v=0M674LDRdpA&t=219s) 帕累托曲线优化与 Oracle 超级数据中心规模

在讨论推理服务性能时,Dave 引入了**帕累托曲线(Pareto Curve)**的概念。在 AI 推理中,系统响应速度(低延迟)与系统吞吐量/利用率之间存在天然的权衡博弈。优化一个指标往往会牺牲另一个,企业必须在二者之间寻找最佳平衡点。

```mermaid flowchart LR accTitle: 从 Hopper 到 Blackwell 的帕累托曲线提升 A["Hopper 架构 (FP8/FP16)"] -->|"升级至 Blackwell + FP4"| B["帕累托曲线整体向右上移动<br/>(同等低延迟下实现更高系统利用率与吞吐)"] ```

从 Hopper 架构跨越到 Blackwell 架构并引入 **NVIDIA FP4** 精度支持后,整个帕累托曲线被显著“向右上推移”: - 数据中心(现称为 **AI 工厂 / AI Factories**)的输出效率大幅提升。 - 允许运营商在维持超高硬件利用率(最大化硬件投资价值)的同时,为更多并发用户提供低延迟的极致交互体验。

Dave 随后展示了 Oracle 正在美国得克萨斯州阿比林(Abilene, Texas)建设的 **Stargate 超级数据中心**实景: - 该园区当前装机容量已达 **200 兆瓦(MW)**。 - 规划目标将扩展为高达 **1.2 吉瓦(GW / Gigawatt)** 级别的超大规模 AI 计算基地。 - Oracle 正全面部署 NVIDIA B200 与 GB200(Grace Blackwell 200),并在全美多地加速兴建类似规模的 AI 基础设施。

---

[05:46](https://www.youtube.com/watch?v=0M674LDRdpA&t=346s) 全栈软件生态:CUDA-X、Dynamo 解耦推理与 DGX Cloud

Dave 强调,“硬件只是起点,没有生态系统支持和成熟的软件栈,硬件无法单独解决任何问题”。NVIDIA 平台的核心竞争力在于软硬件协同的全栈闭环: - **CUDA-X 软件库集群**:历经多年迭代沉淀了数百个加速库,横跨生成式 AI、科学模拟以及高性能计算(HPC)。通过底层算法持续优化,在不更换硬件的前提下不断压榨出额外性能,进一步摊薄客户的 TCO。 - **与 Oracle 云(OCI)的深度集成**:NVIDIA 顶层应用及加速库深度内嵌在 Oracle Cloud 服务的底层与上层架构中。

```mermaid flowchart TD accTitle: Dynamo 解耦推理机制 subgraph Disaggregated_Serving ["Dynamo 解耦推理架构"] Request["推理请求"] --> Prefill["Prefill 计算阶段<br/>(计算敏感型算力节点)"] Prefill --> Decode["Decode 生成阶段<br/>(访存带宽敏感型算力节点)"] Decode --> Output["响应输出"] end ```

针对 AI 推理服务架构,Dave 重点介绍了全新推出的开源推理服务框架 **Dynamo** 及其核心的**解耦服务(Disaggregated Serving)**机制: - **分离 Prefill 与 Decode 阶段**:传统推理将 Prompt 预填充(Prefill)与逐 Token 解码(Decode)混合在同一计算单元上,而两者对算力(Compute-bound)与显存带宽(Memory bandwidth-bound)的敏感度完全不同。 - **显著性能提升**:通过物理或逻辑上的解耦调度,在同等硬件平台上可直接带来 **30% 至 40%** 的性能飞跃,对大规模部署的经济效益产生决定性影响。 - **Oracle Cloud 上的 DGX Cloud 服务**:为缺乏全套自建 AI 运维经验的企业提供托管方案,客户不仅能获得 Oracle 官方的云基础设施支持,还能直接享有 NVIDIA 原厂的企业级专业技术支持与运维保障。

[08:50](https://www.youtube.com/watch?v=0M674LDRdpA&t=530s) NVIDIA 架构演进与 MGX 液冷参考设计

NVIDIA 正在以每年一次的强劲节奏向市场持续交付全新架构。除了备受瞩目的新一代 GPU 外,CPU 架构也在同步高速迭代:即将推出的 Vera CPU 将作为 Rubin 平台的核心组件于明年正式推向市场;放眼更长远的技术演进路径,路线图甚至已经延伸到了 2028 年的 Feynman(费曼)架构。为了让整个行业和生态伙伴能够跟上这股前所未有的创新步伐,NVIDIA 主动向业界全面公开了未来数年的产品规划细节,使数据中心建设者和云厂商能够提早做好基础设施层面的规划与改造。

为了解决极高算力密度带来的散热与部署难题,NVIDIA 推出了模块化的 MGX 参考架构设计。其中,专为 GB200 打造的机架参考设计已正式捐赠给开放计算项目(Open Compute Project, OCP),成为 OCP 官方标准参考设计之一。这一举措极大地降低了合作伙伴部署液冷数据中心的门槛,帮助众多首次涉足液冷技术的企业大幅缩短了系统上市时间(Time to Market)。面对 AI 模型能力呈指数级爆发的现状,唯有通过端到端系统架构的极致性能,才能兑现新一代 AI 技术的算力承诺。随后,演讲正式交接给甲骨文云基础设施(OCI)团队。

- **CPU 与平台演进**:Vera CPU 将搭载于 Rubin 平台并于次年发布,长线规划已延伸至 2028 年的 Feynman 架构。 - **开源机架标准**:GB200 MGX 液冷机架设计已贡献给 OCP 联盟,协助生态伙伴加速推进液冷数据中心的大规模落地。

---

[10:07](https://www.youtube.com/watch?v=0M674LDRdpA&t=607s) 智能体时代来临与 OCI 全场景 AI 云布局

AI 模型的微调、训练与爆发式增长,本质目的在于让企业级应用具备真正的智能化。信息技术发展史上首次迎来了能够赋予应用“自主性(Agency)”的转折点——现代应用程序不再只是按固定逻辑执行代码,而是具备了自主判断(Self-determination)、逻辑推理(Reasoning)以及多步规划(Planning)的能力。要支撑这种由数以亿计代码与复杂模型构建的智能体工作流,底层必须依赖数百万级计算核心的协同加速。OCI 将 NVIDIA 顶尖硬件、弹性伸缩机制、精准计量与极简易用性打包为统一的云服务体系。

与其他超大规模云厂商(Hyperscalers)截然不同的是,OCI 将搭载 NVIDIA 算力的 AI 基础设施无缝渗透到了客户所需的每一个物理边界: - **公共云区域(Public Regions)与政府云(GovCloud)**:面向通用公有云需求与严苛合规场景。 - **专属区域与主权 AI(Dedicated Region Cloud@Customer / Sovereign AI)**:为监管严苛或拥有既有数据中心的企业直接交付“本地化 OCI 云”。 - **计算云客户化(Compute Cloud@Customer / C3)**:在企业本地机房提供一致的 OCI 计算体验。 - **边缘算力(Roving Edge Infrastructure)**:联合 NVIDIA 部署 L4、L40S 和 A10 GPU,满足边缘端实时低延迟推理需求。

```mermaid flowchart TD accTitle: OCI 全场景分布式 AI 部署架构 accDescr: 展示 OCI 如何将 NVIDIA 算力部署于公有云、政府云、主权区域及边缘节点

subgraph CloudCore ["核心公有云与主权云"] A["OCI Public Region 公有云"] B["GovCloud 政府合规云"] C["Dedicated Region 主权 AI"] end

subgraph DistributedEdge ["客户本地与边缘计算"] D["Compute Cloud@Customer (C3)"] E["Roving Edge 边缘节点<br/>(NVIDIA L4 / L40S / A10)"] end

CloudCore --> DistributedEdge ```

---

[12:33](https://www.youtube.com/watch?v=0M674LDRdpA&t=753s) 融合数据层与生成式 AI 智能体生态

在企业应用层面,OCI 的核心策略是“将推理与智能体直接带到数据所在之处”。无论是 Oracle 旗下的原生 SaaS 产品还是 Fusion 云应用,都已经全面内嵌了自主智能体能力;对于非 Oracle 的第三方业务系统,则可通过 OCI AI Services 实现灵活的智能接入。在底层数据库与存储矩阵中,OCI 提供了集成本地向量检索能力的 Oracle Database 23ai、全托管 MySQL HeatWave,以及托管 Redis 和托管 PostgreSQL,确保所有企业数据与智能体均运行在由 NVIDIA 算力加速的高效底座之上。

在模型构建与生成式 AI 平台方面,OCI 提供了丰富的全托管主流基础大模型支持,包括 xAI 的 Grok 系列、Cohere 模型以及 Meta 发布的 Llama 3.1 和 3.2 系列。开发者可以直接基于 OCI Data Science 平台与原生 AI 服务编排复杂的智能体工作流,亦可直接采用 NVIDIA AI Enterprise Blueprints(企业参考蓝图)快速落地特定场景解决方案。整套软硬件协同方案使用户无需在底层基础设施运维上耗费精力,专注于业务逻辑与智能体创新。

| 层次 | 核心产品与技术组件 | 关键能力与 NVIDIA 协同 | |:--- |:--- |:--- | | **SaaS / 业务应用层** | Fusion Applications、原生 AI Services | 内置智能化 Agent,就地完成业务推理与决策 | | **数据与存储层** | Oracle Database 23ai、MySQL HeatWave、托管 Redis/PostgreSQL | 原生向量搜索(Vector Search)与高并发数据检索引擎 | | **生成式 AI / 模型层** | OCI GenAI 平台、xAI Grok、Cohere、Meta Llama 3.1/3.2 | 提供全托管基础模型,支持微调、提示词工程与评估 | | **平台服务与蓝图** | OCI Data Science、NVIDIA AI Enterprise Blueprints | 快速构建多智能体编排工作流,开箱即用参考架构 |

---

[15:16](https://www.youtube.com/watch?v=0M674LDRdpA&t=916s) OCI AI 超级集群架构与前沿大模型基础设施

OCI AI 基础设施的核心竞争力在于其顶尖的硬件性能与网络架构。在权威 MLPerf 基准测试中,OCI 展现出的单位经济效益与吞吐表现相较于其他头部超大规模云厂商最高领先 220%。这一性能飞跃归功于 OCI 打造的超大规模计算集群——“超级集群(Supercluster)”。该集群支持从 2 个裸金属节点平滑扩展至单个集群内的 131,000 个节点/GPU,底层采用了无超配、无阻塞的 Clos 网络架构(Non-blocking Clos Network),提供高达 3.2 Tbps 的横向互联带宽,并同时支持基于以太网的 RoCEv2 与 InfiniBand 两种高速网络协议。

在前沿大模型(Frontier Models)训练领域,除了一家特定机构外,全球绝大多数顶尖大模型提供商均已选择在 OCI 上进行大规模分布式训练。目前 OCI 已在线稳定运行包含 65,000 颗 H200 GPU 的单一超大训练集群,并正全力构建搭载 131,000 颗 Blackwell 系列 GPU(B200 / GB200)的下一代超级算力集群。为承载如此密集的计算负荷,OCI 的数据中心供电规划正从现有的数百兆瓦级稳步跨越至 1.2 吉瓦乃至 2.6 吉瓦规模,整套系统在上层通过开源的托管调度与编排服务实现高效管理,为全球 AI 创新提供工业级的算力底座。

- **前沿模型客户群**:“除了少数个别厂商外,全球几乎所有的前沿大模型提供商都运行在 OCI 之上。” - **超大集群规模**:单集群已上线 65,000 颗 H200 GPU,下一阶段将扩展至 131,000 颗 Blackwell GPU。 - **极致网络架构**:3.2 Tbps 双协议(RoCEv2 与 InfiniBand)无阻塞 Clos 网络,消除大规模并行训练的通信瓶颈。 - **能源基础设施**:支持单数据中心集群供电能力向吉瓦(GW)级别持续跃升。

## Notable quotes > [00:04](https://www.youtube.com/watch?v=0M674LDRdpA&t=4s) 可能在邮局通缉令上见过 — Dave Salvator

> [00:04](https://www.youtube.com/watch?v=0M674LDRdpA&t=4s) 在推理阶段,智能体 AI 所需的推理计算量预计将达到以往实现的 100 倍(100x)。 — Dave Salvator

> [01:57](https://www.youtube.com/watch?v=0M674LDRdpA&t=117s) 一颗超大型 GPU — Dave Salvator

> [03:39](https://www.youtube.com/watch?v=0M674LDRdpA&t=219s) AI 工厂 / AI Factories — Dave Salvator

> [05:46](https://www.youtube.com/watch?v=0M674LDRdpA&t=346s) 硬件只是起点,没有生态系统支持和成熟的软件栈,硬件无法单独解决任何问题 — Dave Salvator

> [12:33](https://www.youtube.com/watch?v=0M674LDRdpA&t=753s) 将推理与智能体直接带到数据所在之处 — Sanjay Basu

> [15:16](https://www.youtube.com/watch?v=0M674LDRdpA&t=916s) 除了少数个别厂商外,全球几乎所有的前沿大模型提供商都运行在 OCI 之上。 — Sanjay Basu

> [15:16](https://www.youtube.com/watch?v=0M674LDRdpA&t=916s) 超级集群(Supercluster) — Sanjay Basu

## Mentioned Sanjay Basu, Dave Salvator, NVIDIA, Oracle, Oracle Cloud Infrastructure (OCI), Blackwell, Blackwell Ultra, Hopper, Ada-Lovelace, GB200, B200, H200, L4, L40S, A10, NVLink, NVLink 72 (NVL72), Grace CPU, Vera CPU, Rubin, Feynman, CUDA-X, Dynamo, DGX Cloud, MGX, Open Compute Project (OCP), Stargate 超级数据中心, Oracle Database 23ai, MySQL HeatWave, Fusion Applications, OCI Data Science, NVIDIA AI Enterprise Blueprints, xAI Grok, Cohere, Meta Llama 3.1, Meta Llama 3.2, MLPerf, Clos 网络, RoCEv2, InfiniBand

## Video description Sanjay Basu, Senior Director, AI/GPU - Cloud Engineering, Oracle Dave Salvator, Director of Accelerated Computing Products, NVIDIA

Abstracts

Model complexity and data sources are on the rise, creating new challenges and opportunities. This session will explore how the latest advancements in NVIDIA's cutting-edge GPU infrastructure platforms on Oracle Cloud Infrastructure (OCI)—including the Blackwell, Hopper, and Ada-Lovelace architectures—can effectively meet the evolving needs of next-generation models. Attendees will learn how to optimize their AI infrastructure deployment using NVIDIA's comprehensive end-to-end reference architecture, which integrates seamlessly with OCI to deliver exceptional performance tailored for demanding AI workloads.

[Source](https://www.youtube.com/watch?v=0M674LDRdpA)

中文简报

甲骨文为前沿 AI 部署 13.1 万块英伟达 Blackwell GPU 集群 裸金属网络与芯片直连技术让 Oracle Cloud 相比超大规模竞争对手拥有最高达 220% 的性价比优势;随着训练规模向吉瓦级设施扩展,其几乎赢得了所有顶尖前沿 AI 实验室的青睐。 演讲者阐述了从简单的生成式 AI 转向以推理为核心的智能体模型的算力变革,后者需要多达 100 倍的 token,因而在推理和训练中均需要前所未有的规模。NVIDIA 概述了应对这一挑战的架构解决方案,包括 Blackwell NVL72 统一域、Grace CPU 到 GPU 高速互连、原生 FP4 精度以及 Dynamo 的解耦服务架构。随后,Oracle 展示了 OCI 如何在数据库向量搜索和嵌入式 SaaS 智能体的支持下,通过主权、边缘和云部署模式向企业提供该平台。演讲最后介绍了 OCI 的 AI Supercluster 架构,该架构利用裸金属实例、3.2 Tbps 无阻塞网络以及吉瓦级数据中心设施,可扩展至多达 13.1 万块 GPU 用于前沿模型训练。 AI 行业正迅速从生成式 AI 转向代理式与物理 AI,因多步推理与思维链处理,推动 Token 需求剧增高达 100 倍。 (0:04) NVIDIA Blackwell NVL72 通过统一的 NVLink 架构将 72 块 GPU 互联为单一计算域,消除混合专家(MoE)模型的网络瓶颈,配合原生 FP4 精度与 C2C 互连大幅推移推理帕累托边界。 (1:57) NVIDIA 推出的 Dynamo 推理服务框架通过解耦计算密集型 Prefill 阶段与内存带宽受限的 Decode 阶段,实现底层硬件 30% 至 40% 的性能提升。 (5:46) Oracle 云基础设施(OCI)正在建设吉瓦级数据中心,包括从 200 MW 扩建至 1.2 GW 的德克萨斯州阿比林园区,并支持单集群部署高达 131,000 块 Blackwell B200 GPU。 (3:39) OCI 支持主权 AI 与边缘部署形态,通过 Dedicated Region Cloud@Customer 与加固型 Roving Edge 设备将全栈加速计算延伸至本地和严苛环境。 (10:07)

精炼阅读摘要

NVIDIA与Oracle Cloud Infrastructure(OCI)阐述了向智能体AI(Agentic AI)演进所带来的算力与架构挑战,展示了涵盖Blackwell硬件、全栈软件以及OCI千兆瓦级(GW)超级集群的端到端技术堆栈。 智能体推理激增驱动算力架构升级 (0:04) Dave Salvator指出,人工智能正从初期的生成式AI向基于思维链推理的智能体AI演进,并最终迈向机器人与边缘自主设备的物理AI。由于智能体系统需要将复杂任务拆解为子目标并执行逐步推理,其推理阶段消耗的Token数量可达传统单次问答系统的100倍。企业在运营上面临着既要满足终端用户低延迟响应,又要维持算力集群高利用率以控制总体拥有成本(TCO)的双重挑战。 针对混合专家模型(MoE)中专家子网络跨GPU密集通信的瓶颈,NVIDIA推出了Blackwell架构与NVL72集群,利用NVLink将72颗GPU整合成统一域,从而提升跨节点吞吐量。此外,GB200通过高带宽片间互连(C2C)绕过标准PCIe总线,使Grace CPU与Blackwell GPU实现高速双向互联,支持GPU动态访问系统内存池以突破显存上限。 软硬件协同推移帕累托能效边界 (3:39) 在模型部署环节,系统整体吞吐量与单用户交互延迟往往相互掣肘。Blackwell架构结合原生FP4低精度计算,推移了推断效率的帕累托边界,使数据中心能够在高饱和运转的同时保持低延迟。此外,NVIDIA推出Dynamo推理服务框架,采用解耦部署架构将计算密集的Prefill(预填充)阶段与受内存带宽限制的Decode(解码)阶段分离,据称可在相同底层硬件上获得30%至40%的性能提升。 为确保基础设施与算力升级节奏同步,NVIDIA维持每年更新架构的规划,包括接下来的Vera CPU与Rubin平台,以及规划于2028年的Feynman架构。为了协助运营商应对直接液冷改造,NVIDIA将GB200 NVL机架设计提交至开放计算项目(OCP),作为高密度液冷部署的开放标准蓝图。 就地计算理念与全形态部署模式 (10:07) Sanjay Basu阐述了OCI的核心策略:将AI算力直接置于企业数据资产所在地,避免大规模数据外流。在应用层,Oracle将自主智能体嵌入Fusion SaaS应用中;在数据层,通过Oracle Database 23ai(集成原生AI向量搜索)、MySQL HeatWave、托管Redis及PostgreSQL提供就地向量检索支持,并提供Meta Llama 3.1/3.2、Cohere和xAI Grok等前沿与开源模型的全托管服务。 为满足不同地区严格的监管和数据驻留合规要求,OCI打破了集中式超大规模区域的局限,提供多形态交付模式。除公有云和政府云(GovCloud)外,OCI通过Dedicated Region Cloud@Customer(DRCC)和Compute Cloud@Customer(C3)将全套NVIDIA加速基础设施引入客户本地机房,并通过搭载NVIDIA L4、L40S和A10 GPU的Roving Edge基础设施为网络隔离场景提供边缘推理支持。 千兆瓦级超大规模互联集群架构 (15:15) 底层基础设施方面,OCI通过消除裸金属实例的虚拟化开销,并采用基于RoCEv2与NVIDIA InfiniBand的无超额配置、无阻塞Clos网络拓扑,提供每节点3.2 Tbps的互连带宽。Basu引用公开的MLPerf基准测试称,OCI实例在性价比上比竞品云厂商最高提升220%,并表示绝大多数前沿大模型开发商均在使用OCI进行大规模预训练。 目前OCI已上线由65,000颗NVIDIA H200组成的单一网络互联训练集群,并正向由131,000颗Blackwell B200构成的超级集群扩展。为支撑这一计算密度,物理数据中心基础设施正从200 kW高密度机架演进至兆瓦乃至千兆瓦(GW)级站点,例如位于德克萨斯州阿比林的Stargate数据中心,规划电力容量正从初期200 MW扩建至1.2 GW。 该方案展示了针对智能体工作负载的软硬件垂直整合蓝图,但其极高密度的计算演进高度依赖液冷设施落地、开放网络协同以及千兆瓦级电力供应的持续到位。

Detailed notes — zh

## Background 本视频由 Ai4 于 2025 年 8 月 24 日发布在 YouTube 平台,由甲骨文(Oracle)云工程高级总监 Sanjay Basu 与英伟达(NVIDIA)加速计算产品总监 Dave Salvator 联合主讲。视频内容主要探讨了部署在甲骨文云基础设施(OCI)上的 NVIDIA 最新 GPU 架构(涵盖 Blackwell、Hopper 与 Ada-Lovelace 等),以及如何利用端到端参考架构优化企业级严苛 AI 负载的运行性能。 ## TL;DR 演讲梳理了 AI 从生成式迈向智能体 AI 与物理 AI 的演进路径,指出推理 Token 激增 100 倍对计算系统带来的巨大挑战。NVIDIA 重点解析了针对 MoE 架构优化的 Blackwell NVL72、C2C 内存直连以及提升 30%–40% 吞吐的 Dynamo 解耦推理技术。随后 Oracle 展示了 OCI 覆盖公有云、主权云及边缘节点的分布式 AI 云布局,并深入介绍了其支持单集群 131,000 颗 Blackwell GPU 互联、供电达吉瓦(GW)级别的超大规模前沿大模型训练集群。 ## Atmosphere & style 整场演讲呈现出专业硬核且节奏干练的科技峰会氛围,开场 Dave 幽默自嘲没有返送屏并调侃两人的演讲照片,迅速打破了严肃的技术距离感。随后两位技术专家进行了流畅的软硬件双重视角交接,从微观的芯片总线带宽、解耦调度,一路铺陈到宏观的 1.2 吉瓦 Stargate 超级数据中心实景。演讲既具备深度的技术架构说服力,又传递出工业级 AI 算力底座在大规模扩展时的宏伟与务实感。 ## Key takeaways - [00:04](https://www.youtube.com/watch?v=0M674LDRdpA&t=4s) AI 发展正从生成式 AI 迈向智能体 AI 与物理 AI,智能体带来的复杂思维链拆解使得推理计算量激增达 100 倍,对系统利用率与低延迟响应提出了极高要求。 - [01:57](https://www.youtube.com/watch?v=0M674LDRdpA&t=117s) Blackwell 架构通过 NVLink Fabric 将 72 颗 GPU 构建为单一的 NVL72 统一域,专为混合专家模型(MoE)不同专家节点间的极速通信与超低延迟协同而设计。 - [01:57](https://www.youtube.com/watch?v=0M674LDRdpA&t=117s) GB200 单元通过芯片到芯片(C2C)高速互联直连 Grace CPU 与 Blackwell GPU,摆脱了传统 PCIe 总线带宽瓶颈,实现显存与系统内存的高速双向扩展。 - [03:39](https://www.youtube.com/watch?v=0M674LDRdpA&t=219s) 结合 Blackwell 架构与 NVIDIA FP4 精度,AI 推理的帕累托曲线整体向右上推移,使 AI 工厂能够在维持极高硬件利用率的同时交付极佳的低延迟交互体验。 - [03:39](https://www.youtube.com/watch?v=0M674LDRdpA&t=219s) Oracle 在得克萨斯州阿比林建设的 Stargate 超级数据中心现已具备 200MW 装机容量,未来规划将持续扩张至 1.2GW 乃至 2.6GW 级别的吉瓦级电力规模。 - [05:46](https://www.youtube.com/watch?v=0M674LDRdpA&t=346s) 软硬件协同是降本增效的核心,NVIDIA CUDA-X 软件栈与 OCI 深度集成,通过底层算法持续调优在不改动硬件的前提下摊薄客户的 TCO。 - [05:46](https://www.youtube.com/watch?v=0M674LDRdpA&t=346s) 开源推理服务框架 Dynamo 引入 Prefill 与 Decode 解耦调度机制,针对算力敏感与访存带宽敏感阶段分别优化,可直接带来 30% 至 40% 的推理性能飞跃。 - [08:50](https://www.youtube.com/watch?v=0M674LDRdpA&t=530s) NVIDIA 保持每年推出一代新架构的技术节奏,并已将 GB200 MGX 液冷机架参考设计正式捐赠给 OCP 联盟,协助生态伙伴加速推进液冷数据中心落地。 - [10:07](https://www.youtube.com/watch?v=0M674LDRdpA&t=607s) 现代企业应用正步入具备自主判断与规划的智能体时代,OCI 将搭载 NVIDIA 算力的基础设施无缝覆盖至公有云、政府云、主权区域及本地边缘节点。 - [12:33](https://www.youtube.com/watch?v=0M674LDRdpA&t=753s) OCI 践行“推理直接带到数据所在之处”策略,通过 Oracle Database 23ai 原生向量检索与托管主流大模型,支持企业快速编排端到端智能体工作流。 - [15:16](https://www.youtube.com/watch?v=0M674LDRdpA&t=916s) OCI AI 超级集群基于 3.2 Tbps 无阻塞 Clos 网络构建,单集群已稳定上线 65,000 颗 H200 GPU,并正在规划部署 131,000 颗 Blackwell GPU 的超大规模集群。 - [15:16](https://www.youtube.com/watch?v=0M674LDRdpA&t=916s) 全球绝大多数顶尖前沿大模型提供商均已选择在 OCI 上进行大规模分布式训练,在 MLPerf 基准测试中 OCI 的单位经济效益最高领先其他头部云厂商 220%。 ## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=0M674LDRdpA&t=4s) 演进轨迹:从生成式 AI、智能体 AI 到物理 AI NVIDIA 加速计算产品总监 Dave Salvator 开场幽默地调侃现场没有返送监视器,两位演讲者只能不时回头看大屏幕,并指着幻灯片上两人的证件照片开玩笑说“可能在邮局通缉令上见过”。他随后切入正题,介绍了本次演讲的分工:先由他梳理 NVIDIA 的加速计算平台与最新架构,再由 Oracle 云工程高级总监 Sanjay Basu 介绍 Oracle 如何将该平台落地到云端并向企业客户开放。 ```mermaid flowchart LR accTitle: AI演进发展轨迹 A["生成式 AI (Generative AI)<br/>基础输入输出"] --> B["智能体 AI (Agentic AI)<br/>复杂推理与思维链"] B --> C["物理 AI (Physical AI)<br/>边缘自动设备与机器人"] ``` Dave 指出,AI 技术正经历从**生成式 AI(Generative AI)**迈向**智能体 AI(Agentic AI)**,并最终走向以自主边缘设备、机器人等为代表的**物理 AI(Physical AI)**的演进路径。这一转变带来了计算需求的剧烈阶跃(stair step),无论是在模型训练还是在推理侧,算力消耗都呈爆发式增长: - **推理 Token 激增**:在推理阶段,智能体 AI 所需的推理计算量预计将达到以往实现的 **100 倍(100x)**。 - **思维链与问题分解**:传统的生成式 AI 主要处理简单的输入(Prompt)和输出(Completion)Token;而推理型/智能体 AI 会在中间生成海量的“推理 Token(Reasoning Tokens)”。它不再停留在基础的知识库一问一答,而是将复杂问题拆解为多个子问题逐步求解,并以更透明的“思维链(Chain of Thought)”方式呈现。 - **系统核心挑战**:企业部署面临的核心难题,在于如何在保证优秀用户响应体验(低延迟)的同时,维持整个系统的高利用率(High System Utilization),从而实现高性价比的服务交付。 --- ### [01:57](https://www.youtube.com/watch?v=0M674LDRdpA&t=117s) Blackwell 架构创新:NVLink 72、C2C 互联与混合专家模型(MoE) 针对上述算力与协同挑战,Dave 重点介绍了 NVIDIA 推出的 Blackwell 架构以及即将推向市场的 Blackwell Ultra 架构。通过自研的 NVLink Fabric 技术,NVIDIA 成功将 72 颗 GPU 互联成一个单一的统一域(NVLink Domain)——即 **NVL72**,使其在逻辑上运作得宛如“一颗超大型 GPU”。 ```mermaid flowchart TD accTitle: NVL72 与 Grace Blackwell 互联架构 subgraph Compute_Node ["GB200 计算单元"] CPU["Grace CPU (ARM 架构)"] GPU1["Blackwell GPU 1"] GPU2["Blackwell GPU 2"] CPU <-->|"C2C 高速互联 (优于 PCIe)"| GPU1 CPU <-->|"C2C 高速互联 (优于 PCIe)"| GPU2 end GPU1 & GPU2 <-->|"NVLink Fabric 统一互联"| NVLDomain["72 颗 GPU 统一 NVLink 域<br/>(超低延迟 MoE 专家间通信)"] ``` 这一全新架构为当前主流的模型设计带来了巨大的架构红利: - **专为 MoE(Mixture of Experts)设计**:现代智能体应用普遍采用混合专家架构,将不同的专家模块部署在不同 GPU 上。NVLink 提供了极高的跨 GPU 通信吞吐与超低延迟,专家节点通信越快,系统性能越强,从而直接降低总拥有成本(TCO)。 - **Grace CPU 与 GPU 对等互联(C2C Link)**:在 GB200 系统中,每两颗 Blackwell GPU 搭配一颗 ARM 架构的 Grace CPU,二者通过专有的芯片到芯片(C2C, Chip-to-Chip)链路直连。这种设计彻底摆脱了传统 PCIe 总线的带宽瓶颈,实现了 GPU 显存与系统内存(System Memory)之间的极速双向按需迁移与大范围内存扩展。 --- ### [03:39](https://www.youtube.com/watch?v=0M674LDRdpA&t=219s) 帕累托曲线优化与 Oracle 超级数据中心规模 在讨论推理服务性能时,Dave 引入了**帕累托曲线(Pareto Curve)**的概念。在 AI 推理中,系统响应速度(低延迟)与系统吞吐量/利用率之间存在天然的权衡博弈。优化一个指标往往会牺牲另一个,企业必须在二者之间寻找最佳平衡点。 ```mermaid flowchart LR accTitle: 从 Hopper 到 Blackwell 的帕累托曲线提升 A["Hopper 架构 (FP8/FP16)"] -->|"升级至 Blackwell + FP4"| B["帕累托曲线整体向右上移动<br/>(同等低延迟下实现更高系统利用率与吞吐)"] ``` 从 Hopper 架构跨越到 Blackwell 架构并引入 **NVIDIA FP4** 精度支持后,整个帕累托曲线被显著“向右上推移”: - 数据中心(现称为 **AI 工厂 / AI Factories**)的输出效率大幅提升。 - 允许运营商在维持超高硬件利用率(最大化硬件投资价值)的同时,为更多并发用户提供低延迟的极致交互体验。 Dave 随后展示了 Oracle 正在美国得克萨斯州阿比林(Abilene, Texas)建设的 **Stargate 超级数据中心**实景: - 该园区当前装机容量已达 **200 兆瓦(MW)**。 - 规划目标将扩展为高达 **1.2 吉瓦(GW / Gigawatt)** 级别的超大规模 AI 计算基地。 - Oracle 正全面部署 NVIDIA B200 与 GB200(Grace Blackwell 200),并在全美多地加速兴建类似规模的 AI 基础设施。 --- ### [05:46](https://www.youtube.com/watch?v=0M674LDRdpA&t=346s) 全栈软件生态:CUDA-X、Dynamo 解耦推理与 DGX Cloud Dave 强调,“硬件只是起点,没有生态系统支持和成熟的软件栈,硬件无法单独解决任何问题”。NVIDIA 平台的核心竞争力在于软硬件协同的全栈闭环: - **CUDA-X 软件库集群**:历经多年迭代沉淀了数百个加速库,横跨生成式 AI、科学模拟以及高性能计算(HPC)。通过底层算法持续优化,在不更换硬件的前提下不断压榨出额外性能,进一步摊薄客户的 TCO。 - **与 Oracle 云(OCI)的深度集成**:NVIDIA 顶层应用及加速库深度内嵌在 Oracle Cloud 服务的底层与上层架构中。 ```mermaid flowchart TD accTitle: Dynamo 解耦推理机制 subgraph Disaggregated_Serving ["Dynamo 解耦推理架构"] Request["推理请求"] --> Prefill["Prefill 计算阶段<br/>(计算敏感型算力节点)"] Prefill --> Decode["Decode 生成阶段<br/>(访存带宽敏感型算力节点)"] Decode --> Output["响应输出"] end ``` 针对 AI 推理服务架构,Dave 重点介绍了全新推出的开源推理服务框架 **Dynamo** 及其核心的**解耦服务(Disaggregated Serving)**机制: - **分离 Prefill 与 Decode 阶段**:传统推理将 Prompt 预填充(Prefill)与逐 Token 解码(Decode)混合在同一计算单元上,而两者对算力(Compute-bound)与显存带宽(Memory bandwidth-bound)的敏感度完全不同。 - **显著性能提升**:通过物理或逻辑上的解耦调度,在同等硬件平台上可直接带来 **30% 至 40%** 的性能飞跃,对大规模部署的经济效益产生决定性影响。 - **Oracle Cloud 上的 DGX Cloud 服务**:为缺乏全套自建 AI 运维经验的企业提供托管方案,客户不仅能获得 Oracle 官方的云基础设施支持,还能直接享有 NVIDIA 原厂的企业级专业技术支持与运维保障。 ### [08:50](https://www.youtube.com/watch?v=0M674LDRdpA&t=530s) NVIDIA 架构演进与 MGX 液冷参考设计 NVIDIA 正在以每年一次的强劲节奏向市场持续交付全新架构。除了备受瞩目的新一代 GPU 外,CPU 架构也在同步高速迭代:即将推出的 Vera CPU 将作为 Rubin 平台的核心组件于明年正式推向市场;放眼更长远的技术演进路径,路线图甚至已经延伸到了 2028 年的 Feynman(费曼)架构。为了让整个行业和生态伙伴能够跟上这股前所未有的创新步伐,NVIDIA 主动向业界全面公开了未来数年的产品规划细节,使数据中心建设者和云厂商能够提早做好基础设施层面的规划与改造。 为了解决极高算力密度带来的散热与部署难题,NVIDIA 推出了模块化的 MGX 参考架构设计。其中,专为 GB200 打造的机架参考设计已正式捐赠给开放计算项目(Open Compute Project, OCP),成为 OCP 官方标准参考设计之一。这一举措极大地降低了合作伙伴部署液冷数据中心的门槛,帮助众多首次涉足液冷技术的企业大幅缩短了系统上市时间(Time to Market)。面对 AI 模型能力呈指数级爆发的现状,唯有通过端到端系统架构的极致性能,才能兑现新一代 AI 技术的算力承诺。随后,演讲正式交接给甲骨文云基础设施(OCI)团队。 - **CPU 与平台演进**:Vera CPU 将搭载于 Rubin 平台并于次年发布,长线规划已延伸至 2028 年的 Feynman 架构。 - **开源机架标准**:GB200 MGX 液冷机架设计已贡献给 OCP 联盟,协助生态伙伴加速推进液冷数据中心的大规模落地。 --- ### [10:07](https://www.youtube.com/watch?v=0M674LDRdpA&t=607s) 智能体时代来临与 OCI 全场景 AI 云布局 AI 模型的微调、训练与爆发式增长,本质目的在于让企业级应用具备真正的智能化。信息技术发展史上首次迎来了能够赋予应用“自主性(Agency)”的转折点——现代应用程序不再只是按固定逻辑执行代码,而是具备了自主判断(Self-determination)、逻辑推理(Reasoning)以及多步规划(Planning)的能力。要支撑这种由数以亿计代码与复杂模型构建的智能体工作流,底层必须依赖数百万级计算核心的协同加速。OCI 将 NVIDIA 顶尖硬件、弹性伸缩机制、精准计量与极简易用性打包为统一的云服务体系。 与其他超大规模云厂商(Hyperscalers)截然不同的是,OCI 将搭载 NVIDIA 算力的 AI 基础设施无缝渗透到了客户所需的每一个物理边界: - **公共云区域(Public Regions)与政府云(GovCloud)**:面向通用公有云需求与严苛合规场景。 - **专属区域与主权 AI(Dedicated Region Cloud@Customer / Sovereign AI)**:为监管严苛或拥有既有数据中心的企业直接交付“本地化 OCI 云”。 - **计算云客户化(Compute Cloud@Customer / C3)**:在企业本地机房提供一致的 OCI 计算体验。 - **边缘算力(Roving Edge Infrastructure)**:联合 NVIDIA 部署 L4、L40S 和 A10 GPU,满足边缘端实时低延迟推理需求。 ```mermaid flowchart TD accTitle: OCI 全场景分布式 AI 部署架构 accDescr: 展示 OCI 如何将 NVIDIA 算力部署于公有云、政府云、主权区域及边缘节点 subgraph CloudCore ["核心公有云与主权云"] A["OCI Public Region 公有云"] B["GovCloud 政府合规云"] C["Dedicated Region 主权 AI"] end subgraph DistributedEdge ["客户本地与边缘计算"] D["Compute Cloud@Customer (C3)"] E["Roving Edge 边缘节点<br/>(NVIDIA L4 / L40S / A10)"] end CloudCore --> DistributedEdge ``` --- ### [12:33](https://www.youtube.com/watch?v=0M674LDRdpA&t=753s) 融合数据层与生成式 AI 智能体生态 在企业应用层面,OCI 的核心策略是“将推理与智能体直接带到数据所在之处”。无论是 Oracle 旗下的原生 SaaS 产品还是 Fusion 云应用,都已经全面内嵌了自主智能体能力;对于非 Oracle 的第三方业务系统,则可通过 OCI AI Services 实现灵活的智能接入。在底层数据库与存储矩阵中,OCI 提供了集成本地向量检索能力的 Oracle Database 23ai、全托管 MySQL HeatWave,以及托管 Redis 和托管 PostgreSQL,确保所有企业数据与智能体均运行在由 NVIDIA 算力加速的高效底座之上。 在模型构建与生成式 AI 平台方面,OCI 提供了丰富的全托管主流基础大模型支持,包括 xAI 的 Grok 系列、Cohere 模型以及 Meta 发布的 Llama 3.1 和 3.2 系列。开发者可以直接基于 OCI Data Science 平台与原生 AI 服务编排复杂的智能体工作流,亦可直接采用 NVIDIA AI Enterprise Blueprints(企业参考蓝图)快速落地特定场景解决方案。整套软硬件协同方案使用户无需在底层基础设施运维上耗费精力,专注于业务逻辑与智能体创新。 | 层次 | 核心产品与技术组件 | 关键能力与 NVIDIA 协同 | |:--- |:--- |:--- | | **SaaS / 业务应用层** | Fusion Applications、原生 AI Services | 内置智能化 Agent,就地完成业务推理与决策 | | **数据与存储层** | Oracle Database 23ai、MySQL HeatWave、托管 Redis/PostgreSQL | 原生向量搜索(Vector Search)与高并发数据检索引擎 | | **生成式 AI / 模型层** | OCI GenAI 平台、xAI Grok、Cohere、Meta Llama 3.1/3.2 | 提供全托管基础模型,支持微调、提示词工程与评估 | | **平台服务与蓝图** | OCI Data Science、NVIDIA AI Enterprise Blueprints | 快速构建多智能体编排工作流,开箱即用参考架构 | --- ### [15:16](https://www.youtube.com/watch?v=0M674LDRdpA&t=916s) OCI AI 超级集群架构与前沿大模型基础设施 OCI AI 基础设施的核心竞争力在于其顶尖的硬件性能与网络架构。在权威 MLPerf 基准测试中,OCI 展现出的单位经济效益与吞吐表现相较于其他头部超大规模云厂商最高领先 220%。这一性能飞跃归功于 OCI 打造的超大规模计算集群——“超级集群(Supercluster)”。该集群支持从 2 个裸金属节点平滑扩展至单个集群内的 131,000 个节点/GPU,底层采用了无超配、无阻塞的 Clos 网络架构(Non-blocking Clos Network),提供高达 3.2 Tbps 的横向互联带宽,并同时支持基于以太网的 RoCEv2 与 InfiniBand 两种高速网络协议。 在前沿大模型(Frontier Models)训练领域,除了一家特定机构外,全球绝大多数顶尖大模型提供商均已选择在 OCI 上进行大规模分布式训练。目前 OCI 已在线稳定运行包含 65,000 颗 H200 GPU 的单一超大训练集群,并正全力构建搭载 131,000 颗 Blackwell 系列 GPU(B200 / GB200)的下一代超级算力集群。为承载如此密集的计算负荷,OCI 的数据中心供电规划正从现有的数百兆瓦级稳步跨越至 1.2 吉瓦乃至 2.6 吉瓦规模,整套系统在上层通过开源的托管调度与编排服务实现高效管理,为全球 AI 创新提供工业级的算力底座。 - **前沿模型客户群**:“除了少数个别厂商外,全球几乎所有的前沿大模型提供商都运行在 OCI 之上。” - **超大集群规模**:单集群已上线 65,000 颗 H200 GPU,下一阶段将扩展至 131,000 颗 Blackwell GPU。 - **极致网络架构**:3.2 Tbps 双协议(RoCEv2 与 InfiniBand)无阻塞 Clos 网络,消除大规模并行训练的通信瓶颈。 - **能源基础设施**:支持单数据中心集群供电能力向吉瓦(GW)级别持续跃升。 ## Notable quotes > [00:04](https://www.youtube.com/watch?v=0M674LDRdpA&t=4s) 可能在邮局通缉令上见过 — Dave Salvator > [00:04](https://www.youtube.com/watch?v=0M674LDRdpA&t=4s) 在推理阶段,智能体 AI 所需的推理计算量预计将达到以往实现的 100 倍(100x)。 — Dave Salvator > [01:57](https://www.youtube.com/watch?v=0M674LDRdpA&t=117s) 一颗超大型 GPU — Dave Salvator > [03:39](https://www.youtube.com/watch?v=0M674LDRdpA&t=219s) AI 工厂 / AI Factories — Dave Salvator > [05:46](https://www.youtube.com/watch?v=0M674LDRdpA&t=346s) 硬件只是起点,没有生态系统支持和成熟的软件栈,硬件无法单独解决任何问题 — Dave Salvator > [12:33](https://www.youtube.com/watch?v=0M674LDRdpA&t=753s) 将推理与智能体直接带到数据所在之处 — Sanjay Basu > [15:16](https://www.youtube.com/watch?v=0M674LDRdpA&t=916s) 除了少数个别厂商外,全球几乎所有的前沿大模型提供商都运行在 OCI 之上。 — Sanjay Basu > [15:16](https://www.youtube.com/watch?v=0M674LDRdpA&t=916s) 超级集群(Supercluster) — Sanjay Basu ## Mentioned Sanjay Basu, Dave Salvator, NVIDIA, Oracle, Oracle Cloud Infrastructure (OCI), Blackwell, Blackwell Ultra, Hopper, Ada-Lovelace, GB200, B200, H200, L4, L40S, A10, NVLink, NVLink 72 (NVL72), Grace CPU, Vera CPU, Rubin, Feynman, CUDA-X, Dynamo, DGX Cloud, MGX, Open Compute Project (OCP), Stargate 超级数据中心, Oracle Database 23ai, MySQL HeatWave, Fusion Applications, OCI Data Science, NVIDIA AI Enterprise Blueprints, xAI Grok, Cohere, Meta Llama 3.1, Meta Llama 3.2, MLPerf, Clos 网络, RoCEv2, InfiniBand ## Video description Sanjay Basu, Senior Director, AI/GPU - Cloud Engineering, Oracle Dave Salvator, Director of Accelerated Computing Products, NVIDIA Abstracts Model complexity and data sources are on the rise, creating new challenges and opportunities. This session will explore how the latest advancements in NVIDIA's cutting-edge GPU infrastructure platforms on Oracle Cloud Infrastructure (OCI)—including the Blackwell, Hopper, and Ada-Lovelace architectures—can effectively meet the evolving needs of next-generation models. Attendees will learn how to optimize their AI infrastructure deployment using NVIDIA's comprehensive end-to-end reference architecture, which integrates seamlessly with OCI to deliver exceptional performance tailored for demanding AI workloads. [Source](https://www.youtube.com/watch?v=0M674LDRdpA)

Source quotes

[0:04] Dave Salvator: 可能在邮局通缉令上见过 [0:04] Dave Salvator: 在推理阶段,智能体 AI 所需的推理计算量预计将达到以往实现的 100 倍(100x)。 [1:57] Dave Salvator: 一颗超大型 GPU [3:39] Dave Salvator: AI 工厂 / AI Factories [5:46] Dave Salvator: 硬件只是起点,没有生态系统支持和成熟的软件栈,硬件无法单独解决任何问题 [12:33] Sanjay Basu: 将推理与智能体直接带到数据所在之处 [15:16] Sanjay Basu: 除了少数个别厂商外,全球几乎所有的前沿大模型提供商都运行在 OCI 之上。 [15:16] Sanjay Basu: 超级集群(Supercluster)