维谛技术联手算力巨头重构AI数据中心

万卡集群的AI数据中心，到底是如何运作的？【硅谷101】 — 硅谷101

硅谷101

GPU智算芯片的跨代升级令单机柜功率密度飙升至100千瓦以上，迫使传统风冷与零散供电系统全面转向氟侧自然冷及一体化预制模组。

AI-assisted summary of 万卡集群的AI数据中心，到底是如何运作的？【硅谷101】 — original source. Check the original for full context.

Source published:

Detailed notes

## Background 该视频由“硅谷101”于2024年10月31日发布在Bilibili平台上。视频简介指出，随着AI模型对算力需求的激增，作为基础设施的数据中心正面临功率密度飙升、水资源巨大消耗、电力供应紧张以及部署速度紧迫等前所未有的挑战。本期视频邀请了维谛技术的多位专家，共同解析AI爆发给数据中心基础设施带来的巨大挑战与机遇。

## TL;DR 视频深入探讨了AI爆发背景下，智算数据中心在基础设施层面所遭遇的四大核心挑战。随着GPU取代传统CPU，单机柜功率密度从过去的3-5千瓦狂飙至最高100千瓦以上，直接倒逼冷却系统与供电系统的全面变革。内容详细解析了液冷技术带来的耗水与“抢水”争议、氟侧自然冷等前沿制冷方案、供电系统的空间危机与一体化电力模组破局，以及通过“正交胶合木”和模块化预制化技术实现数据中心像搭乐高一样快速部署的行业最新趋势。

## Atmosphere & style 视频整体呈现出一种兼具科技震撼感与理性思辨的硬核科普氛围。开篇以xAI孟菲斯十万卡集群引发的环保抗议切入，迅速营造出一种“冰山之下”危机四伏的紧迫感。随着维谛技术专家的接连登场，叙事风格在宏大叙事与细致的技术解构之间流畅切换，将复杂的显热潜热交换、电力模组架构等冰冷硬核的技术细节剖析得通俗易懂。观众不仅能感受到全球AI算力大战在前线冲锋的火热，更能真切体会到幕后基础设施保障在节能、空间与速度博弈中的精妙与不易。

## Key takeaways - [00:00](https://www.bilibili.com/video/BV1b6SEYAEWR?t=0s) xAI在孟菲斯启动了全球最强AI训练集群（包含10万卡液冷H100），由于其巨大的水耗和电耗给当地基础设施带来沉重负担，引发了强烈抗议。 - [00:45](https://www.bilibili.com/video/BV1b6SEYAEWR?t=45s) 数据中心物理结构主要由主机房、供电系统和冷却系统三大系统组成，彼此各司其职，共同保障核心计算功能的稳定运行。 - [02:45](https://www.bilibili.com/video/BV1b6SEYAEWR?t=165s) 数据中心正从传统CPU通用计算向GPU智算中心变革，单机柜功率密度从过去的3-5千瓦飙升至10-100千瓦以上，给基础设施带来四大严峻挑战。 - [04:59](https://www.bilibili.com/video/BV1b6SEYAEWR?t=299s) 芯片对温度极度敏感，在超高功率密度下，一旦冷却系统发生故障，机房温度会在一两分钟内飙升并导致系统直接宕机，倒逼冷却系统从风冷向液冷转变。 - [06:40](https://www.bilibili.com/video/BV1b6SEYAEWR?t=400s) 液冷数据中心因蒸发耗水量巨大而引发多地环保人士抗议，其耗水主要源于一次侧在室外通过水的“潜热交换”（蒸发吸热）来释放热量。 - [08:10](https://www.bilibili.com/video/BV1b6SEYAEWR?t=490s) 数据中心为了防止设备腐蚀和结垢，对水质要求极高，耗水来源中有57%是饮用水，这导致其在干旱地区直接与当地居民“抢水”。 - [09:59](https://www.bilibili.com/video/BV1b6SEYAEWR?t=599s) 为了解决能耗与水耗，企业尝试了海底数据中心等极端创新方案，但由于壳体密封、耐压防腐等高昂的技术和部署成本，短期内难以大规模普及。 - [11:02](https://www.bilibili.com/video/BV1b6SEYAEWR?t=662s) 冷却系统用电量通常占数据中心平均电耗的40%，盲目通过提高送风温度来省电会极大地缩窄温度缓冲区间，带来严重的服务器大面积故障风险。 - [13:02](https://www.bilibili.com/video/BV1b6SEYAEWR?t=782s) 针对降低冷却能耗的需求，行业提出了自然冷技术，其中“氟侧自然冷”作为一种完全无水的解决方案，成为目前兼顾省电与省水的最佳方向。 - [14:59](https://www.bilibili.com/video/BV1b6SEYAEWR?t=899s) “数据中心的尽头其实是电力”，单机柜功率密度的大幅提升导致配电和供电设备的占地面积呈指数级增加，使IT机房与工配电房的面积占比严重失衡。 - [16:47](https://www.bilibili.com/video/BV1b6SEYAEWR?t=1007s) 传统供电系统结构复杂且设备分散占用大量空间，而GPU的更新换代周期远短于数据中心的设计寿命，使得旧机房难以直接升级。 - [18:33](https://www.bilibili.com/video/BV1b6SEYAEWR?t=1113s) 行业推出了“设备一体化”的全新方向，如维谛技术的电力模组，通过融合多套设备和优化设计，可将传统电力设施的占地面积缩小30%至50%。 - [19:30](https://www.bilibili.com/video/BV1b6SEYAEWR?t=1170s) 在供电系统传输效率和扩容方面，行业正在通过采用碳化硅产品、多晶合金变压器、铜排代替线缆以及推出1000安培小母线等手段进行技术升级。 - [19:59](https://www.bilibili.com/video/BV1b6SEYAEWR?t=1199s) 在AI大战背景下数据中心的建设部署速度成为核心竞争力，行业开始尝试使用“正交胶合木（CLT）”等预制化建筑材料来大幅加快建设速度。 - [21:25](https://www.bilibili.com/video/BV1b6SEYAEWR?t=1285s) 为了应对极速交付的挑战，维谛技术推出360 AI智算解决方案，通过全套预制化部署，可协助客户将智算中心的建设时间缩短约50%。 - [22:15](https://www.bilibili.com/video/BV1b6SEYAEWR?t=1335s) 面对不同客户群体在“高可靠性”与“极速部署/低成本”之间的定制化矛盾，行业采用“模块化预制”的思路，基于标准化组件库像搭乐高一样进行高效率组装。

## Detailed walkthrough ### [00:00](https://www.bilibili.com/video/BV1b6SEYAEWR?t=0s) 10万卡集群的震撼与数据中心冰山下的挑战

2014年7月22日凌晨，xAI创始人Elon Musk在推特上正式宣布，在凌晨4点20分启动了世界上最强的AI训练集群。这个位于美国田纳西州孟菲斯市的巨型集群，集成了10万个液冷的NVIDIA H100芯片。然而，这一科技奇迹在当地却引发了居民和市议会成员的强烈抗议与不满。原因在于，这样一个庞然大物每天要消耗高达100万加仑的水和150兆瓦的电力，给当地的电网、水源和天然气供应带来了沉重的负担。随着万卡甚至十万卡集群成为科技巨头训练AI大模型的标配，人们不得不开始关注这些巨型数据中心背后，那些如同“冰山藏在水下”的关键基础设施。

数据中心从物理结构上主要划分为三个系统：主机房、供电系统和冷却系统。如果把数据中心类比成一支军队，主机房里陈列的一排排机柜就像是在前线征战的士兵，承担着核心的计算功能；而冷却系统与供电系统则是后方的保障机构，分别负责保障士兵的健康安全（散热）以及粮草的运送与分配（电力）。此外，还有维护兵器等的综合管理系统。它们虽然不在一线显山露水，却起到了决定性的关键作用。

如今，数据中心正经历从通用计算向专用计算的变革，以AI为主的“智算数据中心”成为主流，主力芯片也从传统的CPU变成了GPU。在过去十多年里，传统的CPU一直采用X86架构，功耗相对标准和恒定，数据中心的平均单机柜功率密度长期维持在3到5千瓦左右。然而，AI模型的推理和训练需要集中大量的GPU进行并行的浮点运算，并在极小的空间内通过高速互联通信进行集群协作。这导致单机柜的功率密度迅速飙升，从过去的5千瓦，提高到10千瓦、20千瓦、40千瓦，甚至80千瓦到100千瓦以上。这种功率密度的爆发式增长，给基础设施带来了四大严峻挑战：散热能力的极限、高效能源的供应、设备占地面积的控制，以及建设部署的速度。

- **xAI孟菲斯集群规模**：10万个液冷H100芯片，每日消耗100万加仑水，电力需求达150兆瓦。 - **传统与现代机柜功率对比**：传统CPU机柜约为3-5千瓦；现代GPU智算机柜已飙升至10-100千瓦以上。 - **智算中心四大基础设施挑战**：散热挑战、高效率供电挑战、占地面积挑战、快速部署挑战。

---

[04:59](https://www.bilibili.com/video/BV1b6SEYAEWR?t=299s) 冷却系统的“水深火热”：为什么AI会与人类抢水？

电子器件在运行时会产生大量热量，而芯片对温度极其敏感。如果温度过高，轻则触发自我保护机制降低运行频率，重则导致服务器故障、业务中断甚至硬件烧毁。在单机柜功率达到10千瓦以上时，一旦冷却系统发生故障，根据仿真经验，机房温度可能在短短一两分钟内就会飙升到30多度甚至40度，直接导致系统宕机。因此，算力的升级直接倒逼了冷却系统的变革。然而，正是从风冷向液冷的转变，引发了全球多地环保人士的抵制。除了xAI之外，2023年乌拉圭民众曾联合抗议谷歌建设数据中心，新墨西哥州的农民也抗议Meta数据中心的迁入，其核心原因就是这些数据中心耗水量巨大，加剧了当地的干旱。

要理解为什么液冷会消耗如此多的水，需要先了解冷却系统的分类。目前主要分为风冷与液冷。风冷数据中心内部通常噪音极大，这正是机柜内风扇高速运转的声音。风扇将芯片热量散发到空气中，再通过空调对空气进行降温。但空气的热交换效率较低，在超高功率密度下，必须采用效率更高的液体介质。液冷主要分为冷板液冷和浸没液冷（国内还有喷淋液冷）。冷板液冷让冷板与芯片紧密贴合，通过冷却液将热量带走；而浸没液冷则是将整个主板浸泡在特定液体中。不过，目前主流的GPU设备大多是按照冷板液冷的规格开发的，因此浸没式并不太适用。

液冷系统分为一次侧和二次侧。二次侧由冷却分发单元（CDU）将冷水分配到各个机柜中进行热交换；而一次侧则负责将整体热量带走，目前大部分一次侧仍采用水冷方式，在室外通过水的“显热交换”（水温升高但不改变物理状态）和“潜热交换”（水发生相变，如蒸发吸热）来释放热量。正是因为水的蒸发，导致了大量的水消耗。有人会问，水蒸发后不是还会变成雨降下来吗？为什么算浪费？首先，水蒸发成云后会飘向何处降落无法控制，这相当于把原本属于当地的地下水资源“抽走”并运送到了其他地方，加剧了本地的干旱；其次，数据中心为了防止设备腐蚀和结垢，对水质要求极高。如果水质偏酸或偏碱会腐蚀换热设备，而钙镁离子含量高则会像烧开水一样产生水垢。一旦换热设备表面附着水垢，其散热效率可能会从200千瓦衰减到80千瓦甚至更低。因此，数据中心必须使用高质量的饮用水，这直接导致了其与当地居民“抢水”的局面。

- **数据中心耗水数据**：每个数据中心平均每天消耗100万到500万加仑的水。GPT-3在训练期间消耗了700万吨水；在后续推理阶段，每回答20个问题就相当于倒掉一瓶500毫升的矿泉水。 - **耗水来源**：根据《数据中心用水调查报告》，数据中心耗水来源中有57%是饮用水。 - **显热与潜热交换**：显热交换指水在升温过程中吸收热量（状态不变）；潜热交换指水在蒸发等相变过程中吸收热量（温度不变）。

---

[09:59](https://www.bilibili.com/video/BV1b6SEYAEWR?t=599s) 节能与环保的博弈：海底数据中心与自然冷技术

为了解决耗水和能耗问题，一些企业尝试了极端的创新方案，比如建设“海底数据中心”。这种方案将服务器放置在密封的壳体内并沉入海底，直接利用低温海水为壳体降温，不需要额外补充机械能。听上去这既节能又环保，但维谛技术（Vertiv）的专家指出，这在商业上需要算一笔复杂的“经济账”。海底数据中心对壳体密封、海底光缆和电缆的耐压防腐等技术提出了极高要求，研发和部署成本极高，短期内难以大规模普及。

与此同时，冷却系统的用电量也一直居高不下，通常占到数据中心平均电耗的40%。为了省电，一些巨头尝试提高冷却系统的设定温度。有论文研究表明，数据中心每将送风温度提高1摄氏度，可以降低大约2%到5%的制冷功率。因此，行业内出现了一种将冷却温度从75华氏度（约24°C）提高到85华氏度（约29°C）的趋势，连谷歌也采用了这种做法。但这种做法非常危险，因为它极大地缩窄了系统应对突发状况的温度缓冲区间。例如在2021年，新加坡一家数据中心运营商为了节省电费，将温度提高到了危险的临界水平，结果导致服务器大面积故障，宕机持续了将近一周，得不偿失。

为了安全且高效地降低能耗，维谛技术的专家提出了降低冷却能耗的三大“自然冷”（Free Cooling）方向：风侧自然冷、水侧自然冷和氟侧自然冷。自然冷是指利用室外低温冷源来给室内降温。风侧自然冷受地理和空气质量限制较大，且需要引入新风；水侧自然冷则因为蒸发耗水量太大而受到环保制约。目前，既省电又省水的最佳方案是“氟侧自然冷”。这是一种完全无水的制冷解决方案，依靠氟泵和冷媒来实现热量交换，不需要消耗水。然而，这种方式对技术储备要求极高，如何精准控制氟泵与压缩机之间的稳定切换、延长氟泵工作时间，是行业面临的技术难点。

- **冷却系统能耗占比**：通常占数据中心总电耗的40%左右。 - **温度与功耗关系**：送风温度每提高1°C，可降低约2%-5%的制冷功耗。 - **自然冷三大方向**：风侧自然冷（受空气质量限制）、水侧自然冷（耗水量大）、氟侧自然冷（无水、技术难度最高）。

---

[14:59](https://www.bilibili.com/video/BV1b6SEYAEWR?t=899s) 供电系统的空间危机与“一体化”破局

除了冷却系统，芯片的频繁升级也给老旧数据中心的改造带来了巨大挑战。在AI爆发之前，数据中心以风冷为主，单机柜功率密度多在5到6千瓦左右。如今要升级为智算中心，不仅要加定制冷设备，还要额外补充液冷部分。然而，许多企业发现旧机房根本无法直接升级，甚至不得不选择重建。这其中的核心瓶颈在于“空间”与“电力”。行业内有一句名言：“数据中心的尽头其实是电力”。当单机柜功率密度从6千瓦提升到40千瓦（提升了6倍多）时，虽然所需的机柜数量减少了，但配电和供电设备的占地面积却呈指数级增加，导致IT机房与工配电房的面积占比严重失衡。

为了让大家理解供电系统的复杂性，专家介绍了其四个层级的结构：试电或发电机将电能输送到变配电系统，变配电系统给冷却系统和不间断电源（UPS）供电，UPS再将电能送至主机房的电源分配单元（PDU），最后由PDU分配给每个机柜。其中，发电机用于应对市电故障，而UPS则包含大容量电池，能在发电机启动前的5到15分钟内提供过渡电力。传统的供电系统由不同厂家的中压室、低压室、电力室和电池室组成，设备分散、物理连接线缆繁多，中间留有大量间隙，极其占用空间。

由于数据中心的设计寿命通常为20到30年，而GPU的更新换代周期仅为3到5年，企业不可能每隔几年就推倒重建。为此，行业推出了“设备一体化”的全新方向。维谛技术推出了交流、直流、工配电一体化的“电力模组”，将UPS、工配电、变压器、补偿和配电柜等多个产品融合在一起，像组装电脑变成“一体机”一样，将占地面积减少了至少30%。如果采用背靠背、上出风的新型解决方案，甚至可以将传统电力设施的占地面积缩小50%。腾出来的空间可以摆放更多计算机柜，从而在有限的空间内提供更高的算力。

- **供电系统四大层级**：试电/发电机 -> 变配电系统 -> UPS（不间断电源） -> PDU（电源分配单元） -> 服务器机柜。 - **一体化电力模组优势**：通过将多套设备融合，可减少至少30%的占地面积；采用背靠背上出风设计，可将电力设施占地缩小50%。 - **传输效率提升手段**：在UPS中采用碳化硅（SiC）产品、采用SCB多晶合金变压器、用铜排代替传统电缆连接，并推出1000安培的小母线以支持未来100-150千瓦服务器的弹性扩容。

---

[19:59](https://www.bilibili.com/video/BV1b6SEYAEWR?t=1199s) 快速部署与预制化：像搭乐高一样建数据中心

在如今全球AI大战如火如荼的背景下，算力需求急剧增长，建设速度成了各大科技巨头的核心竞争力——数据中心早一天上线，就能早一天带来商业回报。为此，行业内出现了一些极其创新的尝试，比如“木质数据中心”。这种方案使用名为“正交胶合木”（CLT）的建筑材料作为关键承重结构。这种木材具有极高的强度、均匀性和耐火特性，不仅环保，还能通过预制化将整体建设速度加快40%到80%。

除了外部建筑，数据中心内部的基础设施也正在全面走向“预制化”道路。传统的智算中心建设周期往往需要一年以上，而现在的客户要求在6个月甚至更短的时间内交付。维谛技术推出的“360 AI智算解决方案”能够协助客户缩短约50%的建设时间。他们在海外与算力公司和互联网巨头合作，根据其算力和模型需求，全套定制预制化的基础设施，将供电、制冷、软件甚至工程材料在出厂前就部署完毕。

然而，预制化面临的一个大问题是“如何满足不同客户的定制化需求”。例如，政府和金融类客户最看重高可靠性，对创新和绿色技术持稳健、保守的态度；而互联网公司则极度追求创新性、低成本和极速部署。为了解决这一矛盾，维谛技术采用了“模块化预制”的思路。他们将长期的技术实践转化为标准化的组件库，当面对新的定制化需求时，工程师就像在“乐高积木库”里挑选零件一样，提取适合新场景的标准化部件进行高效率组装。这种方式既保证了生产速度，又兼顾了客户的个性化需求。正如视频总结所言，AI的飞跃虽然源于芯片的积累，但为芯片运行打下基石的是基础设施的默默奉献。它们如同幕后的“兵部尚书”，支持着前线士兵的每一次冲锋。

- **正交胶合木（CLT）**：一种高强度、耐火的预制化建筑材料，可使数据中心建设速度加快40%-80%。 - **维谛技术360 AI智算解决方案**：通过全套预制化部署，可将智算中心的建设时间缩短50%左右。 - **预制化核心逻辑**：基于标准化组件库进行模块化拼装，兼顾“快速交付”与“定制化需求”。

## Notable quotes > [00:00](https://www.bilibili.com/video/BV1b6SEYAEWR?t=0s) 在AI训练集群日益强大的背后，隐藏着一群不为人知的“兵部尚书”，它们就是数据中心的基础设施。

> [00:00](https://www.bilibili.com/video/BV1b6SEYAEWR?t=0s) 如果把数据中心类比成一支军队，主机房里陈列的一排排机柜就像是在前线征战的士兵，承担着核心的计算功能；而冷却系统与供电系统则是后方的保障机构，分别负责保障士兵的健康安全（散热）以及粮草的运送与分配（电力）。

> [14:59](https://www.bilibili.com/video/BV1b6SEYAEWR?t=899s) 数据中心的尽头其实是电力 — 专家

> [14:59](https://www.bilibili.com/video/BV1b6SEYAEWR?t=899s) 数据中心的设计寿命通常为20到30年，而GPU的更新换代周期仅为3到5年，企业不可能每隔几年就推倒重建。

> [19:59](https://www.bilibili.com/video/BV1b6SEYAEWR?t=1199s) AI的飞跃虽然源于芯片的积累，但为芯片运行打下基石的是基础设施的默默奉献。它们如同幕后的“兵部尚书”，支持着前线士兵的每一次冲锋。

## Mentioned xAI, Elon Musk, NVIDIA H100, 维谛技术, Vertiv, 谷歌, Meta, GPT-3, 360 AI智算解决方案

[Source](https://www.bilibili.com/video/BV1b6SEYAEWR)

中文简报

维谛技术联手算力巨头重构AI数据中心 GPU智算芯片的跨代升级令单机柜功率密度飙升至100千瓦以上，迫使传统风冷与零散供电系统全面转向氟侧自然冷及一体化预制模组。 视频深入探讨了AI爆发背景下，智算数据中心在基础设施层面所遭遇的四大核心挑战。随着GPU取代传统CPU，单机柜功率密度从过去的3-5千瓦狂飙至最高100千瓦以上，直接倒逼冷却系统与供电系统的全面变革。内容详细解析了液冷技术带来的耗水与“抢水”争议、氟侧自然冷等前沿制冷方案、供电系统的空间危机与一体化电力模组破局，以及通过“正交胶合木”和模块化预制化技术实现数据中心像搭乐高一样快速部署的行业最新趋势。 xAI在孟菲斯部署了由10万张液冷H100构成的AI训练集群，每日消耗100万加仑水和150兆瓦电力并引发当地抗议，凸显出单机柜功率从3至5千瓦飙升到10至100千瓦以上给数据中心基础设施带来的巨大压力。 (0:00) 超高算力密度倒逼散热从风冷转向液冷，但一次侧潜热交换蒸发耗水严重，且因防垢防腐要求使57%的用水取自饮用水，导致多地数据中心面临严重的争水争议。 (4:59) 冷却系统约占数据中心总电耗的40%，单纯提高送风温度存在服务器宕机风险，行业正重点探索兼具节能节水优势的“氟侧自然冷”无水制冷方案。 (9:59) 随着单机柜功率激增，配电设施占地面积急剧膨胀，维谛技术等厂商推出一体化电力模组，将电力设施占地减少30%至50%，为服务器释放更多核心算力空间。 (14:59) 为应对激烈的AI交付竞争，数据中心正通过正交胶合木（CLT）和标准化模块预制方案加速建设，将原本需一年以上的建设交付周期缩短约50%。 (19:59)

Reading summary

随着AI大模型训练迈入万卡与十万卡时代，单机柜功率密度的爆发式增长使数据中心在散热、供电、空间和交付周期上面临严峻挑战。为破解水资源消耗过大、电力设施挤占机房空间及建设周期漫长的瓶颈，底层基础设施正经历由液冷变革、供电一体化与乐高式模块化预制驱动的系统性重构。 算力跃升倒逼基础设施承压 (0:00) 从传统通用计算向GPU专用智算中心演进的过程中，芯片功耗与高密度集群协作带来了前所未有的工程压力。例如xAI在田纳西州孟菲斯启用的10万卡液冷H100集群，因每日消耗100万加仑水和150兆瓦电力，引发了当地对公用资源负担的抗议。传统X86架构CPU机柜的平均功率密度长期维持在3至5千瓦，而现代GPU智算机柜已飙升至10至100千瓦以上。 这种密度的跃升将原本隐蔽在主机房后方的保障系统推至台前。数据中心不仅需要应对散热能力的物理极限与高效率能源供给，还必须在有限的占地面积内进行高密部署，并大幅加快投产交付速度以满足业务竞争需求。 散热升级引发的水资源与能效博弈 (4:59) 芯片对温度极度敏感。在单机柜功率达到10千瓦以上时，冷却系统若发生故障，机房温度仿真显示可能在一两分钟内飙升至30至40度引发宕机。尽管空气热交换效率不足倒逼行业由风冷转向冷板等液冷形态，但目前主流一次侧冷却仍大量依赖水冷。水在室外通过相变蒸发（潜热交换）释放热量，不仅抽走了本地水资源，且由于换热设备防腐蚀、防结垢的苛刻要求，数据中心消耗的水中高达57%来自高品质饮用水，导致乌拉圭、新墨西哥州等多地爆发环保抗议。 另一方面，制冷耗电约占数据中心总用电的40%。尽管提高送风温度可降低制冷功耗（研究显示每升温1°C可节能约2%至5%），但过度提温会严重侵蚀突发故障的安全缓冲时间，甚至引发长时间宕机事故。维谛技术等产业专家指出，受限于水资源与空气质量，完全无水的“氟侧自然冷”成为兼顾省电省水的前沿方向，但其核心难点在于氟泵与压缩机之间控制切换的稳定性与寿命优化；至于海底数据中心，虽直接利用海水降温，短期内仍受制于高昂的防腐耐压与部署成本。 电力膨胀下的空间瓶颈与一体化整合 (14:59) 算力升级暴露了“数据中心的尽头是电力”这一现实。当单机柜功率由5至6千瓦暴增至40千瓦以上，尽管所需IT机柜总数缩减，但配套的变配电、UPS不间断电源及电缆设施的占地却呈指数级膨胀，造成配电房与IT机房面积比例严重失衡。由于数据中心建筑寿命一般为20至30年，而GPU迭代周期仅3至5年，频繁推倒重建极不具备经济可行性。 为此，供电系统正从分散走向“设备一体化”。通过将UPS、变压器、工配电与配电柜高度集成为一体化电力模组，设备占地可减少至少30%，若采用背靠背及上出风架构，电力设施占地甚至可缩减50%。同时，行业引入碳化硅（SiC）器件、合金变压器及铜排替代传统线缆，并配备千安级小母线，以便为未来100至150千瓦机柜的弹性扩容预留物理空间。 交付竞速倒逼模块化与预制化变革 (19:59) 在AI军备竞赛中，上线速度直接决定商业变现节奏。传统智算中心一年以上的施工周期已被压缩至客户要求的6个月内。工程端开始探索新型建筑形式，如采用正交胶合木（CLT）预制承重结构，可将建设提速40%至80%；基础设施层面，以维谛技术“360 AI智算解决方案”为代表的全套预制化方案，使供电、制冷与控制软件在出厂前即集成完毕，能够将现场部署周期缩短约50%。 针对不同客户群体的诉求分化——例如金融政企看重长期高可靠与稳健，而互联网巨头追求极速交付与低成本——行业采取了“标准化积木库”的模块化预制模式。通过将经过验证的部件形成标准化储备，在满足个性化定制需求的同时实现快速拼装，为算力基础设施的规模扩张提供工业化支撑。 AI大模型驱动的算力扩张已不仅受芯片制程约束，更受到水资源承载力、电网负荷密度及工程交付物理周期的刚性制约。如何在极高功率密度与严苛环保成本之间找到平衡，仍是超大规模智算中心持续扩张面临的核心课题。

Source quotes

[0:00] 在AI训练集群日益强大的背后，隐藏着一群不为人知的“兵部尚书”，它们就是数据中心的基础设施。 [0:00] 如果把数据中心类比成一支军队，主机房里陈列的一排排机柜就像是在前线征战的士兵，承担着核心的计算功能；而冷却系统与供电系统则是后方的保障机构，分别负责保障士兵的健康安全（散热）以及粮草的运送与分配（电力）。 [14:59] 专家: 数据中心的尽头其实是电力 [14:59] 数据中心的设计寿命通常为20到30年，而GPU的更新换代周期仅为3到5年，企业不可能每隔几年就推倒重建。 [19:59] AI的飞跃虽然源于芯片的积累，但为芯片运行打下基石的是基础设施的默默奉献。它们如同幕后的“兵部尚书”，支持着前线士兵的每一次冲锋。

Original transcript

[0:00] 2014年7月22号凌晨XAI创始人Elon Musk在推特上正式宣布在凌晨4点20分正式启动了世界上最强的AI训练集群这个训练集群建设在美国田纳西州孟非斯市几合了10万个夜冷的HG100芯片然而这在当地却引发了居民们的抗议和不满Memphis City Council Members frustratedabout how XAI will impact power, water and gas in Memphis这样巨大的AI训练集群每天会消耗100万加仑的水和150兆瓦的电力因此也是引发了当地环保人士的担心和抗议随着万卡集群甚至十万卡集群成为科技巨头们训练AI大模型的标配这样的巨型数据中心到底意味着什么消耗电力好理解那为什么会消耗如此多的水呢冷却系统与供电系统等关键基础设施是如何运作的目前数据中心的主计算芯片开始从CPU转向GPU这会带来如何的变革呢那可能大家对CPUGPU这类计算芯片了解比较多但是很少会关注配套的基础设施但事实上它们就像冰山藏在水下的部分一样不仅是整个数据中心的居住还是至关重要的安全枢纽大家好 欢迎收看硅谷101我是陈倩那今天我们就来揭秘一下万卡集群的数据中心到底是如何运作的也非常荣幸邀请到了专注于数据中心基础设施的公司维地技术的多位专家来一起聊聊AI爆发给数据中心的基础设施带来的挑战和机遇首先我们先来简单了解一下数据中心的组成结构从物理结构上来看数据中心会划分成三个系统主机房 供电系统和冷却系统如果咱们把数据中心类比成一支军队你看这主机房陈列的一排排机柜像不像前线征战的士兵他们承担着整个数据中心的核心功能运算而冷却与供电系统则是军队后方的保障机构冷却系统负责保障士兵的健康与安全供电系统负责粮草的运送与分配此外还有综合管理系统来维护兵器等等他们就像数据中心的兵部上述虽然不在一线征战却是起到了关键的作用如今一些数据中心开始由通用计算转向专用计算其中以AI为主的数据中心被称为制算数据中心主力芯片从CPU变成了GPU那么这也将对所有基础设施带来巨大的挑战因为传统的CPU其实过去十多年的时间一直在采用的X86的结构所以它的CPU的功耗包括服务器的功耗都相对比较标准和恒定所以我们在过去的近十多年的时间看到数据中心的平均的机柜的功率密度大概一直在3到5000瓦左右但是现在随着GPU的采用AI模型的推理和训练呢需要集中大量的GPU来进行并行的浮点运算需要通过集群的方式通过软件互联通信来在非常小的空间里面集中大量的GPU所以这个使得GPU的服务器包括单机柜的功率密度会迅速的提高所以我们也看到机柜的功力密度从过去的5000瓦现在迅速的提升到了10千瓦20千瓦40千瓦甚至80千瓦100千瓦以上这算机柜功力密度的提升对基础设施来说我觉得主要有四大方面的挑战首先是功力密度提升之后给散热能力带来的挑战那第二个方面是给高效的能源供应带来的挑战第三个是占地面积第四是快速的部署所以GPU芯片的迅速更新迭代给数据中心配套设施带来了这四大的挑战那么如何应对这四个问题呢我们先来看一下冷却系统为什么它会如此的耗水电子器杰运行的时候会产生热量而芯片对热量尤其敏感如果过热轻则触发芯片的自我保护机制降低运行频率重则导致服务器故障业务中断甚至稍微硬件那随着数据中心的功率密度越来越高这时候如果冷却系统发生故障留给维护人员的反应时间可能就只有一两分钟了但是如果单机会到了十千万按照我们过去的仿真经验可能很快一两分钟就能到三十多度甚至四十度那就当机了因此呢芯片算力的升级也直接带来了对数据中心冷却系统的升级需求我们在AI电力捐夺站那期视频当中也讲过随着功率密度的提升那么厂商们开始转向夜冷办案而恰恰是这个夜冷导致了不少环保人士的抵制除了开头说的XAI训练集群之外2023年 [4:59] 乌拉圭民众也联合抗议谷歌建设数据中心还有新墨西哥州的农民抗议MATA数据中心的迁入大家抵制的原因之一就是这些数据中心耗水太多甚至加剧了当地的干旱情况那为什么夜冷会消耗如此多的水呢在回答这个问题前我们需要简单的科普一下冷却系统的结构目前冷却系统主要分为两个大类风冷与夜冷那么我们先来聊一聊风冷如果你进入过数据中心那第一感觉就应该是太吵了这个噪音就来自于机柜中用于给芯片降温的风扇风扇的作用是将芯片的热量散发到空气中但是如果热量全部都堆积在空气中也会降低散热效果所以还需要空调对空气降温空调也分为很多种在这里就不一一的举例了想要意见的是空气的热交换效率较低在功率密度不断提升的情况下必须采用效率更高的散热介质那就是液体液冷散热的原理就是通过水的蒸发前热来带走芯片的热量夜冷散热也分为很多种目前全球主流的两类是冷板夜冷和静默夜冷当然在国内还有一种是喷零夜冷技术喷零它其实也是一个比较创新的技术当然这个创新的技术目前还是受到了一定的限制所以不是很多冷板夜冷是让冷板与芯片紧密贴合让芯片热量传导至冷板中的冷却液并且将冷却液中的热量运输至后端冷却而静默液冷是将整个主板都静默在特定的液体当中但对于目前主流的GPU设备来说静默液冷却不太适用因为所有GPU它都是还是按照冷板液冷这种规格来开发的所以不太适配静默冷却系统会分为一次测和二次测一次测是将整体热量散走并与二次测的冷却分发单元Cooling Distribution Grunet简称CDU来交换热量通常提到的液冷散热都是指二次测由CDU将冷水分配到各个机柜中而当前的液冷散热系统一次测大部分也是水冷方式最终在室外通过水的显热交换和前热交换带走全部热量显热交换是水在加热或者冷却过程当中会吸收或释放的热量水的状态不变而前热交换就是水在相变过程中如蒸发 凝结 融化 凝固的时候吸收或释放的热量而温度保持不变就像咱们天气热的时候如果给房间去泼一盆冷水水温慢慢升高这就是显热交换同时水会慢慢蒸发这就是前热交换两种交换共同进行使得水盆上方的空气温度降低前面我们说到环保人士抵制AI数据中心就是因为万卡集群的AI数据中心浪费的水呢实在是太多了这其实就回到那个规模效应了如果说咱们只是建一两个数据中心比如说就是像20兆瓦呀或甚至即使到100兆瓦都没事但是如果建一步扩大那那个耗水量是非常非常巨大的那这会儿的话可能会对当地的地下水资源有一定的影响可以肯定一定会存在数据中心和人抢水的这个问题那你可能想问了就算水蒸发了那不是还会变成雨降下来吗为什么会被称为浪费呢我们分两个方面来说首先水蒸发之后变成云飘到哪降落就不好说了数据中心就像个抽水机把当地的水抽走之后送到了其他地方对于原本降雨量低的地区加剧了干旱情况其次数据中心对水的质量要求也不低但高质量的水蒸发之后如果降落在污染或者海面这些水就很难再利用了同时使用高质量的水也意味着数据中心要和居民去抢水甚至可能会造成居民水不够的情况那问题又来了为什么一定要用高质量的水呢那水如果蒸发它就会跟制冷设备的一些部件会有接触然后水可能就是水物不管是水滴还是水物它到这种设备上面那如果水质不太好比如说酸碱度不太好偏酸偏碱都可能会导致腐蚀那如果钙尾离子的含量比较多就像咱们家里烧开水一样那可能水垢就会附着在表面上那一旦水垢附着在患热设备的表面带来的影响就是患热设备的效率会下降本来我是200千瓦的散热量但是因为水垢问题可能会导致它衰减到80%甚至更低那带来的就是冷量可能不够就是这一类的问题有报道称啊每个数据中心平均每天要消耗100万到500万加仑的水比如开头提到的XAI万卡集群每天消耗100万加仑的水可供3000多户家庭使用一天而GPT3在训练期间消耗了700万吨水 [9:59] 后续的推理阶段每回答20个问题就相当于倒掉了一瓶500毫升的矿泉水软皮街的一份名为数据中心用水调查报告就显示数据中心耗水来源57%是饮用水这其中还存在耗水不透明度的问题长此以往甚至会造成气候风险所以难怪AI数据中心会遭到抵制了同时也有企业做过海底数据中心如此一来不就解决了耗水的问题吗但是很遗憾这就涉及到了冷却系统里面面临的另外一个大挑战经济账的问题了海底数据中心就是把服务器放置在翘体内并且沉到海水里因为海水的温度较低可以直接为翘体降温而且不需要外补充机械能听上去是一个既节能又环保的方案对吧但是呢维地的专家就告诉我们这将对技术提出更高的要求因为沉到海水里边它对数据中心的撬提还有整个部署包括一些光缆还有电缆之类的那它都要能下海那其实提出了更高的要求更高的技术要求就意味着企业需要在研发上投入更多但长期来看这确实是一个创新的解决方案除了技术难题之外冷却系统的用电也一直居高不下有数据就显示冷却系统通常占数据中心平均电力消耗的40%不少的巨头都在努力的降低冷却系统的能源消耗但是搞不好反而会弄巧成拙有论文研究就称数据中心每将送风温度提高1摄氏度可以降低大约2%到5%的震冷功率因此数据中心开始呈现把冷却系统温度从75华氏度提高到85华氏度的趋势连谷歌也采取了这样的做法但是这个做法还是挺危险的这相当于你设置的温度距离数据中心能够承受最高温度的缓冲区间是缩窄了反倒会导致系统性风险比如说2021年新加坡的一家数据中心运营商为了节省冷却成本将温度提高到了危险的零件水平结果导致数据中心服务器大面积故障这种情况持续了将近一周真是都不尝试同时这篇论文也发出了警告数据中心受到热攻击的原因之一就是因为采用了激进的冷却策略也就是系统温度设置的太高减少了准备度所以如何让冷却系统更加节能成为了AI时代的挑战之一那维力技术的专家就告诉我们要降低冷却系统能耗主要分为三个大方向那现在从节能角度来讲其实可以分为三大方向一个是从风测来做自然冷来做节能然后另外的话就是水测自然冷还有就是浮测自然冷所谓的自然冷free cooling是指利用室外的低温冷源来给室内降温达到降低能耗的一种技术方法想象一下冬天我们闷在房间里面非常热如果打开窗户让室外的冷空气进入房间就凉快了这就是自然冷而风测自然冷就是在窗户边放一些风扇向房间吹风加速室外冷空气的进入水测自然冷和浮测自然冷则是将导体替换为了水和浮风测自然冷它是受地理条件限制比较大因为它是会把新风引到机房里来那这会的话就对空气质量之类有一定的要求即使做新风也是会结合一些机械冷的那从我们来讲我们还是更专注于水测自然冷和浮测自然冷浮测自然冷的话就是我们常规的风冷空调这个系统在温度相对来说比较低以及冬季的时候来通过浮泵工作来利用室外自然冷源那这会就不需要开压缩机了压缩机的功耗就是整个系统里边制冷功耗最大的部分那如果可以在一部分时间里边把压缩机替换成浮泵因为浮泵的功率是很低的那当然可以大大的节约能耗水测自然冷做节能的话它就是通过室外的一些蒸发呀之类的把它的那个冷的能力间接的带到室内来风测自然冷受到地理限制比较大水测自然冷啊蒸发的水又太多所以目前既省电油省水的方案就是浮测自然冷浮测自然冷它就是一个无水的智能解决方案那这个天然的它就不需要水它是靠浮泵靠冷煤来实现自然冷的不需要靠水的蒸发但是这种方式对技术就提出了很大的挑战需要长期的积累经验才能够控制好整套系统怎么才能更好的控制然后让浮泵的工作时长更长一点点然后让浮缝和压缩机的切换能够更加的稳定更少的波动然后让它更节能它的难度是比做水测自然冷是要更难一点点的所以最大的难点就还是在于技术储备那除了节能环保之外呢如今数据中心还面临着芯片升级的挑战我们之前视频当中就有提到英伟达新出的Blackwell芯片由于供 [14:59] 那老旧的数据中心难以直接部署甚至一些公司由于业务转型需要将以CPU为主的计算设备升级到以GPU为主那如何改造就成为了当下的难题在AI来之前数据中心的分裂其实都是以风冷为主的那它的单机会功能密度才5到10千瓦而且其实10千瓦的都不是很多了主要是5到6千瓦这样的为主那现在我要升级制算首先要把风冷设备的散热量加够然后再去额外的再去补充夜冷部分既然冷却系统可以升级为什么还有一些企业会选择花很多资金重建数据中心呢这就不得不说到旧机房升级的瓶颈了那对于制冷它主要就是空间的问题一般情况下从我们当前的设计经验来看制冷设备的空间往往可能是够的因为原先的单机柜6000瓦那现在单机柜40千瓦那单机轨的功率密度提升了6倍还多原先一个6个机轨解决的问题现在只需要一个机轨行业里面有一个说法就是数据中心的尽头其实是电力所以咱们在扩容的时候往往首先要考虑的还是电力的问题那为什么电力是制约数据中牺牲起的因素AI爆发又给供电系统带来了哪些挑战呢接下来我们就来聊聊供电系统那我们在AI电力站的那一期视频当中讲过AI数据中心带来了大量的电能消耗未来将给电网也会带来供电缺口那其实不只是外部的电网AI数据中心内部的供电也面临着巨大的压力其中的很大的因素就是在于占地面积因为整个的功率密度提升工配电和ID机房的占比出现很大的偏差和占地面积成为了一个很大的挑战正因为这些难点成为了老旧数据中心升级困难的原因其中最为基础的就是占地问题了在解析这个问题之前为了便于大家理解我们先简单的介绍一下供电系统的结构供电系统的结构主要分为四个层级试电或者发电机将电能输送到变配电系统变配电系统会给冷却系统与不间断电源Uninterruptible Power Supply简称UPS供电UPS再将电能送到主机房的电源分配单元Power Distribution Unit简称PDU由PDU给每个机柜分配电能其中发电机是为了在试电发生故障的时候有应急的电力输入但是发电机启动需要一定的时间而UPS就包含了大容量电池能够保证服务器继续运行5到15分钟为发电机启动争取时间当然 固电系统还会根据试电线路数和冗余结构的不同分为DR2架构 RR架构还有RN架构等等那这里我们就不多赘述了回到占地面积的问题由于服务器功耗增加之后需要额外的供电设备但是供电设备实在是太占地了从传统的数据中间监督来看它会有传统的中压室低压室电力室还有一些它的电池室等等这些传统的产品都会通过线来做连接这些物理连接由于它是分散于各个厂家的产品它的标准的制式标准的体积都不是很融合另外一个他们的整个的部署的物理距离中间的一般都是都会有一些间隙所以有限的空间成为了制约老旧数据中心升级的痛点想发展AI重建数据中心成为了更好的选择但是数据中心的设计寿命有20到30年GPU换代一般是3到5年总不能隔几年就重建一次为此行业发展是出了新的方向那就是设备一体化我们针对整个的占地面积我们推出了交流 支流 工密电一体化的电力模组就像我们传统的组装式的电脑现在变成了一体机式一样的我们通过将UPS 工密电 变压器 补偿 费电柜多个产品融合为一起提供了一个工程产品化的产品这样可以将我们占地面积减少至少30%当然我们还有一个新型的解决方案采用我们的公平电力电力模组采用背靠背的这种方式通过上出风这样的话我们可以把传统的电力设置的面积再缩小50%缩小其他设备的占地面积不光有利于老旧数据中心的升级那么新的数据中心也能够带来更高的经济效益因为腾出来的空间就可以多摆点计算用的机柜多一些算力能够缩短模型的训练和推理时间那除了缩小设备占地之外供电系统的另外一个趋势是提升电能传输效率众所周知啊每个设备都有电阻电能在一层层设备的转换中总会伴随着能量损失如此一来为了满足服务器机柜的电能需求前端的供配电设备需要留有更多的冗余占据更大的面积而提升传输效率 [19:59] 效率之后呢不仅能够减少设备的数量还能够降低数据中心的能耗达到节能减排的效果那该从哪些方面来提升效率呢UPI等于采用了通化硅的一些产品线将整个的效率提升了很多第二个呢采用了很多现在我们叫SCB的多晶合晶的变压器第三个呢通过以传统的线线方式改用铜牌的方式来连接进一步降低到线路的损耗来提升整个的效率通过我们对末端配电的服务器的快速提升我们推出了有1000安培的小母线来解决我们末端负载未来可以扩充100千瓦150千瓦的这样一个服务器的未来弹性扩充了一个需求那最后我们来聊聊顾华提到的第四个挑战快速部署有意思的是行业为此竟然呈现出了预知化的趋势这能行得通吗如今全球的AI大战正打得火热急剧增长的算力需求促使着各大公司新建AI数据中心这就对整个行业提出了建设速度的要求毕竟AI数据中心早一天上线就能够带来更多的经济效益大家也在纷纷尝试创新的解决方案比如说木质数据中心用木材作为关键结构部件来建设数据中心那难道他们就不怕遇到地震海风或者火灾啥的把整个数据中心都弄没了吗其实尽管木质数据中心听上去是一个非常激进的概念但是早在2019年就有公司建成并且投入使用了而他们使用的也并不是那种直接从树上聚下来的木板而是名为正交交合木Cross-Eliminated Timber简称CLT的建筑材料这种材料具有极高的强度和均匀性只要作为承重强板或者楼板使用都没问题同时它还有耐火的特性英国就有栋名为Stathos的九层楼公寓采用了这种CLT材料建成木制材料不仅能够满足环保的要求还能够通过预制化将整体的建设速度加快40%到80%当然数据中心的建设不光是外部的建筑它还有内部的基础设施需要去定制而现在冷却系统与供电设备也走向了预制化的道路现在目前的资算中心客户的需要可能是在6个月之内就要建设好这个资算中心也是传统的建造方式所能够达成的时间维迪的360 AI 资算解决方案呢可以协助客户缩小就是50%左右的时间我们还在海外和一些算力公司互联网公司根据它算力的需要全套的定制了预置化的这个基础设施就是说我们依据它算力的需要和模型我们优先把这个数据中心的基础设施给配套好同时呢对这个里面的供电智能软件甚至工程的材料的预制化都进行了详细的部署将设备由定制改为预制就能够大幅度的节省工程的时间但是这其中又会存在着匹配性的问题不同的客户呢它确实有很大的需求上的差别比如说政府和兼容项目兼容客户他最在乎的就是这个高可靠性他对创新呢持稳健的态度对绿色呢他也持稳健的态度但是对互联网公司来说大家在乎的是创新性成本部署速度所以说在这两种客户之间我们提供的是差异和方案的服务不同的数据中心都有自己独特的需求如果失去了定制的这个环节是否就意味着预制化的设备难以大量的铺开呢那专家就给我们解释到所谓的预制化其实是预制了各个部件的模块在一个统一的平台下可以将这些模块按需求来组装那这样就能满足不同的客户了媒体实际上它在长期的发展和实践里面它形成了很多标准化的组件那么所以说在这一项新的需求来临的时候我们肯定优先去选择在这个集目库里面去提取一些适合我们这个新的场景的一些部件和组件这样的话就可以高效率的搭建出一个适应客户新的需要的这样一个产品类型打个比方就像我们买来的乐高集目其实呢也都是很多通用的小块它既可以拼乘汽车也能够拼乘飞机虽然我们常说AIA的飞跃源自于芯片的积累然而为芯片运行打下基石的是基础设施的技术进步他们如同无形的兵部尚书在幕后默默的支持和调控着前线士兵的作战行动让AI大模型训练顺利的推进那就像我们视频当中提到的士兵的作战效率在提升那么兵部尚书的水平也要相对的提高那么这对整个人的组织 [24:59] 芯片的上下优势上都提出了更高的要求是挑战也是机遇那随着更高能力更多参数以及更大AI模型的投入训练也许我们会看到数据中心更快的升级迭代有更多的创新技术来支持AI大模型的技术大战也再次的感谢维地技术对我们视频的支持好 以上就是我们这期视频的全播内容了你们的留言点赞和转发式支持我们硅谷101做好深度科技和商业内容的最佳动力那我们就下期节目再见了bye