阿里云投资3800亿元升级AI基础设施应对推理爆发

阿里云投资3800亿元升级AI基础设施应对推理爆发 随着大模型向强化学习与MOE架构演进，算力消耗主力已由预训练转向推理端，倒逼云基础设施进行全栈PaaS级架构深度优化。 2025年AI应用端迎来真实爆发，导致推理算力需求急剧飙升，客户需求从大规模预训练全面转向推理调用。为此，阿里云将其人工智能平台Pi针对强化学习与MOE架构进行了全面升级，并推出了自研框架与PD分离、全局KV Cache优化等极致技术方案，以成倍提升吞吐并降低算力成本。同时，面对极度碎片化的算力需求与出海趋势，阿里云通过MaaS服务、全球化机密计算和接入NVIDIA COSMOS世界模型等布局，全方位支撑从Agentic AI向物理AI的未来演进。 2025年AI应用迎来爆发元年，推理端算力需求激增，通义千问网站单月流量暴涨3000%；阿里云宣布未来三年将投入3800亿元押注AI基础设施。 (0:00) 大模型演进全面转向后训练与强化学习驱动的Reasoning Model时代，阿里云推出自研框架Pi Chat Learn，并针对MOE架构深度优化算子融合与通信掩盖。 (4:59) 针对推理瓶颈，阿里云采用PD分离架构将端到端服务吞吐提升91%，并通过全局KV Cache在千万级并发场景下使缓存利用率提升10倍。 (9:59) 具备负载感知能力的调度引擎Luminix将首Token延迟降低90%，阿里云同时借助FP4量化和硬件机密计算，保障全球化推理的高性价比与数据安全。 (14:59) 面对算力碎片化需求，云上PaaS采纳率已突破50%；阿里云预测AI正走向物理AI阶段，正重点布局自动驾驶赛道并接入NVIDIA COSMOS世界模型。 (24:59)

阿里云智能集团副总裁汪君华指出，2025年AI正迎来以推理模型与Agent为驱动的应用爆发期，算力重心已由预训练转向推理；为此阿里云宣布未来三年投入3800亿元建设基础设施，通过全栈软硬件重构应对急速增长且碎片化的算力需求。 算力重心转向推理，高额投资应对应用爆发 (0:00) 汪君华表示，2025年春节后AI领域迎来应用爆发期，市场结构发生显著变化：计划进行大规模预训练的客户明显减少，绝大多数客户转为发起推理调用，核心集中在通义千问、DeepSeek等多模态及推理模型上。在需求端，通义千问网站上线两个月内单月流量暴涨3000%，截至2025年1月底阿里云百炼平台调用通义API的企业和开发者达29万，2B端调用量亦以每月20%至30%的节奏增长。 针对急剧飙升的推理算力压力，阿里云宣布未来三年将在AI基础设施与云服务上投入3800亿元。汪君华称，目前算力依然紧缺，不仅体现在硬件采购层面，更需要云厂商从底层能力上保障海量并发推理的稳定交付。 范式转向强化学习，平台重构适配MOE架构 (4:59) 汪君华回顾，Pi（Platform for AI）平台的研发重心已从早期万卡集群的分布式编译与自动纠错容灾，转向深度适配推理模型的新范式。当前大模型正从单纯堆砌参数和数据，转为依赖后训练（Post Training）与强化学习（RL）提升推理能力。由于强化学习系统包含训练、生成、打分与反馈等相互粘连的复杂链路，阿里云推出了打通训推一体的Pi Chat Learn框架。 在MOE（混合专家）架构优化方面，以DeepSeek为例，671B总参数模型在推理单Token时仅激活30多B参数，这种稀疏特性容易因频繁跨卡通信拖累算力利用率。Pi平台通过Pi Flash MOE引擎推进算子融合（Fusion），并实现计算与通信并行掩盖，以挖掘极致的硬件执行效率。 推理性能攻坚：PD分离与全局KV缓存 (9:59) 针对推理模型（Reasoning Model）的生成特征，输入处理（Prefill）阶段因承载长上下文而呈计算密集型，逐字解码（Decode）阶段则因可能产生数万Token且长达半小时而呈访存密集型。阿里云采用PD分离架构将两阶段分派至不同硬件处理，并依托Luminix负载感知调度框架动态预测GPU负载，据其测算可使首包延迟降低90%，端到端服务吞吐提升91%。 在KV Cache管理上，高并发场景若缺乏共享将造成严重重复计算。阿里云将局部缓存机制升级为全局（Global）缓存服务，支持千万级请求间共享相同前缀。模拟数据显示，该技术可使典型场景下的缓存利用率提升10倍，将GPU算力需求削减近一个数量级。此外，阿里云正探索FP4低精度量化方案，以期在精度无损前提下将推理性价比提高近一倍。 碎片化交付与面向物理AI的演进 (24:59) 面对中小企业仅需少量算力的“碎片化”特征，阿里云通过按Token计费的MaaS API与Pi平台一键拉起部署两种路径提供算力。汪君华透露，过去一年阿里云上PaaS服务的采纳率已从10%攀升至50%以上，表明开发者正加速放弃自建底层GPU栈，转为直接消费平台封装能力。而在安全方面，阿里云结合GPU机密计算（硬件加密运行期数据与模型参数）与专属网关，以应对高敏感企业的数据保护需求。 关于行业未来，汪君华认同英伟达黄仁勋关于“2028年数据中心支出达1万亿美元”的判断，并认为技术路径正沿着“感知、生成式、Agentic向物理AI（Physical AI）”演化。针对增长迅猛的具身智能与自动驾驶赛道，阿里云计划接入NVIDIA COSMOS世界模型，提供物理仿真与环境建模支撑。 汪君华指出大模型的可解释性在学术层面尚无定论，工程实践目前主要依赖可调试性、链路追踪与机密计算提供兜底保护；面对算力供给持续紧俏的现实，云厂商的核心壁垒已从粗放的芯片堆叠，转向以系统软件优化与全栈平台能力撬动更高的推理能效比。

[0:00] Sam Altman: 谁再有10万张卡我马上就买 [0:00] 用户: 真的好 [0:00] 一下子就打爆了

[0:00] 2025年春节之后全球AI又再次捡了起来春节前后到现在实际上我的团队就是基本上就是没有休息因为大家都非常excited非常motivated在Deepseek发布之后各种新AI推理模型新纹生图和视频功能新agent应用开始经验市场这让推理测的算力需求大幅度飙升今年这个AI的应用爆发是真真实实的在发生我们接下来三年要投入3800亿保证就是我们有足够的算力来服务我们所有的客户Hello大家好欢迎收看规矩101我是陈倩随之2025年将成为AI应用元年的观点成为市场的共识那么阿里云宣布未来三年用3800亿元压住AI基建市场那如此的大手笔也让AI基础设施和云服务的发展成为市场聚焦点我们也有一些很好奇的问题比如说AI开发者如今需要什么样的训练和推理服务在打造产品上如何继续的净本增效大规模致算需求如何被满足以及AI基础设施的下一步发展趋势是什么这期视频我们非常荣幸与阿里云智能集团副总裁阿里云智能计算平台事业部负责人汪君华一起深度探讨一下阿里云的AI压注与逊推服务的全面升级方总好感谢您的时间接受我们的采访那很多人说呢2025年是AI应用的元年认为弹模型的能力呢足以让不少优秀的AI产品跑出来了包括前段时间我们看到热度很高的通用AI agent产品Mainless还有呢最近OpenAI发布的纹身图功能等等那您认为今年是应用原点吗2B还是2C的应用更加强劲呢对 我觉得今年跟前两年的确很不一样这个我觉得就是说无论是2C 2B这个应用真的是起来了或者说就马上要爆发然后最近比较火的几个大家都是非常的passionate包括这个Mainless大家用过Cursor用过Devin的然后觉得这东西真的好然后最近很火的就是那个GP4O这个是一下子就打爆了这个我是非常喜欢我的照片我基本上都拿它去试一下哇生成的效果简直是太好了而且可以看到OpenAI那个Sam Ultimate就在网上在说谁再有10万张卡我马上就买是吧就是一下子它GP不够用了大家看到就是非常的实用而且真正的就是头到生产的应用上了所以我觉得今年这个AI的应用爆发是真真实实的在发生那么大家调用阿里的模型最经常用来做的开发是什么样的2B和2C的案例都可以跟我分享一下2C的用户我们可以看到就是说亲吻的那个网站实际上是才刚刚上线不到两个月吧然后现在就是这个流量涨了涨了3000%就过去一个月那主要是2C的用户2B的话就可能没有2C那么的效应因为2C经常是个virus是个爆发式的2B都是一个一个打出来一个一个打出来所以是慢慢积累起来20% 30%就每个月那个涨幅在涨但是的确今年的话因为我们的训练客户的确从某种程度上在减少就是做计划训练的在减少然后绝大多数客户找我们都说我要做推理我要用通议清文的模型我要用这个清文32B包括其实包括我们一些那个Omnia这个文生图的这个模型然后也包括当也用一些这个第三方的模型就是包括最近最火的可能就DeepSig所以从这个角度上来讲就是这个增长还是非常快的今年4月9号阿里云在北京召开了AI绅动大会表示截至今年1月底阿里云百链平台中调用通益API的企业和开发者已经超过了29万用AI重构代码开发硬件制造智能座舱金融服务药物研发太空探索等等场景而在企业应用大规模增长之际阿里云宣布对AI和云计算基础设施进行了全面布局那其中啊阿里云的人工智能平台Pi最新面向MOE架构以及推理模型全面升级是这次发布会的一个重要亮点啊因为这意味着当前的AI基础设施可以再进一步提升推理速度和资源利用率这对接下来的AI应用发展非常的关键那随着AI应用的开发需求的增长推理算力的需求也在飙升比如说Pi的迅推一体服务是如何满足企业和开发者的需求的呢我们的推出平台叫Pi Platform for AIPi实际上做了有很多年了可能有八九年最早的话就说在这个深度协局早期的话更多是做大规模的这个分布式的编译这个优化然后自动式编译然后自动式调优两年前吧就是差不多 [4:59] 大云模型起来的时候这一下子需求变得非常不一样大家要的就是说我要非常大的集群我们要建很多很多的AI info然后我们建很多集群那么这个集群当时最大的挑战是什么在One卡你怎么把它稳定的高效的给用起来所以我们过去一两年做的就是说在这种大规模的训练的场景下怎么样就是把这个系统的稳定性自动容错然后自动容灾自动纠错这些都给做上去包括把这个高性能网络高性能存储都给搭好让用户能够一键就能拉起他的任务到了今年呢就是说这个Resident Model出来的这个Paradigm就变掉了Paradigm怎么变了呢就是原来都是靠就是说不停地堆数据堆算力然后堆模型参数Resident Model出来就变成说我是靠这个后训练我是靠强化学习把这个模型的这个 reasoning 的这个能力给提出来那在这个过程中呢那我们做的就是说我们要一个非常高效的非常好的强化学习的这个平台强化学习跟原来那个纯做训练不太一样就是它过程非常复杂它不像原来就是说只是个scale你只要加scale它就能往上涨是吧强化学习有一个训练然后生成然后打分然后再反馈回来然后这过程实际上是个把好几个不同的系统给粘在一块然后实际上每一个系统都相对来说都比较复杂比较粘在一块相对来说比较脆弱所以现在花很大的力气就是让强化学习就是说在这个新的框架下特别是现在这个大家都用这个稀疏的MOE架构的情况下强化学习怎么能够能够有效的来运行今年这个春节前后开始的话大家都在做这方面的事情大家也看到实际上也不光是我们了这个国内的几个厂商美国几个厂商都在加班家里做这件事情我们有自己的强化学习框架然后我们也是把我们的强化学习要把训练推理给连在一块然后还加上这个强化学习里面有个打分的机制就是说我训练出一个模型我让它生成一些样本我要给它打分打分完了再反馈给训练跟它说这个生成结果是好还坏然后这模型就根据打分反馈来更新它的权重我们现在差不多我觉得是就是说把这一块做得比较solid了这块实际上我们也花了很多力气很多时间好的您刚才提到对MOE模型强化学习方面的针对性升级那我们看到在4月9号的发布会当中Pi在训练上有强化学习和混合精度训练能否再跟我们介绍一些这些升级这里面因为MOEMOE本身就是说这个混合专家模型特别是西数的混合专家模型它的一个初衷就是为了提升这个推理的效率他的初衷就是说我671B的参数那么我不推你的每一个token我不需要计算所有670B的参数我只要其中激活30几币的参数然后就能保证这个效果那么他是为了这个目的说不过这么说但是怎么样把这个西书的混合专家模型的在这个架构下把硬件的效率提到最高这里面实际上很多事情要做那我们推出的就是说很多做法它需要算子上做一些特定的优化才能把这个硬件给利用的更好因为模型现在变得也是相对来说更细碎一点不像原来大的计算这个比较规整的那么你就比较容易去优化因为现在都尽量的去optimize的话每一块都比较细碎的话我们都要把这算子做一定的调整这样子的话比如说我们做一些fusion把一些小的算子给融合到一块然后我要做计算和通信的隐盖因为ME或者说刹击的推理的话它有很多通信要发生那通信的过程中我还是希望这个GPU还在计算是吧我就把计算和通信并行起来这样虽然我有通信但是我不希望它对我的计算效率发生影响这是做的第二块比较重要的工作然后在推理上当然就是上层框架做的比较多的就是PD分离KVCash然后这一块也变得非常重要那前两点很好理解而对于第三点我先跳进来一下给不那么熟悉这些AI词汇的小伙伴解释一下LLM的模型的推理过程分为两个阶段分别是P Prefill预填充意思是处理输入Prompt的所有Token生成第一轮隐藏状态然后D是DCO的解码也就是一个token一个token的继续生成回复而通过Pd分离就可以把prefill和decode交由不同的硬件资源处理提高整体的吞吐和响应速度Pd分离今天非常重要在这个resing model的情况下P和D的这个workcloud不太一样因为它的D的话可以变得非常长 [9:59] 可以是几万个token比如说每秒钟你30个token几万个token可能就是几千秒差不多半个小时你这个优化就是要特别的极致那么P也不一样P就是prefile就是说我给模型的输入你一般问个简单的问题但是这个系统都自动把你的上下文给加进去就是说你过去问了什么我有哪些关于你的记忆把这个作为console放进去如果我再给你一个PDF文档或者我给你张照片的话是吧就是说这个输入实际上变得非常大那么输入变得非常大和这个输出非常长的时候那么它需要优化是不一样的所以就为什么我们做这个做比较极致的这个PD分离因为prefill的话它是计算密集性我都知道所以输入我只需要就是并行的去计算那么D的话decoding阶段它是比如说我要生成三万个token但我只能一个token一个token去生成它实际上是个顺序的过程那么它实际上是个仿存密集性D的优化主要就是说我把不同的D给batch到一块这样能提升这个计算的效率但是对于一个问题的decoding阶段的话实际上它是个纯顺序的过程所以优化不太一样而另外一个关键词KV cache是什么呢那我们知道Transformer的每一层注意力机制都需要用到Key简称K代表每个词的身份标签和Value简称V每个词的说话内容在推理解码阶段呢每次生成一个新的Token都需要使用之前生成的所有KV所以为了不重复计算会把它们管存起来这就是KVCache而对KVCache的进行优化就可以在多用户高并发大上下文以及低延迟的场景下让大模型能够稳定高效的生成响应为什么用KBK就是我decoding阶段我一个token一个token生成每个token的生成要用到前面所有已知token的中间结果如果我不开始的话那么我新生token我重新计算一遍就是非常的浪费所以在同一个request里面KBK都是完全已知的做法就是我都利用前面的中间结果但现在因为服务的用户数越来越大比如说DeepSeek或者GPCO包括亲吻是吧服务量越来越大之后你会发现不同的请求之间实际上我也是可以用Cash的它前缀前面的有很多是相同的部分是吧那给KVCash提的要求就是KVCash原来是个单请求P和D之间KVCash那么现在就变成一个就是global的比如说我如果有每天有一千万的这个请求的话那么一千万的请求里面我如果用一个全局的global的这个KVCash的话那么这个不同请求之间的这个Cash利用率就会大幅提升我们的我们做的一些模拟的话就是说如果用global的KVCash在每天比如说有一千万请求情况下在贴贝口场景下这个KV开始的利用率差不多能提升个十倍可能是从百分之几提升到百分之几十这个对这个机器的这个GPU的利用率或者对这个需求差不多就降了一个数量级从这个角度来看的话我之前听到一个观点是这个训练测客户在意的是时间然后呢推理测客户在意的是成本不知道您是否同意这个说法那随着AI发展迈入推理测那么高效的资源管理和算力调度就非常的重要了那Pi是如何来满足这样的大规模AI和制算需求的呢对推理来说因为今天模型的效果越来越好然后大家就更愿意去用推理但其中很重要的一点也是推理的成本在下降在DeepSick出来实际上GPT4O的这个效果也非常好但是因为它成本高是吧所以大家就没有放手去用但DeepSig一出来的话大家都觉得我原来做不起或者说没有RI的这个事情现在发现其实可以了因为Twini差不多降了至少是一个数量级如果自己部署的话所以从这个角度因为成本的下降那么就带来就是更多的应用来使用这个模型那么但是对很多客户来说这个模型的成本还是一个非常重要非常关键的因素所以每个用户都在要求我们极致地去优化这个模型推理的性能因为也不是我们一家大家都在比较看谁的性价比最好所以这也是变成兵家必争之地在调度上我们做了很多工作有几个层面的一个就是说单服务或者单instance我们怎么把推理的性能给推到极致实际上刚才前面讲了一些包括算子的优化但也包括比如说某种程度上的量化所谓量化就是说原来我需要FP16或者FP8做计算我现在是不拿FP4可以来做当然前提是保证模型的效果不下降在这个前提下这个实际上 [14:59] 我们做了很多探索实际上我们能看到我们做的一个量化方案的话就是在精度不损失的前提下我们能把这个模型的这个性价比给提升差不多一倍就变成非常有竞争有竞争力的一个手段你只需要一半的机器然后在调度上呢因为现在请求量大了起来那么刚才也说了每个请求它可能要花比如说有可能花半个小时才能结束有的请求快点可能10秒钟或者20秒就能结束是吧那每个请求不一样那么你这个GPU你一旦调度过去因为KV开始在那里你希望那个请求就在那个GPU上就持续的运行到结束那么在这过程中我们就要快速的非常及时的感知每个GPU的这个负载然后呢我再决定就说这个GPU它现在这个请求有可能要花半个小时那我下个请求我就先不给它我给另外一个我觉得会更快一点是吧所以我们就要做一定的这个负载感知的调度我们推出了一个框架叫那个Luminix那么这个就是说在我所有GPU之间我能够实时的去监控每个GPU的这个负载同时我能做一定的预测我能知道说这个GPU它上面的任务什么时候能结束其实同样的这个同一个模型每个任务其实很可能千差万别有的要半个小时有的可能只要三分钟然后我们做了这个之后呢我们发现手包延迟就是说最开始产生结果的那个延迟的话就是手包延迟差不多能降90%就对用户来说我能在我看到第一个Token的返回来的时间就降了90%同时的整体的就是说延时token by token的话我们能看到也是能降15%那总结一下来说在模型推理阶段阿里云的PiEAS具备负载感质的PD分离架构结合MOE分布式推理调度引擎LUNIX能够显著的提升推理速度和资源利用率受Token生成响应时间降低92%端到端服务吞吐提升91%同时PiEAS推出高性能的KVCash缓存服务千万级活跃用户场景的KVCache应重率可以提升10倍以上同时在模型训练阶段Pi平台搭载自研的大规模MOE混合精度训练引擎Pi Flash MOE高性能Post Training训练框架Pi Chat Learn能够帮助开发者和客户灵活高效地进行强化学习以及SFT训练那接下来多摩泰和AI Agent都是市场应用发展的重点多摩泰的AI生成比如说文身图文身视频也是面临着巨大的算力挑战针对这两个AI发展的2025年关键词阿里云或者派有如何的新功能支持呢这次实际上我们发布了几个东西首先就是说在模型上我们实际上是走的就是两个方向一个是那个我们叫全模态全模态就是说Krinkin发了一个叫那个Omni模型全模态就是它支持文字图像语音和这个video是吧除了文本输出之外它是支持实时语音你可以拿语音直接跟它对话这是我们全模态这个模型的一个变化然后第二个当然就是说另外一趋势就Resilin Model那就是我们做的这个千文三QWQ这是说模型上的这个两个趋势就多模态和这个Resilin那么从这个应用上你刚才也提了就是包括这个Agent包括这个就是MCP是吧实际上这两块也非常重要我们也看到就是说因为Reason model的它的强大的这个规划推理包括反思包括这个总结包括纠错能力是吧实际上让整个这个AI的能力就不只是一个单轮对话了而是给它一个复杂的任务它能自主的去规划然后去调工具也好去Reason然后去Summarize就最终生成一个实际上我觉得可能接近80%效果的一个结果所以就变得非常实用这是前面说的包括这个Mindless就是一下子变得非常popular那么最近我们也是在我们自己的平台上我们推出了我们自己的agent就是阿里云会有自己的agent的store在我们Data Wars上也推了一个agent目前我的Data Wars和HoloGraph就两款这个产品上会推出MCP的这个server这样子的话Agent就可以直接去学会怎么用这个产品然后复杂的任务我跟Agent说我给他一个文本指令就说你给我做这么一个查询分析或做这么一个数据导入然后我们看到非常好的效果就用了这个Resident model之后然后他很好的就是说去planPlan说我该做什么事情然后我最后说我生成成了这个 [19:59] 一个SQL语句然后完了我就解释一下这个SQL语句然后它就去试运行运行工人发现说好像不对有错误是吧然后能看到错误之后能自动说这个地方错了自动去改正然后自动重提交最终是结果之后它能去验证去解释这个能力对我来说我觉得还是非常的震撼的我想对于中国的云厂商来说像阿里林在服务全球或者出海客户的时候也需要考虑异地布局和调度它是如何提供全球化的模型推理服务的呢阿里云是个全球云厂商我们立足于全球我们在全球包括中国 东南亚 欧洲 美洲我们都有Data Center都在部署服务我们做的其实在推理上为了满足我们群体化的客户我们做了除了capacity之外Kopacity,文学,全新化都有但是我们在服务上也做了针对的推出包括我们有一个叫企业专属网关就是说因为大家用推理服务的话很多企业来说我希望我的数据是非常安全的我希望数据是非常隐私的只能我自己看得见那么他就需要他的数据从他自己的企业网就是安全的连到我在全球的所有的这个推理服务那我就推出一个这个推理的专属网关那么他就可以从他的自己的生产环境连到我们所有的这个这个推理服务上这是这是很多厂商很多金融厂商很多汽车厂商他需要的一个企业纪能力然后另外呢我们也推出一个融灾的这个全球的推理的这个调度然后就是通过通过这个NodeBalance的话用户可以就是把请求发给全球的这个分布式的这个推理服务然后这样子的话就是变成一个全球的这个融灾系统这样子的话就是首先我们会就进去调度他的这个推理的这个任务但同时就是如果哪里有有故障有问题的话我们自动把这个把这个请求给Route大概就是不同的这个region这样保证是个非常高可用的一个服务然后可能还有一些对中文对东南亚这种语言的环境的支持我觉得可能你们也有很多这方面的优势是是是是我们模型就是说对于小鱼种对于这个亚洲鱼种我们实际上采样的会更多从客户评测的角度我们支持的实际上是比NAMA或者说比一些通用的模型会更好这也是通意整个这个模型家族的话就是在我们的国际客户上也是有非常强的口碑大家非常认可AI安全也是一个很重要的议题阿里云和派如何利用自身技术优势来打造所谓的可信AI呢在安全问题上AI开发者和应用者是面临着如何的挑战对这可能是个比较大的话题因为整个学术界对于AI的可解释性实际上还没有就是说我不觉得现在AI是个完全可解释性有一些从业者还在问说为什么Predict Next Token能够产生智能这可能更学术性但是从我们的角度我们的确需要做一些工程化的手段那么我们做的就是更多的是Debug Ability和Tracing可以看到这个结果是在哪里发生的怎么发生的受到什么影响然后有什么样的auditing是吧这是我们平台提供的能力如果你希望你的模型产生积极健康的response把一些你认为negative一些东西给filter掉的话那么就说我们有个兜底的就说如果模型真的输出你觉得不太合适或者你不希望直接给用户的那个答案的话那我们可以做一些我们就要提供一定的过滤的能力然后有些客户呢就是特别是金融或者说敏感客户的话他非常在意就是说我模型有没有被篡改然后我整个模型是不是被加密的是吧就是说我不希望别人看到我的模型我的模型run在这个阿里云的这个GPU上我不希望阿里云的别的服务能够去窃听或者篡改或者就是说能够监视我的模型是吧就是他希望整个过程是加密的那么我们也是利用一些硬件加密的这个性能就是GPU上的这个这个confidential computing这个能力那么就是说把模型就是说在运行过程实际上是全加密的这样子的话就是说你直接去看内存也好你直接登陆到那台机器实际上你也是看不到那个那个模型里面的参数也好或者它运行状态我们看到此前大模型训练的算力需求呢都是聚焦在头部企业但随着应用端和推理侧的需求爆发呢接下来来自开发者中小企业还有出创公司的需求呢会大幅度的增加嘛 [24:59] 他们对于算力的服务需求有什么不一样的这是最近发生的很有趣的一个趋势就是我们的需求就是说对算力的需求越来越碎片化原来可能都是比较大的但现在因为这个更多的企业享用更多的中小企业享用我们会经常看到大家说我能不能要一击两击或者说就是非常小的这个请求是吧这个是真实在发生然后我觉得这是一个趋势我们是想从两个维度去解决一个就是说我们推出这个model the serviceAPI服务是吧你就按量付费你用多少付多少你用1000个token你就付1000个token的钱这样子对中小企业就更容易上手那么对于有一些呢就是说他就说他说我就是我需要我自己dedicate instance比如说我就是要用某个特定的模型这个模型我不一定有相应的API服务的话那么这个时候呢我们就是它就只能通过我们的派去部署它的模型推理服务我们希望提供这个非常简单应用的一件事的就能拉起它这个推理服务就让它非常容易上手而不是说需要Handle Holding去找一个阿里云的这个工程师才能拿起来所以我们从这两个角度去解决这方面的问题目前还有很难一个问题就是说这个算力的问题就是说很多时候算力是非常有限的特别是T&N现在用的算力我们目前的话我觉得也是非常紧张但是这也是我们阿里云一直要做的就是我们不停地在采购不停地在建设我们的这个基础设施来提升我们的这个整体的算力我们CEO吴永明就是前阵说过我们接下来三年要投入3800亿是吧去在AI基础设施上那么这里面我们就是希望保证就是我们有足够的算力足够的算力来服务我们所有的客户而且我们也是笃定的相信就是说AI这波浪潮是真实的在发生而不是说只是现在谈话一信对没错那感觉就是所谓的这个platform as a servicePaaS在整个AI生态中就非常的重要了对对因为前面其实也提过就是说整个这个AI由于Resening Model由于这个这个MOE架构就整体变得越来越复杂我刚说我们花了两个多月来打磨这个系统我这边最top的工程师都在里面是吧就是说实际上不是一件简单的事情那我们就是希望把这个能力的给封装成一个aaS封装成一个这个platform这样子的话让更多的用户直接能够使用而不是每个厂商每个客户直接拿到这个原始的这个挪机也好或者说这个比较原始的GPU然后自己去搭服务因为这件事情非常复杂这个技术含量非常高我们是希望他们能直接用上这些能力所以我们也的确看到就是说在过去一年PaaS的Adoption Rate的话我这边的数据就最早可能是10%然后到最近的话也就远远超过50%了所以至少在阿里云上的话大家对PaaS是非常白颖的对 感觉是一个非常快速的增长那随着硬件发展的速度AI基础设施的下一步发展趋势是什么能如何进一步的帮助训练还有推理测的客户们去将本增效呢有没有什么技术发展是值得我们期待的AI的发展反正日新月异差不多每两周就有一个非常大的突破出来我觉得接下来的话就是有几个方向基本上就是模型 硬件和这个应用我觉得这三块的话都在飞速的发展那模型的话就是说这个能力更强的模型这个性价比更高的模型当然也包括多模态就是多模态的全模态的这个融合我觉得这可能是模型发展的三个方向今天这个模型已经非常强了这个Deepseek也好这个OpenAI的这个模型也好是吧Anthropic包括我们的这轻微模型都非常强所以这个模型的能力的提升可能还会加速的发生所以这是从模型的角度第二个就是从硬件的角度因为模型带来的就是对硬件效率对应进能力对应进这个规模的这个需求是吧所以从硬件的角度的话大家也看到各个硬件厂商也都在每年都在迭代然后这个包括NVIDIA包括就是其他厂商而且除了这个之外的话就是NVIDIA也把这个硬件的这个架构相当于原来就是单机变成一个单REC的那个架构就NVIDIA这个72是吧72张卡放在一个REC上更像传统意义上的这个大型机的这个概念那么从应用上呢我觉得因为模型的这个性能的提升的话从今年看我觉得应用的发展可能比前面两个发展的更快我觉得这个应用的这个我只能说是突飞猛进这个完全是太强了原来很复杂的事情现在真的是AI能够取代了从编程上原来大家只做很简单的比如说这个 [29:59] 或者说加comments或者简单的前端的编程但现在都可以让他给他很复杂任务他能生成一个完整的应用这个能力我觉得可能是今年是个最大的爆发点好的最后一个问题我们看到黄仁勋在今年GTC期间预测2028年数据中心支出将会突破1万亿美元你们认为未来算力需求会以什么样的速度去发展比如说很多人认为AI的发展路线是从所谓的Perception AI叫Generative AI再到Agentic AI最后再到所谓的这个Physical AI你们同意这样的技术发展路线吗每一步的算力需求会有如何的提升呢以及云场上在其中会有多大的机会呢我觉得黄仁鱼说的肯定是没有问题的我觉得基本上是个是个共识的就是今年可以说是Agentic AI的这个爆发的一年然后接下来就是AI最终肯定是要跟物理世界发生联系然后实际上我们那个CEO吴永明在去年云气大会已经说了他畅想到AI就是说不光只是AI创造了一个C-PAP只是在虚拟世界上产生作用而是AI怎么跟真实的物理世界发生联系然后改变物理世界我们的确有很多客户做巨生智能的做自动驾驶的的确也是在朝这个方向在做他们实际上是我们增长非常快的几个晒道之一自动驾驶是派经历我们几个就是重点发力的这个这个晒道然后我们也花了很多精力很多人力在这上面NVIDIA在那边发布了一个东西叫COSMOS它实际上是一个物理世界的这个模拟的这个模型它叫世界模型我们也是会接入这个COSMOS的话就是这样子的话让这个自动驾驶厂商或者说做巨星智能的能够通过世界模型能去仿真能够建模然后这样子的话能够更快的帮助他就是开发他的巨神智能的能力所以我们肯定是会尽力的接入站在我们的角度这是一个非常难得的时代然后实际上我前面也说到大家从差不多从春节前后到现在实际上我的团队就是基本上就是没有休息因为大家都非常excited非常motivated就是加班家庭在做这件事是吧从怎么样就把region model训练出来到怎么样更好地提升这个推理的性价比大家就为什么大家都这么激动也都这么passionate我有一个原因就是说真的我们不光只是观察到AI在改变世界我们在参与在这个过程中我们能共性我们自己的力量帮助AI来改变这个世界能把这个世界我觉得是会变得更好那就像汪君华最后说的这一段真的还挺鼓舞人心的在全球AI市场当中我们今年期待更强大的机组模型更优化的推理模型更加让人惊艳的AI应用以及更成熟更完备的AI基础设施那么这样才能够形成良性循环的生态来加速AI技术的向前推进而阿里云的布局是这个生态中的一个非常典型的例子想在未来三年在基础设施 模型 数据 工具 应用 交付这六大领域和生态伙伴们一起服务上百般的云上客户来打造繁荣的AI生态那么看到这里的小伙伴们你们觉得三年之后我们的AI技术会发展到哪一步呢会实现AGI吗欢迎大家给我们留言或者在弹幕上跟我们交流您的留言 点赞和转发是支持我们硅谷101做好深度科技和商业内容的最佳动力那我们就下期视频再见了拜拜优优独播剧场——YoYo Television Series Exclusive