SGLang母公司RadixArk完成超亿美元融资 解决GPU算力浪费

SGLang母公司RadixArk完成超亿美元融资 解决GPU算力浪费 GPU集群高达六成能耗耗于空转，AI基础设施竞争焦点已从单纯堆叠芯片转向以SGLang和Miles等引擎为代表的系统软件与调度优化。 在AI芯片短缺与算力极其昂贵的背景下，利用率不足与硬件空转成了行业痛点。节目从AI Infra的四层架构切入，剖析了下层硬件与电力难以短期突破的瓶颈，强调系统软件与调度层面的优化是提升性能的关键。RadixArk团队详细介绍了利用Radix Attention优化KV Cache显存占用、连续批处理与PD分离技术，以及针对强化学习推出的“推训一体”Miles框架。最终展示了通过系统级优化赋予广大开发者顶尖Infra支撑、实现AI技术平权的商业远景。 随着 AI 行业重心转向推理及硬件资本开支高企，提升 GPU 利用率成为千亿美元级赛道；CMU 监测显示集群有近 20% 的执行时间浪费在空转等待上。 (0:00) 在 AI Infra 的四层架构中，底层电力与芯片物理极限正在见顶，而上层系统软件与编排调度能以较低成本实现数倍的硬件性能提升。 (0:05) 针对重复上下文带来的昂贵“推理税”，SGLang 与 RadixArk 利用 Radix Tree（基数树注意力机制）构建前缀共享家族树，并配合缓存感知调度攻克 KV Cache 显存瓶颈。 (10:00) 采用随到随上的连续批处理（Continuous Batching）可使推理吞吐量提升 2 至 4 倍，配合 PD 分离与投机采样能进一步消除等待并释放算力。 (15:00) 面向强化学习时代的后训练挑战，RadixArk 推出开源框架 Miles 与 SGLang 协同构建“推训一体”闭环，致力于消除阶段切换损耗并实现 AI 基础设施平权。 (20:00)

随着AI重心转向推理与后训练，硬件资本开支与实际利用率不足之间的矛盾日益突出；SGLang与RadixArk等团队正通过系统软件与调度层面的革新，试图榨取现有GPU的物理极限并压低算力门槛。 算力短缺下的GPU空转瓶颈与四层架构 (0:00) 当前科技巨头在硬件上的资本开支激增，黄仁勋曾预测2030年基础设施年投资将达4万亿美元，但高昂开支伴随着资本回报担忧。虽然市场普遍面临算力短缺，实际运行中却存在严重的资源浪费。卡内基梅隆大学（CMU）针对756块GPU（覆盖A100至B200等6代产品）为期31天的监测显示，集群近20%的执行时间和11%的能耗被浪费在空转等待上；在推理场景中，Azure Code负载有65%的能耗耗于空转，OpenAI Chat类请求的空转能耗也达52%。 AI基础设施可自下而上划分为能源基础设施（电力与散热）、计算硬件（GPU、HBM及互联）、系统软件（推理引擎与框架）以及服务编排调度四层。能源与硬件属于改造周期以年计且物理极限逐步见顶的硬工程，而上层的系统软件和编排优化成本较低、提升空间显著。以价值约400万美元的NVIDIA GB200 NVL72机柜为例，若软件优化使利用率从50%提升至90%，相当于挽回数百万美元的折旧与电力损耗。因此，软件层与编排优化成为了系统工程的核心突破口。 前缀复用与Radix Tree化解“推理税” (10:00) 在多轮对话与Agent工作流中，重复出现的系统提示词与工具描述若每次都重新计算，会产生昂贵的“推理税”。虽然业内普遍利用KV Cache在Prefill阶段缓存Prompt的Key-Value张量以减少Decode阶段的重复计算（Anthropic等团队借此降低了90%的计算成本），但KV Cache在长上下文和高并发下会极度消耗显存。 针对该瓶颈，RadixArk依托SGLang提出了Radix Attention机制。该方案将KV Cache组织为基数树（Radix Tree），使所有共享前缀的请求共用树干结构，仅在内容分叉时延伸新分支，实现跨请求与跨机器的缓存共享。配合缓存感知调度（Cache-Aware Scheduling）以及基于频次和时间的淘汰策略，调度器能优先合并相似前缀请求并把热点前缀保留在显存中，大幅降低了重复计算与显存占用。 连续批处理、PD分离与算力密度优化 (15:00) 为了消除传统固定批处理中“短请求等待长请求”造成的显存与算力闲置，当前推理引擎引入了连续批处理（Continuous Batching），采用随到随走的模式动态处理请求，将实际吞吐量提升了2至4倍。同时，针对Prefill（计算受限）与Decode（带宽受限）特性不同的冲突，系统软件正走向PD分离架构。PD分离将两阶段拆分至不同GPU组处理，例如DeepSeek以32张GPU作为Prefill计算单元，完成后将数据传输给专职Decode的GPU。 在微观计算层面，行业通过低精度计算和投机采样（Speculative Decoding）进一步释放Tensor Core性能。投机采样由小模型快速生成草稿Token，再由大模型单次并行批改，理想状态下可提升2至3倍生成速度。随着SGLang成为NVIDIA、AMD等厂商在新硬件发布首日（Day Zero）调优评测的标准工具之一，该生态也获得了来自英伟达、AMD等巨头及行业知名高管的战略注资。 强化学习后训练闭环与算力技术平权 (20:00) 随着以OpenAI o1和DeepSeek-R1为代表的强化学习（RL）后训练兴起，推理评估、样本生成与参数更新交织在一起。传统框架在阶段切换时易导致训练卡或推理卡互相等待。为此，RadixArk推出了开源后训练框架Miles，与SGLang构成协同闭环：SGLang在推理端生成样本，Miles在训练端进行梯度更新并实时同步权重，结合Kernel级MoE路由调度优化，化解了推训切换中的算力损耗。 商业化方面，SGLang创建团队成立RadixArk，旨在将AI Infra转化为通用的云化基础设施。团队主张，面对数周一更的开源模型权重，开发者真正的难点在于显存与调度的工程落地。通过提供具备跨芯片Day Zero适配能力的推理底座，团队希望降低底层系统工程壁垒，使非前沿实验室的创业团队也能具备对等的算力工程能力。 在算力资本开支高企与模型快速迭代的背景下，推理引擎与推训协同正成为压榨硬件性能的关键。然而，随着多模态与超长上下文进一步演进，系统软件能否持续克服硬件互联带宽与显存容量的物理制约，仍是工程落地需持续面对的考验。

[5:00] Most of the work 都要放在软件层和服务编排，因为你把人力投入到这一块当中，你能够带来最大的优化的可能性。 [15:00] By default，现在很多人的 choice 都是通过跑 SGLang，然后顺着 SGLang 变成一个 Hardware 评测的工具。 [25:00] 我们做 RadixArk 这一个更大的目标，其实就是希望以后就不要有 Frontier Lab 这个词，因为人人都可以做 Frontier Lab……我们给他们提供的是 Infra 上最强的 support，让他们在想做的那一刻开始，就会和现在的 Frontier Lab 有一站之力。

[0:00] AI行业突然开始了一场造星大战OpenEye亮出了比脸还大的手眉推理金箭谷歌计划将Gemini架构直接写入龟片Androbic 智朴 DeepSeek也都相继传出了正在进行相关布局他们把目光都投向了推理加速背后的原因很简单当模型竞争全面进入部署阶段让模型更快更便宜地跑起来变成了最重要的事但是并不是每家公司都有的有资金有能力去重造一块芯片而现在有一个市场正在引发资本和巨头的关注就是AI Infra但它背后的逻辑是已经部署好的数据中心和GPU它本身还存在优化的空间AI推理平台Biston一年收入增长了20倍估值从21亿美元暴涨到了130亿美元同赛道的Fireworks7个月内估值翻了4倍达到了175亿美元年化营收突破10亿美元一股强劲的势力开源推力引擎双子星VLM和SGLINE前后脚宣布商业化种子论融资都超过了1亿美元背后几乎聚齐了AI产业里面所有巨头和顶级风头的名字拉开了强强对决的弹幕所以GPU的利用率成为了硅谷的最新关键词也是带出了一个新的千亿级市场这期视频我们也邀请到了由SGLine孵化的RadixArc的联合创始人和核心成员以及数据中心专家一起聊聊AI Infra的四层架构行业如何把硅的潜力炸到极限以及背后的关键技术好那么接下来就跟我们来看看AI Infra正在发生的效率革命但模型的重心从训练走向推理这对算力会提出完全不同的要求但是训练完之后任务就告一段落但是推理不一样无论是Chaba还是AgentAI应用越多GPU就需要处理越多的请求而且这些请求是完全不间断推理需求也随之爆发性增长随之大家不断地拓展这个application拓展这个model intelligence boundary然后这个推理的需求就会越来越大我们现在其实已经大倒就是说基本上市面上的卡其实都很难找到每一家都缺卡每一家都缺卡对于有钱的巨头们来说最直接的方法还是中心采购更多的GPUMeta Google Microsoft等科技巨头持续提高资本开支近年预计超过1万亿美元而黄仁勋预测到2030年全球AI基础设施年投资规模将达到4万亿美元但是华尔街是担心的华尔街的担心也是不无道理的在过去我们是有前车之鉴的像互联网时代的泡沫的破灭当时是大量的投入到比如说光铅的建设对互联网的公司的投资等等其实虽然长期来看是实现了他们价值但是短期是出现了很大的问题的所以如果不能在短时期内大规模去增加算力还有什么样的办法能够满足AI快速发展的需求呢答案是提高GPU的利用率那么这背后的这一层产业呢叫做AI Infra人工智能基础设施层那首先呢我们就从AI Infra的整体架构角度来科普一下GPU的一个误区你以为GPU很忙吗是很闲的GPU它只是整个AI系统中的一环从一条用户请求进入系统开始它需要经过网络传输资源调度模型加载内存管理再到最终完成推理返回结果整个过程当中只要任何一个环节出现瓶颈GPU就只能停下来等待CMU最近对756块GPU进行了31天的细力度摇测覆盖从A100 H100到最新B200的6代产品结果发现很多时候叫做Execution Idol执行时空转的状态。而这种看似繁忙,实则空转到底有多严重呢?在他们观测的集群中,整体上有近20%的执行时间和约11%的能耗被浪费在了等待上。而更值得关注的是推理场景,Azure Code负载有高达65%的能耗消耗在了这种空转上,OpenEd Chat类的请求也达到了52%。那么为什么GPU会被跑步满呢?解一下AI Infra的四层架构啊那么每一层其实都会影响GPU的利用率第一层啊是能源基础设施也就是电这一层决定的是GPU能不能持续稳定的运行第二层是计算硬件也就是卡除了GPU之外呢现在还包括了高带款内存高速货帘以及CPU等等这一层啊决定的是理论上能够提供的计算上限第三层就是系统软件了这一层啊就包括了 [5:00] 编排就能够理解那这一层要负责协调GPU资源决定哪些任务优先运行以及不同业务之间的动态调度推理引擎训练框架请求调度和资源管理等等都属于这一层那代表性项目就有VLMSGLane等等也是近年来创新最密集的地方那我们搞清楚了AI Infra的架构之后呢回到我们的问题为什么这么多的GPU都跑不满呢那主要卡在什么环节呢理论上来说四个层级当中任何一层出现问题几时都会影响GPU的利用率电力和散热不足GPU就会被迫降频运行硬件互联根部上会让GPU花大量的时间在等数据而不是算数据系统软件优化不够会让每次计算都无法触及硬件的物理极限而请求调度不当会让本来可以合并的计算被拆散可以复用的结果被重算造成浪费但是这四层的问题性质并不相同下面两层是硬问题电力散热芯片的改造周期以年为单位而且优化空间正在快速的见顶那上面的两层是软问题系统软件和调度逻辑本层上是工程问题算法问题优化之后往往能够带来数倍的性能提升那么在这样的背景之下现在行业的注意力也在快速的上移尽管就是说cost会在这个物理层上Most of the work都是要放在软件层和服务编排因为你把人力投入到这一块当中你能够带来最大的优化的可能性来举一个具体的例子一台NVIDIA GP200 NVR72机柜采购成本大约是在400万美元但是如果它的软件站没有做好调度和优化那么GPU的实际利用率可能就只有50%那就相当于只用到了200万剩下的200万美元以电费折旧和机会成本的形式被白白的烧掉了那如果反过来把利用率从50%推到90%以上那么效果就相当于凭空多出了一台机轨你这个软件层能做得最好就会带来更好的服务和更好的这种Token的消耗那最后你能够去通过这一层的重写以及这一层的优化去帮助推理引擎还有这种训练的框架去做到更好的这种交互以及像Reinforcement Learning现在特别火的这样一个Post Training的过程去做这一块的调度然后把GPU的利用率给使用上来这就是为什么当硬件成本高到这个量级的时候软件层的每一次优化都变成了直接的商业问题那不久之前呢有网友拔出Anthrobic的员工现在占比最大的就是AI Infra相关的工程师背后呢也是与这个逻辑息息相关那他们其实现在Inference的队伍已经有队了大概200多个人那其实在这三年期间他们也是从Infra比较很极度不稳定然后到现在就是极度区域稳定以及把cost和优化做得更强这也是直接影响了它现在revenue能够在QR就能够达到盈利OpenEye and Vrabic和谷歌会把这样的AI Infra团队放在公司内部去做因为这是成为了各大前沿实验室的竞争壁垒之一但是对于没有资金量去做优化的稍小一些的模型团队或者初创公司来说两个开源框架是成为了他们的支柱分别是VLM和SGLA就是为什么2000年会有像S7LINE这样的一个开源社去出现你需要有这样的新的框架去重新定义这一波这种新的硬件系统的这种组合那你才能去跟它做更好的适配好 那四层价格我们理解了上面两层需要被优化的我们也知道了那么具体应该怎么做呢那目前的所有的优化工作都都可以归结为对四个问题的回答就是哪些计算不用重新做哪些等待可以消除哪些算力没有吃满以及呢哪些资源没有协同刚才我们提到的SGLine和VLM都是现在围绕着这几个问题展开只是呢设计思路略有不同VLM因为提出了Page Attention而受到广泛的关注更加强调常规通用的推理部署场景而SG LINE呢则是从推理执行流程出发更强调计算复用和系统级优化我们来看看SG LINE复发出来的Radix Arc团队现在是如何思考AI Infra优化的这四个核心问题的首先呢我们先来解决一下计算的问题但模型推理里面有一个很傻的事实当同一段文字被反复的喂给模型的时候呢它每次都要从头计算一遍这在实际业务里面简直就是硬伤啊尤其是在Agent工作流里面同样的工具描述可能被调用几十次每次都是从零开始现在业界把它称为推理税这意思大概跟智商税也差不多反正都是白花的钱那么这个税能不能舍呢当然能Androbic之前就做过一本优化直接把成本砍了90% [10:00] 用的东西本来要花10块钱优化完呢只需要花1块钱这背后最核心的思路叫做KIVI CASH附用那么简单来说呢就是把算过一遍的东西存下来下次直接拿来用不用从头再算Transformer在解码的时候每一层self-attention都会把历史token映射成key value张量简称KIVI那CASH呢就是缓存有了KIVI CASH之后呢在第一次请求的prefill中文叫预填充也就是用户输入完prompt到生成首个Token的过程的时候系统把Prompt中的每个Token每一层的KV都存下来之后解码每个新Token的时候只计算新Token的KV并且把它追加到缓存里而对于历史Token的KV则是直接复用但是KVCash它有一个弊端它虽然可以降低解码的计算量降低首Token延迟也就是我们说的TTFT但是它的代价是占GPU显存当上下文很长同时有很多用户请求的时候KPcache会占用大量的显存显存一旦不够模型就很难继续提高并发和速度所以它常常会变成推理服务的主要瓶颈而SGLane在这件事情上的解决方案之一是一项叫做Radix Attention的核心技术它的核心思路是一种叫做基础数Radix Tree的数据结构来组织含量请求的KiviCache你可以把它想象成一颗共享前缀的家族树共享同样开头的请求会共同用同一段支干只有当内容开始分岔的时候才各自找出新的数值这在Agent Board其实大家很多时候它会有很多Shared System Prompt然后它会在share system prompt完以后会有不同的user prompt然后但是在同一个user prompt下面大家会接着问问题所以它就会有更多的tree structure延伸下面然后这个其实这个也是Synan paper比较有远见的地方其实在All 3年的时候就已经大概预见到了就是这样的一个模式随着这种agentic coding这个usage越来越多其实registry包括Synan本身的preface cache这套system带来的争议就越来越大那么简单来说SGLane完成的核心优化之一是跨请求跨机器的共享和复用KiwiCache那普通的KiwiCache呢只服务于一个请求但是呢SGLane把KiwiCache呢变成了全局可复用资源不过啊这件事听起来简单工程上却很复杂那比如说缓存存在哪里怎么快速的匹配多个请求怎么共享显存不够的时候该淘汰谁每一步都要精细的设计那仅仅有一个好的缓存结构还不够还需要调度器主动把可以共享前缀的请求给安排在一起处理否则缓存明明存着调度器却把请求分到不同时间不同的GPU那缓存就等于白存了对此SGLine是做了非常多优化的策略比如说Catch Aware Scheduling就是把相似请求排在一起处理你可以把大模型运作想象成餐厅的后厨如果后厨现在连续处理这几单比如说连续的三份麻辣香锅很多调料和准备工作可以复用那效率就高了就算有稍微的区别也只是小辣中还有大辣的区别但它如果顺序是这样的麻辣香锅寿司牛排麻辣香锅寿司披萨麻辣香锅你这个中间切来切去好像大厨还得洗锅那复用机会就少了所以SJLine会用Cash Aware Scheduling让前缀相似的请求靠近处理这样缓存更容易命中进一步的提高效率那这个顺序呢就会使三份麻辣香锅加两份寿司加牛排加披萨等等还有呢一个叫做Eviction的淘汰机制就是显存不够的时候扔掉最不可能再用的缓存就跟你管理手机内存一样十年前的照片和文档可能呢就没有最近几个月的数据那么有价值了对吧所以常用的System Prompt高频Rack文档还有最近刚被用过的对话前缀更会被保留而显存不够的时候就会淘汰很久没有用过的服用价值低的不太可能再被访问的TVCache还有一个让AI Infra显得非常有智商的基础叫做分布式Cache Aware Load Balancer我们知道大规模服务通常有很多GPU但是问题来了如果某段长prompt的TV cache在GPU1上但是下一个相同前缀的请求被发到了GPU3上那GPU3没有这份缓存还是得重新算所以SG-Line它还是会尽量把请求发到已有笔记的那个GPU上那这样一来可以少算很多重复内容还有很多其他的小技术细节我们就在这里暂时不展开了总体而言虽然SG-Line把架构都给你搭好了但是具体每个团队怎么部署Infra还是蛮有工程上的考量的那除了重复计算之外第二大浪费是等待现在这个行情内存价格一个季度能够涨90%高端险从缺货缺到2027年GPU有钱都不一定能够抢得到但是最后这些花了大价钱抢到的卡一半时间却都在干等第一是请求之间的等待最早的 [15:00] 推理引擎是排队制请求一个一个来一个算完再算下一个后来眼睛倒批处理凑够一批一起算但是吧凑批它也要等而且一批里面如果有的请求短有的请求长短的算完了还要等长的算完才能够一起下车但短请求的用户体验也是极差的那么现在主流的叫法叫做Continuous Batching连续批处理不再等一批人全部到齐之后再发车而是像一辆随时可以上下课的公交车新请求随时能够上车那算完的请求随时能够下车GPU始终保持满载那么这一改造能够让GPU的实际吞吐量提升2到4倍除了请求等待之外计算阶段也有等待我们知道大模型的推理其实包含读入和生成两个阶段读入阶段需要快速处理一大段文字对算力要求高那生成阶段则是一个字一个字的往外蹦计算量不大但是每写一个字都要翻一遍完整记忆对显存败宽极其敏感过去这两个部分被塞进同一张GPU里面混合执行结果就是prefuel在算的时候decode在等那decode在算的时候prefuel在等互相拖累那现在的做法叫做prefuel decode分离把这两个阶段拆到不同的GPU上各自用最适合的硬件适配通过高速网络传递中间结果比如说Deepseek就采用了这个方案prefill独体的时候32张GPU组成了一个最小计量单元等于真正开始逐次作答的时候任务就交给另一批GPU接手两波卡各干各的互不打扰如今PD分离已经成为了推理引擎最重要的架构眼镜之一在英伟达最新推出的分布式推理架构Dynamo当中PD分离就被放在了整个架构设计的核心位置而SGLine也是业界最早支持大规模PD分离部署的推理引擎之一接下来我们来说一下第三个大问题算力跑满的问题当年英伟达的H100发布之后Tencent Core算力相比A100是提升了数倍整个行业都期待着AI推理能够同步增长性能飞跃但是现实却并不是这样背后的主要原因是GPU大量时间花在了数据搬运上又受限于串行解码计算的能力无法得到充分释放目前解决思路有两个主要的方向一个是低精度计算模型在运行的时候GPU显存里面是主要装了三样东西分别是模型权重中间激活值以及KPcahe那这三部分的精度可以独立设置用更小的数据格式来存储或者运算其中的任何一部分都能够减少显存占用也能够利用GPU上更快的低精度算力在合适的场景下这甚至相当于能够多释放出一倍的算力空间另一个是投机采样Speculative Decoding那意思是先用一个小模型我们叫做Draft Model也叫做草稿模型去猜接下来的几个字再让大模型进行一次性验证猜对了就等于一次计算生成了多个字做个类比大模型是一个很厉害但是很忙的老师小模型是一个速度很快的助教之前学生每写一个字都会问老师你看这个字行不行老师确认之后再写下一个字但是投机采样是助教先帮学生写一小段草稿老师就一次性看这一小段如果前面都对就全部通过如果中间错了就从错的地方重新再来这样的方式最佳情况下能够把生成速度提升2到3倍而推理引擎在这里扮演着一个至关重要的角色就是把这些新功能第一时间集成到系统里面把软件和硬件的四层都给它打通让优化协同起来它其实SLAN本身是个整体的速度上它是个Inference Engine它需要保证就是说比如说我们会做Kernel的Optimization然后会做Scheduler本身的Optimization然后会做比如说Coda GraphContinuous Battering甚至再往上走你会有Routing然后也包括Profit Cache怎么去被Route到对应的Engine Replica之类的SLAN其实有非常多的Technic是Combin在一起然后去把这个Inference整体这个手组织做到极致做到最好那Redix Arc联合创始人朱崩华就跟我们说像SGLAN这样的推力引擎现在跟芯片厂商之间已经是一种深度绑定的联合优化了芯片厂在设计新硬件的时候就已经在和SGLAN的团队一起做联合调优那等到硬件正式发布的时候SGLAN也几乎在同一时间完成了Day Zero的支持那双方一起希望能够把硅的性能给压缩到极致不管是哪一个硬件厂大家如果做出来新的GPU新的Hardware其实都需要展示这个Hardware其实是非常performance基本上现在by default很多人的choice都是通过跑AXLAN然后顺着AXLAN变成一个Hardware评测的工具比如说你可以看到AMD最新的Hardware [20:00] 这其实也解释了RedX Arc从SGLane孵化出来进行融资的时候机构投资人方面英伟达AMD 联发科DataBriks等AI硬件与系统层的主要玩家几乎全部到齐个人投资者的名单更是一个比一个重磅Intel CEO陈立武Brockham CEO陈福阳OpenAI的联合创始人张庆文等等可以说是非常豪华的阵容了因为对他们来说投资Radix Arc这样的推理引擎是一种战略下注他们需要一个连接算力与应用的基础设施入口把更多的模型 企业应用和agent都汇聚到自己的算力生态当中好,那最后我们再来说说SGLINE在强化学习RL上面的一个重要优化Miles强化学习RL成为了新一代模型的核心训练方式那这包括了OpenAI的O1和Deep6R1等等这是让AI训练的形态发生了巨大的变化传统的模型训练是一件体质单一的事为数据更新参数再为数据再更新参数整个过程GPU干的都是同一类活那么这种情况下硬件配置和调度策略只要针对训练这件事优化到位就行了但是强化学习RL是要把推理评估参数更新这三种完全不同的计算揉在一起循环跑三件事对硬件的需求天差地别如果用传统的训练框架来跑强化模型他们会在同一批GPU里面去增强资源生成的时候训练在等训练的时候生成在等大量的算力就被浪费在了阶段切换和互相等待上所以资源协同成了效率提升的命纹这也是为什么Redix Arc在SG Lane之外最近还推出了训练框架Miles如果单纯就是说无视训练只做推理反而是没有办法Bet on the future因为eventually大家可能最后还是会有很多人希望自己训练自己的模型然后再去推理对所以如果我们想做整体的AI softwareAI infra的话其实我们认为两边其实是都需要take careMiles是一个面向大模型后训练的开源训练框架所谓后训练是指模型有了基础能力之后再通过SFT强化学习等等方式继续打磨让它更会听指令也更会思考那和传统训练框架相比Miles最大的不同是它把训练和推理呢放在了同一个系统里面一起考虑这点啊在强化学习里面非常重要就像我们刚才提到的在强化学习当中推理和训练是一个交替进行的过程如果配合不好很多算力呢就会被浪费掉那Miles和SG Line配合在一起之后SG Line在推理端不断产出新样本Miles训练端不断更新模型权重更新之后的模型可以继续用于下一轮生成而这样的优化呢让推理和训练衔接的更顺减少等待和切换的时间浪费从而形成一个更高效的后训练闭环Mismatch其实是现在在共生领域当中还很容易会经常会发生然后导致这个推理和训练模型当中你什么时候能够用share一个比较共用的一些模型的权重啊Kernel啊你保持一个align很多人会用sh-line那这时候呢再会用mouse的话本身会带来更强的这样的一个训练的能力会对推理任务对常任务还有gentic任务提高更多的稳定性那MOE现在是成为了一个大家比较去容易会接受以及都在使用的一个架构但是MOE本身呢就是你会有一些routing的一个过程当中你会导致不同在训练和推理当中你的kernal level你的并行的一些策略还有最后的accuracy都会不一样所以这时候呢你就需要有更强的工程能力能把这个事情给做成所以Miles本身就带来了这一块的优化以及把training跟inference去做更好的结合那目前呢Miles在新意见支持MOE训练以及呢推训一致性也就是我们说的training inference alignment等方面呢都是进行了大量的工程优化使得整个后训练流程能够更加稳定更高效的去运行但去年11月发布之后Mile 49已经被不少的前沿实验室采用了好了那我们说了这么多技术的理论是因为这一层对于AI大模型的发展来说真的非常的重要但希望把硅的极限给炸出来把整个AI系统的算力效率被系统性的释放出来 [25:00] 我们刚才提到的SGLINE和VLM都是开源架构背后主要依靠一群研究者和工程师在业余的时间共同维护为爱发点但是当全世界都面临算力短缺需要去乍规的极限从而释放出更多算力的时候仅靠开源社区的写作已经很难满足庞大的需求了于是SGLINE和VLM的主创团队都前后选择了正式出来创业更快速更投入的把技术往前推那我们这次呢也专门和SGLane的提出者RedX Arc的创始人也是前XAI Inference推理团队的负责人身影进行了深度的访谈我们的视频播客呢也将很快上线非常精彩可以说呢是我最近最喜欢的一次采访了大家一定要记得关注我们的频道不要错过更新哦从SGLane正式孵化出来之后RedX Arc也有更大的野心他们认为就像云计算改变了服务器一样未来AI Infra也可能演变成整个AI行业能够共享的基础设施最近黄仁勋牵头成立开源AI联盟联盟里面既有模型公司有芯片公司还有像SGLEN这样的AI Infra项目那今天啊开源模型迭代的速度是越来越快从Deepseek V4ZIPGLM 5.2到最近的KIMI K3每隔几周呢都会出现新的强劲开源模型但是开源模型开放的只是权重权重呢并不会自动变成Token任何人下载了这些模型呢依然要解决部署显存吞吐和调度等一系列工程问题而这就是为什么推理引擎的开源项目一直很强调Day Zero支持那这意味着模型一发布任何开发者就能借助开源引擎去立即部署同一套推理框架也能够跑在英伟大AMD以及更多新兴的AI芯片上这让推理框架正在越来越像AI时代的操作系统成为连接模型比芯片的关键一层我们做ReadySark这一个更大的目标其实就是希望以后就不要有Frontier Lab这个词因为人人都可以做Frontier Lab所以就是说我觉得Frontier Lab本身也是一个非常动态的两年前大家都会觉得SWP其实并不是Frontier Lab在这之前大家可能觉得Google离的Operia太远了是不可能追上所以这方面我觉得现在AI变化太快了我们其实是相信会有越来越多挑战者然后越来越多有自己想法的人他能会做出更好的AI的产品AI的model以及就是AI的product在这方面我们其实做Redisoc就希望能够empower这些更有想法的人能让他们更好地去做自己的事情我们给他们提供的是Infra上的最强的Infra的support然后他们在想做的这一刻开始就会有和比如说现在的frontier level的一站直立那eventually其实可能这个世界上所有大家其实都是能自己串出frontier level的model的然后能做最好的Inference所以我们其实更希望是这样一个supporter的角色所以呢当AI Infra的能力从少数前沿模型巨头的独家资源变成了任何一家创业公司都能够直接调用的公共品这让从事AI工作的门槛被显著降低而这或许才是乍出规的极限这件事情最重要的意义所在我们也希望看到在Infra红利被全面释放之后会有越来越多带着新想法新架构新应用场景的团队不再因为Infra门槛而被拖满脚步那这也会让AGI距离我们更进一步好了以上呢就是这期视频的全部内容再提醒一句不要错过下一期我们和盛影的视频播客哦他真的是太有趣太酷的一个人了那你们的点赞转发和留言是支持我们贵国101做好深度科技和商业内容的最佳动力我是陈倩那我们就下期视频再见了Bye优优独播剧场——YoYo Television Series Exclusive