清华张金涛团队推Vidu S1 算子量化突破瓶颈实现实时视频生成

清华张金涛团队推出Vidu S1，算子量化突破瓶颈实现实时视频生成 通过低比特 Attention 计算与流式蒸馏，算力加速超越播放速度，彻底打破大模型长时间生成的漂移难题。 节目深入探讨了生数科技最新推出的实时交互视频模型 Vidu S1，其能够实现超播放速度的流式生成与无限时长互动。张金涛详细分享了他从 SageAttention、TurboDiffusion 到 TurboServe 的技术演进主线，揭示了如何通过攻克 GPU 内核与低比特 Attention 精度难题实现端到端加速。此外，访谈还涉及了中美视频大模型的竞争格局、软硬件 Co-Design 的未来演进趋势，以及青年研究者在 AI 创业浪潮中寻找正确方向与带队落地的个人思考。 张金涛作为生数科技研发负责人与清华博士，带队发布了实时交互视频模型 Vidu S1，支持 540p、25 FPS 的无限时长流式实时生成。 (0:00) SageAttention 攻克了低比特 Attention 量化中的精度崩坍与 GPU Kernel 编写难题，在 FlashAttention 之后实现了进一步的算子级加速。 (4:00) 推理加速的演进路径经历了三个阶段：算子级加速（低比特算子）、模型级蒸馏与稀疏化，以及集群部署与工程化调度。 (4:00) TurboDiffusion 通过将 SageAttention、线性层加速算子、Diffusion 蒸馏与稀疏 Attention 结合，大幅降低了 Diffusion 模型在单卡与多卡的计算复杂度。 (8:00) 实时交互视频生成与离线视频生成有着本质不同，第一优先级是确保生成速度大于播放速度，同时需解决长时间流式生成不发生画面漂移与崩塌的难题。 (8:00)

生数科技张金涛指出，AI 视频生成正从离线预制切入“生成速度超越播放速度”的实时交互新范式；通过突破底层低比特 Attention 算子瓶颈与全链路软硬协同优化，无限时长、低延迟的实时视觉交互正成为现实并重塑娱乐生态。 实时流式交互与离线预制视频的范式转移 张金涛指出，实时交互视频并非单纯将离线生成提速，而是要求“生成速度必须大于播放速度”的全新范式。传统视频生成多为输入 Prompt 后等待数秒以渲染短切片，且基础模型连续生成通常在 30 秒左右即面临画面崩坏；实时交互则要求在面临连续多模态输入时，保持数小时乃至无限时长无漂移稳定输出，并以毫秒级响应用户的语音、表情及动作控制。 生数科技推出的 Vidu S1 将实时性置于第一优先级，通过改进 Attention 计算方式与噪声强度控制算法保障长时间不崩塌，在消费级显卡上实现 540p 分辨率、25 至 42 FPS 的流式实时生成。该模型在网页与移动端免费开放，API 接口采取每分钟约两三元人民币的时长计费模式，使用户能够通过单张图片与音频配置进行类似视频通话的即时双向互动。 SageAttention 破局与算子到软硬协同的加速演进 在业界普遍认为 FlashAttention 已将性能压榨至极限时，张金涛团队分析发现，随着多模态与视频模型爆发，Attention 算子已由语言模型的显存带宽受限（Memory-bound）转变为高负载的计算受限（Compute-bound），低比特加速由此成为核心痛点。团队攻克了手写 GPU Kernel 难度高以及低比特量化（INT8/FP8）极易导致模型质量崩溃的难题，成功推出即插即用的低比特算子 SageAttention。 张金涛将推理加速演进划分为三阶段：单算子级加速、模型级蒸馏与稀疏化微调、全球高并发多卡调度集群工程化。针对未来趋势，他判断纯软件中间层优化将随着 AI 编程能力普及而逐渐标准化，未来的本质突破将来自更底层的“可配置定制硬件”（动态平衡显存带宽与计算核心）以及更上层借鉴人脑低功耗机制的算法架构，具备软硬件联合设计（Co-Design）能力将成为核心技术壁垒。 在线交互场景爆发与本土数据工程的壁垒构建 张金涛坚信，相较于离线预制的电影或短视频，人类绝大多数视觉娱乐天然属于在线交互，每个人都需要独立的互动 Session。Vidu S1 发布后，社区快速衍生出宠物实时对话、游戏流画面联动二次元陪玩（结合视频理解能力实时响应游戏剧情）、程序员虚拟鼓励师以及网络红人实时互动等高粘性场景，验证了视觉信号走向实时 AI 生成的行业趋势。 针对中美 AI 视频领域的竞争格局，张金涛分析认为底层 Transformer 建模已逐渐收敛，结构微调带来的收益递减，国内团队在全球第一梯队的确立主要归功于数据层面的扎实积累：在数据构建质量、人类偏好对齐（RLHF/DPO）和思维链可学习性上更加细致，同时依托成熟的短视频与电商直播产业生态，拥有丰富的高质量数据储备与极致优化视觉娱乐体验的商业动力。 极客工程主义与学术成果向产业的落地转化 张金涛分享了从清华学术研究到工业界带队的历程，强调“智能的边界与语言的边界对等”，唯有彻底理清底层本质才能将复杂逻辑化繁为简。从在实验室逐个线程调试 GPU 精度开发 SageAttention，到 2024 年 5 月主导将其部署至 Vidu 视频生成管线，团队在确保输出视频像素级无损的前提下，实现了端到端推理速度一倍以上的飞跃。 谈及当下清华 PhD 与学者的创业浪潮，张金涛结合导师朱军教授的理念指出，前沿技术的突破往往并非构建复杂的空中楼阁，而在于确立正确方向后把每一个环节、每一行底层代码做到极致无 Bug；技术管理者在面对多方利益时，更需凭借本质思考能力协调资源并精准匹配团队诉求，推动实验室前沿算法转化为经受高并发检验的工业级产品。 张金涛团队验证了实时视频生成的工程可行性，但要在更高分辨率、更复杂多模态理解及全球超大规模并发下实现超低功耗与极致低延迟，仍有赖于软硬件联合设计与动态稀疏架构的进一步突破。

[4:00] 杨远骋: 当大家都默认 FlashAttention 已经把 Attention 算子做到极致时，他却发现：显卡上明明还有更快的计算单元没被用起来 ——「这么明显的收益，为什么没人做？」 [35:00] 张金涛: 智能的边界与语言的边界是对等的 [28:00] 朱军: 找到最正确的方向，并把每一个环节、每一行代码做到极致无 Bug

[0:00] 嗨,我是科技,最近有一位朋友德语员去拜访了Elon Musk他说Elon和他说了一个非常有意思的观察如果未来人们的眼睛看到的一切都是生成的那我们到底需要多少算力呢?那算法呢也很简单一个人两只眼睛每秒要看见多少像素一天又有多少时间你的眼睛是睁着的然后再把它乘以几十亿人的规模最后来反推要承载这样的实时生成的世界全球需要多少的算力和多少的数据中心当然更重要的除了硬件上的不断堆叠我们在软件上在算法上的不断推理加速的优化也是非常重要的一个命题请到了张金涛他在深数科技负责流逝视频生成与推理部署的工作你好金涛欢迎来到十字路口哈喽大家好我是张金涛深数刚推出了S1这是金涛带领的项目用户先传一张图去做一个角色再选一个声音或者克隆声音就可以像打视频电话一样去和这个角色来聊天并且用说话来去实时控制这个角色的表情动作肢体语言我叫卡尔今年26岁是个自由音乐制作人平时喜欢喝咖啡看电影和拍照这个流逝视频生成的模型目前能做到540p的分辨率以及25帧左右的实时生成并且可以长时间不断流所以你可以和这个角色聊几天几夜我们稍等会展开技术的详细的细节但是在此之前我们还是先从十字路口的传统开始快问快答帮助大家快速了解静涛请问静涛你的年龄26岁毕业院校清华大学博士在读你的NBTI核心作INTJ水平作那一句话介绍一下咱们刚发的这个模型啊就VDo S1它是什么VDo S1是一个嗯实时交互的视频生成模型可以通过语音来实时控制视频生成的内容你现在在申诉除了负责S1这个项目还在负责哪些事情我还负责所有模型的推理加速以及所有模型的一个集群部署流失视频生成模型就我负责的也是整个流失视频生成模型的一个全链路就从数据到训练算法然后到他的一个推理工程化包括模型的评测在申诉之前你在做什么在申诉之前我主要还是就跟着朱金老师在读博士然后做一些退理加速方面的一些科学科研工作嗯当然就在正式加入生疏之前我还在就是UC Berkeley在那边访问了半年你是因为什么契机开始做退理加速的我记得你最早的一个被大家知道的工作应该是CG Attention我在差不多读到说是二年级的时候有一个比较好的契机就我后面就跟朱镜老师去寿转博然后读了朱金老师的博士然后朱金老师就看我之前做了一些系统性的工作所以就安排陈建飞老师呢去具体带我做一些科研工作陈建飞老师直接就告诉我就是退理加速是未来非常重要的一个方向然后就安排我去去做这个attention的一个底层的加速然后C者Tension就是我当时做的第一个工作,它就是一个更快的attention算子的实现你可以用C的Tenton去替换掉大模型中的Tenton的这个计算它是极插极拔的对极插极用的它相当于就是一个更快的 attention 的计算的实现对就我们当时发现我和陈建飞老师就发现哎啊flash tension 影响力很大然后大家基本也认为flash tension 是一个Attention的一个极致的一个算子了但我们发现硬件上明明还有更快的计算单元大模型里面主要的运算我们可以简单分为两个,一个就是线性层的计算一个就是Tension的计算就其实那些更快的计算单元在线性层的加速中其实已经被广泛应用了但是到当时flytention出来之后还没有任何一个工作说能用gpu就显卡上的更快的计算单元去加速腾水然后我们就感觉哎这是为什么为什么没有人做这很明显的一个收益那我们就想把这个事情做出来所以当时什么原因没有人做呢做低比特加速attention的计算其实还是有挺大的挑战的第一个就是我觉得语言模型它在attention的计算上它其实是一个memory bond的就你单纯加索他人计算其实不会有太大收益所以呢就大家没有很强的Multivation去做Tentent的计算加速但是后面我们会发现就是语言模型的一些腾认的范式包括后面所有的多模态模型,尤其是视频声称模型他的 [5:00] 腾审都是被严重的computer bond计算速度直接决定了腾上算的快不快所以我觉得这是第一个原因在24年初以前做Tension的计算加速其实没有很高的收益然后第二个点呢就是Tension的地比特加速它其实还是有一些挑战的比如说第一个挑战就是Tension加速不同于你简单的线性层的加速简单线性层你可以用Pytouch一行代码就可以写完然后你想对它做量化也就再加两行Pytouch代码但是Attention的加速他就必须要要求你会写就是GPU的kernel你必须得深入到用这个底层的编程语言啊这是Attention的这个计算特性决定的尤其是当时其实还20年初之前Web coding还不具备非常强的Cuda或者一些底层GPU编程的一个能力要熟悉对基本上还是要手写,Utention计算的精度对低比特十分的敏感Utention里面所有的计算我们都量化到8比特用到呃语言模型或者用到视频生成模型里面他输出的内容是非常差的所以这是第三个挑战然后我们也解决了就是后面这两个挑战再把C这儿腾生做出来所以从C加腾生到现在发S1因为S1这个我觉得它比较重要的价值就是它的这个流逝视频生成所以这背后其实也是推理加速到了一定的水平才能够有这样的流逝生成的效果所以从C加腾生到S1这个中间经过了哪几个比较重要的里程碑的阶段呀首先我想说就是微度S1就包括我们现在不是已经全球已经开放了那个体验的网站也开放了API平台V2S1它就更像是模型加布署全战优化所以推理加速在V2S1中我觉得只是一部分这是我想表达第一个点然后从C者Tension到V度S1的推力加速这里面确实有几个阶段我可以简单概括那第一个阶段我们做Cert retention这种算子来务的加速就比如说啊线线层算子或者一些非线线的算子还有就是吞刃算子在这些GPU上怎么让它运行的更快这是一个然后第二层优化就是模型层面我们不仅要把算子跑的更快还要把整个模型的一个计算的复杂度降下来那降这个计算复杂度其实它也有一些方法我这边举一些例子比如说我们做一些部数蒸留我们可以就比如说把这个deferium 模型去造的部署从50步比如说降到4步那他其实就能计算复杂度就降了十几倍然后呢还有就是一些算子比如说Tentent算子我能不能啊引入一些稀疏化稀疏的Tentent就我不光让Attention跑的更快也让Tencent的计算复杂度也降下来第三个层面我觉得啊就还有一些工程化的一些呃加速就是你能让单个模型比如在单张卡或者说多张卡上跑的更快了但是我们现在需要做的是把它直接部署在一个大集群上让全球所有人都可以来用所以这个就涉及到很多就是集权部署和模型推理工程化以及就是请求调度的一些问题然后在这个方面我们也就是也做了大量的工作就是怎么样对模型做并行然后怎么样对用户的请求做一些调度对之类的在Sage的Fusion之后还有一个工作是Turbo的Fusion可不可以讲一讲Turbo的Fusion是什么Turple Diffusion其实就exactly是对应了我刚才说的第二个阶段我们有了Sed Attention这种很快的一个Attention算子的实现那我们怎么样把任何一个Diffusion模型比如说在一张卡或者说在一台机器上让它跑得更快我觉得这个是模型层面我们在TurboDeferium里面就是用到了比如说CGT的算子用到了更快的一些线线层算子的实现然后同时呢我们又做了一些就是通用的针对任意Deferium模型的一些蒸馏的方法然后以及一些吸收 attention 的方法然后这些方法其实都是需要通过微调模型或者需要通过训练模型来实现的嗯他就不仅仅是你要去实现一个更快的算子而是你要通过训练比如说西术尔腾审的微调然后比如说蒸馏的训练来降低整个模型的复杂度然后同时呢比如说你在单轮卡和多轮卡上又稍微有点不太一样在多卡并行的时候你能不能把多卡之间的通讯和单卡上的计算能不能很好的overlap起来这其实也是涉及到一些工程化总体来说Turple Defurant我觉得他是主要是模型层面的一个就是在基于Sage Tension和一些很快的现阴层的算子的实现上通过训练方式做了模型的复杂度的减少和少量的工程上的一些优化但在做那个工作的时候 [10:00] 其实还是在学校里面的吧那其实不是在微度里面所以那个时候你们能用到的数据也好或者这个算力资源也好应该都是比较受限的对是的我们做Tour Reference的时候就是计算资源确实相对有限但Turple Defusion本身它也不需要很多资源所以我们只是建立在开源的这个市民生生模型上然后用了少量的这种微调数据我们就能把它做出来嗯所以现在它有多少Gitab的Star3600多个GitHub Star这在咱们这个领域是一个什么样的水平我觉得就算还不错的水平吧就你的观察C加吞线或者Turbo Diffusion现在就是这些工作有被什么样的公司或者模型在采纳吗C-Lotension目前也是我比较自豪的一点就他已经成为了一个事实上的行业的标准比如说NVIDIA或者AMD还有就是一些硬件厂商比如说发微生腾摩尔县城以及就木西就这种硬件厂商其实都在他们都实现了他们自己的SageTension并且部署在他们的显卡上然后第二呢就是几乎所有的动作态的公司那比如说像生殊科技像字节腾讯呀还有这个这个像Google对就是都都在用那我们给大家介绍一下刚发布的V2S1我们再展开聊一下就是大家看到这个流逝视频生成模型的第一反应是他很快可不可以讲一讲这个咱们快的背后是具体做了什么工作首先我觉得不能简单的把一个流失视频中的模型理解为快就这里可能我想稍微展开讲一讲首先大家要对普通的视频生成模型有个概念我们一般都是先输入一个prompt对吧然后就等很长时间然后他会给你一个5秒或者10秒的一个视频但实际上就是实时视频是这个模型首先他的应用的范式就不太一样你要实实的跟他去玩跟他去交互他每一针呢其实都是实时生成的它的生成速度需要大于播放速度它才能做到就是实时生成所以它不只是说你把之前的这个比如说10秒钟的视频生成比如说从50分钟加速到10分钟然后第二点呢就是这种流失失明生成模型的加速还是会有更大挑战的比如说最大的挑战可能是什么第1个就是你在保证画质的前提下然后保障长时间就是你生成一两个小时他视频画面还没有漂移或者没有崩坏在保障他对就是你实时输入进来的一些东西他能够给一个正确的反馈这个显然是很难的就现在最先进的就是基础模型我了解到的应该就是他最长只能收成30秒的视频但是流失证明生成模型我们不可能就只让它生成30秒对吧就是30秒可能还不够我问一个问题的咱们是可以聊几天几夜对我们是可以无限长生成的所以这个过程中我们是怎么保证它不漂移然后不崩坏的这个我们用了很多相对比较本质的一些一些diffin训练的方法这可以展开讲了吗就是我们在tension的计算方式以及就是在噪声强度的控制上用了一些比较我们探索出来比较先进的一些方法去保证让他长时间生成也不会就是画面质量变差我就是想再介绍一下就是我们这个维度 s1它的推理优化的先进性嗯首先我们做的是540p市面上能够做实生成的模型的分辨率其实基本上没有这么高的然后ips的话我们可以做到25-42 IPS然后同时呢我们其实是在就消费级显卡上就可以达到这么一个效率的所以咱们其实在追求又要快然后画质也要不错然后还有长时间不崩坏所以其实感觉目标函数蛮多的所以这个过程中S1你们有做什么trade off吗肯定是有trade off的首先我们的定位肯定是实时交互生成所以我们就必须得满足生成的效率在这个前提下再去优化一些比如说画面质量啊以及对应户输入的一个生成的准确度以及长时间的一个视频的质量和一致性所以快是第一目标对这个是最重要的一个前提其他的都只能在这个前提的前提之下去尽可能做一些优化最容易被放弃的是什么或者在你们的优先级里面比如说包括画质包括成本一致性等等就是有没有优先级最低的目前来说如果非要排个预先级的话当前这个阶段我们只能说话 [15:00] 稍微再降一点对因为现在开放给所有人用你们现在收费情况是什么首先我们开放的网页和APP的平台目前都是免费的就放开了大家去玩了我们的API平台是会收费的可能每分钟也就两三块钱它没有时间限制流逝时时交互视频它真的会变得越来越重要吗其实视频模型我觉得主要就是满足人类的视觉娱乐的需求那视觉一路的需求呢我觉得可以被分为两类第一类就是离线生成的视频典型的就比如说电影或者说一些短视频第二个呢就是在线交互的实时交互的一个视频比如说像Koji我们今天在这里交流对于我们来说可能也是属于在线的我们的在线是指的我俩此刻就是看着对方是这个意思吗对对对就是我说什么你是知道的然后你会根据我说的去做一些反馈你也会根据我说的去做一些反馈或者说就像我们去谈恋爱或者像打游戏以及就平常我们日常的生活其实到处都充斥着就是在线的这种实时交互式的一个视觉娱乐人类没有进入到这个数字革命之前视觉娱乐基本上都来自于在线时时交互的视觉娱乐人类在线时时交互类的视觉娱乐的需求是比这种离线的预知好的视觉娱乐的需求它是更大的离线的这种视频它是有一个播放量的概念但是在线的持交互式的视觉娱乐的需求他每个人都不一样都不一样每个人想看的都是不一样的每个人都要有一个独立的session对这是我们一开始的时候说的Elon Musk的推理对就像Cozin说的未来所有的世界娱乐可能都是AI生成的我们也听说过这世界可能是虚拟的每个人其实看到的这个画面都是生成的未来就是这种实时交互类的视频生成他一定是一个非常正确然后需求量非常大的一个方向嗯因为我坚信未来我们的视觉娱乐信号会被AI生成的内容充斥掉就是替换掉从技术上我觉得其实目前来看没有什么壁垒没有什么不可能性他一定是未来非常正确的一个方向就是已经是势不可挡了就是一定一定会有那么一天的到来这个方向一定是正确的你们现在比如说发了之后有看到大家用这个模型在做什么吗因为这是我们昨天晚上发的吗但今天我已经看到了就有很多人去发了很多很多例子V度 S1之前没有任何一个模型说你可以实时的去用语音去控制后面的这个生存的内容然后也没有一个模型真的可以做到无限长实时交互时的生成然后而且在这么高的分辨率和这么高的帧率的前提下而且我们是支持自定义任何角色自定义任何图片我已经看到非常非常有意思的例子点赞和收藏已经破签的一些例子就比如说打自己家的小狗然后上传到这个就是V2S1他就可以跟他家的小狗去啊去聊天他又可以跟这个小狗做一些交互我看都实现的很好然后第二个呢D2S1他也支持视频理解他可以打开摄像头也可以输入一段视频信号我今天就在b站上看到了一个非常好的例子就一个人他正在玩游戏显示器左边的四分之三的屏幕是游戏的画面然后右边的四分之一呢他往vido s1里面上传了一个24元的小女孩他把游戏画面传对他把游戏的画面直接传传过去了然后这个人他左边的3/4他一直在玩游戏右边的1/4他多了一个人去陪他玩游戏就他把这个第一个他可以跟这个人去聊然后呢他同时又把视频的画面传过去这个人还可以真实的看到游戏画面里发生了什么然后可以给他做更深的交互让他也可以做更多动作理论上我也可以把我每天coding的界面当做一个视频留给他他就做程序员鼓励师了我觉得当然可以如果我把我的整个电脑都当做一个流逝的视频传给他他也可以看到比如说我现在在微信聊天然后下一秒在NOSI里面写文档他也可以适时的给我一些反馈可以的当然可以他可以看到你写的字是什么你的画面是什么他有一个基础的视频理解能力我们可以验证一下未来两周一定会出现基于微度S1的很多很好玩的例子大家可以拭目以待包括昨天晚上有个同学他也给我看了一个他用的一个例子就是我不知道大家知不知道风格就风格有那个转圈舞转圈祝福舞就是什么我住谁谁什么啊长命百岁永远不死然后会跳一个转圈舞他把这个人设风格的图片上传上去之后他就可以跟风格进行一个 [20:00] 时时的交互让风哥给他说一些祝福的语言然后给他做一些祝福的动作我们再回到这个推理加速啊这是金涛当然做的很多工作都是多模态模型的推理加速但是其实今天大元模型推理加速也很重要然后甚至我们在最近一年看到也有很多芯片层面的工作从Cerebus到包括Talus都有非常多芯片层面的工作所以也想请金涛给我们介绍一下我们这个今天在推理加速这个领域比如说有哪些重要的工作呀有哪些重要的方向呀等等推理加速其实就是像他字面说的就是让模型的推理变得更快先不考虑芯片设计层面的话我觉得有两个点要做就第一个就是像肾子层我们要让模型的这些计算在特定的硬件上算得非常快尽可能算到一个硬件它极致的水平但我感觉大家容易误解的一个点就是大家会认为退理加速其实就是做前面这个事情就让让一个模型在某个硬件上算到理论最大值对让他就是某个算子能够算到更快当然这是很重要的一点但是嗯推理加速另外一个很重要的地方你怎么把模型的计算复杂度也降下来就是我们想让他想让他端到端推理的更快我们输入一个东西它能很快的输出出来模型本身就一个黑盒吗你输入一个东西,他给你输出一个东西黑核里面实际上有很多计算可能是冗余的我们能不能把这些冗余的计算给省略掉比如说通过吸数的tension或者通过一些模型架构比如做一些MOE的架构或者就是通过一些蒸流啊不管是模型大小蒸流还是这个采样部署的蒸流所以推理加速他我觉得可以这样定义当然就是对芯片设计上我其实我了解的不是很多就是如果我们再拆开一层老黄他他做的这些事情我觉得也可以被算作推理加速进一步提高硬件它的一个计算速度目前我感觉推理加速上比较好的一些工作首先可能Turper Defusion算是还不错的工作嗯然后呢还有一些系统性的一些开源开源项目比如说VLM当然他也涉及到一些我刚才前面说的那几层但他更重要的其实还是以教度和管理上的一个工作然后特别的Fueler呢他可能是前两个就是算子能不能做得很快然后你模型的复杂度能不能降的很低然后Turple Refusion是这两层在所以我Defere模型或者多么泰模型上的一个比较好的例子因为Defense模型其实之前双就是offline的生成它比原模型简单的多一条用户的请求过来他其实不太需要做 batching也不太需要做什么 kvcache调度他都没有 kvcache所以他之前是比较简单的但最近就是因为你有流逝的需求你的differen生成的过程也是一个 autoregressive 的过程你也涉及到 kvcache你也涉及到一些用户请求的调度比如说这时候有一个用户接入了然后等会又一个用户进入了然后等会这个用户他不想不想聊了他中断了所以我就后面也会出现很多就是deferent 模型怎么去做这种集成部署的调度,有一篇 paper叫TurboSull也是在生树做的这么一篇工作针对这种autologous流逝的视频生存模型怎么在集群上去做一些调度和部署我觉得他也是一个还不错的工作然后呢原模型上还有一篇工作叫 DSA Deep6 Sparse Tension那篇工作算是就是模型角度的一个加速吧我觉得也是一篇很好的工作Dspark还有这个小米Memo他们最近做的一个Ultra Speed其实也都是基于一个开源的叫Dflash的框架做的确实这个效果还蛮显著的他针对语言模型他这个很好的工作然后Defurium上其实SLA就是我们的那一篇Sparse Linear Tension针对Defurium模型的这个西数的tension它也非常好就是包括腾讯和字节的非常多么大的负责人他们都跟我说他们在用SLA他们认为这是非常好的工作当然我们现在开源的这本SLA其实还有一点点缺陷主要的缺陷是在它linear tension 的选行上我刚才说的几个我认为比较好的退理加速的一些工作就不代表它是最好的它只代表我接触到的我认为做的比较好的肯定还是存在大量的就做得非常好的一些推理加速的工作也欢迎在评论区给我们留言大家可以在评论区讨论更多然后我觉得未来就是呃就推理加速的未来我觉得未来还是属于更底层和更上层更底层和更上层可以展开讲讲吗?啊, OK!就是我觉得之后三个算子它在硬件上能不能跑到一个很快 [25:00] 速度我觉得这个会逐渐的去收敛大家都能实现的呃非常的快就是能够基本上接近一个硬件上的上限而且就是现在web coding也是越来越强他也知道一些很先进的一些写代码的方法他也知道硬件的架构是什么特定给定一个算子在硬件上能不能跑得快或者给定一个模型能不能跑得快我觉得这一层是之后都会收敛的我对底层的一个定义就是说你能不能造一款啊要么就像老黄这样能不能造非常通用的很牛的一些芯片它本身的计算速度就非常的快然后还有就是你能不能对特定的这些模型比如说就对某一款或者说某一类视频生成模型不管他是他他可能是offline生成的或者说他是实时交互生成的这种视频生成模型专门去造一款芯片就像Talas一样把一个特定的模型写死到一个对应的芯片里我觉得这是一种思路但是这种思路可能有点太浪费了比如说你模型更新了你这芯片就就就废掉了我觉得可能更好的一些思路还是就是定制化但是它又有一定同用性就比如说这一类模型我这个芯片就是能满足就比如说这个很简单的例子语言模型他的Tent计算通常是被memory bound它受制于memory的一个传输速度它不太受处于计算的速度然后你视频上的模型它一般都是computer bond的它不是memory bond的你可以去调这些比例吗以及不同的模型他需要的显存也不太一样他需要的计算的和显存的传输的一个计算速度和显存传输的比例也不太一样然后他需要的各个精度的计算单元的数量也不太一样我觉得就是通过这些来粘斗去调可能也是一个思路就总的来说我觉得最底层就是你能不能做一款就要么很通用非常厉害的一个芯片要么就是针对某一类模型专用的他能够成本很低然后计算速度很快的一些芯片这个我觉得目前Ai它也很难做好然后更上层我觉得就是其实就是算法层就是因为退离加速它不仅仅是工程上优化你还要想方设法去降低模型的机上的复杂度比如说我们人脑我们人脑其实就只有25瓦对吧但是我们人脑稍微给他一点时间他也能解决很多复杂的任务就从理论上我们是能够降低模型的一个计算复杂度的这也是分为通用和专用就通用的来说你能不能降低整个模型对各个任务的一个计算复杂度然后这样的来说就是对不同的请求他能不能用非常简单的计算就可以做到我不需要就是把整个模型里面每一个layer每一个算子都去计算一遍我觉得这是最底层和最上层我觉得这两方面未来应该会变得更重要对于推理加速来说那是不是在底层更容易出创业公司啊因为在顶层我觉得好像它很难变成一个独立的事业我觉得其实都是要co-design的一个好的推理加斯工作他一定是硬件和算法必须是要co design然后从创业公司这个角度我觉得他肯定还是质量方面能力都得有或者说我觉得就是科技你说有道理就是只做底层我觉得他也可以然后code design来做也可以但只做算法层我觉得就不是特别有壁垒或者说他这个很难去得到一个底层的验证我们再回来聊一下整个AI视频行业啊因为最近几个月我发现在中美两边发生了分化中国的视频模型越来越厉害就显然已经牢牢的站住了第一梯队在你的视角里面这是因为什么原因产生的优势AI他其实就是一个对一个问题的建模对吧对一个问题的建模我们把这个叫模型他建模完之后他肯定要去学习去训练他训练其实就是把数据的数据和数据数据之间这个映射关系学好然后这个建模呢我觉得从 transformer 出来之后到现在我觉得这个建模方式就是再怎么雕花我觉得其实不是特别特别本质了那所以现在就是数据变成了一个非常本质的事情就像人类一样对吧就是一个人他水平高不高第一个可能取决于他这个大脑的建模就是他的智商对吧然后第二个呢他接受的教育一个好的讲解方式跟一个不好的讲解方式他学起来是完全不一样的一个复杂的物理的规律一个好的讲解可能10分钟就能把这个问题讲的非常透彻你像比如说苏建林对吧他整理的一些科学空间他讲的就是很好我看10分钟顶我再看一些垃圾的博客看一些垃圾的数据顶我看三个小时还要读二天那三个小时可能还对我的学习的这种造成忽然所以现在建模上已经相对去收敛了但是数据上我觉得你有没有把它构造成一个质量高,然后对其乐人类的偏好 [30:00] 同时呢他又是一个可学性非常强的比如说就是 reasoning他其实本质上就是你直接学问题 A 到回答 z 你发现这两个东西没有任何关系 你构造成一个思维链他慢慢的去学他就能学会要确定就美国的做市民生成的公司他们的数据不管从数据量上数据的质量上有没有对其人的偏好然后他的构造方式我觉得应该做的都不如我们国内的这些视频生上的公司然后具体什么原因的话我觉得每个人都有每个人的思考就可能跟一些这种这种政策呀或者都有关系对这是第一个点第二个原因我觉得中美的文化可能还是有些不一样对于这种离线生成的视觉娱乐我觉得我们要求是更严格的当然这是我个人看法就比如说我们其实对抖音啊小红书啊或者直播呀电商啊这些行业发展的更好那我们就能积累下来更多的数据然后有更高的Motivation去把视频生成就是满足人视觉欲乐这个事情做得更好这很有意思我觉得主要是两点吧感觉2026年有一个非常大的趋势就是教授 PhD 们都在大量的投入创业那早几年可能是有智卜特唐杰老师然后有申述的朱军老师都是很优秀的代表但是在那个时候我理解他们创业的时候这个热潮但在今天感觉越来越多的教授和PhD开始创业然后你自己身在其中你的感受是什么首先我觉得就是 AI他确实我觉得他不是一个泡沫他就是能满足人类所有的需求AI这个方向一定是正确的就不管你是做硬件还是做这种模型所以我感觉就是目前这波创业的热潮它是很合理的然后它也能够持续很久我觉得不存在太多泡沫然后第二个我想表达的因为这个需求太大了就这个方向太正确了就他不是一家公司就能把这个事情全做完的未来还是有很多很多创业公司在未来都能取得成功这是第一点我认为这是很合理的然后第二点呢就是我也感觉到就其实不是所有人都适合创业就包括我最近在生树呃呆的这么这么长一段时间我觉得稍微坦诚一点讲或者没有那么谦虚的讲我感觉我还是很适合创业的我感觉我能把团队带好大家都愿意追随我去做事情然后我能知道什么人是好就是能用然后每个人在想什么我怎么去做这些管理和协调但是我觉得就确实不是每个人都能创业就是有的人他可能技术水平也很也很牛逼但是他其实就是做不好这些管理怎么让大家第一个非常开心的去工作第二个让大家知道一定要做世界上最领先的东西这个该怎么去做所以你可以讲讲你具体的一些这个管理实践吗比如说怎么让大家开心的工作然后怎么激励大家去做世界上最领先的东西这点可能我还是得好好感谢一下朱军老师像那个OpenAI刚出GP3的时候朱老师就跟我们说其实大家不要觉得这个GPT3是一个多么多么啊遥不可及的一个东西他只是把啊就把每个环节都做到极致并不是说它在模型或者数据上或者说在什么训练方法上有非常大的创新只需要知道就是世界上最正确最领先的一个方法是什么然后你把它正确实现出来每一个环节都做到极致其实你就能做到世界最领先这是我对世界领先的一个理解就我也会同步给我们我们部门的人然后第二个呢就是你每一个环节每一行代码你得实现正确就是我相信现在很多公司他可能也不是说他不知道最领先的是啥像Vido S1他可能也不一定说Vido S1里面用到的一些技术他不知道他很可能就是他的这个代码仓库里面有两行代码有bug这是极其有可能的总之我觉得先回答第二个就世界最领先第一点就让大家开心的工作我觉得这个就是一个Leader该进的一项职责具体怎么做的每个人都不一样你首先你得足够的敏感或者说我也不知道叫不叫敏感你得知道每个人他想要的是什么他想要更多工资还是说他想要更多Credit还是他更享受做事情的一个成就感就是你得知道这些事情并且得跟对方简单了解之后 [35:00] 能掌握这些信息嗯然后第二个呢你还得树立自己的微信还有就是你们这个部门肯定不是独立存在的对你是会跟很多其他的部门很多其他的功能去协调的各个部门之间他利益其实也不是一致的那你怎么去协调还有就考验你的一个判断就你得知道你的一个思维方式必须得从本质去出发我观察到就很多人其实他不具备这些特质他可能很聪明他有很多配好的paper但其实我觉得如果他创业的话我觉得也做不好那我们最后来聊一聊这个金涛你的成长经历啊就是可不可以给大家分享一下我可能小时候就相对贪婪一点但我想说有个特点就数学非常好语文相对比较差那我现在我也感觉其实语文还是很重要一个人的沟通表达和理解对方情绪的能力确实还是挺重要的,这个其实一部分我觉得也能体验在语文成绩里然后大学的话一些之间的猜想得到一些验证就是我感觉我的一些自学能力啊或者一些表达能力是会是会更强一点的可能大学竞争也不太激烈反正我简单学一学也能考得非常好同时也能兼顾一些科研上的一些任务加入一些这个实验室去做一些论文的分享就发现我能把这篇论文看得特别透彻然后我也会花很多时间我很享受就是花时间把表达里面这些词和这个图做的非常的sharp做的非常的让大家get这个本质在哪里就很享受这一点我觉得写作其实也很重要就写论文你写的好不好我觉得还是能反映一个人的水平的因为智能的边界和语言的边界它有时候是对等的所以你能不能把一个东西讲清楚在能投射出你到底有没有把这个东西搞明白对把一个事情讲清楚我觉得不难难的是能不能把一个很复杂的事情讲的很清楚反正我很想说把一个复杂的问题第一个不仅是写的非常简单第二个就是能够把很多点凝练出来比如说我写论文我就是要把Motivation凝联的非常好然后要把做这个事情当前的limitation或者challenge是什么一定要凝练出来然后把你怎么去解决这些挑战也要凝联出来然后把你的贡献也要清晰的凝联出来然后每个词每句话都是逻辑性必须要非常强前提是你做的工作是有意义的好的工作你就是要去思考去凝练这些东西嗯但听起来你很享受那个过程对然后我愿意去把这东西整理出来之后跟跟其他人去讲嗯呃然后后面的话就是出软博之后我觉得算是正式开启了这个呃一段我很享受的时光或者说我最开心的时光一个是我做 Sage Attention的时候我记得当时我在进化资源科技楼就是那时候人很少就很安静然后我就去解决这些问题然后跟陈老师去讨论跟朱老师去汇报就是一个一个县城去去模拟去看这个经测问题到底在哪儿然后一点一点的把这个底层的代码就写出来就是然后到最后也是得感谢钟老师给我这么一个机会24年5月我们成立一个维度推理的组就保障这个维度的全球上限我是直接在微度的这个模型里面去写的C值Tension那时候肯定是全世界第一个D比特加速Watton计算的一个工作我当时就已经实现完了其实当时其实是个非常伟大的工作我觉得但当时其实我没有意识到这一点就没有意识到这个那么伟大就是呃说伟大就有点自夸但确实还是比较了不起的一个一个工作我很享受那个过程然后比如说我实现完了进入精度对上了我把它插到那个模型里之前用的flytonson我把它代码换成碎者tonson就换了一行诶视频生成的跟之前一模一样像素级一模一样但退理速度快了一倍多断了断退理速度直接快了一倍多然后我就迫不及待的把这个视频赶紧给陈老师给朱老师去看就非常的开心非常兴奋然后后面我们才把论文和代码整理出来都开源当时是非常开心的总之我说软博之后我觉得就做了很多有意义的工作我觉得就解决了一些很业界非常需要解决这些问题做出了一些开创性的突破我真的觉得很开心然后第二个就是我现在也在带一个团队我觉得也挺开心的就是像是在创业的感觉感谢周老师就信任我用我去去把这这摊的事情都负责起来就我刚加入实验室的时候我当时也发现就直律老师水平 [40:00] 我体验在哪里呢我举几个例子第一个就是朱老师的认知对方向的判断非常正确你从周老师的这些学生上我觉得也能看出来就是比如像孟嘉义,陆成,旁天宇,宋阳什么的其实这都是朱老师培养车然后第二个就在他实验室我刚进来我就发现这个我靠这人是资源这么充足另外就是氛围我不是在博克里待了半年吗因为周老师可能也是在CMBO做过这种教职就是也在海外待过很长时间就是我觉得跟博克里那种管理方式或者科研上的一些氛围我觉得真的就非常像这点反正我觉得还是非常认可朱老师也很感谢朱老师其实听到前面说到工作带来的快乐还是蛮感慨的所以也希望金涛可以在未来有更多这样的快乐时刻然后也感谢你今天来十字路口期待有机会可以再来做客谢谢谢谢Coggy我也非常感谢有这么一个机会跟Coggy做一些分享OK好拜拜拜拜