生数科技张金涛推实时视频模型Vidu S1并称中国技术已领先美国

生数科技张金涛推实时视频模型Vidu S1并称中国技术已领先美国 由于国内短视频、直播与电商生态沉淀了更丰富且高质量的视频数据，中国视频生成大模型公司在数据构造上已经超越并领先美国同行。 节目深入拆解了实时交互视频模型 Vidu S1 实现无限时长与实时生成的底层硬核技术，揭示了其在算子层、模型层和部署层（基于 TurboServe 集群调度）的三层加速矩阵。嘉宾张金涛剖析了推理加速从“算子内卷”走向“软硬件协同设计（Co-Design）”的行业终局，并指出中国视频模型凭借繁荣的商业生态和高质量数据，在国际竞争中已占据领先地位。此外，他还分享了在清华朱军老师课题组攻克 SageAttention 期间，通过修改一行代码让端到端速度翻倍的科研高光时刻与创业反思。 生数科技张金涛带队发布实时交互视频模型 Vidu S1，不仅在消费级显卡上实现 540P 分辨率与 25–42 FPS 高帧率生成，更攻克了无限时长生成且画面不崩坏的技术难题。 (0:00) 在行业普遍认为 FlashAttention 已达极致时，张金涛敏锐发现显卡上更快的计算单元在线性层外未被充分利用，针对多模态与视频模型计算受限的痛点研发出 SageAttention，开创了低比特 Attention 加速方案。 (2:48) Vidu S1 落地依托算子层（SageAttention 压榨硬件上限）、模型层（TurboDiffusion 结合步数蒸馏与稀疏 Attention 降计算量）及部署层（TurboServe 调度集群请求）组成的三层全栈加速体系。 (6:15) 面对未来千人千面的实时交互视觉娱乐需求，团队在模型博弈中明确效率第一、可适度妥协画质的原则，并判断推理加速的终局将走向软硬件协同设计（Co-Design）以及更底层芯片与更上层算法的突破。 (11:24) 张金涛指出中国顶尖视频大模型在数据总量、质量、对齐及构造可学性上已领先美国，并回顾在清华期间仅改动一行代码替换 FlashAttention、实现模型像素级一致且端到端速度提升一倍多的研发突破。 (28:28)

生数科技技术负责人张金涛认为，全实时交互生成是未来视觉娱乐的核心演进方向；通过从底层算子、算法蒸馏到集群调度的全栈推理加速与软硬件协同设计，能够在现有硬件条件下突破多模态模型的算力瓶颈并实现实时流式生成。 实时流式视频的技术指标与性能权衡 (11:24) 张金涛介绍，生数科技推出的 Vidu S1 模型支持用户上传单张图片和声音设定角色，通过语音实时控制角色的表情与动作。该流式交互模型在消费级显卡上达成了 540P 分辨率与 25 至 42 FPS 的生成帧率，且突破了传统扩散模型通常受限于数十秒的时长瓶颈，支持无限时长的连续对话生成。为解决超长时间跨度下的画面漂移与崩坏问题，研发团队在扩散模型训练、注意力机制计算及噪声强度控制等底层机制上进行了针对性设计。 在流式交互的多目标权衡中，生数科技将“生成速度必须大于播放速度”的效率指标定为绝对最高优先级。张金涛坦言，为了确保端到端通话的流畅性，团队在现阶段适度调低了对画面精细度的要求。目前 Vidu S1 在网页端与移动端面向公众免费开放，商业 API 接口则按每分钟两至三元计费且不设时长上限。 从算子到集群的三层推理加速体系 (2:48) 张金涛将端到端推理优化划分为算子层、模型层与部署层三个维度。在算子层，他在清华读博期间主导开发了即插即用算子 SageAttention。随着多模态视频模型由传统大语言模型的显存带宽受限（Memory-bound）转变为严重的计算受限（Compute-bound），团队利用此前未被用于注意力机制的 Tensor Core 等硬件单元，攻克了手写 GPU 底层算子与低比特量化精度损失的难题。在 Vidu 代码库中仅替换一行代码即实现推理速度翻倍以上，目前该技术已被国内外多家芯片与大模型厂商采用。 在模型层，团队推出开源项目 TurboDiffusion，利用一致性蒸馏（Consistency Distillation）将去噪步数从 50 步压缩至 4 步，并结合稀疏线性注意力（SLA）降低模型计算复杂度；在部署服务层，针对流式生成中自回归引入的 KV Cache 调度及高并发中断场景，生数科技发表了 TurboServe 调度系统，通过多卡并行及计算与通信重叠来保障超大规模集群的稳定运行。 软硬件协同设计与算力演进终局 (24:39) 张金涛判断，随着自动代码生成工具的演进和硬件底层信息的公开，单独优化算子的技术壁垒将迅速收敛，推理加速的长期竞争力将转向更底层（硬件芯片）与更上层（算法机制）。在芯片架构方面，行业目前存在通用芯片与算法固化 ASIC 芯片两种路线，但后者面临算法迭代导致芯片报废的风险；未来更有前景的方向是在显存传输带宽与针对特定精度的计算单元配比上实现动态调节，以兼顾语言模型与视频模型的不同硬件瓶颈。 在算法层面，人类大脑仅用约 25 瓦功耗即可处理复杂任务的事实表明，神经网络的计算复杂度仍有理论压缩空间，未来需要开发根据请求难度动态匹配计算量的弹性算法。张金涛强调，最顶尖的推理优化必须依赖软硬件协同设计（Co-Design），脱离硬件底层验证的纯算法工作难以建立长期壁垒。 实时交互场景落地与数据构造壁垒 (15:21) 张金涛将视觉娱乐分为“离线预制视频”与“在线实时交互视频”，并断言千人千面的实时交互需求量将远超传统的离线内容共享播放，未来人类视觉娱乐信号将大量由 AI 实时生成。社区实践中，Vidu S1 已被用于宠物互动、游戏虚拟陪伴以及基于全屏幕视频流输入的实时工作助手等场景，展现了流式视频结合视觉理解能力后的多模态交互潜力。 在分析全球技术格局时，张金涛指出，在 Transformer 架构趋于收敛的背景下，模型的关键分水岭已转向数据工程。他认为中国顶尖视频模型团队在数据总量、清洗质量、人类偏好对齐以及可学性构造上已具备竞争优势，这主要得益于国内繁荣的短视频、电商和直播生态所沉淀的高密度行为标签与强烈的商业化驱动。 张金涛总结，技术研发与创业的核心在于认清正确方向后将系统工程的每个平庸环节推向极致。虽然实时交互视频在极致画质与更大规模低成本部署上仍面临长周期挑战，但底层算子革新与数据体系的结合正在迅速缩小技术与现实场景的距离。

[2:48] 张金涛: 为什么没有人做？这是很明显的一个收益。 [11:24] 张金涛: 生成速度需要大于播放速度，它才能做到实时生成。 [11:24] 张金涛: 快（效率）是绝对的第一目标和最高优先级。 [15:21] 张金涛: 未来我们的视觉娱乐信号，会被 AI 生成的内容充斥掉。 [15:21] 张金涛: 每个人都需要一个独立、定制化的 Session，这种千人千面的实时交互视觉娱乐需求，远远大于传统的离线预制视频。 [24:39] 张金涛: 推理加速的未来，还是属于更底层和更上层。 [28:28] 张金涛: 美国做视频生成的公司，他们的数据不管是从数据总量、数据质量、人类偏好对齐（Alignment），还是数据的构造可学性（Trainability）上，目前做得应该都不如国内这几家顶尖的视频生成大模型公司。 [33:10] 张金涛: 稍微坦诚、没有那么谦虚地讲，我感觉我还是很适合创业的。 [33:10] 朱军: 大家不要觉得 GPT-3 是一个多么遥不可及、高不可攀的神迹。它其实并没有在模型结构或数据方法上做出什么颠覆性的、神秘的底层大创新。它真正的伟大之处，在于把整个系统工程里的每一个环节、每一道工序，都老老实实地推到了当时的极致。 [33:10] 张金涛: 知道世界上最正确、最领先的方法是什么，然后把它正确实现出来。 [37:54] 张金涛: 前前后后，其实就仅仅只改动了一行代码。然后我点下运行，生成的视频像素级一模一样，跟之前没有一丝一毫的偏差，但是端到端的推理速度直接快了一倍多！整整快了一倍多！

[0:00] 嗨,我是科技最近有一位朋友德语员去拜访了Elon Musk他说Elon和他说了一个非常有意思的观察如果未来人们的眼睛看到的一切都是生成的那我们到底需要多少算力呢?那算法也很简单一个人两只眼睛每秒要看见多少像素一天又有多少时间你的眼睛是睁着的然后再把它乘以几十亿人的规模最后来反推要承载这样的实时生成的世界全球需要多少的算力和多少的数据中心当然更重要的除了硬件上的不断堆叠我们在软件上在算法上的不断推理加速的优化也是非常重要的一个命题所以本周十字路口我们就请到了张金涛他在深数科技负责流逝视频生成与推理部署的工作你好金涛欢迎来到十字路口哈喽大家好我是张金涛深数刚推出了S1这是金涛带领的项目那用户先传一张图去做一个角色再选一个声音或者克隆声音就可以像打视频电话一样去和这个角色来聊天并且用说话来去实施控制这个角色的表情动作肢体语言这个流逝视频生成的模型目前能做到540p的分辨率以及25帧左右的实时生成并且可以长时间不断流所以你可以和这个角色聊几天几夜我们稍等会展开这个技术的详细的细节但是在此之前我们还是先从十字路口的传统开始快问快答帮助大家快速了解静涛那请问静涛你的年龄26岁毕业院校清华大学博士在读你的NBTI和星座intj水平座那一句话介绍一下咱们刚发的这个模型就V2S1它是什么V2S1是一个实时交互的视频生成模型可以通过语音来实时控制视频生成的内容你现在在生数除了负责S1这个项目还在负责哪些事情我还负责所有模型的推理加速以及所有模型的一个机群部署流失视频生成模型就我负责的也是整个流失视频生成模型的一个全链路就从数据到训练算法然后到它的一个推理工程化包括模型的评测在申诉之前你在做什么在申诉之前我主要还是就跟着朱军老师在读博士然后做一些推理加速方面的一些科学科研工作当然就在正式加入生疏之前我还在就是UC Berkeley在那边访问了半年你是因为什么契机开始做退理加速的呀我记得你最早的一个被大家知道的工作应该是CG Attention我在差不多读到说是二年级的时候有一个比较好的契机就我后面就跟朱金老师去寿转博然后读了朱金老师的博士然后朱金老师就看我之前做了一些系统性的工作所以就安排陈建飞老师呢去具体带我做一些科研工作陈建飞老师直接就告诉我就是推理加速是未来非常重要的一个方向然后就安排我去去做这个attention的一个底层的加速然后sager attention就是我当时做的第一个工作它就是一个更快的attention算子的实现你可以用sager attention去替换掉大模型中Attention的这个计算它是极差极拔的对极差极用的它相当于就是一个更快的Attention的计算的实现对就我们当时发现我和陈建飞老师就发现FleshTension影响力很大然后大家基本也认为FleshTension是一个Attention的一个极致的一个算子了但我们发现硬件上明明还有更快的计算单元大模型里面就是主要的运算我们可以简单分为两个一个就是线性层的计算一个就是Attention的计算就其实那些更快的计算单元在线性层的加速中其实被已经被广泛应用了但是到当时Flytension出来之后还没有任何一个工作说能用GPU就显卡上的更快的计算单元去加速Attention然后我们就感觉这是为什么为什么没有人做这是很明显的一个收益那我们就想把这个事情做出来所以当时是什么原因没有人做呢做D比特加速Attention的计算其实还是有挺大的挑战的第一个就是我觉得语言模型它在Attention的计算上它其实是一个memory bond就你单纯加速Attention计算其实不会有太大收益所以呢就大家没有很强的Multivation去做腾讯的计算加速但是后面我们会发现就是语言模型的一些腾讯的范式包括后面所有的多模态模型尤其是视频生争模型他的腾讯都是被严重的compute bound计算速度直接决定了腾讯算的快不快所以我觉得这是第1个原因在24年初以前做腾讯 [5:00] 计算加速其实没有很高的收益然后第二个点呢就是Attention的这个Debit加速它其实还是有一些挑战的比如说第一个挑战就是Attention加速不同于你简单的线性层的加速简单线性层你可以用Pytouch一行代码就可以写完然后你想对它做量化也就再加两行Pytouch代码但是Attention的加速它就必须要要求你会写就是GPU的Kernel你必须得深入到用这个底层的编程语言这是Attention的这个计算特性决定的尤其是当时其实还24年初之前Webcoding还不具备非常强的Kuda或者一些底层GPU编程的一个能力要手写对基本上还是要手写Attention计算的精度对于低比特十分的敏感Attention里面所有的计算我们都量化到8比特用到语言模型或者用到视频生存模型里面它输出的内容是非常差的所以这是第三个挑战然后我们也解决了就是后面这两个挑战再把C加Tension做出来所以从C加Tension到现在发S1因为S1这个我觉得它比较重要的价值就是它的这个流逝视频生成所以这背后其实也是推理加速到了一定的水平才能够有这样的流逝生成的效果所以从C加团选到S1这个中间经过了哪几个比较重要的里程碑的阶段首先我想说就是微度S1就包括我们现在不是已经全球就是已经开放了体验的网站也开放了API平台微度S1它就更像是模型加部署全战优化所以推理加速在微度S1中我觉得只是一部分这是我想表达第一个点然后从C者Tension到微度S1的推理加速这里面确实有几个阶段我可以简单概括第一个阶段我们做C者Tension这种算子来我的加速就比如说线线层算子或者一些非线线的算子还有就是Tension算子在这些GPU上怎么让它运行的更快这是一个然后第二层优化就是模型层面我们不仅要把算子跑得更快还要把整个模型的一个计算的复杂度降下来那降这个计算复杂度其实它也有一些方法我这边举一些例子比如说我们做一些步数蒸留我们可以就比如说把这个Defurium模型去造的步数从50步比如说降到4步那它其实就能计算复杂度就降了十几倍然后呢还有就是一些算子比如说Atention算子我能不能引入一些稀疏化稀疏Atention就我不光让Atention跑得更快也让Atention的这个计算复杂度也降下来第三个层面我觉得就还有一些工程化的一些加速就是你能让单个模型比如在单张卡或者说多张卡上跑得更快了但是我们现在需要做的是把它直接部署在一个大集群上让全球所有人都可以来用所以这个又涉及到很多就是集群部署和模型推理工程化以及就是请求调度的一些问题然后在这个方面我们也就是也做了大量的工作就是怎么样对模型做并行然后怎么样对用户的请求做一些调度对之类的在Sage的Fusion之后还有一个工作是Turbo的Fusion可不可以讲一讲Turbo Diffusion是什么Turbo Diffusion其实就exactly是对应了我刚才说的第二个阶段我们有了Sed Tension这种很快的一个Tension算子的实现那我们怎么样把任何一个Diffusion模型在比如说在一张卡或者说在一台机器上让它跑得更快我觉得这个是模型层面我们在Turbo Diffusion里面就是用到了比如说SeddTension的算子用到了更快的一些线线算子的实现然后同时呢我们又做了一些就是就通用的针对任意Defior模型的一些蒸馏的方法然后以及一些西数的Tension的方法然后这些方法其实都是需要通过微调模型或者需要通过训练模型来实现的它就不仅仅是你要去呃实现一个更快的算子而是你要通过训练比如说西数的腾室的微调然后比如说蒸馏的训练来降低整个模型的复杂度然后同时呢比如说你在单轮卡和多轮卡上又稍微有点不太一样在多卡并行的时候你能不能把多卡之间的通讯和单卡上的计算能不能很好的overlap起来这其实也是涉及到一些工程化总体来说Turbo Refuel我觉得它是主要是模型层面的一个就是在基于SageTension和一些很快的现阴层的算子的实现上通过训练的方式做了模型的复杂度的减少和少量的工程上的一些优化但在做那个工作的时候其实还是在学校里面的吧那其实不是在微度里面所以那个时候你们能用到的数据也好或者这个算力资源也好应该都是比较受限的对 是的我们做Tuber Deferium的时候 [10:00] 就是计算资源确实相对有限但Turbo Defusion本身它也不需要很多资源所以我们只是建立在开源的这个视频生存模型上然后用了少量的这种微调数据我们就能把它做出来对所以现在它有多少Github的Star3600多个GithubStar这在咱们这个领域是一个什么样的水平我觉得就算还不错的水平吧就你的观察C加Tension或者Turbo Defusion现在就是这些工作有被什么样的这个公司或者模型在采纳吗Celletuncent目前也是我比较自豪的一点就它已经成为了一个事实上的行业的标准比如说NVIDIA或者AMD还有就是一些硬件厂商比如说华为生腾摩尔县城以及就木希就这种硬件厂商其实都在他们都实现了他们自己的sage retention并且部署在他们的显卡上然后第二就是几乎所有的多么泰的公司比如说像生殊科技像字节腾讯还有这个这个像google对就是都在用那我们给大家介绍一下刚发布的V2S1我们再展开聊一下就是大家看到这个流逝视频生成模型的第一反应是它很快可不可以讲一讲这个咱们快的背后是具体做了什么工作首先我觉得不能简单的把一个流逝视频生成模型理解为快就这里可能我想稍微展开讲一讲首先大家要对普通的视频生成模型有个概念我们一般都是先输入一个prompt对吧然后就等很长时间然后他会给你一个5秒或者10秒的一个视频但实际上就是实时视频生成模型首先它的应用的范式就不太一样你要实时的跟它去玩跟它去交互它每一帧呢其实都是实时生成的它的生成速度需要大于播放速度它才能做到就是实时生成所以它不只是说你把之前的这个比如说10秒钟的视频生成比如说从50分钟加速到10分钟然后第二点呢就是这种流失视频生成模型的加速还是会有更大挑战的那比如说最大的挑战可能是什么第一个就是你在保证画质的前提下然后保证长时间就是你生成一两个小时他视频画面还没有漂移或者没有崩坏在保障他对就是你实时输入进来的一些东西他能够给一个正确的反馈这个显然是很难的就现在最先进的就是基础模型我了解到的应该就是他最长只能生成30秒的视频但是流失视频生成模型我们不可能就只让他生成30秒对吧就是30秒可能还不够我问一个问题的咱们是可以聊几天几夜对我们是可以无限长生成的所以这个过程中我们是怎么保证它不漂移然后不崩坏的就是这个我们用了很多相对比较本质的一些一些deferent训练的方法这可以展开讲了吗就是我们在Tension的计算方式以及就是在噪声强度的控制上用了一些比较我们探索出来比较先进的一些方法去保证让它长时间生成也不会就是画面质量变差我就是想再介绍一下就是我们这个硅度S1它的推理优化的先进性首先我们做的是540P市面上能够做实时生成的模型的分辨率其实基本上没有这么高的然后IPS的话我们可以做到25到42IPS然后同时呢我们其实是在就消费级显卡上就可以达到这么一个效率的所以咱们其实在追求又要快然后画质也要不错然后还有长时间不崩坏所以其实感觉这个就是目标函数蛮多的所以这个过程中就S1你们有做什么trade off吗肯定是有trade off的首先我们的定位肯定是实时交互生成所以我们就必须得满足生成的效率在这个前提下再去优化一些比如说画面质量以及对应户输入的一个生成的准确度以及长时间的一个视频的质量和一致性所以快是第一目标对这个是最重要的一个前提其他的都只能在这个前提的前提之下去尽可能做一些优化最容易被放弃的是什么或者在你们的优先级里面比如说包括画质包括成本一致性等等就是有没有这个优先级最低的目前来说如果非要排个预先级的话当前这个阶段我们只能说画质稍微再降一点对因为现在开放给所有人用吗你们现在收费情况是什么呀首先我们开放的这个网页和APP的平台目前都是免费的 [15:00] 放开让大家去玩了然后我们的API平台是会收费的可能每分钟也就两三块钱它没有时间限制流逝时时交互视频它真的会变得越来越重要吗其实视频模型我觉得主要就是满足人类的视觉娱乐的需求那视觉娱乐的需求呢我觉得可以被分为两类第一类就是离线生成的视频典型的就比如说电影或者说一些短视频第二个呢就是在线交互的实时交互的一个视频比如说像Koji我们今天在这里交流对于我们来说可能也是属于在线的我们的在线是指的我俩此刻看着对方是这个意思吗对就是我说什么你是知道的然后你会根据我说的去做一些反馈你也会根据我说的去做一些反馈或者说就像我们去谈恋爱或者像打游戏以及就平常我们日常的生活其实到处都充斥着就是在线的这种实时交互式的一个视觉娱乐人类没有进入到这个数字革命之前视觉娱乐基本上都来自于在线实时交互的视觉娱乐人类在线实时交互类的视觉娱乐的需求是比这种离线的预制好的视觉娱乐的需求它是更大的离线的这种视频它是有一个播放量的概念但是在线的实时交互式的视觉娱乐的需求它每个人都不一样都不一样每个人想看的都是不一样的每个人都要有一个独立的session对这是我们一开始的时候说的Elon Musk的推理对对对就像Cogin你说的就是未来所有的视觉娱乐可能都是AI生成的我们也听说过这世界可能是虚拟的每个人其实看到的这个画面都是生成的未来就是这种实时交互类的视频生成它一定是一个非常正确然后需求量非常大的一个方向因为我坚信就是未来我们的视觉娱乐信号会被AI生成的内容充斥掉就是替换掉从技术上我觉得其实目前来看没有什么壁垒没有什么不可能性它一定是未来非常正确的一个方向就是已经是势不可挡了就是一定一定会有那么一天的到来这个方向一定是正确的你们现在比如说发了之后有看到大家用这个模型在做什么吗因为这是我们昨天晚上发的吗但今天我已经看到了就有很多人去发了很多很多例子微度S1之前没有任何一个模型说你可以实时的去用语音去控制后面的这个生成的内容然后也没有一个模型真的可以做到无限长实时交互式的生成然后而且在这么高的分辨率和这么高的帧率的前提下而且我们是支持自定义任何角色自定义任何图片我已经看到非常非常有意思的例子点赞和收藏已经破签的一些例子就比如说他自己家的小狗然后上传到这个就是V2S1他就可以跟他家的小狗去去聊天他又可以跟这个小狗做一些交互我看都实现的很好然后第二个呢V2S1他也支持视频理解他可以打开摄像头也可以输入一段视频信号我今天就在B站上看到了一个非常好的例子就一个人他正在玩游戏显示器左边的四分之三的屏幕是这个游戏的画面然后右边的四分之一呢他往VidoS1里面上传了一个24元的小女孩他把游戏画面传过去对他把游戏的画面直接传过去了然后那这个人他左边的四分之三他一直在玩游戏右边的四分之一他多了一个人去陪他玩游戏就他把这个第一个他可以跟这个人去聊然后呢他同时又把视频的画面传过去这个人还可以真实的看到游戏画面里发生了什么然后可以给他做更深的交互然后他也可以做更多动作所以理论上我也可以把我每天coding的界面当做一个视频留给他对吧他就做程序员鼓励师了我觉得当然可以如果我把我的整个电脑都当做一个流逝的视频传给他可以那他也可以看到比如说我现在在微信聊天然后下一秒在NOSIE里面写文档他也可以适时的给我一些反馈可以的当然可以他可以看到你写的字是什么你的画面是什么他有一个基础的视频理解能力我们可以验证一下未来两周一定会出现基于微度S1的很多很好玩的例子大家可以拭目以待包括昨天晚上有一个同学他也给我看了一个他用的一个例子我不知道大家知不知道风格风格有转圈五转圈祝福五就是什么我住谁谁谁什么这个长命百岁远远不死然后会会跳一个转圈舞他把这个人设丰哥的图片上传上去之后他就可以跟丰哥进行一个非常实时的交互让丰哥给他说一些祝福的语言然后给他做一些祝福的动作我们再回到这个推理加速啊就是金涛当然做的很多工作都是对 [20:00] 波态模型的推理加速但是其实今天大语言模型推理加速也很重要然后甚至我们在最近一年看到也有很多芯片层面的工作从Cerebus到包括Talus都有非常多芯片层面的工作所以也想请金涛给我们介绍一下我们今天在推理加速这个领域比如说有哪些重要的工作有哪些重要的方向等等推理加速其实就是像他字面说的就是让模型的推理变得更快先不考虑芯片设计层面的话我觉得有两个点要做第一个就是像算子层我们要让模型的这些计算在特定的硬件上算得非常快尽可能就是算到一个硬件它极致的水平但我感觉大家容易误解的一个点就是大家会认为推理加速其实就是做前面的一个事情就让一个模型在某个硬件上算到理论最大值对让它就是某个算子能够算到更快当然这是很重要的一点但是退理加速另外一个很重要的地方你怎么把模型的计算复杂度也降下来我们想让它想让它端到端退理的更快我们输入一个东西它能很快的输出出来那样模型本身就一个黑核你输入一个东西它给你输出一个东西这个黑核里面实际上有很多计算可能是冗余的我们能不能把这些冗余的计算给省略掉比如说通过吸收的tension或者通过一些模型架构比如说做一些M1E的架构或者就是通过一些蒸馏不管是模型大小蒸馏还是采样部署的蒸馏所以推理加速它我觉得可以这样定义当然就是对芯片设计上我其实我了解的不是很多就是如果我们再拆开一层老黄他做的这些事情我觉得也可以被算作推理加速进一步提高这个硬件它的一个计算速度目前我感觉推理加速上比较好的一些工作首先可能Turbit Defusion算是还不错的工作然后呢还有一些系统性的一些开源开源项目比如说VL1M当然它也涉及到一些我刚才前面说的那几层但它更重要的其实还是调度和管理上的一个工作然后Turbit Defusion呢它可能是前两个就是算子能不能做的很快然后你模型的复杂度能不能降的很低然后Turbo Deferior 是这两层在这个Defior 模型或者多么泰模型上的一个比较好的例子因为Defior 模型其实之前就是off-line 的生成它比原模型简单的多一条用户的请求过来它其实不太需要做batching也不太需要做什么kvcache调度它都没有kvcache所以它之前是比较简单的但最近就是因为你有流逝的需求你的different生成的过程也是一个autoregressive的过程你也涉及到kvcache你也涉及到一些用户请求的调度比如说这时候有一个用户接入了然后等会又一个用户接入了然后等会这个用户他不想不想聊了他中断了所以我觉得后面也会出现很多就是defear模型怎么去做这种集群部署和调度有一篇paper叫TurboServe也是在生树做的这么一篇工作就是针对这种autogram流逝的视频生存模型怎么在集群上去做一些调度和部署我觉得它也是一个还不错的工作然后呢原模型上还有一篇工作叫DSADeep6Bars Attention那篇工作算是模型角度的一个加速吧我觉得也是一篇很好的工作Dspark还有小米Memo他们最近做的Ultra Speed其实也都是基于一个开源的叫Deflash的框架做的确实效果还蛮显著的它针对语言模型它是个很好的工作然后Defiering上其实SLA就是我们的那篇Sparse Linear Tension针对deferent模型的这个系数的Tension他也非常好就是包括腾讯和字节的非常就是多么大的负责人他们都跟我说他们在用SLA他们认为这是非常好的工作当然就我们现在开源的这本SLA其实还有一点点缺陷就主要的缺陷是在它linear tension的选行上我刚才说的几个我认为比较好的推理加速的一些工作就不代表它是最好的就是它只代表就是我接触到的我认为做的比较好的就肯定还是存在大量的就做的非常好的一些推理加速的工作也欢迎在评论区给我们留言大家可以在评论区这个讨论更多然后我觉得未来就是就推理加速的未来我觉得未来还是属于更底层和更上层更底层和更上层可以展开讲讲吗OK就是我觉得之后单个算子它在硬件上能不能跑到一个很快的速度我觉得这个会逐渐的去收敛大家都能实现的非常的快就是能够基本上接近一个硬件上的上限而且就是 [25:00] 现在这个webcoding也是越来越强他也知道一些很先进的一些写代码的方法他也知道这个硬件的架构是什么就特定给定一个算子在硬件上能不能跑得快或者给定一个模型能不能跑得快我觉得这一层是之后都会收敛的我对底层的一个定义就是说你能不能造一款要么就像老黄这样就是能不能造非常通用的很牛的一些芯片它本身的计算速度就非常的快然后还有就是你能不能对特定的这些模型比如说就对某一款或者说某一类视频生成模型不管它是它可能是offline生成的或者说它是实时交互生成的这种视频生成模型专门去造一款芯片就像Talas一样把一个特定的模型写死到一个对应的芯片里我觉得这是一种思路但是这种思路可能有点太浪费了比如说你模型更新了你这芯片就废掉了我觉得可能更好的一些思路还是就是定制化但是它又有一定通用性就比如说这一类模型这个芯片就是能满足就比如说举个很简单的例子语言模型它的tension计算通常是被memory bound它受制于memory的一个传输速度它不太受制于计算的速度然后你视频上的模型它一般都是compute bond它不是memory bond就是那你可以去调这些比例吗以及不同的模型它需要的显存也不太一样它需要的计算的和显存的传输的一个计算速度和显存传输的比例也不太一样然后它需要的各个精度的计算单元的数量也不太一样我觉得就是通过这些来general去调可能也是一个思路就总的来说我觉得最底层就是你能不能做一款要么很通用非常厉害的一个芯片要么就是针对某一类模型专用的它能够成本很低然后计算速度很快的一些芯片这个我觉得目前AI它也很难做好然后更上层我觉得其实就是算法层因为推理加速它不仅仅是工程上优化你还要想方设法去降低模型的计算的复杂度比如说我们的人脑我们人脑其实就只有25瓦对吧但是我们人脑稍微给它一点时间它也能解决很多复杂的任务从理论上我们是能够降低模型的一个计算复杂度的这也是分为通用和专用通用的来说你能不能降低整个模型对各个任务的一个计算复杂度然后专用来说就是对不同的请求他能不能用非常简单的计算就可以做到我不需要就是把整个模型里面每一个layer每一个算子都去计算一遍我觉得这是最底层和最上层我觉得这两方面未来应该会变得更重要对于退理加速来说那是不是在底层更容易出创业公司啊因为在顶层我觉得好像它很难变成一个独立的事业我觉得其实都是要co-design的一个好的退理加速工作它一定是硬件和算法必须是要co-design然后从创业公司这个角度我觉得它肯定还是这两方面能力都得有或者说我觉得就是coge你说有道理就是只做底层我觉得它也可以然后co-design来做也可以但只做算法层我觉得就不是特别有壁垒或者说它这个很难去得到一个底层的验证我们再回来聊一下整个AI视频行业因为最近几个月我发现在中美两边发生了分化中国的视频模型越来越厉害就显然已经牢牢的站住了第一梯队在你的视角里面这是因为什么原因产生的优势AI它其实就是一个对一个问题的建模对吧对一个问题的建模我们把这个叫模型它建模完之后它肯定要去学习去训练它训练其实就是把数据数据的数据和数据的数据之间这个映射关系学好然后这个建模呢我觉得从Transformer出来之后到现在我觉得这个建模方式就是再怎么雕花我觉得其实不是特别特别本质了那所以现在就是数据变成了一个非常本质的事情就像人类一样对吧就是一个人他水平高不高第一个可能取决于他这个大脑的建模就是他的智商对吧然后第二个呢他接受的教育一个好的讲解方式跟一个不好的讲解方式他学起来是完全不一样的一个复杂的物理的规律那一个好的讲解可能10分钟就能把这个问题讲得非常透彻你像比如说苏建林对吧他整理的一些科学空间他讲的就是很好我看10分钟顶我再来看一些垃圾的博客看一些垃圾的数据顶我看三个小时还要多少天那三个小时可能还对我的这个学习的这种造成不染所以就现在建模上已经相对区域收敛了但是数据上我觉得你有没有把它构造成一个质量高然后对其了人类的偏好同时呢它又是一个可学性非常强的就比如说就是Resonin它其实本质上就是你直接学问题A到回答Z你 [30:00] 现在这两个东西没有任何关系你构造成一个思维链他慢慢的去学他就能学会比较确定就美国的做视频生成的公司他们的数据不管从数据量上数据的质量上有没有对其人的偏好然后他的构造方式我觉得应该做的都不如我们国内的这些视频生成的公司然后具体什么原因的话我觉得每个人都有每个人的思考就可能跟一些这种这种政策呀或者都有关系对这是第一个点第二个原因我觉得中美的文化可能还是有些不一样对于这种离线生成的视觉娱乐我觉得我们要求是更严格的当然这是我个人看法就比如说我们其实对抖音啊小红书啊或者直播啊电商啊这些行业发展的更好那我们就能积累下来更多的数据然后有更高的motivation去把视频生成就是满足人视觉娱乐这个事情做的更好这很有意思我觉得主要是两点吧感觉2026年有一个非常大的趋势就是教授PhD们都在大量的投入创业那早几年呢可能是有智卜的唐杰老师然后有申述的朱军老师都是很优秀的代表但是在那个时候我理解他们创业的时候还没有形成一个热潮但在今天感觉越来越多的教授和PhD开始创业然后你自己身在其中你的感受是什么首先我觉得就是AI它确实我觉得它不是一个泡沫它就是能满足人类所有的需求AI这个方向一定是正确的不管你是做硬件还是做这种模型所以我感觉就是目前这波创业的热潮它是很合理的然后它也能够持续很久我觉得不存在太多泡沫然后第二个我想表达的因为这个需求太大了就这个方向太正确了就它不是一家公司就能把这个事情全做完的未来还是有很多很多创业公司在未来都能取得成功这是第一点我认为这是很合理的然后第二点呢就是我也感觉到就其实不是所有人都适合创业就包括我最近在生树呃待了这么这么长一段时间呃我觉得就是稍微坦诚一点讲或者没有那么谦虚的讲我感觉我还是很适合创业的就我感觉我能把团队带好大家都愿意追随我去做事情然后我能知道什么人是好就是能用然后每个人在想什么我怎么去做这些管理和协调但是我觉得就确实不是每个人都能创业就是有的人他可能技术水平也很牛逼但是他其实就是做不好这些管理怎么让大家第一个非常开心的去工作第二个让大家知道一定要做世界上最领先的东西这个该怎么去做所以你可以讲讲你具体的一些这个管理实践吗比如说怎么让大家开心的工作然后怎么激励大家去做世界上最领先的东西这点可能我还是得好好感谢一下朱军老师像那个OpenAI刚出GPT3的时候朱老师就跟我们说其实大家不要觉得这个GPT3是一个多么多么就是遥不可及的一个东西它只是把就把每个环节都做到极致并不是说它在模型或者数据上或者说在什么训练方法上有非常非常大的创新只需要知道就是世界上最正确最领先的一个方法是什么然后你把它正确的实现出来每一个环节都做到极致其实你就能做到世界最领先这是我对世界领先的一个理解就我也会同步给我们部门的人然后第二个呢就是你每一个环节每一行代码你得实现正确就是我相信现在很多公司他可能也不是说他不知道最领先的是啥像VidoS1他可能也不一定说VidoS1里面用到的一些技术他不知道他很可能就是他的这个代码仓库里面有两行代码有bug这个是极其有可能的总之我觉得先回答第二个就世界最领先第一点就让大家开心的工作我觉得这个就是一个利到该进的一项职责具体怎么做的每个人都不一样你首先你得足够的敏感或者说我也不知道叫不叫敏感你得知道每个人他想要的是什么他想要更多工资还是说他想要更多Credit 还是他更享受做事情的一个成就感你得知道这些事情并且得跟对方简单聊几句之后你就能掌握这些信息然后第二个你还得树立自己的微信还有就是你们这个部门肯定不是独立存在的你是会跟很多其他的部门很多其他的工作 [35:00] 去协调的各个部门之间他利益其实也不是一致的那你怎么去协调还有就考验你的一个判断就你得知道你的一个思维方式必须得从本质去出发我观察到就很多人其实他不具备这些特质他可能很聪明他有很多好的paper但其实我觉得如果他创业的话我觉得也做不好那我们最后来聊一聊这个金涛你的成长经历就是可不可以给大家分享一下我可能小时候就相对贪玩一点但我小时候就是有个特点就数学非常好语文相对比较差但我现在我也感觉其实语文还是很重要就一个人的沟通表达和理解对方情绪的能力确实还是挺重要的这个其实一部分我觉得也能体验在语文成绩里然后大学的话就是一些之前的猜想得到一些验证就是我感觉我的一些自学能力或者一些表达能力是会更强一点的可能大学那个竞争也不太激烈吧就是就反正我就是简单学一学也能考得非常好然后同时也能兼顾一些科研上的一些任务能加入一些这个实验室去做一些论文的分享就发现我能把这篇论文看得特别透彻然后我也会花很多时间我很享受就是花时间把表达里面这些词和图做得非常的sharp做得非常的让大家get这个本质在哪里就很享受这一点我觉得写作其实也很重要就写论文你写的好不好我觉得还是能反映一个人的水平的因为智能的边界和语言的边界它有时候是对等的所以你能不能把一个东西讲清楚在能投射出你到底有没有把这个东西搞明白对把一个事情讲清楚我觉得不难难的是能不能把一个很复杂的事情讲得很清楚反正我很想说把一个复杂的问题第一个不仅是写的非常简单第二个就是能够把很多点凝练出来比如说我写论文我就是要把motivation凝练的非常好然后要把这个做这个事情当前的limitation或者challenge是什么一定要凝练出来然后把你怎么去解决这些challenge也要凝练出来然后把你的贡献也要清晰的凝练出来我觉得然后每个词每句话都是逻辑性必须要非常强前提是你做的工作是有意义的好的工作你就是要去思考去凝练这些东西嗯但听起来你很享受那个过程对然后我愿意去把这东西整理出来之后跟跟其他人去讲嗯呃然后后面的话就是说软博之后我觉得算是正式开启了这个呃一段我很享受的时光或者说我最开心的时光一个是我做Sage Attention的时候我记得当时就我在中华自然科技楼就是那时候人很少就很安静然后我就去解决这些问题然后跟程老师去讨论跟朱老师去汇报就是一个一个县程去模拟去看这个京都问题到底在哪然后一点一点的把这个底层的代码就写出来就是然后到最后也是得感谢朱老师给我这么一个机会24年5月我们成立一个微度推理的组就保障这个微度的全球上限我是直接在微度的这个模型里面去写的SageTension那时候肯定是全世界第一个低比特加速Tension计算的一个工作我当时就已经实现完了其实当时那个其实是个非常伟大的工作我觉得但当时其实我没有意识到这一点就没有意识到这个那么伟大就是说伟大就有点自夸但确实还是比较了不起的一个工作我很享受那个过程然后比如说我实现完了进入精度对上了我把它插到那个模型里之前用的FlightTenshin我把它代码换成SageTenshin就换了一行视频生成的跟之前一模一样像素级一模一样但退理速度快了一倍多断到断退理速度直接快了一倍多然后我就迫不及待的把这个视频赶紧给陈老师给朱老师去看就非常的开心非常兴奋然后后面我们才把论文和代码整理出来都开源当时是非常开心的就总之我说软播之后我觉得就做了很多有意义的工作我觉得就解决了一些很业界非常需要解决的一些问题做出了一些开创性的突破我真的觉得很开心然后第二个就是我现在也在带一个团队我觉得也挺开心的就是像是在创业的感觉感谢朱老师就信任我用我就是去去把这这摊的事情都负责起来就我刚加入实验室的时候我当时也发现就知名老师水平真的很高就是体验在哪里呢我举几个例子第一个就是朱老师的认知对方向的判断非常正确你从朱老师的这些学生上我觉得也能看出来 [40:00] 就比如像孟嘉义像陆成像什么庞天宇像这个宋阳什么的其实这都是朱老师培养出来然后第二个就在他实验室我刚进来我就发现这个我靠这这实验室资源这么充足另外就是氛围我不是在博克里待了半年吗因为朱老师可能也是在CMU做过这种教职就是也在海外待过很长时间就是我觉得跟博克里那种管理方式或者科研上的一些氛围我觉得真的就非常像这点反正我觉得还是非常认可朱老师也很感谢朱老师其实听到前面说到工作带来的快乐还是蛮感慨的所以也希望金涛可以在未来有更多这样的快乐时刻然后也感谢你今天来十字路口期待有机会可以再来做课谢谢谢谢Koji我也非常感谢有这么一个机会跟Koji做一些分享OK好拜拜拜拜