Tensormesh通过KV缓存重构AI存储

Tensormesh通过KV缓存重构AI存储 大模型推理的真实算力瓶颈在于输入而非输出，通过将KV Cache视为具备语义的“白盒”并进行智能化管理，企业能够以存代算大幅降低智能体运营成本并提升输出质量。 访谈深入剖析了AI推理的核心瓶颈在于大模型长文本及智能体工作负载对系统资源带来的巨大压力。江鋆晨指出，处理输入token的真实计算成本远超直觉，而Tensormesh及其开源项目LMCache正是通过对KV Cache的“以存代算”和独创的CacheBlend技术打破黑盒复用限制，提升大模型运行效率。他强调KV Cache蕴含着深层的语义和控制价值，是AI时代真正原生的大数据，其分发模式未来将演变为类似互联网CDN的全量系统。 随着长文本与智能体（Agentic）工作负载爆发，AI 推理的核心瓶颈在于资源不对等，且 Prefill 阶段输入端消耗的真实算力远超直觉；Tensormesh 和开源项目 LMCache 致力于通过留存与复用 KV Cache 解决这一开销。 (3:20) 江鋆晨拆解了 KV Cache 的三层递进理解：从工业界常用的黑盒状态复用，到可做有损压缩的语义白盒，再到前沿的主动改写语义以控制输出；学术界之所以领先，是因为跨越了底层系统工程师与 ML 研究员之间的专业断层。 (8:50) 针对 Coding Agent 和企业 RAG 等共享知识库场景，Tensormesh 研发了独家 CacheBlend 技术，打破了传统方案必须“前缀完全一致”的硬性限制，实现了对非前缀或中间位置 KV Cache 的实时智能计算与复用。 (20:45) 江鋆晨将 KV Cache 存储分发比作 AI 时代的 CDN，并指出如同 Databricks 统一管理人类可读数据，Tensormesh 的愿景是统一管理模型原生数据（Model-Native Data），通过“以存代算”重构推理经济账。 (32:30)

Tensormesh 联合创始人江鋆晨指出，长文本与智能体应用正使大模型面临严峻的资源瓶颈，而 KV Cache 作为模型原生数据，其核心价值在于超越黑盒存储、通过语义级管理实现“以存代算”并重塑推理效率与输出质量。 推理瓶颈与输入端真实计算成本 随着智能体工作负载与长上下文需求的普及，大模型推理面临输入文本变长带来的计算与 GPU 内部显存双重压力。江鋆晨指出，行业直觉往往误以为输出 token 更贵，但这是因为 Chatbot 逐字线性生成占用了大量 GPU 停留时间；而在 Prefill 阶段，大规模并行批处理消耗的计算单元（FLOPs）十分庞大，单次处理长输入的算力开销常常超过生成一千个 token。服务商的定价策略仅为平衡自身成本，掩盖了底层输入端高昂的真实算力代价。 KV Cache 理解的三层进阶 江鋆晨将业界对 KV Cache 的认知划分为三层：第一层是工业界普遍采用的“黑盒数据”，即将运行状态原封不动地存储并复用；第二层是学术界深入研究的“语义白盒”，认识到内部蕴含的 Attention 等信息，从而在保证语义不变的前提下进行有损压缩、跨模型复用或更新适配；第三层则是主动改写 KV Cache 中的语义以直接引导模型的注意力，实现对模型输出准确性与质量的控制。目前工业界在第二、三层几乎无人涉足，根源在于能触碰底层的系统工程师通常不懂机器学习，而懂机器学习的研究员又缺乏系统工程洞察，组织壁垒阻碍了技术打通。 技术壁垒与非前缀复用突破 相较于云厂商仅在 CPU 内存中提供简单 Prompt Caching 的局限，Tensormesh 推出了开源项目 LMCache 与独家技术 CacheBlend。传统机制严格依赖前缀（prefix）完全一致才能命中缓存，若复用内容位于输入中间则会因丢失上下文关联而失效。CacheBlend 能对存储的 KV Cache 展开实时智能计算与更新，使其在非前缀或夹心位置仍能被 GPU 重新复用，使存储系统具备了融入机器学习的动态计算能力，以此应对 Tokenmaxxing 带来的无节制算力浪费。 企业落地画像与知识分发网络 在商业落地上，该技术最适合拥有共享知识库且需要私有化部署的企业场景，例如共享庞大代码库的 Coding Agent，或依赖企业政策与法务文档的金融、法律 Chatbot 与 RAG 架构。江鋆晨将 KV Cache 的演进比作互联网早期的 CDN：当前阶段是在数据中心内部搭建集中式的“Mini CDN”，以极低延迟复用高频数据；未来随着边缘 AI 兴起、推理去中心化，它将演化为跨越物理距离的互联网级知识分发系统（Knowledge Delivery Network），且其软件管理逻辑亦能适配 Transformer 之外如 Mamba 等新型架构所产生的模型原生数据。 KV Cache 目前仍像内燃机普及前的石油副产品汽油，常被视作一次性计算废料丢弃。江鋆晨认为，通过面向运营者的接口让领域专家参与冷热数据分层，并彻底挖掘其中的语义价值，将是行业从单纯硬件堆叠走向软件效能红利的关键变数。

[7:10] 江鋆晨: 大模型厂商当前的缓存服务只是 Tensormesh 宏大愿景的起点。 [7:10] 江鋆晨: KV Cache 视为未来的“大数据”，它不仅可以被存下来复用，更包含了丰富的、有价值的语义信息。 [8:50] 江鋆晨: 黑盒数据（Cashable Compute State）：将 KV Cache 视为一种可以存储下来、原封不动复用的黑盒状态。 [8:50] 江鋆晨: 语义白盒：意识到 KV Cache 内部包含着模型的注意力（Attention）等语义信息。此时它不再是黑盒，而是一个可以被改造内容的白盒。 [8:50] 江鋆晨: 改写语义与控制输出：模型的输出取决于模型权重（weights）和 KV Cache 的共同操作。因此，如果通过主动修改 KV Cache 的内容来改变其语义，就能直接引导模型的注意力 [11:30] 江鋆晨: 工业界工程师的第一反应通常是将系统产生的数据当成黑盒存起来复用，而学术界则更习惯去探究数据背后的语义信息。 [15:10] 江鋆晨: 与其让大模型每次都重复读取、浪费算力，不如将这些 Best Practice 变成“模型原生”（model-readable / model-native）的格式存储下来 [15:10] 江鋆晨: 传统的长文本输入存在“迷失中央”（lost in the middle）的现象，即模型对开头和结尾的信息记忆深刻，却极易漏掉中间的细节。 [20:45] 江鋆晨: 这表明 Tensormesh 的存储系统不只是一个单纯的存储介质（storage），而是一个具备计算能力、融合了 ML 智能的存储服务（storage system with smart intelligence）。 [32:30] 江鋆晨: KV Cache 的分发网络就像是 2000 年左右风靡互联网的 CDN（内容分发网络）。 [35:50] 江鋆晨: Databricks 统一管理的是企业级、人类可读的数据（Human-readable data）；而 Tensormesh 统一管理的，则是未来只有 AI 模型才能读懂的模型原生数据（Model-native data）。 [39:57] 江鋆晨: 大模型未来的商业格局更倾向于在线视频模式。虽然会有少数几家闭源巨头完成巨大的集中（consolidate），但由于主权 AI、客户隐私保护以及商业机密等需求，企业级用户永远需要一套自己能够完全控制和维护的开源大模型系统。 [42:08] 江鋆晨: 不管是 Mamba、Diffusion 还是早期的卷积神经网络（CNN），模型在推理和运行过程中都会产生中间状态（Intermediate State）和它对内部语义的理解数据。 [44:22] 江鋆晨: 现在是懂得 KV Cache 的人（ML 研究者）接触不到它，接触得到 KV Cache 的人（系统工程师）不懂它。 [44:22] 江鋆晨: 这取决于我们公司的发展。

[0:00] KPcash有三层理解第一层理解是KPcash是一种可以存储下来的黑核数据很多工业界的公司都在做第二层理解是工业界现在做的很少但是学术界已经做了很多的KPcash它是有语义信息的而是把KPcash看成一个白核你可以改造它的内容第三层说你可以继续改它的语义学术界已经开始有语做了但是工业界很少有人理解到这一层我们为什么做这个公司原因之一在学术界里面可能大家已经走得很远但是你需要影响工业界的话你必须得做一个这样子大了可能这个KP Cash Moment比我想象的要来得早有可能在今年年底前就会有很多君臣欢迎你来到硅谷坐标今天在谈TensorMesh之前我想请你帮我们建立一个认知的坐标在现在整个AI推理的环节里现在主要的瓶颈在哪里卡在哪些环节首先AI已经不是两年前的AI了它的workload比以前长很多很多同时这个workload当中的这个prompt pattern和以前也非常不一样以前呢可能是大家就说一些就对话形式的东西现在呢use case多了它有很多的agentic use case会有长文本同一个query它的文本一长它的输入越长它会对GPU的计算能力有很大的要求同时呢它会对GPU内部的存储有非常大的要求因为你算了越多它存的数据也需要越多同时呢它有model的记忆因为model如果把常文本梳理完了之后它会有很多的内部的记忆这个记忆以后也得存下来所以现在的瓶颈说到底就是资源跟workflow可能有不对等不仅是通过改模型只要等更好的GPU同时也需要更好的软件层面的这些创新可以让这么大的workflow在有限的资源上可以跑得好那TensorMesh在这里面是解决哪一个环节的瓶颈呢TensorMesh就是是一种软件创新的一家startup在软件这个层面呢我们做的主要就是大模型的记忆管理为什么说是记忆管理呢其实是大模型他每次看到很多的文本之后他自己可以有一个内部的理解管他叫KBcacheKBcache其实是个一大堆的浮点数这些tensors呢他其实是存储了模型自己的记忆模型自己对于常文本或者任何token的理解这个记忆在TensorMesh做这些软件之前呢经常是会被GPU给丢掉的被模型给丢掉因为模型一旦看过一次和做过一次输出之后它是Stateless它不会记这些记忆它把这些记忆就直接丢了但是TensorMesh和我们做的开源项目可以把这些记忆给留存下来然后任何时候model如果再看到类似的场景再看到类似的input再看到同样的context模型可以把存下的机器可以让它复用起来这件事情是TestMesh现在估计是做的一些最好的机架公司之一同时我们的技术也有不少的领先所以我觉得我们在解决现在最卡脖子的问题之一所以我理解就是说在这个模型的输入这个prefuel预解读的阶段和这个decode的output的这个阶段然后你们解决的主要是在prefuel这个阶段发生的事情对对对暂时是decoding也有一定的用途如果你输出太长那这GPU memory也存不下来那所以会你在输出的期间也有可能会需要一些远端的设备来帮你或者一个分开的设备帮你存KB Cache但是呢主要我们做的还是在帮你省去输入不停地读同样的文本的时候这种overhead讲到这一点大家有一个感觉就是说输入端的这个input token它的价格很便宜是output的可能只有几分之一听起来好像不是一个就是能create很多value创造很多价值的一个创业其实你如果看真的它计算成本你如果去就不去看大家定价你就看它真正的背后的计算成本你处理一个input token和生成一个output token它其实的代价是差不多的它并没有说你处理一个100个token的input生成100个output token它input就便宜很多它其实计算的量是差不多的为什么会有这样一个印象说input比output要便宜呢是因为毕竟大家在用chatbot这种application的时候或者说用lm的时候多数时候是在等那个output多数时候在花时间在看他的output慢慢升成出来大家会下意识地忽略说他input好像出了几秒钟他就直接开始升成output了但其实在预处理这个preview input的这个期间他有很多很多计算需要做甚至他会做比output那1000的token还要多的计算 [5:00] 因为很多时候模型在处理input的时候它是可以大规模的做背景化但背景化不代表它计算量很小它其实做了很多很多计算你如果算这个比如说这个flux数GPU的这个计算单元的话其实input和output在每个token上的计算单元的这个成本是差不多的甚至呢其实很多的真实的use case下input的长度比output长度还要长我给你举个具体的例子比如说input几万个tokenoutput可能几千个token那input确实比output长十几倍啊但其实你如果看时间的话这用户到底盯着这个屏幕看的时候多少时间是在等input处理input多少时间在等生成outputinput其实占的时间只有十分之一可能90%时间都在output所以大家确实会有个印象说output非常贵是因为它比较慢provider需要花很多的精力去把output给做成但其实output它是处理着线性化它并没有并行而已因为它线性化它没有并行所以这件事情占的GPU的时间比较多这样的话呢如果从Provider的角度来说它确实会看起来更贵一点并且它也有更好的理由就是查证说它很贵但其实如果算真的成本的话prefuel的成本跟offer的成本在每个token上一样甚至整体的prefuel成本会更高所以就是prefuel的input token它的价格便宜但它的这个数量级其实是output的好几倍对 因为是什么呢因为模型是个stateless没有状态的东西所以你如果是agent application或者是常对话这种overtime或者说你跟这个模型交互的多了这模型它需要在你每次都得告诉模型更多的context所以它模型的input只会越来长越来长但每次的output呢不会相应的变长所以很多时候agent application和chatbot application它的输入一段时间之后就会比输出了长很多回到你刚刚说的为什么大家看这个pricing的时候会有这个印象呢我觉得很大承证都是这些inference providers在说它balance这个cost它并不是说input的便宜output的贵是真的reflect就反映了它真实的这个cost大模型的定价里面也有除了这个input tokenoutput token还有一个cash token然后这个cash token相对于这两个头来说是个白菜价了就感觉大模型已经也在做是不是也在做同样的这个cash的事情跟你们做的事情有什么不一样的首先prompt caching就是你刚刚说了一些所谓某些token被cash下来然后在它的这个账单上也会体现成一个更低的价格这呢是很多现在大模型的这种推理服务商会提供一个服务但是在我们的开篇项目和所有用的开篇项目的这些公司里面它做所谓cash下来一个token它的cash的这应用场景就非常有限的因为第一呢它cash的token只是在CPU里面存起来你要把它放到一个remote storage放到更便宜的这种存储系统里面的话它的性能会差很多这也是我们经常观察到的事情我们公司的目标不仅是要优化KP Cash存储的效率同时呢它是要做一套可以让所有人用并且可以有很多大家现在根本想不到的KP Cash相关的优化在我们看起来KP Cash是为了大数据为什么这么说呢是KP Cash它本身并不是一个就是把它存下来以后可以复用的东西它而且里面有效的信息非常有用的语意信息这些语意信息呢是现在所谓大家把它cash下来不会去看的这些语意信息如果看出来一些有用的东西它可以让你把kpk存得更多存得更好可以存得更快甚至可以改变model行为这些大模型推理服务商在cash token现在事情正好确实是一个非常好的validation说我们的东西确实有价值。他们现在提供这个服务只不过是我们做的所有这个vision里面的一开始最一小步。所以你们的vision是什么?你对于KVCash的本质是怎么理解的?我们看KVCash有三层理解。第一层理解是KVCash是一种可以存储下来的黑核数据,就是cashable compute state。这个状态可以被存下来但是在这层理解里面呢大家觉得这个状态就是个黑盒你不能改因为你存下来之后就只能as is存什么用什么这个层面呢其实很多公司都在做很多工业界的公司都在做因为大家这是这是最基本的一层理解就是你把它记下来以后可以服用第二层理解呢是工业界现在做的很少但是学术界已经做了很多的是什么呢是KPK它是有语义信息的代表它模型的自己的这注意力信息这个注意 attention所以你如果把kpcache的值稍微改一改只要它不改变它的注意力它不改变它的语义信息这个kpcache一样可以服用而且服用可以很好所以到这层理解呢大家就不会再把kpcache看成一个黑核而是把kpcache看成一个白核你可以就改造它的内容你可以让它变小一点你可以compress做lossy compression或者说呢你可以把kpcache做一些update使得它 [10:00] 文本附用在任何地方KVCache都可以附用甚至KVCache可以在文本不同的时候都因为文本不同但是可能语义差不多那这样的话你还可以附用它的KVCache我们有些技术可以让KVCache在不同的模型之间可以附用这些都是你到第二层理解理解到KVCache它其实不仅是个黑盒它是个有语义信息的东西的时候你可以改变它的数字只要不改变它的语义就可以有很多优化可以做这些学术界做了很多但是工艺界现在很少做第三层理解我觉得是最有意思的理解大家想象一下其实模型在生成结果的时候它取决于两个东西它要么取决于模型的这个weights这个权重另外一方面呢它其实取决就是kbcache你可以想象这模型的输出其实就是模型的权重和模型的这个模型生成的kbcache当中做一些操作生成了它的结果了所以只要你可以把kbcache的那种做一些改变可以改变模型的输出你可以改变模型的坦生像我说刚刚第二层直播说KP Cache可以通常改KP Cache但是不改它的语义第三层说你可以继续改它的语义你可以告诉模型pay more attention to thispay less attention to that是吧你可以让你去改它的注意力其实做这种操作甚至可以让模型的输出准确性可以更高质量可以更高这些事情呢学术界已经开始有人做了但是工业界很少有人理解到这一层那我们为什么做这个公司原因之地在学术界里面可能大家已经走了很远但是你需要影响工业界的话就必须得做一个这样的startup我一直很好奇就是感觉KP Cash应该是工业界每天在接触的东西但是最后这块的创新前些东西却是学术界在做这个是为什么呢首先大家看一个数据可能对他理解他的层次不一样就大家在工业界里面看工程师看到他的系统里产生的数字的时候他第一反应是不去改它而是把它存起来然后就把它当黑客看待学术界呢看待这种数据问题他会想这数据里面有什么语义信息这个类似的事情在当年大数据的时候发生过现在AI时代也会发生AI时代里面最重要最有意思的数据就是KB Cash我们公司一直说KB Cash是未来的大数据其实就是这个数据本身有价值而不是这个数据存下来然后复用一下的这个价值way beyond that那你觉得就是工业界现在只是理解到第一层的意思第二层和第三层对他们来说如果他们也想要做的话那你的优势在哪里工业界他们很快就能有更多的资源有更多人力把这个事情做到了完全有可能而且我甚至觉得这件事情我们本来是觉得有可能会明年后年再发生但是现在有可能今年年底前就会发生KP Cash的关注度越来越高了自然而然会有人说我能拿KP Cash做什么更有意思的事情但是我一直有信心说这件事情其实在做startup非常好的基于是什么呢你要对KP Cash这三层都能有理解是非常非常难的事情因为能做第一层的人能做这个KPK黑核操作的人必须是非常好的engineer你必须得是infra backend engineer能接触到GPU的engineer才能看得到这个数据但是这些人呢他能做第一层他做不了第二层因为他不知道这个数据里面有什么含义你必须得做ML的人才能理解这个数据的含义才能做第二层甚至第三层但是做第二层和第三层的人呢是谁是researchers这些researchers呢他并没有这个工程的这个insight就能让他接触到真的KB Cash System所以能做第二层第三层research的人做不了第二层第三层的Engineering因为他必须得有第一层Engineering的实力所以精简一点其实就是做这些不同层的人的背景不一样在大公司里面呢他可能一个公司有做这三层的人但很难把他们放在一起去做一整套系统可以把这三层全打通所以看起来你们是有一个优势是跨学科 跨专业跟大厂比起来在CS这个领域里面可能是跨topics可能所以大厂组织这个资源的话会更困难一方面是他们现在还没有这个vision让他们有这种魄力去真的做这件事情有很多的公司内部要做类似的东西的时候他们说什么他们说TensorMesh容了那么多钱就干这个是吧我们也应该做这个事情其实我并不是特别担心这件事让大公司知道他们会立刻act that fast我不知道你听不听Sam Altman说过这个他以前有个观点就是说小公司做startup你有再好的vision你去跟大公司的CEO面前去跟他说这个事情你应该做这个他们都不一定做得了不是因为他们没有这个实力是人的tension分散的地方太多了我们是专注就做这一件事情大公司有很多很多priorities他们可能有个组在做这个但是可能过两个月他们就做别的了所以我们现在有个机会是我们是非常少数的start option或者开源项目是直接只做这一层就做这一个vision但这个vision呢过两三年之后就是一个非常非常大的件事情等大家都意识到第二层第三层有多少的这些 [15:00] 优化空间的时候当那时候KPK就会真的变成Big Data你想想看当年Big Data有多少多少公司对吧讲到这场空间我很好奇就是说你解决的这个问题都是一些公司它的query可能更多是重复的调用都是些什么样的客户然后什么样的场景会是你们最好的这个customer这是好问题其实首先我们是不能看到客户到底在用什么就是拿这个这个library在用什么的甚至开源项目呢我们都不知道谁在用这些东西我们只知道用的人很多很多因为很多公司我们上去过来说你们要不要试试看他们说我们一直在用啊所以确实很难知道这公司到底exactly怎么在用这东西但是从我们和他们交流的这些经验来看呢大企业会有很多的情况下是包括coding agent包括公司那边就enterprise chatbot包括这些内部的这种financial servicesregal services它有很多的所谓shared knowledge有公司内部可能有一个code base需要被所有的agent coding agent用有一头的这个policy documents需要给所有的这些chatbots用有一些legal documents需要给所有的legal chatbots用所以有很多的这种所谓shared knowledge需要给不同的use case里面用但这个时候呢这个shared knowledge你要每次让LM不停地读嘛这肯定很浪费所以现在有一种非常common use case就是across multiple applications包括coding包括chatbot包括这些rag包括这种multi model多么tai这种应用across many applications它都有这个shared knowledge作为模型输入的context这个场景这种场景向对LM Cash和TetherMatch技术最有利的场景我可以理解成就是说企业端它有一些私有部署的需求的他们希望能够把控自己的KV Cash并且他们的这个Workflow然后有很多是重复调用的比如说法律金融可能还有那个客户服务这种对就有些是比如说你好的一些Best Practice一个Agent他这个效果好不好他很取决于你怎么跟他描述这件事情就是很多Best Practice你确实可以以文本的形式存下来以human readable的方式存下来但是你如果可以把它用模型这个model readablemodel native的方式存下来模型可以直接读这样它不用每次再处理了这个很有意思所以说你觉得就说这样的一个市场空间这种agentic workflow越来越多其实对于你们其实是更利好的因为这个prefuel这个重复的去理解问题会更多会越来越多因为你想agent呢它其实说到底是个和环境在以迭代方式交互的一个逻辑你迭代了越多你交互了越多你交互了越多它产生的这个history就越多你history越多它就每次model看起来就是long contextlonger and longer context除了这个降本这个角度之外比如说这个agent因为你这个有一个缓存会不会整个这个agent的最后任务的效果也会变得更好会有当然那这不是我们现在产品里面现在已经做这个vision里面一定会做的事情因为你模型把记忆在我们这儿存下来了首先我们就是需要明确的件事情模型是怎么生成kvc模型是以把你给它的内容读一遍读完一遍它就生成这个kvc它其实是一个one directionalunidirectional它就是读了一遍依次生成出来KPK经常会有所谓叫lost in the middle概念就是你如果文本太长了input太长了这个时候你如果让模型去找出这个文本里面某些特定的信息具体的信息如果这个信息在开头和在结尾模型一般会找的比较好但是他这些信息在中间模型找的不太好这其实跟人一样人如果让他读一本长的书只读一遍他肯定很多信息息会被漏过我们的Vision之一就是把KVCache存下来但同时你可以在存储的地方对它做优化你可以让模型把这文本重要的地方再读一读把Attention再提高一点那这样子的话它可以把KVCache的内容变得更好下次KVCache这个Memory再被复用的时候模型就可以更好的更精确的输出你觉得如果看整个就是你们服务的这个市场空间你觉得这个Total Addressable Market会有多大什么个增速我觉得呢Total Addressable Market是个因为Addressable前提是大家现在想这个事情绝大多数人现在都没有在想这个事情因为大家没有意识到有这个潜力因为你想现在在企业里面做AI的人有basically两类要不然呢是你是Trend Model的人要不然呢你是写Agent Application的人能提高一个Agent Quality或者能提高Agent Accuracy就这两类人因为你要不然改模型要不然改prompt在模型已经确定好了同时prompt也确定好的前提下怎么让这个模型更好理解这个prompt这件事情呢是所谓我们叫提高quality的第三条路这条路现在其实看的人并不多其实说什么很少很少所以大家根本没有意义 [20:00] 知道这有这样一个market其实然后能做这件事情的人你说就是要懂system也要懂machine learning对因为你要打通从第一层存储一直到最后的优化你需要个团队有这样的能力既有system的能力又非常非常强的system能力同时也要有非常非常强的ML能力说实话这种人才是有的这种人才确实很因为我从学校里面出来的有很多这种CSB学生或者做ML都有很强的system能力或者做system出身但是有很强的ML能力但这些学生呢一般去了工业界现在都拿很高的工资去做纯粹做model training去了现在行业好像感觉做KVCash优化的这些公司也很多那TensorMesh跟其他那些公司有什么不一样吗我们做这个事情比所有人都早我们是第一个做开始做这方面research的就是做KVCash系统优化的research然后我们是第一个做开源的同时现在也是最开始有这种commercial product出来的然后我觉得如果是从开源生态角度上来说我们LM Cache这个项目估计是类似的这种 effort 里面包括学术界包括国外界里面ecosystem support 最好的当然LM Cache这个项目现在已经不仅仅是我们公司在维护很多很多公司都在维护如果问我说这个技术上就是系统技术上就是做存储KP Cash上的我们做的东西确实跟别人没有太大区别但是呢你要说我有一套真的系统真的Artifact把这件事做好并且让很多人都可以顺利的用起来并且有很多的公司以开源的形式做贡献我心情说没有其他公司可以做那么好另外一方面我跟别人不一样的地方就是绝大多数做KP Cash优化的公司他们所谓优化就是把它存起来其实就是存起来最多做做压缩但是也就做到这个程度了很难有公司去有能力说把系统当优化很多我刚说你这种优化都打通了这种事现在我们还没看到但是像我说的可能这个KP Cash Moment比我想象的要来得早有可能在今年年底前就会有很多说实话我听过投资人问我说这个公司在融钱干的事好像跟你们差不多我说确实差不多Good luck你刚说到其他优化我觉得Compression是个比较特殊的优化Compression其实大家非常容易理解因为毕竟你说video有Compression这个是各种各样的东西大了他第一想到就是Compression但有很多KP Cache只在KP Cache上make sense的优化比如说我刚才说Attention就是你可能改这个model attention我给你举另外一个例子叫CaheBlendCacheBlend是一个我们估计独有的技术是说什么呢传统上KVCache它只能在前缀上做服用如果它的服用的text它不在前缀上它在一个input的中间那这KVCache不能服用因为这KVCache里面不包含和它当时那个前缀的关系就是一个非常技术的问题就是KVCache需要被update一下它需要被改一下之后才能服用这个改的过程呢就需要计算所以说这KP cache storage它不仅仅是个 storage它是个service它里面是有smart intelligence在里面的你要把里面存的内容得改小一下才能让它服用起来才能让它给GPU去服用那这样的话你在这个 storage system里面就需要有计算能力所以它不仅仅是一个存储的问题它也是一个计算的问题这里面就牵扯到很多就是你真的需要懂系统也需要懂ML了好像都听到是说这种对于前缀的这种修改没有再听说过好像对于后缀这种就非前追,中间也是非前追对对对,是的还有一个就是说我们知道未来contest window会继续增大包括agent的需求也是很增多特别是现在我们还在只是讲的是language model然后之后有这种image还有视频之后kvcash该怎么存它有没有一个更加scable的一个解决方案这是个很有意思的问题觉得大家现在说常文版啊就大家说的都是文字包括code其实也是文字Multi-model它可以处理图像可以处理视频甚至是3D video就很多人没有在说的事情是图像和视频作为输入的时候它的对于model看起来它其实还是tokens但是much longersequence of tokens就比如几十秒钟的视频它生成的token数可能是一个大布头书它里面文字的token数就几十秒钟的视频视频和image变成token的数量是非常非常庞大的有了多媒体就multi model input之后包括video啊images啊它里面本身自带很多冗余语义清晰的所以它这种input有很大的压缩空间这可能是个research idea了你说这个video我不需要把这个video整了作为一个input你可以把它先转成文字当然会丢到一些细节但是你如果知道这个模型要分析哪些东西那你可以先把它转成文字再给model它可能有很多这种优化空间说到这个前缀复用啊或者说context复用在video和images里面这个复用的定义可能非常不一样你说我同一个video480p和180p [25:00] 180P 同一个 video 这两种不同的像素率清晰度是说它不同的 input 吗它是一个 input 但你把它转成 token 之后它可能长得完全不一样因为它长度都不一样所以有很多的这种优化空间在里面所以你觉得就是存储硬件本身这个供给端的这种瓶颈不会影响到未来因为还会有很多更多优化技术出现对 不会去真的影响到这个实质的做影响但是毕竟需求量会越来越大所以对于资源的要求也会越来越高当然也像NVIDIA AMD Intel年年都会有新的应件出来我理解就是说你们的这个商业本质是建立在算太贵然后存比较便宜所以用存来带算这样的一个逻辑基础上存储价格一直在涨然后算力当然GPU价格也是还在涨我们怎么去make sense去算这个经济账呢公司并不是做硬件财务生意的我们是做硬件上面做的软件层但是我们的很多服务对象他们需要采购这些设备他们需要采购GPU采购存储设备他需要采购CPU他需要采购这些一体机我觉得他们现在很多的焦虑是这个存储价格真的贵但是大家其实也都知道这个存储价格贵是因为空虚不太平衡只要产能上市了其实Storage都可以卖得出去然后价格就会下来当然不会下那么快因为毕竟现在很多存储商的这个订单都已经订到两年之后了所以也不会下的那么快但是长期来看的话它是会下来的其实它的经济账应该这样算我到底应该给多少钱花在硬件上多少钱花在软件上因为像我说的很多的优化它是发生在软件层面你需要好的工程师帮你做这些优化或者说买好的服务来做这些优化与其花更多的钱去买更多GPU memory或者说买更多的Storage和更贵的GPU想想是不是可以有软件的方法可以让你用现在的GPU和现在的Memory做到类似的事情其实有很大的期望空间最终这个存储的供需平衡还是会有的你觉得所以说存储还是一个周期这次的周期是不是有点不一样你像当时做大数据的时候也是云云厂商它在大数据出来之前它的balance sheet是它可能就想的是大家过来租一些机器但后来有大数据了之后存储需要的算力需要的这些use pattern都完全不一样了所以你确实可以说价格是会更平衡一点所以供需更平衡一点但是确实AI是有一个新的usage pattern和cloud当时是不太一样的和大数据也不太一样了这点呢我们现在还真看不出来未来会变成什么样有可能存储会一直是个头痛的大问题也有可能呢模型会变得越来越多然后一个service需要同时跑30个不同的模型比如RL Training会把一个模型变成30个版本那这样的话GPU的用量反而会更高所以这些都是we have to see不是现在可以直接预测出来的如果KVCash是AI技艺的最核心的东西那好像听起来这个就是个长期需要一个很长的周期对很难看出来存储是不是以后的最大的包括NAC是因为我觉得毕竟我不希望让大家得买很多的存储设备之后才能用的服务对吧KVCash是个非常有价值的数据并不是说它存这些东西很贵而是把它的这些insight挖掘出来和通过改kvcash和存储 kvcash能得到的效果它的空间很大包括可以帮你提速包括可以降本包括可以甚至提高influence quality我理解说你们主要是把这些大量的kvcash然后存下来然后通过把一些最容易复用的东西放在HBM放在这种最热层的存储然后把一些复用比较少的频率比较低的然后放在更加冷的存储层这些数据存在越来越冷的层里面每存到更冷一层接生的是传输的速度那对于整体的推理表现有什么影响其实说到底它就是个tradeoff它是计算机系统非常非常经典的trader就是你计算和存储的trader传统上的计算省的越多存的就需要越多然后速度就会降低在大元模型里面其实很有意思的事情是如果你存的地方够快比如说你在CPU里面存甚至local SSD或者GDSGPU Direct Storage里面存这些KB cache它可以既让你省掉很多的GPU计算帮你减少GPU cost同时它把这些东西取到GPU里面去复用的这个速度反而比重新计算要快在既帮你降本同时又帮你提速这是非常非常非常好的事情在系统看起来那当然你如果把KP cache存到更冷的更远端的存储设备上的话Loading KP cache的速度这个时间就会很长所以它确实在some point它会有一个你减少cost [30:00] 但是你可能延迟有一定的增加我们现在看到的很多情况是因为kp cache它本身size也会越来越小它有compressure吧所以一般呢只要网速不要太慢其实一般存储kp cache都是有好处的并且都是既可以减少cost也可以提高速度那你如果存了这个东西你说我把kp cache存中国然后gpu跑到美国那肯定会把整整个系统拖累的很慢但是降本的这个benefit还是在的因为你毕竟让GPU少做很多计算如果说未来的KVCache要存更多了你觉得就是说存哪一层可能受益最多就是它的增量是最大的这是个好问题这个完全取决于每一层的价格有多高你像像SSD甚至价格有可能都会接近于RAM了虽然速度都没有高很多但它可能稀缺所以它这个价格被推得很高这样的话你存在SSD里面就可能不是那么经济但是如果模型特别大它KPK特别大那也必须得做SSD那SSD肯定会还是有很大的好处我觉得对于我们来说呢我们的商业模式和我们的技术是跟这个存储的技术是可以看成是两层面它并没有偶合的这个成分只要你有更多storage我们都可以帮你把kvcash存下来而且是以最有效率的方式存下来其实你刚刚提到一件事情如何保证热的kvcash在快的地方冷的kvcash在慢的地方这件事情呢是个非常有意思的系统问题这个问题在学术界是很难解决在一个产品里面也很难解决你必须得把这个kvcash存在哪里决定权给真的operator给这个真的用这个系统的人让他们去写如何判断一个KB cache到底是热的还是冷的如果判断一个KB cache在下一秒钟会被用还是下十分钟会被用如何判断一个KB cache今天用明天也用每天八点钟都用是吧那你把它猜就有很多这种优化是一个产品本身很难去做你必须得有个interface有个界面可以让真的用你这个系统的人去表达他的domain knowledge他知道的这些knowledge这个也是我们公司的vision之一就是我们并不希望做一套transparent的一套透明的KB Cash的一套系统给这些公司用而是可以让这些公司里面用着真的接触这个系统的人可以让他们的知识可以也用在把这个产品用了更好的过程中然后跟别人说一个比喻说什么样的比喻可以让大家更好的理解说KB Cash这个包括存储包括分发这个事呢其实是在2000年时候2000年组得非常非常火的一个概念当时的CDN最早和最好的提供商之一叫AkamiAkami就是当年的OpenAI然后就火到这种程度英特网刚开始的时候是一个非常非常重要的组件没有它每个人看网页都得花个十秒钟甚至更长才能看到网页的这个非常非常基本的网页有了Akami直接半版东西给你了阿克马干的事情就是把数据把它放在用户可以非常容易接触到的地方Delay非常低的地方那我们当时在一开始说KP cache的时候你是不是应该想一个一个CDN就是一个CDN内容分发网内容分发网Content Delivery Network需要一个CDNfor KP cache这样的话模型在需要KP cache的时候它就可以把KP cache从非常近的一个地方挪过来后来发现这个模型现在还都是跑在同一个Data Center里面那我们先做个Data Center内部的一个mini CDN就跟现在做KB cache Storage就差不多了就现在大家并没有把KB cache分布在全世界不同的地方AI模型呢多数都是跑在同一个Data Center里面那我就在一个Data Center里面做一个类似mini CDN的东西那就是我们现在做的KB cache Storage这个外来趋势不都是Data Ce直接也要互相连接其实越往大的扩张对你们其实是越利好对 我就我们可能三年前开了六年后的东西所以有可能过两三年之后Inference Service变得更分布了包括还有Edge出来之后更分布了Edge AI出来之后更分布了更分布是之后呢就会需要一套Internet Scale Distribution System那可能就会回到我们两年前说的这knowledge deliver network的这个感觉了有一个问题就是说为什么现在它的这个任务量都只是在一个data center它没有一个更加有什么样的场景可能是需要那种跨数据中心呢有 但是现在这种场景并不多因为现在呢一般大家还是觉得在数据中心里面部署GPU是对于cost来说最省的方法同时呢大家对延迟的要求还没有那么高毕竟一开始大家做AI都是这chatbotchat的话你只要生成的这个速度但是现在是agent你生成的越快agent跑得越快agent生成的东西给他自己读那你生成的当然越快他读的越快了所以以后来说大家对这个delay的要求可能会越高对delay要求高了之后就不会把所有东西全跑到同一个地方大家以后可能会希望把AI推理 [35:00] 这些系统这些硬件啊放到离中端用户越近的点离中端用户越近它跌了越低最后它生成的这些结果就可以让user尽快的看到user可以更好地跟他做interaction等到那个时候呢你模型离用户越近模型跟模型之间的这个距离或者engine跟engine之间的这个距离gpu跟gpu之间的这个距离就会越大那到那个时候呢就是你可以想象现在是所有的人在一个网络的周边人在网络周边模型和它的硬件全在中间所有人都跟中间这个东西交流但是可能以后模型会离用户越来越近模型跟模型之间的距离就会越来越远到那个时候就会有种新的CDN出来我们可能当时想的太乐观了但是三年里面这件事没有发生不代表六年不会发生十年不会发生还有一个很有意思的就是你们公司的顾问是Ion Stoica然后他是Spark和Databricks背后的人你为什么要选他做你的顾问然后你们下来怎么讨论呢我们两个advisor一个叫张辉张辉是以前CMO的教授现在是Conviva的CEO另外一个是Eon StoicaEon是Berkeley教授他是Databricks founder也是Nscale founder也是好多公司的founder他俩其实跟我都是同一个组的以前一样是很早时候找回的可能张老师的前几个学生然后我是张老师最后一个学生大家以前合作很多那为什么找一样的是因为我们一直觉得我们做的事情它并不是纯粹是个GPU计算的问题我们很早就一直说给你开始是AI的大数据所以我们一直有一个knowledge就是这个东西跟databreaks有什么关系非常非常高层次上可能是有相似性的他关注AI inference你知道他的组是做SGLine和VRM的项目的组所以他们对这方面非常懂我跟一样谈这个KP Cash的时候他其实一开始也没听懂我在说什么但我觉得说多的时候他也意识到这事真的有意思它是个数据问题他跟VRM SGLAN干的那些计算的问题不是一回事这是个数据问题这是个数据的公司关于我们做的事情和Big Data的关系和大数据的关系这件事呢它其实也提了很多建议它也看得到一个相似性当然Databricks它做的东西跟我们做的东西其实还是两个世界的Databricks做的是企业级的用户数据Human readable data可以这样说我们做的是只有model才能看到Data如果有个世界全是AI model那可能我们干的是Databricks的事你怎么看最近的这个token maxing而且从这个token maxing到token的utilization efficiency你觉得里面最大的机遇和挑战是什么我的token maxing就粗简的理解就是大家对于AI model的能力有很强的自信所以把所有东西都放到AI model上越来越复杂的任务放到AI model上去做你token的消耗量就会越来越高越来越高并且有时候AI做了个错误的决定你还需要让AI就fix是吧然后这个这头发越来越来越来越来越来越已经很多公司意识到这个事情就是cost并不能代表它这个并不能justify它的benefit它不代表这个技术不行这技术还是有用的只不过你需要有更好的方法来利用这个技术这也是为啥很多现在这种agent公司非常非常非常非常火是因为他们在以什么方式来解决这个问题呢就是他们告诉你说哪些token或者哪些context是真正有用的如何发掘哪些contexts这真的有用如何跟你的工程师更好的这个有更好的界面让工程师更好的express their intention然后可以减少你token的用量那这些呢对于我们来说都是好事你像我说的Jamus Law你把你东西销量越高大家需求上只会越高最后对于我们来说的这结果就是token consumption这个量只会越来高越来高最有意思的事情是现在大家做token maxim的时候都是以野蛮生长的方式去写这些agent所以野蛮生长的方式就是模型看过什么模型生成什么就直接放到context里面下次继续让它读相当于说你每次问模型东西这是你之前看到过所有的东西和你之前说过Sewall的话读一遍回答新的问题这真的是非常非常naive的方法先不管model quality怎么样吧但这非常非常消耗token所以有很多公司在做compression把以前的东西compact一下或者什么的但是毕竟很多时候东西是没法compress的它只能让它复用但是你复用不需要复用所有的东西这就是我们做的技术有用的地方之一了野蛮盛党的时候大家复用的都是前锥但是你要聪明一点的时候你会有很多富用但是非前缀的东西就是我回到刚刚说的CashBrand这个技术有很多公司现在用CashBrand对CashBrand这个技术特感兴趣就是因为可以让他们做更有效率的Token Maxing就不需要让模型这样去一直去读以前所有东西再看一遍我不想谈谈就是现在大模型公司的格局你的看法你未来希望的是这些大模型公司 [40:00] 一家独大还是百花齐放哪个对你们会发展更好最后两种商业结局吧第一种商业结局呢终局是像search一样搜索谷歌一家独大对吧其他的呢份额都很小小到多数都听不到大公司也都有谷歌第二种结果呢是像视频一样像视频软件一样虽然YouTube是最好的最大的网站其次还有Netflix但是已经有很多很多叫得上名的也非常重要的视频网站比如说HBO比如说MSNBC比如说BBC或者说Hulu有很多很多叫上名的这种视频网站但很多人都离不开了对吧这都是非常非常成功的商业模式我觉得大模型呢就像这种在线视频一样会有少数的公司会非常非常大Consolidate但是会有很多的service需要自己独立生存空间并且也非常非常重要他们有自己的生态有很多这种方式不能用这种第三方B原模型这种服务的比如说好像你像这种主权AI客户信息或者是商业机密保护非常好的这种企业级用户他们永远需要一套自己可以维护或者自己可以有控制的这套软件系统我猜是更像online video最后的这个结果中国最近的这些模型其实表现也挺好的不管是25年的deep thick还是26年最近这个智谱GLM表现都挺惊艳的你是怎么看的首先他们表现这个quality越来越好这个背后有很多原因这就不深入讲了但是效果呢这个结果确实是美国的大公司都还用中国开源模型对吧因为这些模型确实是开源模型里面效果最好的你像OpenAI也开源过模型谷歌也开源过模型这些模型呢最后都或多或少很难和中国的这些开源模型做竞争所以我觉得除非有很大的改变不然的话我觉得在未来几年里面开源模型可能还是得看国内的开源模型TensorMesh都是建立在可以产生KVCache的Transformer架构上如果说以后换成了新的这个比如说Member的这个架构的话它产生的笔记不一定是KVCache这对你们的影响会怎么样首先我们一直说的KVCache其实是一个暂时的名字我们所谓KVCache的概念是Model Native Data AI Native data这个data是什么呢?是模型在推理过程中或者说在运行过程中生成的中间状态,生成它自己内部的理解这种数据其实在Mamba里面也有在diffusion model也有在以前的convolutional neural network也有,所有model都有只不过在现在这个阶段,Transformer是最popular的architecture然后KVCache是Transformer的AI native data所以我一直说KPKPKPKP那Mamba确实跟Transformer很大的不同它的就是所谓Intermediate所谓AI Native Data这个Intermediate Data是个Linear State它是个跟文本长度不直接相关的一个Size首先Mamba并不是现在用的很多只不过很多模型在用Mamba的架构去替换掉中间的某些层你像千万3.5它也是多数层是Mamba但这个会少层大概四分之一的层这个模型的这个layers啊还是还是用的ForeTension还是Transformer所以说现在这个业界的共识呢是用一些Mamba用一些Transformer把它结合起来所以叫Hybrid Model嘛最近XAI收购了Cursor你是怎么看的XAI收购Cursor现在其实这个趋势是说这些推理厂商或者推理的包括agent啊包括底下模型啊包括到service provider其实它大多的consolidate这consolidation就肯定会发生的事情就和当时做cloud和做container service或者说做big data一样就一开始都是百花其放但很快大多都会consolidatecursor对于xai来说它本身上有价值的但是这只不过是很多这种现在收购和并购的这个例子之一我说实话我对这个具体的这个例子并不是特别了解现在是每个月都可以听到一个比较大的并购和收购以后可能每个礼拜都会听到今天最后一个问题我们团队觉得KVCash是AI时代的汽油因为在提炼石油的时候有一个副产品是汽油这个汽油长期来说被人当作是一个废弃的燃料直到贼燃机出现它才被重视并且是驱动了整个现代工业不知道你觉得这个KVCache未来会走一样路吗这个比喻非常好因为确实绝大多数人在看KVCache的时候大家觉得KVCache就是模型在跑当中的时候生成了一个byproduct这GPU内部存一会儿之后就丢了当然对于做ML的人来说他们是知道KVCache这些东西是非常有意思的信息但是他们接触不到KVCache所以其实现在是懂得 [45:00] KB Cash的人接触不到它接触不到KB Cash的人不懂KB Cash但是呢哪天真的有一个公司把这个价值给挖出来它就被费料变得饱了就跟汽油一样你觉得未来这个内燃机的时刻是什么时刻取决于我们公司的发展太好了非常期待你们的KB Cash Moment你们的内燃机 Moment感谢今天的时间请不吝点赞 订阅 转发 打赏支持明镜与点点栏目