Fireworks陈宇飞：开源模型日消耗达50万亿Token 超越OpenAI与谷歌API

Fireworks陈宇飞：开源模型日消耗达50万亿Token，超越OpenAI与谷歌API 开源模型追平闭源将削弱前沿实验室的议价能力，并将AI产业价值加速向底层基础设施层转移。 对谈深入探讨了开源与闭源大模型的终局格局，认为开源模型正凭借极高性价比在企业级应用端快速追赶，其每日 Token 消耗量已突破 40 至 50 万亿。针对企业落地，Benny 指出缺乏严谨的 Eval（评估体系）是 PoC 无法走向生产环境的核心瓶颈，并详述了 Fireworks 依靠“推理优化”与“模型定制”两门业务的技术壁垒与商业模式。此外，对话还解析了闭源厂商的 ARR 真实增速、大厂 AI 资本支出（CapEx）的反向算账逻辑以及算力供给等关键挑战。 开源模型追赶速度超预期，未来商业格局呈现“闭源似苹果拿走高利润，开源似安卓占据巨大底座流量”的分化态势。 (0:00) 开源并不完全依赖闭源蒸馏，随着评估集数据量扩大和获取成本下降，开源自身亦能实现持续演进。 (3:00) 评估闭源 Lab 的 ARR 需注意其实际记账方式与云厂商分成，未来随着云厂分成增加，闭源 Lab 的实际 GAAP 收入可能不如账面亮眼。 (7:00) 垂直类 AI SaaS 的核心竞争力在于精细化评估与特定场景积累，通用前沿模型全盘覆盖的 ROI 极低。 (7:55) Fireworks 平台日均处理开源 Token 达 40 至 50 万亿，规模已超部分主流闭源厂商的 B2B API 消耗量。 (10:18)

Fireworks 联合创始人 Benny Chen 认为，开源模型正以超预期速度逼近闭源前沿，未来产业将呈现闭源拿走品牌溢价与高额利润、开源占据绝大多数实际运行量的分化格局；而基础设施层真正的护城河在于与客户推理流量绑定的优化服务、精细化 Eval 体系及对真实落地需求的理解。 开源与闭源的终局分化与生态定位 (0:00) Benny 指出，开源模型的发展演进速度已远超预期，其追赶并不完全依赖蒸馏技术，只要拥有庞大的评估集、清晰的数据清洗与降低的数据获取成本，开源社区便能独立构建高性价比模型。闭源厂商虽然短期 ARR 增速迅猛，但其记账方式可能包含尚未充分扣除的下游云厂商分成，且未来话语权可能被削弱。长远来看，闭源厂商或类似于苹果或 IBM，依靠品牌信任和高端溢价锁住对价格不敏感的大客户并赚取大部分利润；开源模型则类似安卓，凭借极高的运行性价比占据底座绝大多数的 Token 消耗量。 垂直 Agent 的 Alpha 与严谨 Eval 瓶颈 在前沿通用模型与垂直模型的竞争中，Benny 坚定看好垂直领域公司。像 Harvey（法律）、Doximity 与 Hidi（医疗）等 Vertical SaaS，其核心 Alpha 在于针对垂直业务沉淀的精细化评估标准（Eval）与真实场景数据，前沿大模型实验室试图覆盖所有细分行业的 ROI 极低。目前企业客户被洗牌的频率已明显降低，反映出特定场景优化的稳定性。然而，大量企业 AI 项目从 PoC 走向生产的最大瓶颈在于缺乏严谨的 Eval 体系，过多依赖主观的“感觉”（Vibe Check）。工程师若能建立完善的量化评估并完成模型适配，能够显著降低企业对昂贵闭源 API 的依赖。 企业流量流向与 Coding 化落地方向 Fireworks 平台日均开源 Token 处理量已达到 40 至 50 万亿，规模超过 Gemini 和 OpenAI 的公开 B2B API。平台的 Token 流向以编程（Coding）为绝对核心，其次是深度研究（Deep Research）、医疗和协同办公。Benny 指出，许多垂直领域的复杂操作（如 PPT、Excel）本质上已被重新定义为 API 与工具调用的编程问题，从而复用现有的代码 Agent 与强化学习框架。在模型偏好上，北美市场对 Kimi、GLM、MiniMax、DeepSeek、Qwen 等中国开源模型以及 Llama、Gemma 等展现出轮换接受度。同时，重文本需求与协同工作蕴藏着巨大潜力，而视觉多模态 Agent 随着调用成本下降也将重新迎来扩张。 轻资产软件二房东模式与推理优化壁垒 面对硬件重资产云（如 CoreWeave）与传统云厂商（Azure、AWS、GCP）的挤压，Fireworks 坚持不持有重资产 GPU，而是定位为专注算力软件层的“二房东”。其商业模式避开同质化的裸卡售卖或一次性训练咨询费，选择在训练端让利，全面依靠客户上线后的推理流量分成变现，实现激励机制绑定。技术层面上，团队通过缩短极化周期、KV Context 缓存优化以及多模型路由（如 Harvey 案例中以 GLM 辅佐 Claude Opus 使得长任务请教次数降至 0.83 次）建立性能壁垒。在硬件生态上，硬件能否成功的关键在于能否形成合理的算力与内存带宽无量纲比，并吸引模型端在其架构上过拟合。 巨头 CapEx 算账逻辑与基础设施层长期价值 针对资本市场对模型追平导致大厂 AI 资本支出（CapEx）回报率不足的担忧，Benny 提出巨头算账的核心是规避生存危机的风险控制（Missing Out Risk），而非单纯追求短期 ROI。巨头宁愿承担数年的账面折旧压力，也不能冒失去 AI 核心门票的风险。开源模型的追赶压低了闭源模型层的溢价能力，促使整体 AI 支出预算向底层基础设施和优化层倾斜。即使未来出现全自动化的递归自我改进（RSI），实验室内的算法也无法凭空替代对真实场景客户需求的理解，未来一至两年平台增长的核心瓶颈依然是算力供给配额的获取。 Benny 认为开源追平不仅未削弱反而强化了基础设施层的长期价值。但他也提示，算力供给受限在未来一至两年仍将是制约平台扩张的现实瓶颈，全行业仍需跨越从主观 Eval 迈向严谨生产环境工程化的鸿沟。

[0:00] Benny Chen: 开源模型则会像安卓（Android）一样占据绝大多数的实际运行量（Run rate）。 [7:00] Benny Chen: 每个垂直领域的细化工作和特定评估标准，正是这些 Vertical SaaS 公司的 Alpha 所在。 [10:18] Benny Chen: 几乎所有垂直行业的特定问题，本质上都被转换成了 Coding 问题。 [22:11] Benny Chen: 从闭源切到开源定制模型能节省数倍成本，省下来的钱足够支付工程师三五倍的工资。 [30:50] Benny Chen: 只要有电，不买英伟达的卡甚至会亏得底儿掉。 [34:52] Benny Chen: RL 训练其实只需要上千个高质量环境，并不需要天文数字级的数据。 [36:20] Benny Chen: Fireworks 绝不会去买重资产 GPU，而是定位为‘二房东’，专注把软件层做深。 [40:29] Benny Chen: AGI 无法在实验室里凭空猜出真实客户的复杂需求。 [41:39] Benny Chen: 大厂宁可承受折旧压力，也绝不能承担错过 AI 牌桌的毁灭性风险。

[0:00] 你把一个Vertical Specific Agent做好跟解决黎曼猜想可能是完全两种不同的工作但是Frontier Lab可能现在更在意的是能不能解决黎曼猜想我们看到越来越多vertical size agent他们的EVAL做得越来越细他们洗数据的流程越来越细这类工作确实我觉得还是对于开源模型的customization来说是很有意义的长期来说蒸馏的话并不是一个特别可靠的路径它可能短期内确实可以帮助大家达到一个比较好的水平有没有一个哪个方向它可能现在的token消耗量没有那么多但是实际上你们看到token的增长其实非常快了Cowork肯定是一个大的方向我觉得大家现在绝大部分时间都花在照顾理科生上面但其实这个是个非常反直觉的东西就我反而觉得就是现在我们看到很多例子都是照顾文科生的需求会越来越大比如说各种slide word什么以及就是最近还有video gen这种东西都起来了很多engineer还担心自己会失业我觉得就是能做Evil的人真的少之又少这样大家如果有兴趣的话可以多转一下怎么做Evil教你老板到底能不能采购开源闭源呢你可能把这个把意料写好 把开源切到闭源了就把你工资三五倍都省出来了Hello Bynning 欢迎来到硅谷坐标今天我们想跟你先聊一下你对一些整个大局势的判断再跟你聊一聊Fireworks的两门生意一个是推理优化 一个是定制模型同时也想跟你去聊一聊Fireworks的核心竞争力首先我们先去看一看整个最大的一个核心问题就是开源模型 vs 必源模型我们知道过去的一年里最重要的产业变量就是开源模型在以非常快的速度逼近并且价格只有币元模型的几十分之一。展望未来,你觉得开源模型和币元模型它们之间的版图和格局会是什么样的?我们团队很多都是做开源软件出身的绝大部分人是Pytorch以及用Pytorch的人当时在Meta出来创业我们是非常相信在非常有价值的软件这一层开源的东西eventually都会catch up不管是就是之前的哪些verdical比如说operating system最后开源也catch up了还是比如说各种各样的database最后开源也catch up所以开源能不能catch up这件事情我们还是很相信就开源会慢慢catch up不过今年确实发展比我想象的要快吧首先就是B元模型的AR其实涨得也非常快然后其实开源模型的capability catch up上来也非常快像比如我们最近看到的K3或者DSP4 Flash还有最新的Muse,Meta也说要开源Spark这个还是让我挺意外的就是说开源这边竞争如此激烈且模型的性价比这么的高这个确实是让我非常意外的事情我们team是坚信这个东西eventually会catch up只没有想到他catch up的这么快我们知道一部分的开业模型是通过蒸馏的方式去保持自己的领先优势你觉得这种靠蒸馏保持领先优势的这些开业模型是可持续的吗?避免模型有没有什么办法去避免这件事情首先就是币源模型基本上那几个API肯定都修好了它确实之前有各种各样的问题很多时候是说比如说一个大的模型它出来几个结果之后你把它重新喂给一个小的模型然后那个小的模型可能再怎么弄一下你就可以把它的thinking token给弄出来这个确实是他们之前做的不够secure的一个地方这币源模型本身security做的有gap但这个东西我觉得修起来都很快这东西没有理由说遍原模型厂商没有办法把它做好所以长期来说蒸馏的话并不是一个特别可靠的路径可能短期内确实可以帮助大家达到一个比较好的水平如果就是说以我的了解比如说像美国这边很多厂像Meta它可能真的少之前Nemo床可能真的也不是很多所以就是说开源模型的success或 contingent 真留着我觉得不一定其实只要开源相关的EVAL量大清晰以及慢慢数据价钱下来我觉得不一定需要蒸馏很多人也能用到非常好的开源模型所以我觉得就是说开源的厂商确实有很多事情可以做让它保持竞争优势币源厂商也有很多手段不过我现在越来越觉得其实开源的厂商它不一定需要永远做到跟币源有优势我也是买苹果手机的人我觉得其实你要问我之前用安卓我觉得Google那些手机比苹果手机好用多了但是还是有各种各样小的问题可能我如果价格没有那么sensor的我可能还是买苹果最后可能利润大头也是被一直领先的那个人给拿走跟开源能做的很大可能完全不冲突就run rate可能最多最后大头在开源然后B原可能他永远能够claim一些优势然后很多价格没有那么sensitive的人就Claim B元 [5:00] 你问我的话我觉得它长期优势在哪里我觉得用户心智可能更重要就比如说我作为一个企业端去采购的时候我们以前开玩笑讲就是No one gets fired for buying IBM对吧 IBM 是不是一直能够维持优势我不知道但确实很长一段时间大家都偏向于保守都想要买IBM那么我觉得人可能变得没有那么快人如果相信继续采购Cloud都能采购到更好的或者采购Open也能够使用更好的那这个变化可能会稍微慢一点 这个可能是他们接下来两三年的优势然后你问我五年十年之后的确实我就看不清了所以你觉得如果是靠蒸馏来保持领先的这些开源模型他们是无法长期靠蒸馏这个方式去保持跟避免模型的差距缩小的就是这件事情eventually通过自己内部团队security的加强然后把这个事情避免掉但是比如说像Meta或者是像Nemotron这样的非蒸馏的这种评论你觉得他们会能开差不快吗还是说这个 gap 还是会保持这个对其实我觉得Meta的gap相对来说没那么大了吧它能继续skill up它有足够的talent有足够的GPU我觉得这个理由就是这个gap不会特别大Nemotron可能甚至reflection或者thinking machine都有各种各样东西可以catch up的我觉得没有理由会一直有gap就是它可能我觉得也不是说永远都不会有gap我觉得gap会越来越小就跟我前面开玩笑讲苹果手机跟安卓手机是不是有gap我觉得可能就是各种各样小的gap但是你说真给我一个安卓不能用吗我觉得也可以用这个我觉得没有本质差别我觉得大家最后还是看效果就比如说这个最后效果好不好可能远大于就是这个东西价钱的高低效果好与坏确实是Frontier大的模型做的比较好的地方因为它模型毕竟大他做的比较早就是比较细所以很多事情确实是open source需要花更多精力去做的你觉得长期的话,Open-Air,Anthropic,闭源模型,SOTA模型他们的AR的增速,你觉得未来会怎么样发展?我觉得AR肯定会继续涨,它现在有一个我不是很确定的东西,就是它AR的accounting以及跟它下游分层这些东西怎么弄?比如说像比如说Anthropic可能很多revenue是百分之百都算进去了,但是可能其实有一部分是分给云厂商的那么它这个分层的比例可能会越来越大那么就是它AR可能往上涨那它的Gap Revenue可能不一定会一直涨这个我就不清楚到底它上市了之后大家会怎么分析这个故事所以你觉得就未来分成比例其实是SOTA的模型他们会拿更小的一个分成话语权会更弱我觉得这个会弱一点所以我们很多时候看AR但是可能没有看具体他们分成比例什么之类的这个东西他们上市了之后可能大家visibility还会好一点还有一个就是想问你比如说Harvey现在也是你们非常重要的一个标杆性的一个客户到底是未来像Harvey这样的一个垂直类的应用模型会跑出来还是说像这种Sota模型他们的这个法律模型会更好你会站哪一边我们当然是这样Vertical Specific这边我们还是很相信就是要把一个vertical做好其实需要很大的精力了就我们自己是个infrastructure provider然后大家经常都开玩笑就讲说要不明年大家就一起完蛋AGI直接把我们扣的vibe出来但这个肯定是开玩笑的话把一个Vertical做好可能需要大量的测试要知道用户的需求然后这些需求具体怎么表达在我们的产品上面这个其实是很大的一部分工作我们很多customer也都是Vertical specific agent比如说Harvey他是一个特别出名的Vertical Specific的Law Agent对吧它有各种各样的Vertical然后各种各样Vertical都要通过Evaluation来表达出来就是说来评判工作的好坏这个其实是非常大的一个工作量然后比如说我们最近还有几个一个是Doximity他们在我们平台上面train了一个medical agent就等于是做ChaiGPT的竞品吧Doximity是北美最大的一个等于医生用的XGP的APP然后它更偏向于deep research确保医生可以看到正确的reference这样的话就医生在给病人下判断的时候不会出现reference有问题然后比如说我们还有在北美以外我们最大合作的客户叫HidyHidy是北美以外最大的这种MedicalScribe, our medical search company他们也做了很多就是在平台上面做各种finetuning来达到更好的效果就是每个Vertical确实它evaluation criteria都不是特别一样然后对于我们来说我们当然是希望就是a thousand flowers bloom对吧我们希望各种各样行业的这种Vertical SaaS Agent都能成功因为我们相信就是说每个Vertical有很多那种特别细的工作这些很多细致的工作呢你想用一个特别大全的模型来做好还是很困难的一件事情 [10:00] 像我们合作的各种Coding, Legal, Medical, 这些东西它每个Vertical都有各种各样特别细致的东西这就是这些SaaS company的Alpha我们是认为一个Frontel Lab 把所有这些东西都做了怎么说呢?它的cost应该会特别的高,它RI可能就特别低。今年这么多优秀的开源模型,质量很好的开源模型,你们看到的token增长量是什么样的?对我们量增长的还是挺好的我们最近有公开消息因为我们融资了嘛我记得好像公开的是四五十个T token一天然后这个数字来说应该是比Gemina还有OpenAI公开的数字都大所以您可以认为就是说我们平台上面走的open source model的量已经超过了Gemini跟OpenAI的B2B API的量这个对于我觉得开源模型来说还是非常好的一件事情那整个在你们的这个 token 消耗中间站着头部的几个比较主要的应用是哪一些确实是coding然后是像我前面讲的可能medical可能cowork很多工作以我们的观察都重新被frame成了coding问题你们如果能找到某个行业有这个行业的vertical specificSaaS Application就这个工具可能是解决 Vertical的某些特定的问题那么这些工具会被转换成RL的靶子然后他们会训练这些模型熟悉的运用这些工具来解决 Vertical的问题原先我们确实没有想到就是PowerPoint跟Excel其实它也是Coding问题因为你只要能把怎么用PowerPoint跟怎么用Excel转换成一个Coding问题之后所有现在已有的解决扣印问题的工具都可以立刻被用上立刻用一个比较好的Vertical Specific Application所以确实我们看到绝大部分问题都被重新定义成了coding如果不是coding的话可能是deep researchDeep Research和Coding可能是两个特别大的类别然后各种各样小的类别会尝试找到就是我到底是deep research还是coding还是两者兼有然后尝试去把他们的Vertical SpecificSaaS Agent 跟他们 Tune的 model 编排到分类里面有没有一个哪个方向就是他可能现在的 Token 消耗量没有那么多但是实际上你们看到 Token 的增长其实非常快的co-work肯定是一个大的方向就是我觉得大家现在绝大部分时间都花在照顾理科生上面其实这个是个非常反直觉的东西就我反而觉得现在我们看到很多例子都是照顾文科生的需求会越来越大比如说各种slide word什么以及最近还有video件这种东西都起来了对吧其实绝大部分的工作最后可能还是偏服务于人而有很多这种coding或者现在OPM很喜欢把数学的榜刷得很高但是这个东西我不是很确定就是它的意义在哪里当然可能后面服务文科生co-work这个东西我们会做的很多自己也做了像我前面讲Firework Nexus希望可以把各个公司co-work给服务好然后我觉得之前我觉得确实一年半以前当时Computer Use Agent出来的时候我觉得当精为天人我觉得所有人当时的词叫unhoboing模型以后再也不需要搞各种亚乱七八糟的API调用了他就可以直接用一个电脑然后电脑里面什么活都干了对吧但现在我觉得反过来了就是一年半之后反过来就computer user agent相对来说可能是个偏小的Vehicle然后绝大部分Vocal都从文字那边走所以其实你可以看到就绝大部分成功的Chinese open source mode 可以这么说Muse确实是一个Multi Model但是Chinese不是Multi Model它可以做到很高的样子但那其实是纯文本的模型就是因为绝大部分工作反而回到了重文本因为文本模型便宜大家为了cut cost就把自己的工作流往文本那边靠但随着VM的价钱越来越便宜大家把VM做得越来越好我相信Computer Use Agent还是很有前途的就是说怎么把这条路径优化好这个可能现在还是还在探索对能否帮我们估算一下整个北美的客户在开源模型上的支出这个有点难这个我觉得你问Analyst可能问我比较好一点但我觉得就说Token比例可能容易一点我觉得看现在已经公开的那些router的绑可能会有一些会影响判断就是因为绝大部分他们那些公开的榜上面是被free traffic所影响的比如说某些公司会做一些incentive然后让大家免费的去用这个model在open router上面会影响他看出来的比例我其实经常也会跟我们公司沟通就是我们确实做的还可以比如说我们去年从100个米做到一个B但是其实Enfroper的增长是比我们快得多的对吧,他们已经可能70个B了所以就是说看token消耗量没有那么honest因为Fable的消耗量跟DSC for flash的消耗量是这样的如果只看token数量但是我就看revenue是最真实的就是大家付费意愿还是往最好的方向去移动就大家可能没有那么price sensitive没有那么price sensitive的话就会拥有 [15:00] 付费给最好的model所以我们其实跟我们Customer一起合作的时候做specialized intelligence 绝大部分时候看的不一定是性价比而且是绝对的最好能不能这个task超过OPUS超过Fable是我们最重要的工作像比如我们跟DevFIRST合作的时候也是看最后效果能不能超OPUS以Frontier Model为Benchmark 以他们的Revenue为Benchmark 我觉得比较honest一点光看token消耗量我觉得有一点deceptive你觉得未来6个月这个数字就是整个北美客户在开源模型上的这种支出或者token消耗量它未来会有一些什么样的趋势?我们坚信就开源消耗量会继续往上涨然后我也相信我对发货的事非常不为数我觉得就是说我们肯定能把这个事情做好然后我觉得这个东西发生的同时呢就是大家的付费意愿对于最好的模型可能也不会有太多的改变肯定会越来越多人想要做最好的模型所以我们会越来越努力跟更多人把open source的customize model做效果做得非常好然后来drive更多的付费1元然后具体这个比例我觉得更取决于就是说有多少人有那个conviction去customize open source model因为很多人还是比较害怕就是customize一个model可能cost很高可能成功率没有那么高这个我觉得就是很多人会担心的一件事情但我觉得如果越来越多人在Quality上面跟Open and Floreby去竞争那么开源模型的traffic会越来越大反之的话可能就是B元模型的traffic或者AR就越来越大你们看到的北美客户他们比如说在比较不同的开源模型他们更会喜欢哪些开源模型呢国内四家我觉得都差不多KIMI GRM Minimax 跟 DeepSeek 这四家我觉得都很多就是他们是轮着来的因为就是看哪个公司launch了然后他们graphic能大一点然后前面其实我忘讲了前面忘讲了亲吻对亲吻其实也很大所以可能国内五家就是Kimi,GLM,QMMiniMax跟DeepSeq然后这边可能是你抹窗Gemma然后就是以前LAMA现在MUSE这个可能比较多排名分不分先后的我觉得它排名很难讲是因为其实说白了现在就是谁有更新的谁刚launch谁的traffic就上去然后有一个新的launch之后可能旧的model traffic就会下来这个很难分但是今天就比如说August 2026肯定是KIMI的traffic是最大的从你们角度看这个coding现在的渗透率怎么样特别开源模型的渗透率我觉得最近还是偏低吧可能推的上面大家都觉得怎么说来的就什么opencode用DSP4永远用不完什么这种笑话很多但是以我们的观察就是说Cloud Code的AR或者Codex AR还是远远高过Cloud Source Model的AR的所以我们公司最近来推Fireworks Nexus我们也希望就是能够把开源模型带到更多的公司里面确实这个工作很多时候本质上是go to market而不是一个technical的工作你这么看coding市场的total addressable market它的time有多大它的上限在哪里你觉得我们现在还是处在一个比较早期的阶段吗我觉得time这个问题可能得分钱跟token的消耗量token的数字肯定会一直往上涨我非常坚信但是可能大家讲time的时候讲的都是revenue对吧revenue我觉得如果看到的观察到的方向是比如说Luna要降价,Sonet要降价这些大家就是每天用的模型都在降价的话它肯定会drive更多consumption但是它的revenue是往哪个方向走我现在不是很确定像比如说当年可能最值钱的公司是general electric对吧但是可能大家都用上了电最后最挣钱的公司也不一定是general electric这个我觉得是比较难判断的一件事情每次一个比较强大的遗远模型上线之后你们有没有看到平台上有一些客户自己做的翻评的模型就被洗出去了有一些可能是留下来有一些洗出去了你觉得这两类customer他们之间最大区别是什么我觉得这样去年确实洗出去的很多今年我觉得洗出去的很少我觉得也是一个非常positive signal 其实说实话如果这些模型一直被洗不去的话我们也不会增长这么快我们现在发现就是说确实很多Vertical它的前进的方向可能跟Francet Lab前进的方向有点不一样了就是把一个Vertical Specific Agent做好跟解决黎曼猜想可能是完全两种不同的工作但是Frontier Lab可能现在更在意的是能不能解决黎曼猜想能不能制造出新的药对吧这个是他们需要证明的事情然后我们看到越来越多vertical sensation他们的EVAL做的越来越细他们洗数据的流程又有来细这类工作确实我觉得还是对于开源模型的customization来说是很有意义的所以说比如说像哈尔维或者是EvanUp这样的工作 [20:00] 如果说今天B元模型的两家如果说我要把资源全部都怼到法律应用这个Vertical来有没有可能去打败现在的Harvey跟Ivanab肯定是可以的但是这样的话就支撑不了他们一个T的估值了这对他们来说肯定不是一个聪明的行为吧我坚信就是说这些Vertical SaaS Agent他们Evaluation做得很细他们数据洗得很好他们能够确保在他们认为正确的路径上前进然后我们经常开玩笑就讲这个就是Jagged Intelligence就是他们在某一个方向上面做得很好但是比如说他们tune出来的model能不能解决黎曼猜想我觉得是绝对不可能的但是对于一个AGI公司来说他们如果做的一个model是一个jagged intelligence那么他们可能就只能服务客户而没有办法做到把一个模型可以做到服务很多人他们是需要有一个合理的分布就是说我不能天天纠结于是不是跟EvanUp或者Harvey的竞争关系是怎么样我需要确保我把盘子里面所有的customer都照顾好就是他不能说我只做好川菜或者我只做好粤菜虽然很多师傅都是只做好一道菜对吧然后只能做好那道菜才会才敢收很多钱对不对但是AGI公司要做的事情我得把麦当劳做好我得把所有人的口味调好那么顶多是比如说我进中国的时候我把中国人的口味调好我在美国的时候把美国人口味照顾好但是我不可能说加州的口味跟Kentucky的口味我都改都改的话其实我觉得它跟INL也没有什么本质差别对不起我这个粒子可能走得有点远但就比如说英奥他是每天跟麦当劳竞争没有问题但他就是能把加州的跟Nevada这几个照顾好他就能把大家口味照顾好他就把这些牛肉都做好可能这个东西跟 LM 不是那么 comparable 但就是说确实你要把所有人的口味照顾好跟我把一个Vertical的口味照顾好可能是两个不同的工作如果真的有个AGI公司能够把所有人的口味都照顾得很好那么我相信他肯定能挣很多钱只是现在我们还没有观察到这一点企业他在考虑避免模型还是开业模型的时候他们都权衡哪一些因素呢其实很大的一个点是信任就是说我们跟很多这些因为我们既做Fireworks Nexus就是天空灵Plan这种Cowork的工作也做Customize Model其实很大一部分是信任就信任这个ecosystem能够继续support接下来一两年需要做的事情因为我们签合同的时候也是要签一两年的合同所以他们想的时候是我跟Fireworks签合同他不会在意我们到底是不是个二老贩子而是我们平台上面serve的model接下来一两年能不能 fulfill 它的 requirement信任的建立我觉得是一个比较长期的过程我们得跟更多的customer去沟通我们的success case跟更多的customer去沟通我们到底哪里做的好哪里做的不好开源的好处不好是什么就我们都非常transparent的去聊这件事情然后这个信任我觉得B原模型建立得更好因为他们每天可以在推特上面发我们又hack了某个公司的system或者我们又把什么黎曼猜想给解出来了对吧这个东西是他们做的更好的地方所以我觉得其实go to market capability是最大的差别就是开源模型以及开源模型公司的gold market capability是远弱于币源模型的大家的Mineshare绝大部分还是在避远模型上面你觉得这些企业他们会考虑是在本地部署还是在云端上部署我们之前看到很多本地部署的例子然后现在越来越多是云端部署这个我觉得也是一个信任问题就是说能不能把Security做好能不能在各种各样VPC上面把这些东西做好本质是惊人问题但是云端部署有个最好的点就在于Multi-Tendency就很多企业本身不一定能够 saturate他自己的自己想要租这么多GPU他可能 saturate不了但是如果我们能够 aggregate足够的demand那 saturate这些workload是很容易的一件事情如果这个东西的cost在企业运行中占比的消耗越来越大那么Multi-Tenacy其实就是一个更好的行为大家就会希望我可以走一个multi tenant的setup在cloud上面然后我跟人一起share这个cloud双方的RI都会更好未来这个企业端的AI从现在比如说POC到真正的生产它以后这个Adoption的节奏是什么样的关键的一些变量是什么我觉得可以多看这些data company的AR跟他们的adoption我相信越来越多公司会采购open source model但是他们会需要evaluation他们会需要能够说服自己这个采高是合理的那么很多人其实没有那个capability去做这些 in-house valuation那么就需要Third PartyData Company 来进来帮他们把这些Valuation做好他们还可以拿 [25:00] 做fine-tune所以我觉得Data Company的Revenue Diversification 跟 Run Rate 是一个我觉得很有意思的指标你会发现如果继续是这种大客户就是这几个大的Lab 然后沾他们大头的话那可能反之就是customer能够做的事情的选择就越少比如说你看到企业从 POC 到生产这个过程中做失败的主要是你看到有哪些原因呢?对,EVAL不清晰,特别容易 POC 做得不好我们之前聊的好几个就是说其实我们都会大概问一下你们内部有什么样的医道然后虽然已经2026年但是其实还是有不少人是vibe的就是试一下效果好不好就OK虽然这个东西可能它已经占到了他公司运营Cost Center就是很大的一个比例了但他可能还是没有特别rigorous的Evil所以我觉得其实现在很多我经常看上去很多Engineers还担心自己会失业能做Evil的人真的少之又少大家如果有兴趣的话可以多转一下怎么做eval教你老板到底能不能采购开源必源呢你可能把这个把e-mail写好把这个开源切到币源就把你工资三五倍都省出来了这个是我觉得很多公司缺少的muscle以及可能影响POC最大的一个点所以你觉得EVAL的还有很多的Job还没有被fulfill?我觉得新兴的SaaS公司跟旧的SaaS公司我觉得差别甚至都不是特别大这可能是个暴论但就是说以前的SaaS公司可能内部有一套UnitSaaS就是比如说我把一个Sequel Engine跑起来需要满足什么样的测试现在可能是我作为一个Vertical SaaS company我有一堆EVAL我把agent deliver出去之前他要满足什么样的eviu这个东西都是需要积累需要沉淀的需要大量的时间跟去把分布做好甚至我觉得差别都没有特别大吧我觉得只是大家的工作可能慢慢从写测试转到写Eval然后只是大家就多少人能多快的适应Transition而已Fireworks的两门生意 一个是推理优化 一个是定制模型首先我们先看看第一门生意 推理优化想问问你们的推理优化的未来的空间有多大对我觉得推理优化还是有很远的路要走了推理优化这个工作有很多特别细致的东西比如说每次新的模型上线了之后它一开始上线跟它最后的效果大家优化一年之后极致的效果差别很大对于我们来说怎么缩短时间确保一上线的时候他都能做到最好这个是我们花了很多时间努力的地方然后还有比如说推理优化非常重要的一部分是怎么把缓存做好缓存做好这个事情其实本质上不一定在serving runtime本身而是在你的supporting infrastructure能不能把它做好这个缓存的事情我们也会继续花越来越多的精力去做我觉得推理优化本质上还是一个非常怎么说呢Labor Intensive的工作吧就是有很多可以做的事情相比模型提供的API 你们的优化有什么优势呢?很多时候我们因为优化的模型多所以做的工作可能更细致一点比如说很多OneP的API它能做的事情是把它这个模型本身serve好但是很多的非类 pattern可能是我们从通过其他色误其他模型看到的东西就比如说我们可能跟很多开源模型厂商聊的时候是会帮他们指出来就是说有些东西他们没有测到或者说有些workload pattern他们可能看的不多然后是我们看的比较多的workflow pattern所以就是分布不一样他们可能要做一个比较大比较全的一个API但是比如说我们因为很多时候 serve的是customized modelCustomized model上面workload traffic pattern可能都会不一样那么这时候需要做的优化的工作也会没有那么一样你们做的这个模型的路由比如说是用这个B原的Sota模型然后加开源模型的这样的一个组合你们有讲到这个不仅是一个省成本的事情而且是一个提高性能的事情特别是你们跟那个Harvey的联合的一个研究我看在你们官网的blog上面其中就讲到前沿模型平均每次任务只被请教0.83次但是质量反超单独用最强的模型就是为什么多模型分工连任务的完成率都会更好的这件事是怎么做到的因为工作的场景会影响harness而harness会影响什么时候应该调用什么样的模型具体哈维那个例子我记得是OPUS作为executor然后GLM作为advisor然后这样的话可以把上下文特别长的工作拆解成一些上下文稍微短一点的工作这个本质上是因为大语言模型context长了之后它的效果还是会降低所以如果有这个特性已知有这个特性然后已知就是说这个工作就是长文本那么可能我们就可以在harness上面做一些改进harness改进完了之后就可以 [30:00] 改进harness具体的调度的模型的问题所以我觉得就每一个工作他用这个模型的时候用法都会不一样都会有一些差别然后这些差别会导致我们怎么去做优化这个工作其实有的时候有点像以前大家在CPU上面做各种样performance optimization虽然大家的code看起来可能没有优化之前都长得差不多但是为了熟悉CPU的特性可能你需要去做各种各样拆解的工作把它拆解成CPU喜欢的workload那么这时候就是我们需要跟我们customer一起去explore的地方底下的模型我们把它当成一个文本的Processor它Processor的特性是什么然后根据他们特性我们拆解一个harness出来然后根据Harness拆解完的效果把放到最适合的模型到最适合的位置上面去从优化单Token成本的角度你觉得硬件的哪些配置还有优化的空间就比如GPU跟HBM的容量比然后包括CPU跟DRAM的配比然后DRAM和NAN的配比HBM的带宽,ScaleLab带宽这个问题特别的specific我想想怎么回答这个问题我觉得对这个问题感兴趣的人可以看一下应该是两三个月前Dorkesh Patel他有一个黑板教课的视频那个视频里面他请了一个人来讲解就是GPU构造什么之类的但其实他里面有个很重要的数字它那个数字是没有Dimension的它的本质上就是compute跟memory的比例ratio本身是没有dimension的嘛但是就是说每个硬件它有不同的比例会影响每个模型设计的时候他train这个模型之前他就会想我这个模型在什么样硬件上面serve我确定了我大概在什么样硬件上面serve之后我会改我的model architecture所以绝大部分时候我们问就是说硬件能怎么改的时候忽略了就是绝大部分模型Train的时候就是为了serve在现有的NVIDIA 硬件上面的或者AMD 硬件上面的然后AMD NVIDIA他们的比例差不多所以导致了你可能很快的可以把一个NVIDIA SERV的model放到AMD上面但是你可能放到ASIC上面就要花很大很大的力气因为它比例就是不一样的它硬件特性就是不一样的但是就是说反过来如果某一些人可以找到就是特别便宜的Hardware 然后这个Hardware它可能能提供类似的比例但是可能比例也不一样也ok可以在一起的FLOPs然后incentivize这些做模型的人去overfit到他这个卡上面的话那么其实这个问题就反过来的就是说我怎么样能够提供足够好的incentive让大家来overfit到我的硬件上面首先可能卡的量要大其次这个卡的ecosystem要好所以就是我可能没有直接回答你这个问题就是说这个硬件应该怎么改还有什么空间来优化我觉得老黄之前讲的特别好的一个点是什么就是说他开玩笑讲你现在只要有电你不买我的卡你甚至会亏的底儿掉它的点在于买这个卡甚至是cost neutral的因为他很快能把这个钱挣回来其他卡可能没有这个特性导致了我去overfit其他卡可能我没有办法把这个钱挣回来这时候可能问的问题不是我这个skillup ratio应该是多少我这个要不要用HBM还是不用HBM甚至NVIDIA可能自己都不用HBM可能要问的问题是我能不能找到一个卡他能把绝大部分上游价钱合理的东西都整合到一起然后通过各种各样的incentive program以及把各种各样软件的ecosystem都搭好来incentivize大家overfit到我的卡上面特别serving的时候overfit到卡上面能够做这个incentive的人我觉得不管他最后这个ratio有多么的奇怪他最后都能成功但是如果做不到这个 incentive 的人可能他Ratio跟NVIDIA长得一模一样它最后也不能成功另外一个我们想讲一下这个定制化的模型什么样的企业它需要定制什么样的不需要就是这条标准线是怎么决定呢我觉得A vertical SaaS company可能定制会好一些具体的end consumer我们不建议去定制比如说我们前面讲的doximal highly他们跟医院去接触他们知道有10万个医院的需求是什么那么他就能把EVAL做好能够确保EVAL能够cover各种各样不同的case他们就有能力去做一个 Fine Tune或者说Hurvey可能support各种各样的律锁各种感染律所都能cover到它的EVAL就会比较全它就可以fintune一个model而具体到每个医院或者每个legal practice 本身的话我觉得要去做一些 customized model 还是特别难的他们可能更适合把工作流固化到一个skill上面啊或者说写一些内部的工具啊这个agent啊这个可能更适合一点在这种企业化定制RL的这种项目里面最花时间最花钱的是哪一部分GPU肯定是消耗大头然后还有一部分就是data然后跟trane的时候 [35:00] 也需要跟我们customer一起去做看这个data有没有reward hacking behavior看着data的environment stability然后怎么样去skill up environment这些东西我们都会跟我们Custom V去看在整个做定制化IL的话它需要什么样的数据量可能上千个environment就可以了所以只要上千条不用对对对这是为什么呢为什么数据量不用那么多因为RL整个过程中这个模型会一直去探索所以它生成的量会远大于这几千个比如说我可能每一个step他说假设比如说128那么可能1000条数据会生成128k的数据对吧那这个量其实会随着 environment 的就他可能不需要那么多 environment 他也会有很大量的数据去教这个模型就是说哪个是对的哪个是错的那比如说一个客户的模型上线之后他未来需不需要回炉回炉是需要就比如说有新的模型launch了之后我们都会帮它rebase然后这个rebase的过程可能没有那么长了就是只要它这个依往固定下来就没有那么长但是Customer都会想要加一些新的EVAL进来他有新的Workflow进来他想要push for harder task对吧这时候可能还是会需要一些customization work但是只要医药固化了rebase是很快的一件事情这个回炉的节奏大概是怎么样的?Depend on open source model release cycle,对。下面想跟你探讨一下,Fireworks的核心竞争力的问题。帮企业进行开源模型的部署需要三块能力,一个是硬件算力,比如说像Nibius Covive这样的公司另外一块就是像你们这样的软件优化的公司第三个是Palantir这样有客户关系的公司我们现在看到的是一些硬件算力的公司,他们现在在并购一些软件能力,比如说IOS Service这样的公司已经做推理优化的公司。你们如何保持自己的护城河?你们会去拥有重资产去买GPU吗?我觉得前面有几个第一个就是说Fireworks会不会自己做硬件现在肯定是没有想法的我们可能更偏二房东的这种setup所以还是想把软件这一层做好我们还是相信把Compute Layer做好是有价值的以及就是说我们跟各个公司可能差别在于我们真的是相信specialized intelligence然后我们真的是往customize model那边去移动的我们绝大部分traffic也都不是vanilla based model都是customize model这个可能跟其他公司就不一样比如说Nebius或者什么其他云公司他可能绝大部分traffic还是base modelBase Model我觉得这个生意竞争还是挺激烈的但是我们是坚信绝大部分的profit是在效果好的model上面效果好的model,我们的customer才有能力去charge更多的钱,因为他们能deliver这些result那么我们英特兰才能分到更多的钱所以我们是坚信customize intelligence我们是坚信把training做好 客户 influence 才能有钱赚然后我们跟其他RLS Service的 company可能不一样的点在于很多IRS service company要么只做training 要么只做consulting他们的incentive跟customer没有那么aligned的点在于我们可能training要的只是他们效果好可能不需要挣那么多但是我们希望它Inference的traffic一直能上来所以我们incentive跟它aligned在于他们通过inference能挣钱我们通过他们挣的钱能分一点回来如果是个consulting company或者是一个Ture training infrastructure company我觉得他们能做的有限因为他们incentive跟customer success没有那么align因为我们是align towards他们 inference traffic,他们 align towards他们 training traffic所以我觉得真正的竞争对手可能不在于New Cloud跟现在的这些ProviderRSSRCSP就CSP是有能力像我前面讲把整个链条都做起来的他们既能做IOS Service活又可以把 inference 锁好所以其实我们更多时候可能看的是CSP的能力以及跟CSP怎么去partner这个我觉得他们才是怎么说通关的大boss吧可能我们不是具体跟Navius或者NeoCloud因为他们人力有限他们想要把整个链条做起来我觉得是个很困难的事情你们跟CSP的话又是竞争又是合作竞合关系那你们怎么保持你们的固承核呢这个问题可能有点难回答确实我们跟Azure是合作的最紧密的我们在Azure上面是1P就是可以直接买Azure的Credit买Microsoft Azure的Credit然后就可以得到Fibos的服务所以我们跟Azure确实合作比较紧密然后我们也跟 AWS 跟 GTP 都有合作所以说你们的推力优化是会比他们 CSP 自己的团队里要做得更好?至少目前是的,对但我觉得就是说具体推理优化做得好与坏我没有那么担心您问我的话就是说其实CSP整个链条做下来他们能力很强因为他们也做过这些事情我们可能更在意的就是把整个MLO [40:00] 这个cycle给走完这个developer life cycle我们希望体验比较好我觉得是 CSP更能做到的事情 versus 像EU的New Cloud可能做的没那么全所以你们的核心竞争力是对可能就是比CSP做的更好的点在于整个developer life cycle做的比较好跟New Cloud的竞争可能相对于我们能做的链条更长他们可能涉及更多是base model比如说我们现在都聊的这个recursive super intelligence如果说 RSI 实现了kernel 的优化呀推理的优化以及这个训练 post training都可以全都自动化了那你们的核心竞争力在哪里EGI是一个特别难预测的事情要是真的有个AGI能把上面所有的活都干好我觉得确实没什么核心竞争力我觉得难点在于就是就算是AGI最后也需要跟客户聊需求吧他在一个lab里面能不能把客户的需求都想出来这个是很困难的事情那客户需求这个东西如果没有办法通过RSI来获得的话我觉得RSI可能成长的也有限他确实可能能解决黎曼猜想但是我不确定他能不能解决客户需求你们Fireworks从现在可能到未来一两年你觉得你们现在最大的挑战是什么未来一两年还是computer吧我觉得就是说能不能在市场上用合理的价钱获得足够多的计算因为现在确实computer的价钱非常高我们公司最后肯定revenue还是compute吧所以如何获取足够多的compute肯定是一个比较困难的事情进入到今天夏天以来资本市场的一个很大的争论就是开源模型的质量开始 catch up,使得币源模型的收入端会有承压以前的趋势不一定会去持续这样也会使得他们的 AI 未来的投入也继续承压所以我们看到整个硬件的这些股票整个的半导体行业的一个比较大的一个回调开源模型持续的 catch up你是怎么看待这一轮资本市场的叙事了我觉得ROI高不高的点我觉得得反过来这么想假设这几个大的player他错过了这一波了假设RI很高 但他错过了那么他可能就再也回不到这个牌桌上了所以他们的点在于就是说就算我over spend,我也不会有特别多的downside我顶多这两年账本难看一点以及我最后可能depreciation需要花个五年十年去消化这个东西但这不是existential risk对吧他们接下来还有20年30年去消化这个东西这个不是问题但反过来就是说他如果错过这一波他们没有办法解决所以他们有时候算这个账比如说可能Google meta算账不是说我RIC多少而是万一这个东西ROC特别高而我错过了我没有做这个投入那我可能就完蛋New Cloud的话我可能觉得他们就得更honest的一点就是说这个东西到底投入有多高之类的不过我觉得就是说以我们的观察就是绝大部分的场景下还是Compute ConstraintFirework肯定也是Compute Constraint我们也当然希望去市场找到更多的Compute然后我觉得至少接下来一年我能看到都是Compute Constraint Setup一年之后你确实要predict也非常困难但是他们确实capex一旦投下去要三年可能才能回本对吧所以这个问题确实我觉得是个open-ended question我觉得回答不了但我觉得可以看的一个点是什么?可以看各个公司的债券就是他们的那些债券的评级是非常transparent的对吧然后某些公司可能他项目做的有delay之类的会导致他债券评级会下降我觉得这时候可以测试市场的点在于什么假设有一些player接下来3~6个月因为债券出现问题而没有办法 borrow更多的钱需要去做一些restructuring然后这个市场上到底有几个人有钱可以把这个人给捞上来这个我觉得是一个Wallership moment在这Wallership moment之前我就要去侧这东西有点难因为现在都不确定大家兜里还有多少钱可以去捞这个人只要这个人能捞上来我觉得其实问题都不大大家都可以继续去表这个没有问题这个人万一捞不上来我觉得确实挺困难的开源模型追上来导致硬件价钱下跌这个我实在理不清楚这个关系但你问我的话我觉得开源模型追上来绝对是favor infrastructure provider因为它导致了model这一层的溢价能力变弱对吧那么反过来如果这个东西钱不变的话它肯定是Favorprovide infrastructure这层的人嘛对吧那么更接近infrastructure这些人应该股价要涨才对而不是跌就不是去年Deep Seek刚出来的时候因为打股价也是跌我当时也是不懂这些人怎么想的但是你可以反过来看就是说其实open source肯定是favor这些硬件provider所以你其实说实话不适合炒股就是我理不清中间的逻辑的但是你问我的话我觉得肯定是favor infrastructure provider [45:00] 非常感谢今天Bendy跟我们的分享非常有启发谢谢谢谢