AI Engineer
闭源模型高昂成本驱动企业转向开源体系,而通过自研算子对齐数值精度并打通零停机热重载,持续微调飞轮可在专业场景中彻底抹平开源与闭源的性能差距。
AI-assisted summary of Stop Renting Intelligence: The Train-to-Deploy Loop for Specialized AI — Fireworks AI — original source. Check the original for full context.
Source published:
Key ideas
- Fireworks AI 已累计处理约 30 万亿 Tokens,在 GLM 5.2 等新模型驱动下日增量超 5 万亿,服务超 10,000 家企业并支撑每秒 20 万并发请求。 (3:12)
- 开源模型通过领域定制可完全媲美闭源方案:Cursor 托管自研模型实现 13 倍推理加速,Vercel 延迟缩减至 1/40,Genspark 经强化微调后质量绝对提升 12%。 (3:47)
- 自研推理引擎 FireAttention 摒弃社区通用算子,针对客户特定工作负载与 Prompt 缓存重写专用 CUDA Kernel,并支持私有草稿模型的推测解码与解聚部署。 (5:27)
- Fireworks 统一训练与推理栈以确保全链路数值保真度,避免跨平台计算不兼容导致性能衰减,并提供零停机热重载与 Training Agent 自动化调优能力。 (12:42)
Detailed notes
## Background 本内容由 YouTube 频道“AI Engineer”于 2026 年 10 月 11 日发布,记录了在旧金山举办的 AI Engineer World's Fair 2026 大会演讲。视频由 Fireworks AI 的应用机器学习负责人 Jetashree Ravi 主讲,围绕团队如何摆脱昂贵闭源大模型的依赖,通过持续的“训练-部署”闭环与底层推理优化,在开源模型上实现生产级性能与质量展开。
## TL;DR Jetashree Ravi 提出了开源 AI 落地生产的三大基本事实,强调开源模型(如 GLM 5.2)已具备工业级水准,定制化训练能彻底消除与闭源模型的质量差距,且基础设施正在从单次服务转向持续的飞轮闭环。随后,她结合平台支撑的 30 万亿 Token 规模,剖析了 Cursor(推理提速 13 倍)、Vercel(延迟缩减 40 倍)与 Genspark(RFT 带来 12% 质量提升)的落地实践,拆解了自研 FireAttention 引擎中的专用 CUDA Kernel 与推测解码技术。最后,她系统介绍了面向不同群体的三层训练产品矩阵(Training Agent、Managed Training 和 Training API),并通过现场演示展示了热重载(零停机更新权重)、全链路数值保真度以及模板化一键部署等生产级核心能力。
## Atmosphere & style 整场演讲呈现出干练、务实且直击痛点的技术大会质感。讲者以极具共鸣的“闭源模型成本焦虑”互动开场,迅速调动全场开发者的注意力,随后的展开毫无浮夸修辞,完全建立在扎实的生产级吞吐指标与明星客户工程案例之上。从底层 CUDA 算子定制到 UI 层面的智能体自动化调优演示,节奏紧凑流畅、环环相扣,为台下的系统工程师与产品开发者传递出一种掌控自有模型命脉的坚定信心与极客专业感。
## Bulletin - [03:12](https://www.youtube.com/watch?v=13YZ1EB9hjU&t=192s) Fireworks AI 已累计处理约 30 万亿 Tokens,在 GLM 5.2 等新模型驱动下日增量超 5 万亿,服务超 10,000 家企业并支撑每秒 20 万并发请求。 - [03:47](https://www.youtube.com/watch?v=13YZ1EB9hjU&t=227s) 开源模型通过领域定制可完全媲美闭源方案:Cursor 托管自研模型实现 13 倍推理加速,Vercel 延迟缩减至 1/40,Genspark 经强化微调后质量绝对提升 12%。 - [05:27](https://www.youtube.com/watch?v=13YZ1EB9hjU&t=327s) 自研推理引擎 FireAttention 摒弃社区通用算子,针对客户特定工作负载与 Prompt 缓存重写专用 CUDA Kernel,并支持私有草稿模型的推测解码与解聚部署。 - [12:42](https://www.youtube.com/watch?v=13YZ1EB9hjU&t=762s) Fireworks 统一训练与推理栈以确保全链路数值保真度,避免跨平台计算不兼容导致性能衰减,并提供零停机热重载与 Training Agent 自动化调优能力。
## Key takeaways - [00:12](https://www.youtube.com/watch?v=13YZ1EB9hjU&t=12s) 闭源大模型成本迅速攀升,开源模型在绝大多数场景已达生产可用水准,而定制化微调是彻底抹平甚至超越闭源质量的关键胜负手。 - [00:12](https://www.youtube.com/watch?v=13YZ1EB9hjU&t=12s) AI 基础设施正经历范式转移,从离线单次微调服务转向生产环境推理反馈持续回流训练的飞轮式闭环。 - [03:12](https://www.youtube.com/watch?v=13YZ1EB9hjU&t=192s) Fireworks 平台规模落地获工业级验证,已完成 3.27 亿美元 C 轮融资,并发吞吐达每秒 20 万请求。 - [03:47](https://www.youtube.com/watch?v=13YZ1EB9hjU&t=227s) Cursor 基于 Fireworks 平台训练并托管 Composer 2 模型,借助底层算子级优化获得 13 倍端到端推理加速。 - [03:47](https://www.youtube.com/watch?v=13YZ1EB9hjU&t=227s) 针对 Genspark 等由 Prompt 驱动的自动化复杂系统,平台通过编写评估器函数与强化微调(RFT)使开源模型质量提升 12%。 - [05:27](https://www.youtube.com/watch?v=13YZ1EB9hjU&t=327s) FireAttention 引擎根据输入/输出 Token 规模和 Prompt Cache 命中率等特征深度重构专用 CUDA Kernel,以最大化硬件利用率并压缩延迟。 - [05:27](https://www.youtube.com/watch?v=13YZ1EB9hjU&t=327s) 平台允许用户使用业务私有数据训练小型草稿模型(Draft Model),通过推测解码与预填充/解码解聚架构大幅提升推理吞吐。 - [07:22](https://www.youtube.com/watch?v=13YZ1EB9hjU&t=442s) 面向不同技术背景用户提供三层训练矩阵:Training Agent(全自动零门槛)、Managed Training(开箱即用控制台)与 Training API(代码级灵活编排)。 - [07:22](https://www.youtube.com/watch?v=13YZ1EB9hjU&t=442s) 平台全方位支持 SFT、DPO 与 RFT 训练范式,针对高门槛的 RFT 依赖评估器设计,Fireworks 提供专家定制协同。 - [07:22](https://www.youtube.com/watch?v=13YZ1EB9hjU&t=442s) 托管训练面板原生集成实时 Loss 看板与 Weights & Biases 接入,并支持历史训练任务一键克隆以便快速进行对比实验。 - [12:42](https://www.youtube.com/watch?v=13YZ1EB9hjU&t=762s) Cursor 首发采用的热重载(Hot-loading)技术支持一键替换运行中端点的模型权重,保障迭代升级时的零停机时间与 SLA 稳定。 - [12:42](https://www.youtube.com/watch?v=13YZ1EB9hjU&t=762s) 统一训练引擎与推理运行时,确保两端数值保真度(Numerical Fidelity)完全一致,彻底消除跨平台微调与部署常出现的隐秘模型降智与精度漂移。 - [14:22](https://www.youtube.com/watch?v=13YZ1EB9hjU&t=862s) 训练智能体可自主分析训练/验证集特征,透明化推荐最适配的开源底座与超参数规划,并在训练结束后提供 Accuracy 与 F1 综合诊断报告。 - [16:17](https://www.youtube.com/watch?v=13YZ1EB9hjU&t=977s) 针对微调模型上线提供涵盖高吞吐、低延迟快速响应及资源极简型等预设模板,帮助工程师无需深究硬件参数即可快速权衡 TTFT 与系统吞吐。
## Detailed walkthrough ### [00:12](https://www.youtube.com/watch?v=13YZ1EB9hjU&t=12s) 告别闭源垄断:开源模型的现状与三大基本事实
演讲伊始,Fireworks AI 的应用机器学习(Applied ML)团队负责人 Jetashree Ravi(大家通常称呼她为 Jet)向台下抛出了一个互动问题:“今天在座的各位,有多少人正在使用像 ChatGPT 或 Anthropic 这样的闭源大模型?”紧接着,她又问有多少人觉得这些闭源模型“正以惊人的速度变得异常昂贵”。现场举手的人数众多,印证了当今开发者共同的成本焦虑。许多团队出于成本与性能的双重考量,正迫切希望从闭源模型迁移到开源模型。Jet 指出,这次分享的核心就是剖析开源大模型在哪里能够大放异彩,以及如何让开源模型的实际表现和质量彻底媲美甚至超越闭源模型。
在展开讨论开源模型的微调与部署闭环之前,Jet 提出了当前 AI 生态系统中的“三大基本事实”(Three Fundamental Truths):
```mermaid flowchart TD accTitle: AI生态系统中的三大基本事实 accDescr: 展示开源模型就绪、定制化缩小差距以及从单次服务转向训练与推理持续闭环的三大事实。
subgraph Truths["AI 生态三大基本事实"] A["事实一:开源模型已具备生产级能力<br/>(例如在代码领域的 GLM 5.2)"] B["事实二:定制化消除质量差距<br/>(通过微调、数据清洗与对齐弥补劣势)"] C["事实三:基础设施向持续闭环演进<br/>(从单次部署转向持续微调-推理-监控闭环)"] end
A --> B B --> C ```
第一,开源模型在绝大多数场景下已经完全达到了生产可用(production-ready)的标准。以 GLM 5.2 为例,它在代码生成等高难度工程场景中已经展现出极为顶级的表现。第二,如果开箱即用的开源模型在特定任务上尚未完全超越闭源模型,其胜负手就在于后续的微调与定制。关于这一差距,Jetashree Ravi 明确强调:
> “Two, if open source models don't like beat or match the quality of close source models, the differentiating factor comes from how you customize, train and improve these open source models to match the performance and quality of closed source models.”
第三,AI 基础设施技术栈正在发生根本性的范式转移。以往团队的做法通常是选定一个开源基座模型,单次微调并上线提供 API 服务就宣告完工;而现在的行业趋势则是建立一个飞轮式的“持续闭环”(continuous loop),将生产环境的推理反馈源源不断地回流到新一轮训练中,实现持续学习。Fireworks 的核心定位就是消除这一闭环中的工程摩擦,让开源模型的定制训练与规模化托管变得低成本且高度自动化。
---
[03:12](https://www.youtube.com/watch?v=13YZ1EB9hjU&t=192s) Fireworks 的规模落地与客户实践:Cursor、Vercel 与 Genspark
为了说明开源模型方案在工业界不仅可行而且已被大规模验证,Jet 披露了 Fireworks 的核心运行指标以及多个明星客户的实际收益。Fireworks 平台的全球调用吞吐极其庞大,且在 GLM 5.2 等新一代模型发布后呈现出爆发式增长。
- **超大吞吐规模**:Fireworks 平台累计处理了约 30 万亿(30 trillion)Tokens,在 GLM 5.2 发布后,每日 Token 处理量至少新增了 5 万亿(5 trillion)。 - **全球业务覆盖**:支持超过 10,000 家全球企业,平台每秒并发处理约 200,000(200k)个请求。 - **商业背书与团队**:公司已完成约 3.27 亿美元的 C 轮融资,团队规模约 200 人。
在具体的行业案例上,Jet 详细列举了三个代表性产品如何通过 Fireworks 的自研推理引擎与定制化训练打破性能与质量瓶颈:
| 客户名称 | 业务场景 | 采用方案 | 关键落地效果 | |:--- |:--- |:--- |:--- | | **Cursor** | AI 辅助编程编辑器 | 在 Fireworks 上训练并托管自研 Composer 2 模型 | 凭借 FireAttention 引擎,实现 **13 倍** 推理速度提升 | | **Vercel** | 前端与全栈云平台基础设施 | 定制微调并在平台上独占式部署 | 端到端网络与推理延迟降低至原来的 **1/40(40x 延迟优化)** | | **Genspark** | 提示词驱动的全自动系统设计平台 | 使用强化微调(RFT)清洗数据并编写打分器函数 | 成功跨越闭源替代门槛,模型质量绝对提升 **12%** |
对于 Genspark 这类利用 Prompt 自动搭建复杂系统的产品,从闭源模型切换到开源模型时,最大的障碍就是特定领域推理质量的细微下降。Fireworks 团队深入业务场景,协助他们清洗训练样本集,精心构建评估器函数(evaluator function)并运行强化微调(RFT),最终不仅实现了完全私有化部署,质量还反而提升了 12%。
---
[05:27](https://www.youtube.com/watch?v=13YZ1EB9hjU&t=327s) 底层推理引擎 FireAttention:定制 CUDA Kernel 与推测解码
针对 Vercel 获得的 40 倍延迟缩减以及 Cursor 的 13 倍加速,Jet 拆解了其背后的推理引擎架构——FireAttention。在大语言模型推理中,模型权重与 GPU 物理计算硬件之间的桥梁是底层的 CUDA 算子核心(CUDA kernels)。Fireworks 并没有使用开源社区通用的泛化 Kernel,而是完全自研了 FireAttention 引擎中的专用 CUDA Kernel。
```mermaid flowchart LR accTitle: FireAttention 针对特定工作负载的定制优化流程 accDescr: 展示用户输入负载特征、FireAttention定制CUDA Kernel并最终达成延迟与成本优化的流程。
subgraph Client["客户特定工作负载定义"] In["输入 Token 数 (X)"] Out["输出 Token 数 (Y)"] Cache["Prompt Cache 命中率 (Z%)"] Target["特定延迟指标 (P99 / TTFT)"] end
subgraph FireAttention["Fireworks 自研底层技术栈"] Engine["FireAttention 调度引擎"] Kernel["定制化 CUDA Kernels<br/>(逐场景算子级适配)"] Tech["推测解码 / 权重分解 / 量化"] end
subgraph Outcome["产出指标"] Fast["吞吐提升 (最高13x)"] Cheap["更低推理成本与超低延迟"] end
In --> Engine Out --> Engine Cache --> Engine Target --> Engine
Engine --> Kernel Engine --> Tech Kernel --> Fast Tech --> Cheap ```
当客户面临严苛的延迟指标时,往往会带着非常具体的负载特征寻求优化支持:例如平均输入上下文包含 X 个 Tokens、单次输出 Y 个 Tokens、提示词缓存(Prompt Cache)命中率稳定在 Z%,并要求 P99 延迟压到某一阈值。Fireworks 会针对这类工作负载,对包含 CUDA Kernel 在内的整个 AI 推理栈进行重写与硬件级参数微调,从而在压榨出最大吞吐的同时大幅降低计算成本。
除了自研底层 Kernel,FireAttention 还深度集成了多项前沿推理优化技术: 1. **推测解码(Speculative Decoding)**:允许用户在 Fireworks 平台上用自己的私有业务数据训练小型草稿模型(Draft Model)。草稿模型生成候选 Token,主模型并行验证,大幅拉升主模型的解码速度与系统吞吐。 2. **解聚架构(Disaggregation)**:将预填充(Prefill/Prompt 计算)阶段与自回归解码(Decode)阶段解耦部署在不同的 GPU 资源池上,消除硬件计算资源互锁。 3. **先进量化(Quantization)**:降低内存占用并加速显存带宽密集型计算。
---
[07:22](https://www.youtube.com/watch?v=13YZ1EB9hjU&t=442s) 训练产品矩阵:Agent 辅助、全托管训练与可编程 API
针对从闭源向开源迁移时最具挑战性的“模型质量瓶颈”,Fireworks 提供了三条不同层级的微调路径,以适配从非技术业务人员到高阶算法专家的全光谱开发群体:
```mermaid flowchart TD accTitle: Fireworks 训练产品矩阵架构 accDescr: 展示从上层 Training Agent 到 Managed Training 再到底层 Training API 的三种训练范式及对应功能。
subgraph Tier1["1. Training Agent (低门槛交互式微调)"] Agent["UI 智能体交互"] --> AgentAction["自动数据清洗<br/>超参数自动调优<br/>模型架构适配推荐"] end
subgraph Tier2["2. Managed Training (全托管一键式平台)"] Managed["UI / API 触发"] --> ManagedAction["手动/默认参数调优<br/>内置 Loss 曲线看板<br/>一键打通 Weights & Biases"] end
subgraph Tier3["3. Training API (高阶算法专家模式)"] Code["代码级灵活控制"] --> CodeAction["自定义训练循环 (Loop)<br/>自定义损失函数 (Loss Function)<br/>SFT / RFT / DPO 全范式支持"] end ```
#### 1. Training Agent(训练智能体) 专为产品经理(PM)以及刚进入大模型应用构建领域的开发者设计。用户完全无需精通深度学习。在平台 UI 界面中,用户只需上传数据集,并用自然语言输入一段任务描述。智能体会自动分析数据集格式、推荐并选取最合适的开源基座模型、自动清洗样本脏数据,并自主完成复杂的超参数网格搜索与调优。
#### 2. Managed Training(全托管微调平台) 当前 Fireworks 最主流、调用量最大的训练产品形态。它同时提供 Web 控制台和标准化 REST API 接口。开发者选定基座模型,配置目标超参数(如 Epoch、学习率等),上传训练集后点击执行即可。为了解决训练黑盒与可观测性(Observability)痛点,控制台内置了实时的 Loss 曲线、Epoch 进度看板,并原生支持填入 Weights & Biases 的 API Key,将各项微调指标无缝导出至外部监控面板。
#### 3. Training API(高阶训练 API) 面向算法工程师与科研人员的完全可编程产品线。它突破了全托管服务预设模板的限制,赋予开发者完全自定义训练主循环(Training Loop)与自定义损失函数(Custom Loss Functions)的能力,满足极端定制化的模型研发需求。
- **算法范式覆盖全面**:平台全面支持监督微调(SFT)、直接偏好优化(DPO)以及当前极为热门的强化微调(RFT)。 - **RFT 落地专家服务**:由于 RFT 严重依赖 reward/evaluator function 的设计,Fireworks 团队会协助大型项目定制设计打分器;Jet 坦言,目前 Training Agent 尚不支持全自动的 RFT 编排,仍需人工或托管方案参与。
[11:08](https://www.youtube.com/watch?v=13YZ1EB9hjU&t=668s) 闭环飞轮:从训练到推理的无缝部署与监控
在讨论具体产品前,Jetashree Ravi 详细剖析了当前 AI 领域工程实践的核心现实:开发者不再把模型训练当作单次离线任务,而是更倾向于建立“训练-托管-训练-托管”的持续闭环。随着用户产生新的真实交互数据与反馈,模型需要不断迭代更新。Fireworks AI 的核心目标就是让这一数据飞轮(data flywheel)在统一平台上变得无比流畅,同时确保大规模模型托管既便宜又快速。
在这个飞轮中,一旦模型完成微调,用户离生产环境上线仅仅只有“一键之遥”(one-click away)。部署上线后,平台提供了完善的监控指标面板,能够追踪生成的 Token 数量、缓存命中率(cache hit rate)以及推测解码器(speculator)的运行效率。工程团队可以从这些生产指标中持续收集并整理反馈,随后无缝返回同一平台,直接从当前运行的 Checkpoint 继续增量训练,生成新的模型权重。
```mermaid flowchart TD accTitle: Train-to-Deploy Data Flywheel accDescr: Fireworks AI 平台上的模型训练、部署、监控与热重载再训练闭环流程图。
subgraph TrainStage ["训练阶段"] A["训练数据与评估集"] --> B["Fireworks 训练引擎\n(SFT / RFT / DPO)"] end
subgraph DeployStage ["部署阶段"] B -->|"一键部署"| C["生产端点 Serving\n(FireAttention 加速)"] D["新 Checkpoint 权重"] -.->|"热重载 Hot-loading (零停机)"| C end
subgraph ObserveStage ["监控与反馈闭环"] C --> E["监控指标\n(Tokens / Cache Hit Rate / Speculator 表现)"] E --> F["收集用户反馈与生产数据"] F -->|"增量重训"| D end ```
Jetashree Ravi 强调,整个飞轮之所以能稳定运转,离不开底层算力资源的支撑: - **混合算力网络**:Fireworks AI 广泛联合多家主流云厂商及新型算力云(neocloud providers),构建了弹性 GPU 资源池,确保大规模模型训练和高并发托管的算力供应。
---
[12:42](https://www.youtube.com/watch?v=13YZ1EB9hjU&t=762s) 生产级核心特性:无缝热重载与全链路数值保真度
针对持续训练落地过程中的真实工程痛点,Jetashree Ravi 重点介绍了两项关键平台能力:热重载(hot-loading)与数值保真度(numerical fidelity)。热重载功能最初是专门为 Cursor 定制研发的,但团队很快意识到该机制对所有高频迭代模型的用户都极为重要。
在传统部署中,更新模型 Checkpoint 往往意味着服务重启或实例切换,存在停机时间与请求抖动。而热重载允许用户在完成新一轮训练循环后,“只需点击一个按钮,就能直接将旧端点正在使用的权重替换为新的权重”,实现零停机时间(zero downtime)的无缝热切换。
与此同时,跨平台训练和部署常常会遭遇隐秘的模型质量劣化。对此,Jetashree Ravi 直言:
> “很多时候客户使用平台 A 进行训练,而在平台 B 上进行托管;但当你这样做时,就会出现模型质量问题,出现这些问题的原因是在不同平台上训练和托管时,数值计算并不总是兼容的。”
Fireworks AI 统一了训练引擎与推理运行时(Inference Engine),在底层确保两者之间的数值精度与计算实现完全一致(numerical compatibility)。这种设计消除了因框架、算子实现或精度截断差异带来的表现衰减,让模型在离线评测中的优异指标能够 100% 映射到线上服务中。
- **热重载机制 (Hot-loading)**:无需销毁与重建实例,动态完成权重更新,保障 API 服务 SLA。 - **数值保真度 (Numerical Fidelity)**:规避“训练框架 A + 推理引擎 B”导致的精度漂移,杜绝上线后莫名降智的困境。
---
[14:22](https://www.youtube.com/watch?v=13YZ1EB9hjU&t=862s) 训练智能体(Training Agent)端到端演示
Jetashree Ravi 随后通过具体演示展示了平台上的首个训练工具——训练智能体(Training Agent)。该工具旨在为开发者彻底降低模型微调与参数调优的门槛。
用户只需在界面中指定存放在平台内的训练数据集名称,并输入对应的验证数据集(eval dataset)。接着,用户只需向智能体发出指令,让其自主规划微调策略、选择最适合的基础模型并配置超参数。演示中,智能体自动分析数据特征后,生成了详细的 SFT 计划,明确解释为何挑选 Qwen-38B 作为基础底座,并向用户透明展示学习率、Batch Size 等超参数设置以及整个训练阶段的高层蓝图。
```mermaid flowchart LR accTitle: Training Agent Workflow accDescr: 训练智能体从数据输入到任务拆解、执行监控与结果总结的完整流程。
A["指定训练与验证集"] --> B["Agent 分析并推荐\n(底座模型如 Qwen-38B + 超参数)"] B --> C["用户审核并批准计划"] C --> D["逐步执行任务\n(实时同步 Step 进度)"] D --> E["输出综合指标\n(Accuracy, F1 及后续建议)"] ```
用户在核对计划后点击批准,智能体便开始自动化执行各个阶段任务。它会实时回显步骤进展(例如步骤 2 完成的输出结果、步骤 3 成功后的当前状态)。全流程结束后,智能体不仅提供包含基础模型与超参影响的配置总结,还会输出模型的准确率(accuracy)与 F1 分数(F1 score),并自动生成下一步训练优化的可执行建议。
---
[16:17](https://www.youtube.com/watch?v=13YZ1EB9hjU&t=977s) 托管训练界面与模板化一键部署
紧接着,Jetashree Ravi 演示了更为经典的托管训练(Managed Training)UI 工作流。该界面针对有明确调优诉求的工程师设计,省去了手写分布式集群脚本的繁琐开销。
在托管训练流程中,用户上传数据集并挑选好基础模型后,进入评估设置指定验证集。平台提供了可自由展开的高级选项(optional settings),供工程师根据经验对学习率、权重衰减等超参数进行细粒度微调。一切确认无误后,只需点击“创建”(Create)按钮,底层的训练任务便立即触发启动。
在任务监控界面,工程师可以清晰直观地观察训练进程与实时模型损失曲线(loss curve),并追溯该次运行所绑定的数据集版本与具体超参数。平台还支持对历史训练任务进行一键“克隆”(clone),方便基于相同基线快速更换参数或数据做对比实验。
训练完成后,用户转入部署标签页,选中刚微调好的自定义模型即可进入生产配置。除了手动调节实例规模,Fireworks AI 还内置了多套针对通用业务负载深度优化的部署预设模板: - **预设配置模板**:包括高吞吐量(throughput)、低延迟快速响应(fast)、资源极简型(minimal)等预设档位。 - **系统级全方位优化**:模板预先平衡了整机吞吐量、首字时延(Time to First Token, TTFT)与整体推理延迟,使用户无需成为底层算子专家也能获得优异的生产性能。
Jetashree Ravi 解释道,由于各家企业的训练架构与业务损失函数千差万别,演讲现场无法对底层的 Training API 展开完整 Demo,但官方文档与代码库中已提供了大量 Cookbook,支持开发者深度定制属于自己的训练循环与自定义 Loss 函数。她在结语中再次重申了从训练到部署全链路打通对于专业化 AI 的重要价值,并开放现场问答。
## Notable quotes > [12:42](https://www.youtube.com/watch?v=13YZ1EB9hjU&t=762s) 很多时候客户使用平台 A 进行训练,而在平台 B 上进行托管;但当你这样做时,就会出现模型质量问题,出现这些问题的原因是在不同平台上训练和托管时,数值计算并不总是兼容的。 — Jetashree Ravi
## Mentioned Fireworks AI, Jetashree Ravi, Cursor, Composer 2, Vercel, Genspark, GLM 5.2, FireAttention, Weights & Biases, Qwen-38B, ChatGPT, Anthropic
## Video description Closed models are getting expensive fast. Open models can match them, if you keep training them on your own data.
Jetashree Ravi, who leads part of the applied machine learning team at Fireworks AI, explains how teams move from closed models to open ones without losing quality. Her three truths: open models like GLM 5.2 are production-ready, customization closes the remaining quality gap, and the AI stack is shifting to a continuous train-and-serve loop. She shares Fireworks' scale (about 30 trillion tokens, 10,000+ companies) and customer results: Cursor's Composer 2 trained and hosted on Fireworks with 13x faster inference, a 40x latency improvement for Vercel, and 12% better quality for Genspark with reinforcement fine-tuning. She covers the FireAttention engine and its custom CUDA kernels, speculative decoding with custom draft models, and three ways to train (a training agent, managed training, and a training API for SFT, RFT and DPO), then the flywheel: one-click deploys, monitoring, hot-loading new weights with no downtime, and matching numerics between training and serving. She ends with demos of the training agent and managed training.
In this talk: • Why open models plus customization can match closed ones • FireAttention, custom kernels and speculative decoding • Training agent, managed training and the training API • Hot loading and numerical fidelity for a continuous train-and-deploy loop
SPEAKER Jetashree Ravi, Tech Lead Manager, Applied ML, Fireworks AI LinkedIn: https://www.linkedin.com/in/jetashree-ravi/ GitHub: https://github.com/jraviS2023
LINKS Fireworks AI: https://fireworks.ai Managed fine-tuning docs: https://docs.fireworks.ai/fine-tuning/managed-finetuning-intro Supervised fine-tuning docs: https://docs.fireworks.ai/fine-tuning/supervised-fine-tuning
CHAPTERS 0:00 Intro 1:27 Three truths about open models 2:22 Where Fireworks fits 3:12 Fireworks at scale 3:47 Cursor, Vercel and Genspark 5:27 FireAttention and custom kernels 6:27 Speculative decoding and draft models 7:22 Three ways to train 8:22 Managed training 9:27 Training API 10:07 SFT, RFT and DPO 11:07 The data flywheel 12:42 Hot loading new weights 13:22 Numerical fidelity 14:22 Demo: training agent 16:17 Demo: managed training and deploy 18:42 Wrap-up
Recorded at the AI Engineer World's Fair 2026 in San Francisco. Subscribe for more talks from the engineers building with AI.
AI Engineer: https://ai.engineer YouTube: https://www.youtube.com/@aiDotEngineer X: https://x.com/aiDotEngineer LinkedIn: https://www.linkedin.com/company/aidotengineer/
#FineTuning #OpenSourceAI #AIEngineer
[Source](https://www.youtube.com/watch?v=13YZ1EB9hjU)