Ai4
推理成本占据AI模型全生命周期开销的80%至90%,连续批处理与即时量化技术通过消除GPU闲置将吞吐量提升逾两倍,打破多智能体长会话的商业化瓶颈。
AI-assisted summary of Scaling Inference for Agentic AI With FriendliAI — original source. Check the original for full context.
Source published:
Detailed notes
## Background 本内容由频道 Ai4 于 2025 年 8 月 24 日发布在 YouTube 平台,主讲人为 FriendliAI 的首席执行官 Byung-Gon Chun。视频简介指出,随着生成式 AI 向更复杂的智能体系统演进,推理已成为核心瓶颈;Friendli Suite 旨在消除底层基础设施的复杂性,助力团队快速将 AI 智能体从原型推向规模化生产。
## TL;DR 演讲深入剖析了 Agentic AI 在走向生产环境时面临的高昂推理成本、长会话多轮调用及延迟等核心挑战。FriendliAI 依托其团队率先开创的连续批处理(Continuous Batching)技术与 Friendli Engine,构建了涵盖 Friendli Endpoints、Serverless API、私有化 Container 以及 Friendli Agent 的全栈产品矩阵。通过即时量化和推测解码等前沿优化,平台实现了超竞品 2 倍的高吞吐量与极速响应,并在 Twelve Labs、LG AI Research 等头部企业中验证了削减 50% 成本及 24 小时极速交付的商业价值。
## Atmosphere & style 整场演讲呈现出典型技术领袖会议的严谨、干练与极高信息密度。演讲者以冷静且切中要害的工程视角开篇直击行业痛点,随后通过架构解析与流畅的现场实操演示展现出对底层性能优化的绝对自信。整体氛围务实而具号召力,既有学术顶会级硬核技术的沉淀感,又充满了帮助企业跨越落地鸿沟的商业推力。
## Key takeaways - [00:04](https://www.youtube.com/watch?v=zl6FizzYC4M&t=4s) AI 发展正经历开源基础模型(如 LLaMA、DeepSeek、Qwen)与智能体(Agentic AI)的双重爆发,AI 角色正从被动的问答辅助转向能自主执行复杂任务的行动者。 - [01:22](https://www.youtube.com/watch?v=zl6FizzYC4M&t=82s) AI 商业价值必须在生产环境中体现,而推理(Inference)占据模型全生命周期总成本的 80% 至 90%,是决定产品能否规模化落地的核心瓶颈。 - [01:22](https://www.youtube.com/watch?v=zl6FizzYC4M&t=82s) Agentic AI 涉及多轮对话、记忆管理、工具调用与多模型协同,导致算力开销和延迟激增,许多原型项目因高昂的 GPU 账单和性能问题停滞在原型阶段。 - [03:29](https://www.youtube.com/watch?v=zl6FizzYC4M&t=209s) 企业在选择推理基础设施时面临降本(避免 GPU 过度配置)、毫秒级低延迟响应、高弹性伸缩、合规安全与极简运维等关键诉求。 - [05:17](https://www.youtube.com/watch?v=zl6FizzYC4M&t=317s) FriendliAI 核心推理引擎源于 OSDI 2022 突破性论文 Orca,其发明的连续批处理(Continuous Batching)在细粒度迭代级别动态增删请求,彻底解决了传统静态批处理导致的 GPU 算力闲置。 - [07:23](https://www.youtube.com/watch?v=zl6FizzYC4M&t=443s) Friendli Endpoints 平台提供即时无损量化(On-the-fly Quantization)与推测解码,在 NVIDIA Hopper GPU 上运行 LLaMA 3.1 8B 吞吐可超 500 tokens/s,整体吞吐量达到同类方案的 2 倍以上。 - [09:14](https://www.youtube.com/watch?v=zl6FizzYC4M&t=554s) 平台与 Hugging Face 及 Weights & Biases 深度集成,支持在 Hugging Face 模型页面一键快速部署至专用端点,并内置实时测试 Playground 和全链路运维监控看板。 - [11:34](https://www.youtube.com/watch?v=zl6FizzYC4M&t=694s) 提供多元产品形态:面向快速调用的免运维 Serverless API、面向合规私有化并作为 AWS EKS 官方 Add-on 的 Friendli Container,以及针对多步交互优化的 Friendli Agent 智能体层。 - [13:03](https://www.youtube.com/watch?v=zl6FizzYC4M&t=783s) 商业落地成效显著:视频多模态搜索初创公司 Twelve Labs 削减了超 50% 的推理成本,LG AI Research 则在 24 小时内完成了 32B EXAONE 模型的生产级部署上线。 - [13:03](https://www.youtube.com/watch?v=zl6FizzYC4M&t=783s) FriendliAI 推出最高 10,000 美元的 GenAI 推理额度计划,帮助企业团队免去重复造基础设施轮子的负担,加速从 Demo 原型迈向规模化生产。
## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=zl6FizzYC4M&t=4s) 开源浪潮与 Agentic AI 的崛起
随着人工智能技术的演进,AI 正在从早期的代码辅助(Co-pilots)、简单自动化和基础客服聊天机器人,深刻重塑企业的整体运营方式。当前技术范式正经历着以智能体 AI(Agentic AI)和开源模型为核心的双重加速。开源生态中,包括 LLaMA、DeepSeek、Qwen 在内的基础模型及各类微调模型呈现爆发式增长;而 Agentic AI 的兴起,则标志着 AI 正从传统的“被动问答者”转变为能够自主解决复杂业务问题的“主动行动者”。这种转变不仅使企业能够以更低成本构建针对特定场景的功能,还催生了更加复杂的复合工作流乃至多智能体协作系统(Multi-agent systems)。
然而,构建 AI 智能体原型(Prototype)仅仅是迈出转型的第一步。原型验证并不直接产生商业价值,AI 真正驱动业务增长、产生可衡量回报的场景必须发生在生产环境(Production)中。推理(Inference)是终端用户与 AI 产品产生交互的核心触点,也是模型在大规模实际应用中释放价值的关键环节。
- **开源模型爆发**:LLaMA、DeepSeek、Qwen 等开源基础与微调模型的大规模采用,大幅降低了企业获得顶尖 AI 能力的门槛。 - **智能体范式转变**:AI 演变为具备自主解决问题能力的 Agent,支持复杂工作流与多智能体系统协同。
```mermaid flowchart TD accTitle: Agentic AI 生产化面临的核心挑战 subgraph Agentic_Loop["Agentic AI 核心运行时循环"] Reasoning["规划与自主推理<br/>Reasoning & Planning"] --> Memory["上下文与记忆检索<br/>Memory & Context"] Memory --> ToolCall["外部工具调用与 API 协同<br/>Tool Calling & Action"] ToolCall --> MultiModel["多模型协同推理<br/>Multi-turn Model Calls"] MultiModel --> Reasoning end
subgraph Infra_Bottlenecks["底层推理基础设施瓶颈"] Bottleneck1["极端延迟敏感<br/>Low Latency Requirement"] Bottleneck2["长会话与多轮调用成本<br/>Long Sessions & GPU Cost"] Bottleneck3["突发性流量与动态批处理<br/>Bursty Traffic & Inefficient Batching"] end
Agentic_Loop -.-> Infra_Bottlenecks ```
---
[01:22](https://www.youtube.com/watch?v=zl6FizzYC4M&t=82s) 生产落地瓶颈:Agentic AI 推理的真实代价
在真实的商业部署中,推理成本极其庞大,通常占据 AI 模型全生命周期总成本(Lifetime Cost)的 80% 至 90%。Agentic AI 本质上是一个能够自主追求目标的高级系统,它深度结合了模型推理、逻辑规划、长期记忆管理、外部工具调用以及多步骤动作执行能力。这一复杂架构对底层基础设施提出了极其严苛的要求:极低延迟(Low Latency)、超高吞吐量(High Throughput)以及高度的成本效益。
许多充满前景的 AI 试点项目在迈向面向真实用户的大规模生产阶段时往往陷入停滞。Agentic 系统的多轮交互和长会话使得单次任务调用的模型次数成倍增加,带来了严重的系统性难题:新产品上线周期被无休止地推迟;由于 GPU 资源消耗过快,云账单出现灾难性失控;基础设施的编排与管理复杂度急剧攀升;此外,响应延迟过高直接导致终端用户流失。企业工程团队常常被迫陷入重新发明底层基础设施轮子的泥潭,反而无法专注于核心产品功能的研发。
- **成本分布特征**:推理阶段占据 AI 模型全生命周期成本的 80%–90%,成为决定商业可持续性的核心瓶颈。 - **Agentic 推理难点**:多轮会话拉长、高频模型互调、工具链集成与编排使计算开销呈指数级扩散。 - **常见落地阻碍**:产品交付延误、GPU 账单超支、响应缓慢导致用户流失、团队陷入基建内耗。
---
[03:29](https://www.youtube.com/watch?v=zl6FizzYC4M&t=209s) 业务决策者的核心诉求与理想推理平台
面对生产化转型的困境,企业业务负责人在评估 AI 推理基础设施时,关注的焦点集中在几个关键维度上。首先是**成本控制**:GPU 硬件极其昂贵,而由于业务流量天然的不确定性,企业往往被迫进行严重的过度配置(Over-provisioning);其次是**响应能力与弹性**:用户期待毫秒级的实时反馈,但 AI 流量具有极强的突发性(Bursty),基础设施必须能够实现无缝弹性伸缩;再次是**极简性与数据掌控力**:基础设施复杂度不能拖慢产品团队迭代,同时涉及敏感数据的场景必须支持私有化或本地(On-prem)部署;最后是全链路的**可观测性**与 **99.99% 的企业级可靠性**。
基于这些严苛诉求,理想的企业级 AI 推理平台应具备在几分钟内一键部署任意开源、微调或自定义模型的能力,根据实时流量自动伸缩,在底层透明地进行全栈性能优化,原生支持云端与本地环境,并与主流模型生态(如 Hugging Face、Weights & Biases)无缝集成。
| 核心诉求维度 | 传统部署痛点 | 理想推理平台标准 | |:--- |:--- |:--- | | **成本与资源利用** | 流量预测困难导致过度配置 GPU,闲置浪费严重 | 依靠底层算子与调度优化实现高吞吐,按需缩容降低 GPU 开销 | | **延迟与响应速度** | 长上下文和多步推理导致延迟飙升,用户体验差 | 极致的内核级优化,实现超高速 Token 生成与流式响应 | | **弹性与运维复杂度** | 扩缩容反应滞后,基建维护占用大量工程师精力 | 秒级弹性伸缩,全托管运维,屏蔽底层硬件异构性 | | **数据安全与合规** | 公共 API 无法满足金融、医疗等敏感场景要求 | 原生支持 VPC 私有化部署与 On-prem 容器化交付 | | **生态打通** | 模型拉取、转换与上线流程繁琐,耗时数周 | 深度集成 Hugging Face 与 W&B,数分钟内一键完成上线 |
---
[05:17](https://www.youtube.com/watch?v=zl6FizzYC4M&t=317s) FriendliAI 核心架构与连续批处理(Continuous Batching)
为了彻底解决上述瓶颈,FriendliAI 构建了专为高性能大模型推理设计的底层技术栈——**Friendli Engine(Friendli Inference)**。该引擎从硬件底层重新设计,集成了业界最先进的优化技术与自主创新,全面支持大语言模型及多模态模型,涵盖批处理调度、量化、张量/流水线并行、KV 缓存优化以及推测解码(Speculative Decoding)等多个维度,旨在使 AI 推理变得“不可见、高可扩展且极具成本效益”。
在诸多突破性技术中,最核心的基石便是 FriendliAI 团队率先发明并在 OSDI 2022 顶会论文(Orca 系统)中提出的**连续批处理(Continuous Batching)**技术。由于真实世界的推理请求到达时间极不规律,且各请求的输入输出长度差异巨大,传统的静态批处理(Static Batching)会导致计算单元等待最长序列完成,产生严重的 GPU 算力闲置。连续批处理技术通过在极细粒度的迭代(Iteration)级别动态插入新到达的请求并剔除已完成的请求,始终保持批处理单元处于高饱和填充状态。FriendliAI 在生产环境中应用了进一步深度优化的连续批处理机制,使 GPU 利用率和吞吐量达到了前所未有的高度。
- **连续批处理先驱**:源自 OSDI 2022 突破性论文 Orca,已成为全行业大模型推理服务的标准范式。 - **细粒度动态调度**:突破传统 Batch 必须统进统出的限制,在 Iteration 粒度动态增删序列,极大压榨 GPU 算力。 - **全栈性能加速**:融合先进量化、高并发缓存、高效并行策略与推测解码技术。
---
[07:23](https://www.youtube.com/watch?v=zl6FizzYC4M&t=443s) Friendli Endpoints 产品特性与性能突破
在底层 Friendli Engine 之上,FriendliAI 推出了面向企业的全托管推理平台 **Friendli Endpoints**。该平台整合了现代生产系统所需的全套运维能力:用于最大化利用率的智能路由、应对流量剧烈波动的自动伸缩、细粒度实时监控(实时统计处理 Token 量、首字延迟、P99 延迟等)、在线模型版本管理与热更新、高达 99.99% 的高可用保障,以及独创的“即时量化(On-the-fly Quantization)”与推测解码功能。用户无需在部署前手动运行复杂的量化工具链,只需在界面上一键开启量化开关,系统即可在不损失模型精度的前提下自动应用最优量化策略,显著提升执行速度。
在性能与生态集成方面,Friendli Endpoints 展现出强大的竞争力。平台与 Hugging Face Hub 和 Weights & Biases 深度整合,支持从 Hugging Face 的 42 万余个主流模型库中进行一键拉取与发布。在硬件性能基准上,Friendli Endpoints 在单张 NVIDIA Hopper GPU 上运行 LLaMA 3.1 8B 能够实现超过 500 tokens/s 的超高速生成,整体吞吐量达到同类方案的 2 倍以上,平台已在大规模生产环境中稳定支撑了数万亿(Trillions)Token 的计算吞吐。
- **即时模型量化**:支持零门槛一键无损量化,无需离线转换模型权重即可获得极限推理加速。 - **极限推理速度**:LLaMA 3.1 8B 在 Hopper 架构 GPU 上达到 >500 tokens/s 吞吐表现。 - **双倍成本效益**:吞吐量达到竞品方案的 2 倍以上,直接将模型推理运行成本压缩一半。 - **生态无缝对接**:支持直接从 Hugging Face 模型页面一键分发并建立专用端点。
```mermaid flowchart LR accTitle: FriendliAI 全栈产品与部署形态全景 subgraph Hubs["模型生态 Hubs"] HF["Hugging Face<br/>400k+ 模型"] WB["Weights & Biases<br/>模型仓库"] end
subgraph Friendli_Platform["FriendliAI 平台核心能力"] Engine["Friendli Inference Engine<br/>Continuous Batching | 即时量化 | Speculative Decoding"] AgentLayer["Friendli Agent 智能体层<br/>Workflow 编排 | 记忆管理 | API/工具集成"] end
subgraph Deploy_Modes["多元化部署形态"] Dedicated["Friendli Endpoints<br/>专用托管端点 (99.99% SLA)"] Serverless["Friendli Serverless API<br/>极速试用与轻量调用"] Container["Friendli Container<br/>私有化/本地化部署 (AWS EKS Add-on)"] end
Hubs --> Engine Engine --> AgentLayer AgentLayer --> Dedicated AgentLayer --> Serverless AgentLayer --> Container ```
---
[09:14](https://www.youtube.com/watch?v=zl6FizzYC4M&t=554s) 现场演示:从 Hugging Face Hub 到模型游乐场
在演讲现场演示中,演讲者展示了通过 Friendli Endpoints 部署 Flux Dev 文生图模型与 LLaMA 3.3 70B 大语言模型的全流程。整个过程极其直观:在控制台中直接选定目标模型(可直接从 Hugging Face 搜索拉取),配置所需的 GPU 硬件类型,点击创建端点后,系统在数秒内便实时完成了 GPU 资源调度、模型拉取挂载与推理引擎初始化。
部署完成后,控制台内置的 Playground 允许开发者立即进行交互测试,无论是图像生成还是复杂的文本生成推理均可秒级响应。此外,平台仪表盘全面集成了版本控制、实时运行日志以及长周期的延迟与吞吐监控指标,消除了传统自建基础设施需要维护 Prometheus、Grafana 等监控系统的繁琐负担。演讲者进一步演示了直接嵌入在 Hugging Face 模型主页上的 FriendliAI 部署入口——开发者只需在 Hugging Face 页面点击 FriendliAI 图标,即可一键直跳完成端点搭建。
- **极简部署流程**:无需编写部署配置脚本,选择模型与 GPU 规格后数秒内即可自动拉起服务。 - **内置 Playground**:支持实时在线测试各类大语言模型与图像生成扩散模型(如 Flux Dev)。 - **全方位运维看板**:原生集成实时监控仪表盘、调用日志追踪与多版本模型迭代管理。
---
[11:34](https://www.youtube.com/watch?v=zl6FizzYC4M&t=694s) 全场景产品矩阵:Serverless、Container 与 Friendli Agent
为了满足不同企业在架构设计与合规安全方面的差异化诉求,FriendliAI 提供了多层次的产品形态。对于希望以最低门槛快速调用的开发者,**Friendli Serverless API** 提供了免运维、按用量计费的即时调用能力,支持的模型矩阵正在持续扩充;而针对金融、医疗等对数据隐私与合规有严苛要求的场景,则推出了 **Friendli Container** 本地化与私有云部署方案。在 AWS 生态中,Friendli Container 已作为 AWS EKS 的官方 Add-on 提供,企业工程师只需运行一行安装命令,即可将其无缝嵌入现有的 Kubernetes 集群工作流中。
在基础设施之上,FriendliAI 进一步推出了 **Friendli Agent** 智能体编排层。该层直接构建于高性能推理引擎之上,负责智能体工作流编排、上下文记忆管理、外部 API 集成以及多模型间的无缝路由。通过将深厚的推理优化经验注入到智能体执行层,Friendli Agent 能够确保复杂的多步动作与多模型交互依然保持极低的端到端延迟,为企业交付简单、通用、高速、高性价比且极其可靠的智能体基础设施。
- **Friendli Serverless API**:免除算力管理负担,开箱即用,按实际 Token 消耗计量。 - **Friendli Container (On-prem)**:专为高合规私有化场景打造,提供 AWS EKS Add-on 一键式集成。 - **Friendli Agent**:位于模型层之上的智能体执行系统,解决多步骤推理中的记忆、工具链与模型协同延迟。
---
[13:03](https://www.youtube.com/watch?v=zl6FizzYC4M&t=783s) 商业落地实战案例与开发者计划
在真实商业应用中,FriendliAI 的技术方案已在多家前沿 AI 独角兽与跨国企业中落地验证: 1. **Twelve Labs**:位于旧金山湾区的知名视频多模态搜索初创公司,通过迁移至 FriendliAI 推理平台,将其整体基础设施计算成本大幅降低了 50% 以上; 2. **LG AI Research(LG 人工智能研究院)**:LG 研发了参数量为 32B 的自研基座大模型 LG EXAONE,在性能表现上能够匹敌 Anthropic 的 Claude 3 Opus 等超大模型。LG 团队借助 FriendliAI 平台,在不到 24 小时内便完成了该定制模型的全量上线与生产部署; 3. **大型企业级客户**:多家严苛合规要求的大型企业全面采纳了 Friendli Container,在完全满足内部数据安全隔离标准的同时,显著削减了所需的 GPU 服务器规模。
在演讲最后,Byung-Gon Chun 总结道,AI 产品的核心价值绝不能困在早期的 Demo 阶段,企业工程团队应当聚焦于打磨卓越的 AI 产品体验,而非将宝贵的工程资源消耗在底层基础设施的搭建与维护上。FriendliAI 正式宣布推出“10K GenAI 推理额度计划(FriendliAI 10K GenAI Inference Credit Program)”,为准备迈向生产化扩张的团队提供最高 1 万美元的免费推理算力支持,助力企业跨越从原型验证到规模化生产的鸿沟。
- **Twelve Labs 案例**:视频搜索领军企业成功削减超 50% 的 GPU 基础设施账单。 - **LG EXAONE 案例**:32B 高性能定制模型在 24 小时内完成高效生产级部署。 - **10K 开发者计划**:提供最高 10,000 美元免费推理 Credit,加速企业从 PoC 到生产落地。
## Notable quotes > [00:04](https://www.youtube.com/watch?v=zl6FizzYC4M&t=4s) 推理(Inference)是终端用户与 AI 产品产生交互的核心触点,也是模型在大规模实际应用中释放价值的关键环节。 — Byung-Gon Chun
> [00:04](https://www.youtube.com/watch?v=zl6FizzYC4M&t=4s) AI 正从传统的‘被动问答者’转变为能够自主解决复杂业务问题的‘主动行动者’。 — Byung-Gon Chun
> [01:22](https://www.youtube.com/watch?v=zl6FizzYC4M&t=82s) 在真实的商业部署中,推理成本极其庞大,通常占据 AI 模型全生命周期总成本(Lifetime Cost)的 80% 至 90%。 — Byung-Gon Chun
> [01:22](https://www.youtube.com/watch?v=zl6FizzYC4M&t=82s) 企业工程团队常常被迫陷入重新发明底层基础设施轮子的泥潭,反而无法专注于核心产品功能的研发。 — Byung-Gon Chun
> [03:29](https://www.youtube.com/watch?v=zl6FizzYC4M&t=209s) 用户期待毫秒级的实时反馈,但 AI 流量具有极强的突发性(Bursty),基础设施必须能够实现无缝弹性伸缩 — Byung-Gon Chun
> [05:17](https://www.youtube.com/watch?v=zl6FizzYC4M&t=317s) 旨在使 AI 推理变得‘不可见、高可扩展且极具成本效益’。 — Byung-Gon Chun
> [05:17](https://www.youtube.com/watch?v=zl6FizzYC4M&t=317s) 连续批处理技术通过在极细粒度的迭代(Iteration)级别动态插入新到达的请求并剔除已完成的请求,始终保持批处理单元处于高饱和填充状态。 — Byung-Gon Chun
> [07:23](https://www.youtube.com/watch?v=zl6FizzYC4M&t=443s) 用户无需在部署前手动运行复杂的量化工具链,只需在界面上一键开启量化开关,系统即可在不损失模型精度的前提下自动应用最优量化策略,显著提升执行速度。 — Byung-Gon Chun
> [07:23](https://www.youtube.com/watch?v=zl6FizzYC4M&t=443s) 在单张 NVIDIA Hopper GPU 上运行 LLaMA 3.1 8B 能够实现超过 500 tokens/s 的超高速生成,整体吞吐量达到同类方案的 2 倍以上 — Byung-Gon Chun
> [11:34](https://www.youtube.com/watch?v=zl6FizzYC4M&t=694s) 通过将深厚的推理优化经验注入到智能体执行层,Friendli Agent 能够确保复杂的多步动作与多模型交互依然保持极低的端到端延迟 — Byung-Gon Chun
> [13:03](https://www.youtube.com/watch?v=zl6FizzYC4M&t=783s) AI 产品的核心价值绝不能困在早期的 Demo 阶段,企业工程团队应当聚焦于打磨卓越的 AI 产品体验,而非将宝贵的工程资源消耗在底层基础设施的搭建与维护上。 — Byung-Gon Chun
## Mentioned Byung-Gon Chun, FriendliAI, Friendli Suite, Friendli Engine, Friendli Endpoints, Friendli Serverless API, Friendli Container, Friendli Agent, Continuous Batching (连续批处理), Orca, OSDI 2022, NVIDIA Hopper, LLaMA, LLaMA 3.1 8B, LLaMA 3.3 70B, DeepSeek, Qwen, Flux Dev, Hugging Face, Weights & Biases, Twelve Labs, LG AI Research, LG EXAONE, Claude 3 Opus, AWS EKS
## Video description Byung-Gon Chun, CEO, FriendliAI
Abstracts
As generative AI evolves into more complex, agentic systems, inference has become the key bottleneck. These systems require dynamic interactions, tool use, memory handling, and coordination across multiple models—placing new demands on infrastructure.
Friendli Suite eliminates this complexity and empowers teams to define, deploy, and operate AI agents tailored to their business needs. With scalable, high-performance endpoints, organizations can move faster from idea to production without building custom backend infrastructure. This enables shorter development cycles, reduced engineering overhead, and a robust foundation for delivering and scaling intelligent agents in production environments.
[Source](https://www.youtube.com/watch?v=zl6FizzYC4M)