FriendliAI推出Agent推理套件 连续批处理压降50%算力成本

Scaling Inference for Agentic AI With FriendliAI — Ai4

Ai4

推理成本占据AI模型全生命周期开销的80%至90%,连续批处理与即时量化技术通过消除GPU闲置将吞吐量提升逾两倍,打破多智能体长会话的商业化瓶颈。

AI-assisted summary of Scaling Inference for Agentic AI With FriendliAI — original source. Check the original for full context.

Source published:

Detailed notes

## Background 本内容由频道 Ai4 于 2025 年 8 月 24 日发布在 YouTube 平台,主讲人为 FriendliAI 的首席执行官 Byung-Gon Chun。视频简介指出,随着生成式 AI 向更复杂的智能体系统演进,推理已成为核心瓶颈;Friendli Suite 旨在消除底层基础设施的复杂性,助力团队快速将 AI 智能体从原型推向规模化生产。

## TL;DR 演讲深入剖析了 Agentic AI 在走向生产环境时面临的高昂推理成本、长会话多轮调用及延迟等核心挑战。FriendliAI 依托其团队率先开创的连续批处理(Continuous Batching)技术与 Friendli Engine,构建了涵盖 Friendli Endpoints、Serverless API、私有化 Container 以及 Friendli Agent 的全栈产品矩阵。通过即时量化和推测解码等前沿优化,平台实现了超竞品 2 倍的高吞吐量与极速响应,并在 Twelve Labs、LG AI Research 等头部企业中验证了削减 50% 成本及 24 小时极速交付的商业价值。

## Atmosphere & style 整场演讲呈现出典型技术领袖会议的严谨、干练与极高信息密度。演讲者以冷静且切中要害的工程视角开篇直击行业痛点,随后通过架构解析与流畅的现场实操演示展现出对底层性能优化的绝对自信。整体氛围务实而具号召力,既有学术顶会级硬核技术的沉淀感,又充满了帮助企业跨越落地鸿沟的商业推力。

## Key takeaways - [00:04](https://www.youtube.com/watch?v=zl6FizzYC4M&t=4s) AI 发展正经历开源基础模型(如 LLaMA、DeepSeek、Qwen)与智能体(Agentic AI)的双重爆发,AI 角色正从被动的问答辅助转向能自主执行复杂任务的行动者。 - [01:22](https://www.youtube.com/watch?v=zl6FizzYC4M&t=82s) AI 商业价值必须在生产环境中体现,而推理(Inference)占据模型全生命周期总成本的 80% 至 90%,是决定产品能否规模化落地的核心瓶颈。 - [01:22](https://www.youtube.com/watch?v=zl6FizzYC4M&t=82s) Agentic AI 涉及多轮对话、记忆管理、工具调用与多模型协同,导致算力开销和延迟激增,许多原型项目因高昂的 GPU 账单和性能问题停滞在原型阶段。 - [03:29](https://www.youtube.com/watch?v=zl6FizzYC4M&t=209s) 企业在选择推理基础设施时面临降本(避免 GPU 过度配置)、毫秒级低延迟响应、高弹性伸缩、合规安全与极简运维等关键诉求。 - [05:17](https://www.youtube.com/watch?v=zl6FizzYC4M&t=317s) FriendliAI 核心推理引擎源于 OSDI 2022 突破性论文 Orca,其发明的连续批处理(Continuous Batching)在细粒度迭代级别动态增删请求,彻底解决了传统静态批处理导致的 GPU 算力闲置。 - [07:23](https://www.youtube.com/watch?v=zl6FizzYC4M&t=443s) Friendli Endpoints 平台提供即时无损量化(On-the-fly Quantization)与推测解码,在 NVIDIA Hopper GPU 上运行 LLaMA 3.1 8B 吞吐可超 500 tokens/s,整体吞吐量达到同类方案的 2 倍以上。 - [09:14](https://www.youtube.com/watch?v=zl6FizzYC4M&t=554s) 平台与 Hugging Face 及 Weights & Biases 深度集成,支持在 Hugging Face 模型页面一键快速部署至专用端点,并内置实时测试 Playground 和全链路运维监控看板。 - [11:34](https://www.youtube.com/watch?v=zl6FizzYC4M&t=694s) 提供多元产品形态:面向快速调用的免运维 Serverless API、面向合规私有化并作为 AWS EKS 官方 Add-on 的 Friendli Container,以及针对多步交互优化的 Friendli Agent 智能体层。 - [13:03](https://www.youtube.com/watch?v=zl6FizzYC4M&t=783s) 商业落地成效显著:视频多模态搜索初创公司 Twelve Labs 削减了超 50% 的推理成本,LG AI Research 则在 24 小时内完成了 32B EXAONE 模型的生产级部署上线。 - [13:03](https://www.youtube.com/watch?v=zl6FizzYC4M&t=783s) FriendliAI 推出最高 10,000 美元的 GenAI 推理额度计划,帮助企业团队免去重复造基础设施轮子的负担,加速从 Demo 原型迈向规模化生产。

## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=zl6FizzYC4M&t=4s) 开源浪潮与 Agentic AI 的崛起

随着人工智能技术的演进,AI 正在从早期的代码辅助(Co-pilots)、简单自动化和基础客服聊天机器人,深刻重塑企业的整体运营方式。当前技术范式正经历着以智能体 AI(Agentic AI)和开源模型为核心的双重加速。开源生态中,包括 LLaMA、DeepSeek、Qwen 在内的基础模型及各类微调模型呈现爆发式增长;而 Agentic AI 的兴起,则标志着 AI 正从传统的“被动问答者”转变为能够自主解决复杂业务问题的“主动行动者”。这种转变不仅使企业能够以更低成本构建针对特定场景的功能,还催生了更加复杂的复合工作流乃至多智能体协作系统(Multi-agent systems)。

然而,构建 AI 智能体原型(Prototype)仅仅是迈出转型的第一步。原型验证并不直接产生商业价值,AI 真正驱动业务增长、产生可衡量回报的场景必须发生在生产环境(Production)中。推理(Inference)是终端用户与 AI 产品产生交互的核心触点,也是模型在大规模实际应用中释放价值的关键环节。

- **开源模型爆发**:LLaMA、DeepSeek、Qwen 等开源基础与微调模型的大规模采用,大幅降低了企业获得顶尖 AI 能力的门槛。 - **智能体范式转变**:AI 演变为具备自主解决问题能力的 Agent,支持复杂工作流与多智能体系统协同。

```mermaid flowchart TD accTitle: Agentic AI 生产化面临的核心挑战 subgraph Agentic_Loop["Agentic AI 核心运行时循环"] Reasoning["规划与自主推理<br/>Reasoning & Planning"] --> Memory["上下文与记忆检索<br/>Memory & Context"] Memory --> ToolCall["外部工具调用与 API 协同<br/>Tool Calling & Action"] ToolCall --> MultiModel["多模型协同推理<br/>Multi-turn Model Calls"] MultiModel --> Reasoning end

subgraph Infra_Bottlenecks["底层推理基础设施瓶颈"] Bottleneck1["极端延迟敏感<br/>Low Latency Requirement"] Bottleneck2["长会话与多轮调用成本<br/>Long Sessions & GPU Cost"] Bottleneck3["突发性流量与动态批处理<br/>Bursty Traffic & Inefficient Batching"] end

Agentic_Loop -.-> Infra_Bottlenecks ```

---

[01:22](https://www.youtube.com/watch?v=zl6FizzYC4M&t=82s) 生产落地瓶颈:Agentic AI 推理的真实代价

在真实的商业部署中,推理成本极其庞大,通常占据 AI 模型全生命周期总成本(Lifetime Cost)的 80% 至 90%。Agentic AI 本质上是一个能够自主追求目标的高级系统,它深度结合了模型推理、逻辑规划、长期记忆管理、外部工具调用以及多步骤动作执行能力。这一复杂架构对底层基础设施提出了极其严苛的要求:极低延迟(Low Latency)、超高吞吐量(High Throughput)以及高度的成本效益。

许多充满前景的 AI 试点项目在迈向面向真实用户的大规模生产阶段时往往陷入停滞。Agentic 系统的多轮交互和长会话使得单次任务调用的模型次数成倍增加,带来了严重的系统性难题:新产品上线周期被无休止地推迟;由于 GPU 资源消耗过快,云账单出现灾难性失控;基础设施的编排与管理复杂度急剧攀升;此外,响应延迟过高直接导致终端用户流失。企业工程团队常常被迫陷入重新发明底层基础设施轮子的泥潭,反而无法专注于核心产品功能的研发。

- **成本分布特征**:推理阶段占据 AI 模型全生命周期成本的 80%–90%,成为决定商业可持续性的核心瓶颈。 - **Agentic 推理难点**:多轮会话拉长、高频模型互调、工具链集成与编排使计算开销呈指数级扩散。 - **常见落地阻碍**:产品交付延误、GPU 账单超支、响应缓慢导致用户流失、团队陷入基建内耗。

---

[03:29](https://www.youtube.com/watch?v=zl6FizzYC4M&t=209s) 业务决策者的核心诉求与理想推理平台

面对生产化转型的困境,企业业务负责人在评估 AI 推理基础设施时,关注的焦点集中在几个关键维度上。首先是**成本控制**:GPU 硬件极其昂贵,而由于业务流量天然的不确定性,企业往往被迫进行严重的过度配置(Over-provisioning);其次是**响应能力与弹性**:用户期待毫秒级的实时反馈,但 AI 流量具有极强的突发性(Bursty),基础设施必须能够实现无缝弹性伸缩;再次是**极简性与数据掌控力**:基础设施复杂度不能拖慢产品团队迭代,同时涉及敏感数据的场景必须支持私有化或本地(On-prem)部署;最后是全链路的**可观测性**与 **99.99% 的企业级可靠性**。

基于这些严苛诉求,理想的企业级 AI 推理平台应具备在几分钟内一键部署任意开源、微调或自定义模型的能力,根据实时流量自动伸缩,在底层透明地进行全栈性能优化,原生支持云端与本地环境,并与主流模型生态(如 Hugging Face、Weights & Biases)无缝集成。

| 核心诉求维度 | 传统部署痛点 | 理想推理平台标准 | |:--- |:--- |:--- | | **成本与资源利用** | 流量预测困难导致过度配置 GPU,闲置浪费严重 | 依靠底层算子与调度优化实现高吞吐,按需缩容降低 GPU 开销 | | **延迟与响应速度** | 长上下文和多步推理导致延迟飙升,用户体验差 | 极致的内核级优化,实现超高速 Token 生成与流式响应 | | **弹性与运维复杂度** | 扩缩容反应滞后,基建维护占用大量工程师精力 | 秒级弹性伸缩,全托管运维,屏蔽底层硬件异构性 | | **数据安全与合规** | 公共 API 无法满足金融、医疗等敏感场景要求 | 原生支持 VPC 私有化部署与 On-prem 容器化交付 | | **生态打通** | 模型拉取、转换与上线流程繁琐,耗时数周 | 深度集成 Hugging Face 与 W&B,数分钟内一键完成上线 |

---

[05:17](https://www.youtube.com/watch?v=zl6FizzYC4M&t=317s) FriendliAI 核心架构与连续批处理(Continuous Batching)

为了彻底解决上述瓶颈,FriendliAI 构建了专为高性能大模型推理设计的底层技术栈——**Friendli Engine(Friendli Inference)**。该引擎从硬件底层重新设计,集成了业界最先进的优化技术与自主创新,全面支持大语言模型及多模态模型,涵盖批处理调度、量化、张量/流水线并行、KV 缓存优化以及推测解码(Speculative Decoding)等多个维度,旨在使 AI 推理变得“不可见、高可扩展且极具成本效益”。

在诸多突破性技术中,最核心的基石便是 FriendliAI 团队率先发明并在 OSDI 2022 顶会论文(Orca 系统)中提出的**连续批处理(Continuous Batching)**技术。由于真实世界的推理请求到达时间极不规律,且各请求的输入输出长度差异巨大,传统的静态批处理(Static Batching)会导致计算单元等待最长序列完成,产生严重的 GPU 算力闲置。连续批处理技术通过在极细粒度的迭代(Iteration)级别动态插入新到达的请求并剔除已完成的请求,始终保持批处理单元处于高饱和填充状态。FriendliAI 在生产环境中应用了进一步深度优化的连续批处理机制,使 GPU 利用率和吞吐量达到了前所未有的高度。

- **连续批处理先驱**:源自 OSDI 2022 突破性论文 Orca,已成为全行业大模型推理服务的标准范式。 - **细粒度动态调度**:突破传统 Batch 必须统进统出的限制,在 Iteration 粒度动态增删序列,极大压榨 GPU 算力。 - **全栈性能加速**:融合先进量化、高并发缓存、高效并行策略与推测解码技术。

---

[07:23](https://www.youtube.com/watch?v=zl6FizzYC4M&t=443s) Friendli Endpoints 产品特性与性能突破

在底层 Friendli Engine 之上,FriendliAI 推出了面向企业的全托管推理平台 **Friendli Endpoints**。该平台整合了现代生产系统所需的全套运维能力:用于最大化利用率的智能路由、应对流量剧烈波动的自动伸缩、细粒度实时监控(实时统计处理 Token 量、首字延迟、P99 延迟等)、在线模型版本管理与热更新、高达 99.99% 的高可用保障,以及独创的“即时量化(On-the-fly Quantization)”与推测解码功能。用户无需在部署前手动运行复杂的量化工具链,只需在界面上一键开启量化开关,系统即可在不损失模型精度的前提下自动应用最优量化策略,显著提升执行速度。

在性能与生态集成方面,Friendli Endpoints 展现出强大的竞争力。平台与 Hugging Face Hub 和 Weights & Biases 深度整合,支持从 Hugging Face 的 42 万余个主流模型库中进行一键拉取与发布。在硬件性能基准上,Friendli Endpoints 在单张 NVIDIA Hopper GPU 上运行 LLaMA 3.1 8B 能够实现超过 500 tokens/s 的超高速生成,整体吞吐量达到同类方案的 2 倍以上,平台已在大规模生产环境中稳定支撑了数万亿(Trillions)Token 的计算吞吐。

- **即时模型量化**:支持零门槛一键无损量化,无需离线转换模型权重即可获得极限推理加速。 - **极限推理速度**:LLaMA 3.1 8B 在 Hopper 架构 GPU 上达到 >500 tokens/s 吞吐表现。 - **双倍成本效益**:吞吐量达到竞品方案的 2 倍以上,直接将模型推理运行成本压缩一半。 - **生态无缝对接**:支持直接从 Hugging Face 模型页面一键分发并建立专用端点。

```mermaid flowchart LR accTitle: FriendliAI 全栈产品与部署形态全景 subgraph Hubs["模型生态 Hubs"] HF["Hugging Face<br/>400k+ 模型"] WB["Weights & Biases<br/>模型仓库"] end

subgraph Friendli_Platform["FriendliAI 平台核心能力"] Engine["Friendli Inference Engine<br/>Continuous Batching | 即时量化 | Speculative Decoding"] AgentLayer["Friendli Agent 智能体层<br/>Workflow 编排 | 记忆管理 | API/工具集成"] end

subgraph Deploy_Modes["多元化部署形态"] Dedicated["Friendli Endpoints<br/>专用托管端点 (99.99% SLA)"] Serverless["Friendli Serverless API<br/>极速试用与轻量调用"] Container["Friendli Container<br/>私有化/本地化部署 (AWS EKS Add-on)"] end

Hubs --> Engine Engine --> AgentLayer AgentLayer --> Dedicated AgentLayer --> Serverless AgentLayer --> Container ```

---

[09:14](https://www.youtube.com/watch?v=zl6FizzYC4M&t=554s) 现场演示:从 Hugging Face Hub 到模型游乐场

在演讲现场演示中,演讲者展示了通过 Friendli Endpoints 部署 Flux Dev 文生图模型与 LLaMA 3.3 70B 大语言模型的全流程。整个过程极其直观:在控制台中直接选定目标模型(可直接从 Hugging Face 搜索拉取),配置所需的 GPU 硬件类型,点击创建端点后,系统在数秒内便实时完成了 GPU 资源调度、模型拉取挂载与推理引擎初始化。

部署完成后,控制台内置的 Playground 允许开发者立即进行交互测试,无论是图像生成还是复杂的文本生成推理均可秒级响应。此外,平台仪表盘全面集成了版本控制、实时运行日志以及长周期的延迟与吞吐监控指标,消除了传统自建基础设施需要维护 Prometheus、Grafana 等监控系统的繁琐负担。演讲者进一步演示了直接嵌入在 Hugging Face 模型主页上的 FriendliAI 部署入口——开发者只需在 Hugging Face 页面点击 FriendliAI 图标,即可一键直跳完成端点搭建。

- **极简部署流程**:无需编写部署配置脚本,选择模型与 GPU 规格后数秒内即可自动拉起服务。 - **内置 Playground**:支持实时在线测试各类大语言模型与图像生成扩散模型(如 Flux Dev)。 - **全方位运维看板**:原生集成实时监控仪表盘、调用日志追踪与多版本模型迭代管理。

---

[11:34](https://www.youtube.com/watch?v=zl6FizzYC4M&t=694s) 全场景产品矩阵:Serverless、Container 与 Friendli Agent

为了满足不同企业在架构设计与合规安全方面的差异化诉求,FriendliAI 提供了多层次的产品形态。对于希望以最低门槛快速调用的开发者,**Friendli Serverless API** 提供了免运维、按用量计费的即时调用能力,支持的模型矩阵正在持续扩充;而针对金融、医疗等对数据隐私与合规有严苛要求的场景,则推出了 **Friendli Container** 本地化与私有云部署方案。在 AWS 生态中,Friendli Container 已作为 AWS EKS 的官方 Add-on 提供,企业工程师只需运行一行安装命令,即可将其无缝嵌入现有的 Kubernetes 集群工作流中。

在基础设施之上,FriendliAI 进一步推出了 **Friendli Agent** 智能体编排层。该层直接构建于高性能推理引擎之上,负责智能体工作流编排、上下文记忆管理、外部 API 集成以及多模型间的无缝路由。通过将深厚的推理优化经验注入到智能体执行层,Friendli Agent 能够确保复杂的多步动作与多模型交互依然保持极低的端到端延迟,为企业交付简单、通用、高速、高性价比且极其可靠的智能体基础设施。

- **Friendli Serverless API**:免除算力管理负担,开箱即用,按实际 Token 消耗计量。 - **Friendli Container (On-prem)**:专为高合规私有化场景打造,提供 AWS EKS Add-on 一键式集成。 - **Friendli Agent**:位于模型层之上的智能体执行系统,解决多步骤推理中的记忆、工具链与模型协同延迟。

---

[13:03](https://www.youtube.com/watch?v=zl6FizzYC4M&t=783s) 商业落地实战案例与开发者计划

在真实商业应用中,FriendliAI 的技术方案已在多家前沿 AI 独角兽与跨国企业中落地验证: 1. **Twelve Labs**:位于旧金山湾区的知名视频多模态搜索初创公司,通过迁移至 FriendliAI 推理平台,将其整体基础设施计算成本大幅降低了 50% 以上; 2. **LG AI Research(LG 人工智能研究院)**:LG 研发了参数量为 32B 的自研基座大模型 LG EXAONE,在性能表现上能够匹敌 Anthropic 的 Claude 3 Opus 等超大模型。LG 团队借助 FriendliAI 平台,在不到 24 小时内便完成了该定制模型的全量上线与生产部署; 3. **大型企业级客户**:多家严苛合规要求的大型企业全面采纳了 Friendli Container,在完全满足内部数据安全隔离标准的同时,显著削减了所需的 GPU 服务器规模。

在演讲最后,Byung-Gon Chun 总结道,AI 产品的核心价值绝不能困在早期的 Demo 阶段,企业工程团队应当聚焦于打磨卓越的 AI 产品体验,而非将宝贵的工程资源消耗在底层基础设施的搭建与维护上。FriendliAI 正式宣布推出“10K GenAI 推理额度计划(FriendliAI 10K GenAI Inference Credit Program)”,为准备迈向生产化扩张的团队提供最高 1 万美元的免费推理算力支持,助力企业跨越从原型验证到规模化生产的鸿沟。

- **Twelve Labs 案例**:视频搜索领军企业成功削减超 50% 的 GPU 基础设施账单。 - **LG EXAONE 案例**:32B 高性能定制模型在 24 小时内完成高效生产级部署。 - **10K 开发者计划**:提供最高 10,000 美元免费推理 Credit,加速企业从 PoC 到生产落地。

## Notable quotes > [00:04](https://www.youtube.com/watch?v=zl6FizzYC4M&t=4s) 推理(Inference)是终端用户与 AI 产品产生交互的核心触点,也是模型在大规模实际应用中释放价值的关键环节。 — Byung-Gon Chun

> [00:04](https://www.youtube.com/watch?v=zl6FizzYC4M&t=4s) AI 正从传统的‘被动问答者’转变为能够自主解决复杂业务问题的‘主动行动者’。 — Byung-Gon Chun

> [01:22](https://www.youtube.com/watch?v=zl6FizzYC4M&t=82s) 在真实的商业部署中,推理成本极其庞大,通常占据 AI 模型全生命周期总成本(Lifetime Cost)的 80% 至 90%。 — Byung-Gon Chun

> [01:22](https://www.youtube.com/watch?v=zl6FizzYC4M&t=82s) 企业工程团队常常被迫陷入重新发明底层基础设施轮子的泥潭,反而无法专注于核心产品功能的研发。 — Byung-Gon Chun

> [03:29](https://www.youtube.com/watch?v=zl6FizzYC4M&t=209s) 用户期待毫秒级的实时反馈,但 AI 流量具有极强的突发性(Bursty),基础设施必须能够实现无缝弹性伸缩 — Byung-Gon Chun

> [05:17](https://www.youtube.com/watch?v=zl6FizzYC4M&t=317s) 旨在使 AI 推理变得‘不可见、高可扩展且极具成本效益’。 — Byung-Gon Chun

> [05:17](https://www.youtube.com/watch?v=zl6FizzYC4M&t=317s) 连续批处理技术通过在极细粒度的迭代(Iteration)级别动态插入新到达的请求并剔除已完成的请求,始终保持批处理单元处于高饱和填充状态。 — Byung-Gon Chun

> [07:23](https://www.youtube.com/watch?v=zl6FizzYC4M&t=443s) 用户无需在部署前手动运行复杂的量化工具链,只需在界面上一键开启量化开关,系统即可在不损失模型精度的前提下自动应用最优量化策略,显著提升执行速度。 — Byung-Gon Chun

> [07:23](https://www.youtube.com/watch?v=zl6FizzYC4M&t=443s) 在单张 NVIDIA Hopper GPU 上运行 LLaMA 3.1 8B 能够实现超过 500 tokens/s 的超高速生成,整体吞吐量达到同类方案的 2 倍以上 — Byung-Gon Chun

> [11:34](https://www.youtube.com/watch?v=zl6FizzYC4M&t=694s) 通过将深厚的推理优化经验注入到智能体执行层,Friendli Agent 能够确保复杂的多步动作与多模型交互依然保持极低的端到端延迟 — Byung-Gon Chun

> [13:03](https://www.youtube.com/watch?v=zl6FizzYC4M&t=783s) AI 产品的核心价值绝不能困在早期的 Demo 阶段,企业工程团队应当聚焦于打磨卓越的 AI 产品体验,而非将宝贵的工程资源消耗在底层基础设施的搭建与维护上。 — Byung-Gon Chun

## Mentioned Byung-Gon Chun, FriendliAI, Friendli Suite, Friendli Engine, Friendli Endpoints, Friendli Serverless API, Friendli Container, Friendli Agent, Continuous Batching (连续批处理), Orca, OSDI 2022, NVIDIA Hopper, LLaMA, LLaMA 3.1 8B, LLaMA 3.3 70B, DeepSeek, Qwen, Flux Dev, Hugging Face, Weights & Biases, Twelve Labs, LG AI Research, LG EXAONE, Claude 3 Opus, AWS EKS

## Video description Byung-Gon Chun, CEO, FriendliAI

Abstracts

As generative AI evolves into more complex, agentic systems, inference has become the key bottleneck. These systems require dynamic interactions, tool use, memory handling, and coordination across multiple models—placing new demands on infrastructure.

Friendli Suite eliminates this complexity and empowers teams to define, deploy, and operate AI agents tailored to their business needs. With scalable, high-performance endpoints, organizations can move faster from idea to production without building custom backend infrastructure. This enables shorter development cycles, reduced engineering overhead, and a robust foundation for delivering and scaling intelligent agents in production environments.

[Source](https://www.youtube.com/watch?v=zl6FizzYC4M)

中文简报

FriendliAI通过连续批处理将智能体模型成本减半 随着推理占据高达90%的AI全生命周期预算,多步智能体工作负载需要Token级别的连续批处理与动态基础设施,以避免延迟瓶颈和GPU成本超支。 随着生成式AI向以多轮推理、外部工具调用和模型路由为特征的自主智能体系统演进,推理已成为主要瓶颈,消耗了80%至90%的生命周期算力预算。为应对不断攀升的GPU支出与延迟问题,FriendliAI推出了一套由连续批处理、推测解码和即时动态量化驱动的优化推理栈。该解决方案支持灵活的部署方式,包括与Hugging Face集成的一键式Friendli Endpoints、Serverless API、私有VPC/本地部署的Friendli Containers,以及Friendli Agent编排层。包括Twelve Labs将计算成本降低超50%、LG电子在24小时内完成32B EXAONE模型部署在内的实际企业验证,充分展示了其在吞吐量和成本效益方面的显著提升。 生成式 AI 正加速从被动对话助手向具备多步推理、记忆与工具调用能力的自主 Agent 演进;在企业实际落地中,在线模型推理已占其全生命周期算力支出的 80% 到 90%。 (0:04) Agentic 工作流的多轮交互与工具调用大幅放大了网络延迟与成本开销,许多企业试点往往因自建复杂后端基础设施而陷入停滞,无法顺利推向生产。 (2:40) FriendliAI 依托团队在 OSDI 2022 开创的连续批处理(Continuous Batching)技术,结合投机解码与即时量化,在 token 粒度动态调度请求,大幅消除了 GPU 空转浪费。 (5:17) Friendli Endpoints 原生集成 Hugging Face Hub,支持一键部署超 42.3 万个模型,在 NVIDIA Hopper GPU 上让 Llama 3.1 8B 达到 500 tokens/s 以上吞吐,已帮助 Twelve Labs 等企业削减超 50% 基础设施成本。 (7:23)

精炼阅读摘要

FriendliAI指出,随着生成式人工智能从单轮交互工具转向具备多步推理与工具调用能力的Agentic AI,模型推理已占据系统全生命周期计算支出的80%至90%;为解决突发流量与延迟累积导致的算力瓶颈,该机构推出了以动态连续批处理为核心的优化推理引擎与多形态部署架构。 Agentic AI落地痛点与算力成本 (0:04) 随着Llama、DeepSeek和Qwen等开源基础模型的普及,企业能够以更低成本针对特定领域微调模型,推动生成式AI从简单的对话辅助工具迈向自主解决问题的智能体系统。然而,Agentic AI涉及复杂的长周期推理、会话状态记忆保留、外部工具调用与多模型路由。这种高频往返的多步工作流大幅推高了推理计算开销,演讲者指出,实际部署中模型推理已占到AI全生命周期总支出的80%至90%,对低延迟和高吞吐提出了严苛要求。 许多企业在完成原型验证后难以顺利推进至生产环境。典型的运营困境包括:为应对不可预测的突发流量而过度配置硬件,导致昂贵的GPU算力大比例闲置;多步骤串联放大了推理延迟,首字生成时间(TTFT)与Token生成速度不足直接导致终端用户流失;此外,数据安全边界与复杂的底层技术栈也拖累了产品工程团队。企业管理者亟需一套兼顾细粒度算力整合、动态自动伸缩、全链路可观测性与99.99%高可用性的推理基础设施。 连续批处理机制与核心引擎创新 (5:17) 针对企业在吞吐与延迟上的瓶颈,FriendliAI基于其团队在OSDI 2022发表的Orca系统论文,将“连续批处理”(Continuous Batching)作为底层引擎的核心支柱。在真实业务场景中,推理请求到达时间不规律且生成序列长短各异,传统的静态批处理极易因短序列等待长序列而出现GPU计算单元闲置;连续批处理技术则在Token级别进行细粒度迭代调度,允许新请求动态插入当前批次,并在特定序列完成时即刻移出,使GPU计算利用率维持在接近饱和的状态。 在此基础上,Friendli Inference引擎还整合了并行模型执行、KV缓存(KV-cache)精细管理、调度算法优化、投机解码以及运行时即时量化(On-the-Fly Quantization)技术,用户无需配置外部压缩工具即可一键选择量化方案且不损耗精度。演讲者表示,该引擎在不同场景下能实现相比其他主流框架高出2倍以上的吞吐量,从而直接降低一半的基础设施运营支出,其高可靠性已在数万亿处理Token规模的生产实践中得到验证。 灵活部署矩阵与Agent编排整合 (7:23) 为了适配多样化的企业架构与合规要求,平台提供了多层级的服务交付形态。托管型的Friendli Endpoints支持与Hugging Face Hub和Weights & Biases原生打通,覆盖了Hugging Face收录的近200万个模型中超过42.3万个开源模型的一键部署;在NVIDIA Hopper架构GPU上运行Llama 3.1 8B模型时,其生成速率可突破每秒500个Token,并支持在线加载Flux.1-dev等图像生成模型与Llama 3.3 70B等大参数模型。 在部署形态方面,团队提供了无需预先配置专有GPU、按量计费的Friendli Serverless API;面向要求数据留存在私有边界内的受监管场景,则提供支持本地集群及私有VPC的Friendli Container,在AWS上可作为Amazon EKS原生插件一键配置。此外,针对智能体链路编排,平台在推理引擎上方构建了Friendli Agent抽象层,直接管理上下文记忆、工具调用接口和多模型路由,以此规避在模型层与外部编排框架间反复切换带来的系统开销。 行业验证成果与算力迁移支持 (13:03) FriendliAI展示了其推理栈在真实商业生产环境中的效能数据。多模态视频搜索初创企业Twelve Labs通过采用该推理引擎,将其生产环境的总体基础设施硬件成本削减了50%以上;LG电子则利用其技术栈,在24小时内完成了320亿参数的专有基础模型LG EXAONE 3.0/3.1的生产级上线部署,验证了引擎承接超大规模私有架构的能力。 此外,针对合规监管要求严苛的行业客户,通过在私有云内运行自托管Friendli Container,在满足内部数据治理标准的同时减少了物理GPU采购基数。为了降低工程团队从自建底层基础设施向成熟推理层迁移的门槛,FriendliAI还推出了10,000美元的生成式AI推理抵免额度计划,协助企业跳过底层管线研发,直接将Agent系统推向规模化商用。 该报告系统论证了智能体化工作流对推理算力利用率的极高要求,并展示了通过连续批处理与即时量化实现降本增效的技术路径;但内容主要基于FriendliAI自身架构与基准测试,未深入讨论超大模型长文本推理下KV缓存暴涨所面临的物理显存极限,亦未提供与其他同类商业优化引擎在极端突发流量下的横向对比数据。

Detailed notes — zh

## Background 本内容由频道 Ai4 于 2025 年 8 月 24 日发布在 YouTube 平台,主讲人为 FriendliAI 的首席执行官 Byung-Gon Chun。视频简介指出,随着生成式 AI 向更复杂的智能体系统演进,推理已成为核心瓶颈;Friendli Suite 旨在消除底层基础设施的复杂性,助力团队快速将 AI 智能体从原型推向规模化生产。 ## TL;DR 演讲深入剖析了 Agentic AI 在走向生产环境时面临的高昂推理成本、长会话多轮调用及延迟等核心挑战。FriendliAI 依托其团队率先开创的连续批处理(Continuous Batching)技术与 Friendli Engine,构建了涵盖 Friendli Endpoints、Serverless API、私有化 Container 以及 Friendli Agent 的全栈产品矩阵。通过即时量化和推测解码等前沿优化,平台实现了超竞品 2 倍的高吞吐量与极速响应,并在 Twelve Labs、LG AI Research 等头部企业中验证了削减 50% 成本及 24 小时极速交付的商业价值。 ## Atmosphere & style 整场演讲呈现出典型技术领袖会议的严谨、干练与极高信息密度。演讲者以冷静且切中要害的工程视角开篇直击行业痛点,随后通过架构解析与流畅的现场实操演示展现出对底层性能优化的绝对自信。整体氛围务实而具号召力,既有学术顶会级硬核技术的沉淀感,又充满了帮助企业跨越落地鸿沟的商业推力。 ## Key takeaways - [00:04](https://www.youtube.com/watch?v=zl6FizzYC4M&t=4s) AI 发展正经历开源基础模型(如 LLaMA、DeepSeek、Qwen)与智能体(Agentic AI)的双重爆发,AI 角色正从被动的问答辅助转向能自主执行复杂任务的行动者。 - [01:22](https://www.youtube.com/watch?v=zl6FizzYC4M&t=82s) AI 商业价值必须在生产环境中体现,而推理(Inference)占据模型全生命周期总成本的 80% 至 90%,是决定产品能否规模化落地的核心瓶颈。 - [01:22](https://www.youtube.com/watch?v=zl6FizzYC4M&t=82s) Agentic AI 涉及多轮对话、记忆管理、工具调用与多模型协同,导致算力开销和延迟激增,许多原型项目因高昂的 GPU 账单和性能问题停滞在原型阶段。 - [03:29](https://www.youtube.com/watch?v=zl6FizzYC4M&t=209s) 企业在选择推理基础设施时面临降本(避免 GPU 过度配置)、毫秒级低延迟响应、高弹性伸缩、合规安全与极简运维等关键诉求。 - [05:17](https://www.youtube.com/watch?v=zl6FizzYC4M&t=317s) FriendliAI 核心推理引擎源于 OSDI 2022 突破性论文 Orca,其发明的连续批处理(Continuous Batching)在细粒度迭代级别动态增删请求,彻底解决了传统静态批处理导致的 GPU 算力闲置。 - [07:23](https://www.youtube.com/watch?v=zl6FizzYC4M&t=443s) Friendli Endpoints 平台提供即时无损量化(On-the-fly Quantization)与推测解码,在 NVIDIA Hopper GPU 上运行 LLaMA 3.1 8B 吞吐可超 500 tokens/s,整体吞吐量达到同类方案的 2 倍以上。 - [09:14](https://www.youtube.com/watch?v=zl6FizzYC4M&t=554s) 平台与 Hugging Face 及 Weights & Biases 深度集成,支持在 Hugging Face 模型页面一键快速部署至专用端点,并内置实时测试 Playground 和全链路运维监控看板。 - [11:34](https://www.youtube.com/watch?v=zl6FizzYC4M&t=694s) 提供多元产品形态:面向快速调用的免运维 Serverless API、面向合规私有化并作为 AWS EKS 官方 Add-on 的 Friendli Container,以及针对多步交互优化的 Friendli Agent 智能体层。 - [13:03](https://www.youtube.com/watch?v=zl6FizzYC4M&t=783s) 商业落地成效显著:视频多模态搜索初创公司 Twelve Labs 削减了超 50% 的推理成本,LG AI Research 则在 24 小时内完成了 32B EXAONE 模型的生产级部署上线。 - [13:03](https://www.youtube.com/watch?v=zl6FizzYC4M&t=783s) FriendliAI 推出最高 10,000 美元的 GenAI 推理额度计划,帮助企业团队免去重复造基础设施轮子的负担,加速从 Demo 原型迈向规模化生产。 ## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=zl6FizzYC4M&t=4s) 开源浪潮与 Agentic AI 的崛起 随着人工智能技术的演进,AI 正在从早期的代码辅助(Co-pilots)、简单自动化和基础客服聊天机器人,深刻重塑企业的整体运营方式。当前技术范式正经历着以智能体 AI(Agentic AI)和开源模型为核心的双重加速。开源生态中,包括 LLaMA、DeepSeek、Qwen 在内的基础模型及各类微调模型呈现爆发式增长;而 Agentic AI 的兴起,则标志着 AI 正从传统的“被动问答者”转变为能够自主解决复杂业务问题的“主动行动者”。这种转变不仅使企业能够以更低成本构建针对特定场景的功能,还催生了更加复杂的复合工作流乃至多智能体协作系统(Multi-agent systems)。 然而,构建 AI 智能体原型(Prototype)仅仅是迈出转型的第一步。原型验证并不直接产生商业价值,AI 真正驱动业务增长、产生可衡量回报的场景必须发生在生产环境(Production)中。推理(Inference)是终端用户与 AI 产品产生交互的核心触点,也是模型在大规模实际应用中释放价值的关键环节。 - **开源模型爆发**:LLaMA、DeepSeek、Qwen 等开源基础与微调模型的大规模采用,大幅降低了企业获得顶尖 AI 能力的门槛。 - **智能体范式转变**:AI 演变为具备自主解决问题能力的 Agent,支持复杂工作流与多智能体系统协同。 ```mermaid flowchart TD accTitle: Agentic AI 生产化面临的核心挑战 subgraph Agentic_Loop["Agentic AI 核心运行时循环"] Reasoning["规划与自主推理<br/>Reasoning & Planning"] --> Memory["上下文与记忆检索<br/>Memory & Context"] Memory --> ToolCall["外部工具调用与 API 协同<br/>Tool Calling & Action"] ToolCall --> MultiModel["多模型协同推理<br/>Multi-turn Model Calls"] MultiModel --> Reasoning end subgraph Infra_Bottlenecks["底层推理基础设施瓶颈"] Bottleneck1["极端延迟敏感<br/>Low Latency Requirement"] Bottleneck2["长会话与多轮调用成本<br/>Long Sessions & GPU Cost"] Bottleneck3["突发性流量与动态批处理<br/>Bursty Traffic & Inefficient Batching"] end Agentic_Loop -.-> Infra_Bottlenecks ``` --- ### [01:22](https://www.youtube.com/watch?v=zl6FizzYC4M&t=82s) 生产落地瓶颈:Agentic AI 推理的真实代价 在真实的商业部署中,推理成本极其庞大,通常占据 AI 模型全生命周期总成本(Lifetime Cost)的 80% 至 90%。Agentic AI 本质上是一个能够自主追求目标的高级系统,它深度结合了模型推理、逻辑规划、长期记忆管理、外部工具调用以及多步骤动作执行能力。这一复杂架构对底层基础设施提出了极其严苛的要求:极低延迟(Low Latency)、超高吞吐量(High Throughput)以及高度的成本效益。 许多充满前景的 AI 试点项目在迈向面向真实用户的大规模生产阶段时往往陷入停滞。Agentic 系统的多轮交互和长会话使得单次任务调用的模型次数成倍增加,带来了严重的系统性难题:新产品上线周期被无休止地推迟;由于 GPU 资源消耗过快,云账单出现灾难性失控;基础设施的编排与管理复杂度急剧攀升;此外,响应延迟过高直接导致终端用户流失。企业工程团队常常被迫陷入重新发明底层基础设施轮子的泥潭,反而无法专注于核心产品功能的研发。 - **成本分布特征**:推理阶段占据 AI 模型全生命周期成本的 80%–90%,成为决定商业可持续性的核心瓶颈。 - **Agentic 推理难点**:多轮会话拉长、高频模型互调、工具链集成与编排使计算开销呈指数级扩散。 - **常见落地阻碍**:产品交付延误、GPU 账单超支、响应缓慢导致用户流失、团队陷入基建内耗。 --- ### [03:29](https://www.youtube.com/watch?v=zl6FizzYC4M&t=209s) 业务决策者的核心诉求与理想推理平台 面对生产化转型的困境,企业业务负责人在评估 AI 推理基础设施时,关注的焦点集中在几个关键维度上。首先是**成本控制**:GPU 硬件极其昂贵,而由于业务流量天然的不确定性,企业往往被迫进行严重的过度配置(Over-provisioning);其次是**响应能力与弹性**:用户期待毫秒级的实时反馈,但 AI 流量具有极强的突发性(Bursty),基础设施必须能够实现无缝弹性伸缩;再次是**极简性与数据掌控力**:基础设施复杂度不能拖慢产品团队迭代,同时涉及敏感数据的场景必须支持私有化或本地(On-prem)部署;最后是全链路的**可观测性**与 **99.99% 的企业级可靠性**。 基于这些严苛诉求,理想的企业级 AI 推理平台应具备在几分钟内一键部署任意开源、微调或自定义模型的能力,根据实时流量自动伸缩,在底层透明地进行全栈性能优化,原生支持云端与本地环境,并与主流模型生态(如 Hugging Face、Weights & Biases)无缝集成。 | 核心诉求维度 | 传统部署痛点 | 理想推理平台标准 | |:--- |:--- |:--- | | **成本与资源利用** | 流量预测困难导致过度配置 GPU,闲置浪费严重 | 依靠底层算子与调度优化实现高吞吐,按需缩容降低 GPU 开销 | | **延迟与响应速度** | 长上下文和多步推理导致延迟飙升,用户体验差 | 极致的内核级优化,实现超高速 Token 生成与流式响应 | | **弹性与运维复杂度** | 扩缩容反应滞后,基建维护占用大量工程师精力 | 秒级弹性伸缩,全托管运维,屏蔽底层硬件异构性 | | **数据安全与合规** | 公共 API 无法满足金融、医疗等敏感场景要求 | 原生支持 VPC 私有化部署与 On-prem 容器化交付 | | **生态打通** | 模型拉取、转换与上线流程繁琐,耗时数周 | 深度集成 Hugging Face 与 W&B,数分钟内一键完成上线 | --- ### [05:17](https://www.youtube.com/watch?v=zl6FizzYC4M&t=317s) FriendliAI 核心架构与连续批处理(Continuous Batching) 为了彻底解决上述瓶颈,FriendliAI 构建了专为高性能大模型推理设计的底层技术栈——**Friendli Engine(Friendli Inference)**。该引擎从硬件底层重新设计,集成了业界最先进的优化技术与自主创新,全面支持大语言模型及多模态模型,涵盖批处理调度、量化、张量/流水线并行、KV 缓存优化以及推测解码(Speculative Decoding)等多个维度,旨在使 AI 推理变得“不可见、高可扩展且极具成本效益”。 在诸多突破性技术中,最核心的基石便是 FriendliAI 团队率先发明并在 OSDI 2022 顶会论文(Orca 系统)中提出的**连续批处理(Continuous Batching)**技术。由于真实世界的推理请求到达时间极不规律,且各请求的输入输出长度差异巨大,传统的静态批处理(Static Batching)会导致计算单元等待最长序列完成,产生严重的 GPU 算力闲置。连续批处理技术通过在极细粒度的迭代(Iteration)级别动态插入新到达的请求并剔除已完成的请求,始终保持批处理单元处于高饱和填充状态。FriendliAI 在生产环境中应用了进一步深度优化的连续批处理机制,使 GPU 利用率和吞吐量达到了前所未有的高度。 - **连续批处理先驱**:源自 OSDI 2022 突破性论文 Orca,已成为全行业大模型推理服务的标准范式。 - **细粒度动态调度**:突破传统 Batch 必须统进统出的限制,在 Iteration 粒度动态增删序列,极大压榨 GPU 算力。 - **全栈性能加速**:融合先进量化、高并发缓存、高效并行策略与推测解码技术。 --- ### [07:23](https://www.youtube.com/watch?v=zl6FizzYC4M&t=443s) Friendli Endpoints 产品特性与性能突破 在底层 Friendli Engine 之上,FriendliAI 推出了面向企业的全托管推理平台 **Friendli Endpoints**。该平台整合了现代生产系统所需的全套运维能力:用于最大化利用率的智能路由、应对流量剧烈波动的自动伸缩、细粒度实时监控(实时统计处理 Token 量、首字延迟、P99 延迟等)、在线模型版本管理与热更新、高达 99.99% 的高可用保障,以及独创的“即时量化(On-the-fly Quantization)”与推测解码功能。用户无需在部署前手动运行复杂的量化工具链,只需在界面上一键开启量化开关,系统即可在不损失模型精度的前提下自动应用最优量化策略,显著提升执行速度。 在性能与生态集成方面,Friendli Endpoints 展现出强大的竞争力。平台与 Hugging Face Hub 和 Weights & Biases 深度整合,支持从 Hugging Face 的 42 万余个主流模型库中进行一键拉取与发布。在硬件性能基准上,Friendli Endpoints 在单张 NVIDIA Hopper GPU 上运行 LLaMA 3.1 8B 能够实现超过 500 tokens/s 的超高速生成,整体吞吐量达到同类方案的 2 倍以上,平台已在大规模生产环境中稳定支撑了数万亿(Trillions)Token 的计算吞吐。 - **即时模型量化**:支持零门槛一键无损量化,无需离线转换模型权重即可获得极限推理加速。 - **极限推理速度**:LLaMA 3.1 8B 在 Hopper 架构 GPU 上达到 >500 tokens/s 吞吐表现。 - **双倍成本效益**:吞吐量达到竞品方案的 2 倍以上,直接将模型推理运行成本压缩一半。 - **生态无缝对接**:支持直接从 Hugging Face 模型页面一键分发并建立专用端点。 ```mermaid flowchart LR accTitle: FriendliAI 全栈产品与部署形态全景 subgraph Hubs["模型生态 Hubs"] HF["Hugging Face<br/>400k+ 模型"] WB["Weights & Biases<br/>模型仓库"] end subgraph Friendli_Platform["FriendliAI 平台核心能力"] Engine["Friendli Inference Engine<br/>Continuous Batching | 即时量化 | Speculative Decoding"] AgentLayer["Friendli Agent 智能体层<br/>Workflow 编排 | 记忆管理 | API/工具集成"] end subgraph Deploy_Modes["多元化部署形态"] Dedicated["Friendli Endpoints<br/>专用托管端点 (99.99% SLA)"] Serverless["Friendli Serverless API<br/>极速试用与轻量调用"] Container["Friendli Container<br/>私有化/本地化部署 (AWS EKS Add-on)"] end Hubs --> Engine Engine --> AgentLayer AgentLayer --> Dedicated AgentLayer --> Serverless AgentLayer --> Container ``` --- ### [09:14](https://www.youtube.com/watch?v=zl6FizzYC4M&t=554s) 现场演示:从 Hugging Face Hub 到模型游乐场 在演讲现场演示中,演讲者展示了通过 Friendli Endpoints 部署 Flux Dev 文生图模型与 LLaMA 3.3 70B 大语言模型的全流程。整个过程极其直观:在控制台中直接选定目标模型(可直接从 Hugging Face 搜索拉取),配置所需的 GPU 硬件类型,点击创建端点后,系统在数秒内便实时完成了 GPU 资源调度、模型拉取挂载与推理引擎初始化。 部署完成后,控制台内置的 Playground 允许开发者立即进行交互测试,无论是图像生成还是复杂的文本生成推理均可秒级响应。此外,平台仪表盘全面集成了版本控制、实时运行日志以及长周期的延迟与吞吐监控指标,消除了传统自建基础设施需要维护 Prometheus、Grafana 等监控系统的繁琐负担。演讲者进一步演示了直接嵌入在 Hugging Face 模型主页上的 FriendliAI 部署入口——开发者只需在 Hugging Face 页面点击 FriendliAI 图标,即可一键直跳完成端点搭建。 - **极简部署流程**:无需编写部署配置脚本,选择模型与 GPU 规格后数秒内即可自动拉起服务。 - **内置 Playground**:支持实时在线测试各类大语言模型与图像生成扩散模型(如 Flux Dev)。 - **全方位运维看板**:原生集成实时监控仪表盘、调用日志追踪与多版本模型迭代管理。 --- ### [11:34](https://www.youtube.com/watch?v=zl6FizzYC4M&t=694s) 全场景产品矩阵:Serverless、Container 与 Friendli Agent 为了满足不同企业在架构设计与合规安全方面的差异化诉求,FriendliAI 提供了多层次的产品形态。对于希望以最低门槛快速调用的开发者,**Friendli Serverless API** 提供了免运维、按用量计费的即时调用能力,支持的模型矩阵正在持续扩充;而针对金融、医疗等对数据隐私与合规有严苛要求的场景,则推出了 **Friendli Container** 本地化与私有云部署方案。在 AWS 生态中,Friendli Container 已作为 AWS EKS 的官方 Add-on 提供,企业工程师只需运行一行安装命令,即可将其无缝嵌入现有的 Kubernetes 集群工作流中。 在基础设施之上,FriendliAI 进一步推出了 **Friendli Agent** 智能体编排层。该层直接构建于高性能推理引擎之上,负责智能体工作流编排、上下文记忆管理、外部 API 集成以及多模型间的无缝路由。通过将深厚的推理优化经验注入到智能体执行层,Friendli Agent 能够确保复杂的多步动作与多模型交互依然保持极低的端到端延迟,为企业交付简单、通用、高速、高性价比且极其可靠的智能体基础设施。 - **Friendli Serverless API**:免除算力管理负担,开箱即用,按实际 Token 消耗计量。 - **Friendli Container (On-prem)**:专为高合规私有化场景打造,提供 AWS EKS Add-on 一键式集成。 - **Friendli Agent**:位于模型层之上的智能体执行系统,解决多步骤推理中的记忆、工具链与模型协同延迟。 --- ### [13:03](https://www.youtube.com/watch?v=zl6FizzYC4M&t=783s) 商业落地实战案例与开发者计划 在真实商业应用中,FriendliAI 的技术方案已在多家前沿 AI 独角兽与跨国企业中落地验证: 1. **Twelve Labs**:位于旧金山湾区的知名视频多模态搜索初创公司,通过迁移至 FriendliAI 推理平台,将其整体基础设施计算成本大幅降低了 50% 以上; 2. **LG AI Research(LG 人工智能研究院)**:LG 研发了参数量为 32B 的自研基座大模型 LG EXAONE,在性能表现上能够匹敌 Anthropic 的 Claude 3 Opus 等超大模型。LG 团队借助 FriendliAI 平台,在不到 24 小时内便完成了该定制模型的全量上线与生产部署; 3. **大型企业级客户**:多家严苛合规要求的大型企业全面采纳了 Friendli Container,在完全满足内部数据安全隔离标准的同时,显著削减了所需的 GPU 服务器规模。 在演讲最后,Byung-Gon Chun 总结道,AI 产品的核心价值绝不能困在早期的 Demo 阶段,企业工程团队应当聚焦于打磨卓越的 AI 产品体验,而非将宝贵的工程资源消耗在底层基础设施的搭建与维护上。FriendliAI 正式宣布推出“10K GenAI 推理额度计划(FriendliAI 10K GenAI Inference Credit Program)”,为准备迈向生产化扩张的团队提供最高 1 万美元的免费推理算力支持,助力企业跨越从原型验证到规模化生产的鸿沟。 - **Twelve Labs 案例**:视频搜索领军企业成功削减超 50% 的 GPU 基础设施账单。 - **LG EXAONE 案例**:32B 高性能定制模型在 24 小时内完成高效生产级部署。 - **10K 开发者计划**:提供最高 10,000 美元免费推理 Credit,加速企业从 PoC 到生产落地。 ## Notable quotes > [00:04](https://www.youtube.com/watch?v=zl6FizzYC4M&t=4s) 推理(Inference)是终端用户与 AI 产品产生交互的核心触点,也是模型在大规模实际应用中释放价值的关键环节。 — Byung-Gon Chun > [00:04](https://www.youtube.com/watch?v=zl6FizzYC4M&t=4s) AI 正从传统的‘被动问答者’转变为能够自主解决复杂业务问题的‘主动行动者’。 — Byung-Gon Chun > [01:22](https://www.youtube.com/watch?v=zl6FizzYC4M&t=82s) 在真实的商业部署中,推理成本极其庞大,通常占据 AI 模型全生命周期总成本(Lifetime Cost)的 80% 至 90%。 — Byung-Gon Chun > [01:22](https://www.youtube.com/watch?v=zl6FizzYC4M&t=82s) 企业工程团队常常被迫陷入重新发明底层基础设施轮子的泥潭,反而无法专注于核心产品功能的研发。 — Byung-Gon Chun > [03:29](https://www.youtube.com/watch?v=zl6FizzYC4M&t=209s) 用户期待毫秒级的实时反馈,但 AI 流量具有极强的突发性(Bursty),基础设施必须能够实现无缝弹性伸缩 — Byung-Gon Chun > [05:17](https://www.youtube.com/watch?v=zl6FizzYC4M&t=317s) 旨在使 AI 推理变得‘不可见、高可扩展且极具成本效益’。 — Byung-Gon Chun > [05:17](https://www.youtube.com/watch?v=zl6FizzYC4M&t=317s) 连续批处理技术通过在极细粒度的迭代(Iteration)级别动态插入新到达的请求并剔除已完成的请求,始终保持批处理单元处于高饱和填充状态。 — Byung-Gon Chun > [07:23](https://www.youtube.com/watch?v=zl6FizzYC4M&t=443s) 用户无需在部署前手动运行复杂的量化工具链,只需在界面上一键开启量化开关,系统即可在不损失模型精度的前提下自动应用最优量化策略,显著提升执行速度。 — Byung-Gon Chun > [07:23](https://www.youtube.com/watch?v=zl6FizzYC4M&t=443s) 在单张 NVIDIA Hopper GPU 上运行 LLaMA 3.1 8B 能够实现超过 500 tokens/s 的超高速生成,整体吞吐量达到同类方案的 2 倍以上 — Byung-Gon Chun > [11:34](https://www.youtube.com/watch?v=zl6FizzYC4M&t=694s) 通过将深厚的推理优化经验注入到智能体执行层,Friendli Agent 能够确保复杂的多步动作与多模型交互依然保持极低的端到端延迟 — Byung-Gon Chun > [13:03](https://www.youtube.com/watch?v=zl6FizzYC4M&t=783s) AI 产品的核心价值绝不能困在早期的 Demo 阶段,企业工程团队应当聚焦于打磨卓越的 AI 产品体验,而非将宝贵的工程资源消耗在底层基础设施的搭建与维护上。 — Byung-Gon Chun ## Mentioned Byung-Gon Chun, FriendliAI, Friendli Suite, Friendli Engine, Friendli Endpoints, Friendli Serverless API, Friendli Container, Friendli Agent, Continuous Batching (连续批处理), Orca, OSDI 2022, NVIDIA Hopper, LLaMA, LLaMA 3.1 8B, LLaMA 3.3 70B, DeepSeek, Qwen, Flux Dev, Hugging Face, Weights & Biases, Twelve Labs, LG AI Research, LG EXAONE, Claude 3 Opus, AWS EKS ## Video description Byung-Gon Chun, CEO, FriendliAI Abstracts As generative AI evolves into more complex, agentic systems, inference has become the key bottleneck. These systems require dynamic interactions, tool use, memory handling, and coordination across multiple models—placing new demands on infrastructure. Friendli Suite eliminates this complexity and empowers teams to define, deploy, and operate AI agents tailored to their business needs. With scalable, high-performance endpoints, organizations can move faster from idea to production without building custom backend infrastructure. This enables shorter development cycles, reduced engineering overhead, and a robust foundation for delivering and scaling intelligent agents in production environments. [Source](https://www.youtube.com/watch?v=zl6FizzYC4M)

Source quotes

[0:04] Byung-Gon Chun: 推理(Inference)是终端用户与 AI 产品产生交互的核心触点,也是模型在大规模实际应用中释放价值的关键环节。 [0:04] Byung-Gon Chun: AI 正从传统的‘被动问答者’转变为能够自主解决复杂业务问题的‘主动行动者’。 [1:22] Byung-Gon Chun: 在真实的商业部署中,推理成本极其庞大,通常占据 AI 模型全生命周期总成本(Lifetime Cost)的 80% 至 90%。 [1:22] Byung-Gon Chun: 企业工程团队常常被迫陷入重新发明底层基础设施轮子的泥潭,反而无法专注于核心产品功能的研发。 [3:29] Byung-Gon Chun: 用户期待毫秒级的实时反馈,但 AI 流量具有极强的突发性(Bursty),基础设施必须能够实现无缝弹性伸缩 [5:17] Byung-Gon Chun: 旨在使 AI 推理变得‘不可见、高可扩展且极具成本效益’。 [5:17] Byung-Gon Chun: 连续批处理技术通过在极细粒度的迭代(Iteration)级别动态插入新到达的请求并剔除已完成的请求,始终保持批处理单元处于高饱和填充状态。 [7:23] Byung-Gon Chun: 用户无需在部署前手动运行复杂的量化工具链,只需在界面上一键开启量化开关,系统即可在不损失模型精度的前提下自动应用最优量化策略,显著提升执行速度。 [7:23] Byung-Gon Chun: 在单张 NVIDIA Hopper GPU 上运行 LLaMA 3.1 8B 能够实现超过 500 tokens/s 的超高速生成,整体吞吐量达到同类方案的 2 倍以上 [11:34] Byung-Gon Chun: 通过将深厚的推理优化经验注入到智能体执行层,Friendli Agent 能够确保复杂的多步动作与多模型交互依然保持极低的端到端延迟 [13:03] Byung-Gon Chun: AI 产品的核心价值绝不能困在早期的 Demo 阶段,企业工程团队应当聚焦于打磨卓越的 AI 产品体验,而非将宝贵的工程资源消耗在底层基础设施的搭建与维护上。