OpenAI
低单价模型往往因额外Token消耗与人工介入推高总开销,企业应通过帕累托曲线、Prompt Caching及程序化工具调用锁定最低实际任务成本。
AI-assisted summary of Stop Overpaying for Intelligence | DevDay 2026 — original source. Check the original for full context.
Source published:
Key ideas
- 开发者应将核心评估指标从“每 Token 成本”转向“每任务成本”,避免因低单价模型消耗更多 Token 或引发昂贵的人工介入而反向推高总开销。 (0:58)
- OpenAI 推出超越模型的四大成本优化杠杆:Prompt Caching(输入缓存最高优惠 90%)、程序化工具调用(PTC)、动态推理努力调节(Reasoning Effort)及非实时 50% 折扣的 Batch API。 (8:42)
- 程序化工具调用允许将中间数据的聚合与比对下放给轻量代码,法律 AI 平台 Clio 藉此在保持质量的同时将 Prompt Token 消耗直降 38%。 (10:17)
- Prompt Caching 迎来重大升级:显式断点与 Explicit-only 模式支持精确锁定缓存,且动态调整 Reasoning Effort 和可用工具集不再会击穿现有缓存,同时官方推出了专用的管理面板与诊断 API。 (18:43)
Detailed notes
## Background 该视频由 OpenAI 官方 YouTube 频道于 2026 年 10 月 9 日发布,属于 DevDay 2026 的演讲环节。视频简介指出,本次分享旨在帮助开发者在保持质量的同时削减 AI 成本,核心涵盖衡量每完成任务成本、选择合适模型与推理努力(Reasoning Effort),以及利用 Prompt Caching、编程式工具调用(Programmatic Tool Calling)和 Batch API 等降本手段。
## TL;DR OpenAI 部署工程团队指出,开发者优化 AI 成本时应告别单一的每 Token 标价误区,转向考核包含人工介入与实际消耗在内的“每任务成本”(Cost per Task)。团队分享了如何利用帕累托曲线在准确率和成本之间找到最优模型配置,并探讨了“Luna Maxing”等高性价比选型实践。随后,演讲重点剖析了四大降本杠杆:Prompt Caching、编程式工具调用、合理控制推理努力(Reasoning Effort)以及 Batch API,并结合 Clio 与 Blitzy 等真实案例展示了如何实现高达近 90% 的成本缩减。最后,讲者介绍了显式断点与缓存诊断 API 等最新工具,并为开发者梳理出一套以代表性评测集为核心的单变量渐进迭代落地指南。
## Atmosphere & style 整场演讲在室外舞台轻松展开,主讲人与搭档之间默契互动、风趣幽默,穿插着如“航班取消与低效 AI 客服”等亲历趣事,现场笑声与共鸣不断。讲解风格兼具前沿架构的专业严谨与面向工程实战的通俗务实,既有发人深省的现场提问,也有极具说服力的客户降本数据。整体节奏层层递进、干货密集,给观众带来一种清晰破除虚荣指标迷思、重获工程掌控力的踏实感与启发感。
## Bulletin - [00:58](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=58s) 开发者应将核心评估指标从“每 Token 成本”转向“每任务成本”,避免因低单价模型消耗更多 Token 或引发昂贵的人工介入而反向推高总开销。 - [08:42](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=522s) OpenAI 推出超越模型的四大成本优化杠杆:Prompt Caching(输入缓存最高优惠 90%)、程序化工具调用(PTC)、动态推理努力调节(Reasoning Effort)及非实时 50% 折扣的 Batch API。 - [10:17](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=617s) 程序化工具调用允许将中间数据的聚合与比对下放给轻量代码,法律 AI 平台 Clio 藉此在保持质量的同时将 Prompt Token 消耗直降 38%。 - [18:43](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=1123s) Prompt Caching 迎来重大升级:显式断点与 Explicit-only 模式支持精确锁定缓存,且动态调整 Reasoning Effort 和可用工具集不再会击穿现有缓存,同时官方推出了专用的管理面板与诊断 API。
## Key takeaways - [00:58](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=58s) 评估 AI 成本的首要误区是仅关注官网的每 Token 标价;真正决定总支出的是包含重试、冗余输出与人工介入在内的“每任务成本”(Cost per Task)。 - [00:58](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=58s) Perplexity 与 Notion 的实测案例表明,迁移至单价可能更高的先进模型(如 6 Astra 或 5.6)反而能通过更高的准确率和更少的 Token 消耗实现每任务成本减半。 - [04:40](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=280s) 模型选型应基于帕累托前沿(Pareto Curve),在明确业务准确率底线的前提下,绘制成本与准确率的平衡曲线以寻找最优配置边界。 - [06:33](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=393s) “Luna Maxing”策略正在兴起:为轻量级模型 Luna 配置高推理努力,可满足 80% 至 90% 的常规开发任务,表现足以媲美甚至超越大型模型。 - [08:42](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=522s) 在架构层面控制成本依赖四大核心杠杆:Prompt Caching、程序化工具调用(Programmatic Tool Calling)、推理努力调节及 Batch API。 - [10:17](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=617s) 程序化工具调用让模型生成或驱动轻量脚本处理多工具返回的原始数据,仅向 LLM 回传精简摘要,有效防止上下文膨胀并降低 API 调用开销。 - [12:55](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=775s) 推理努力(Reasoning Effort)并不等同于回答长度;对于普通路由等简单任务应默认从低推理努力起步,仅对核心难题分配深度思考资源。 - [12:55](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=775s) 对延迟不敏感的处理场景(如批量文档分析),使用 OpenAI Batch API 可在 24 小时处理窗口内直接换取 50% 的 Token 成本减免。 - [15:29](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=929s) Prompt Caching 最高可节省 90% 的输入成本,其设计的黄金法则是保持提示词前缀长期高度一致,以最大化复用预处理结果。 - [15:29](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=929s) 软件开发平台 Blitzy 通过将单次结构化输出改造为循环工具调用,将缓存命中率提升至 90%,在扩大上下文的同时使综合成本降低 87%。 - [18:43](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=1123s) 新一代模型支持显式断点(Explicit Breakpoints)与 Explicit-only 模式,赋予开发者精确指定缓存边界的能力,避免易变数据污染缓存空间。 - [20:02](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=1202s) 运行时动态修改推理努力(Reasoning Effort)或工具白名单(Allowed Tools)现已与缓存前缀解耦,不再会导致已有的 Prompt Cache 失效。 - [20:02](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=1202s) OpenAI 推出了官方 Prompt Caching Dashboard 与缓存诊断 API(Diagnostics API),帮助开发者监控全局命中率并精准定位 Cache Miss 的发生位置。 - [21:21](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=1281s) 工程落地的最佳实践是构建代表性评估数据集,通过单变量控制法逐步验证改动,持续运行 Evals 并锁定坐落在帕累托最优线上的配置方案。
## Detailed walkthrough 根据 DevDay 2026 的演讲内容,以下是第一部分会议(优化 AI 成本与模型选择策略)的详细内容 walkthrough:
[00:13](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=13s) 会议开场与主题介绍
Arty 在室外舞台上开启了关于优化 AI 成本的小组讨论,邀请了来自 AI 部署工程团队的 Mandeep 和 Sapto 上台分享。讨论的核心围绕如何正确看待成本指标、如何为特定任务选择合适的模型,以及超越模型本身的各项成本优化杠杆,并结合 OpenAI 真实客户的案例进行剖析。
[00:58](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=58s) 纠正首要误区:从“每 Token 成本”转向“每任务成本”
Mandeep 指出,开发者在优化成本时常犯的第一个错误是看错了指标。大家往往只盯着官网列出的输入和输出 token 列表价(Cost per Token),但实际上,单价便宜的模型可能会带来更高的总成本。Mandeep 解释了背后的两大原因:一是便宜的模型可能会消耗或产生更多的 token 才能完成任务;二是模型可能无法独立完成任务,中途需要人工介入。因此,企业和开发者真正应该关注的指标是**“每任务成本”(Cost per Task)**。
Mandeep 分享了一个亲身经历的生动故事:上周他去纽约出差遭遇航班取消,在机场排队时无法在网上找到合适的替代航班,于是拨打了航空公司的客服电话。接听的是一个 AI 智能客服,由于无法理解他“需要改签但不想坐红眼航班”的具体诉求,最终不得不转由人工客服介入,人工最终通过休斯顿帮他重新订了航班,让他赶上了团队的 offsite。虽然航空公司使用的 AI 模型本身按 token 计算单价很便宜,但算上人工介入的时间和成本,整个任务的总成本其实非常高。因此,航空公司应该考核的是包含人工时间在内的“每任务成本”。
Arty 随后分享了两个真实客户案例: - **Perplexity**:在研究基准测试中,使用 **6 Astra** 产生了比前代模型高出 9% 的准确率,同时成本减半。虽然 6 Astra 的 token 单价可能更高,但从每任务成本来看,它消耗更少的 token 就能高效搞定任务。 - **Notion**:将模型从 5.5 迁移到 5.6 后,不仅准确率更高,每任务成本也降低了一半。
- 关键指标:应关注“每任务成本”(Cost per Task),而非单一的“每 Token 成本”。 - 核心考量:低单价模型可能因低效、多消耗 token 或导致频繁人工介入,反而推高整体开销。
[04:40](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=280s) 如何为任务精准匹配模型与帕累托曲线
在讨论完正确的衡量指标后,Arty 将话题引向了“如何为特定任务选择合适的模型”。Mandeep 建议,首先要**清晰定义任务以及业务或开发者对该任务的准确率期望**(例如航空公司可以设定“希望 80% 的咨询由聊天机器人自主解决”)。明确目标后,通过寻找能够以最佳成本达成该准确率的模型架构和配置来实现平衡。
在此过程中,Mandeep 引入了**“帕累托曲线”(Pareto Curve)**的概念:即通过绘制相互制约的两个变量(准确率与成本),尝试不同的模型、设置和配置,找出能够在满足准确率阈值的同时实现最低成本的最优边界。
- 步骤一:明确任务目标及期望的准确率指标。 - 步骤二:利用帕累托曲线测试并绘制不同模型配置在准确率与成本之间的平衡点。
[06:33](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=393s) 模型选择策略与“Luna Maxing”现象
针对如何选择具体的模型系列,Mandeep 介绍了 OpenAI 现有的产品组合:从具备顶级智能的 frontier 模型 **6 Astra**、极具性价比且高效的 **6.1 Sol**,到轻量高效的 **Luna**。
对于简单分类或从文档中提取几个字段的轻量任务,建议尽早测试更高效的小模型;而对于需要高度智能的任务,则从 6 Astra 开始。随后 Arty 提到了社区里流行的术语——**“Luna Maxing”**。Mandeep 解释说,很多客户惊喜地发现,当给 **Luna** 赋予“高”或“超高”的推理努力(Reasoning Effort)时,它的表现往往能击败许多前代甚至竞争对手的大模型。许多客户将 Luna 作为开发者编码的默认首选(80% 至 90% 的工作流都能完美胜任),只有在确实需要更高智能时才切换到其他模型。此外,今天还发布了专门针对简单任务的 Decisions API,让模型家族进一步壮大。
- **Luna Maxing**:开启高推理努力配置的 Luna 可以替代许多大型模型,满足 80%-90% 的日常开发和工作流需求。 - 策略:以 Luna 作为常规主力,仅在必要时调用高级模型。
[08:42](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=522s) 超越模型的四大成本优化杠杆
在确认了正确的指标和模型选择策略之后,Sapto 指出,即使在同一模型家族中,成本也会因为处理的信息量和输出需求而大不相同。为了在保持质量的同时控制成本,Sapto 介绍了**四大优化杠杆**: 1. **Prompt Caching(提示词缓存)** 2. Programmatic Tool Calling(程序化工具调用) 3. Reasoning Effort(推理努力控制) 4. Batch 或 Flex API 处理
在深入探讨第一个杠杆——提示词缓存时,Sapto 以公司客服助手为例:当助手处理每个客户时都需要用到相同的公司政策和共享文档,提示词缓存技术能够复用这些共享信息的预处理过程,而模型只需处理提示词中的新信息并生成最新回答。
<ElicitationsGroup message="如需深入了解后续的优化杠杆及具体实现:"> <Elicitation label="了解程序化工具调用与提示词缓存的具体运作方式" query="详细讲解程序化工具调用以及提示词缓存的技术原理和最佳实践。"/> <Elicitation label="探索推理努力(Reasoning Effort)与 Batch API 的成本节省策略" query="介绍如何通过调整推理努力和使用 Batch API 进一步降低 AI 应用成本。"/> </ElicitationsGroup>
[10:17](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=617s) 第二项杠杆:程序化工具调用(Programmatic Tool Calling)
在简要回顾了 Prompt Caching 之后,演讲者引出了降低 AI 成本的第二个核心杠杆——程序化工具调用(Programmatic Tool Calling)。为了让观众身临其境地理解,讲者抛出了一个线上订单履约系统的场景互动:假设有一个智能体(Agent)正在处理海量订单,需要核实是否有足够的库存来完成交付。在这个流程中,Agent 可以连续调用多个工具,汇总订单、检查缺货与即将入库的情况,然后将所有原始结果全部塞回大语言模型(LLM)进行推理。讲者向台下提问:"大家真的认为模型必须亲自阅读并对比所有的原始中间结果吗?"现场观众纷纷摇头表示否定。
```mermaid flowchart TD accTitle: 程序化工具调用架构对比 accDescr: 对比传统多次往返调用与通过小程序打包摘要结果的程序化工具调用流程
subgraph Traditional["传统工具调用流程"] direction TB T_LLM["LLM 推理引擎"] <-->|"多次往返传递全部原始数据"| T_Tools["多个底层工具 / API"] end
subgraph PTC["程序化工具调用流程"] direction TB P_LLM["LLM 推理引擎"] -->|"下发轻量级脚本 / 代码"| P_Code["轻量级编排程序"] P_Code <-->|"调用、聚合、对比"| P_Tools["底层工具与数据"] P_Code -->|"仅返回精简打包报告"| P_LLM end ```
这种普遍的直觉正是程序化工具调用的精髓所在:虽然某些场景确实需要模型进行深度判断,但在大量常规数据比对、组合和校验中,完全没必要把每项工具产生的中间数据都回传给模型。程序化工具调用的机制是让模型生成或驱动一段轻量级程序,由这段代码在后台统筹工具调用、清洗和比对结果,最终仅将精简后的打包报告返回给 LLM。这种架构彻底避免了模型上下文被冗余中间数据撑爆,同时也大幅削减了多步工作流中的 API 调用次数。
- **客户案例(Clio):** 知名法律 AI 平台 Clio(专注于为律师事务所提供云管理系统)在多步骤文档分析场景中引入了程序化工具调用。在完全没有质量损失的前提下,其 Prompt Token 消耗直降了 38%。 - **核心逻辑:** 仅通过改变应用程序与大模型之间的交互机制,就达成了近四成的成本优化。
---
[12:55](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=775s) 第三与第四项杠杆:推理力度(Reasoning Effort)与 Batch API
讲者紧接着拆解了第三项杠杆——推理力度(Reasoning Effort)。大家通常熟悉滑块形式的推理设置,但讲者特别指出一个常见误区:推理力度绝不等同于回答的最终长度(Answer Length),即使是一个极简短的回答,其推导逻辑也可能极其复杂,耗费海量的推理 Token。对于普通的分发路由任务(Routing),最佳实践始终是先从较低的推理力度开始,通过自动化评估(Evals)确认质量是否达标;只有面对那些高难度、强差异化的核心任务时,才值得为模型深思熟虑所消耗的额外推理 Token 买单。
第四项杠杆则是针对延迟不敏感场景的 Batch API(或称 Flex API 处理)。讲者向开发者发问:"面对成千上万份待处理的文档,你愿意等待多久?"对于那些不需要实时响应的工作流,OpenAI Batch API 提供最长 24 小时的处理窗口,但其 Token 计费比常规同步请求足足便宜了 50%。
- **应用构建指导原则:** 在为系统选型时,不应只问"我该选哪个模型家族",还要问"我打算让模型分担多少计算量"。 - **迭代闭环:** 紧跟单个具体任务的输入输出全生命周期,排查重复流程与冗余工具调用,每次仅修改单一变量并跑通 Evals 测试。 - **终极目标:** 优化的本质不是单纯地压低 Token,而是"在可接受的延迟与更低成本下,达成可靠的业务成果"(a successful outcome through lowering cost and acceptable latency)。
---
[15:29](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=929s) 四大成本杠杆总结与 Prompt Caching 的深层机制
在 Sapto 讲完四大杠杆后,搭档 Mandeep 进行了精辟的阶段总结,进一步梳理这套控本组合拳: 1. **Prompt Caching:** 官方价格表中缓存输入的费用最高可减免 90%,具备极大的成本杀伤力; 2. **程序化工具调用:** 将数据预处理和上下文对比下放给轻量代码,不把垃圾信息塞进 Context Window; 3. **推理力度调节:** 在 API 中灵活调整,且在最新架构下调整推理力度已不会击穿已有的 Prompt Cache; 4. **Batch / Flex API:** 利用非紧急请求换取半价折扣。
由于 Prompt Caching 能够带来高达 90% 的降本空间,两位讲者决定就其常见误区与优化手法进行深度展开。当 Sapto 询问台下"有多少人在使用 Prompt Caching"时,Mandeep 风趣地补充道:"所有人都在用,因为它是默认开启的!"台下顿时响起会心的笑声。
然而,默认开启并不意味着用到了极致。许多开发者并没有充分发挥其潜能。Prompt Caching 的黄金准则在于:**尽可能保证 Prompt 前半部分内容的长期一致性**。只有这样,模型才能复用对共享指令的预处理结果,而后续不同的动态信息则进行全新的单独处理。
- **客户案例(Blitzy):** AI 软件开发企业 Blitzy 将原有的单次结构化输出模式改造为循环工具调用体系后,其缓存命中复用率从 24% 飙升至 90%。在数千次生产环境调用中,Blitzy 实现了 8.5 倍更少的 Prompt Token 输出量,在上下文处理量提升 2.2 倍的同时,综合成本较以往模型方案下降了 87%。
---
[18:43](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=1123s) 显式断点(Explicit Breakpoints)与 Explicit-Only 模式
Mandeep 针对 Prompt Caching 提出了一个现实挑战:对于指令频繁变动或跨查询差异巨大的复杂工作流,开发者又该如何维系缓存命中率?
Sapto 解释了缓存技术的演进历程。在早期模型家族中,系统完全依赖基于固定的 Token 区间自动选取缓存切分点,开发者除了机械地把静态文字往最前面堆叠之外,缺乏主动控制权。但在新一代模型体系中,OpenAI 引入了**显式断点(Explicit Breakpoints)**功能。
用最浅显的话来说,显式断点就是让开发者明确告诉系统:"我就要缓存到这一行为止"。例如在长程代码编写场景中,前置的代码规约和系统提示词长期不变,而具体的业务要求则在末尾频繁变动。开发者可以在不变的静态块之后、变动任务之前精准设置断点,从而锁死静态资产的缓存收益。对于追求绝对确定性与极致工程控制的开发者,系统还提供了 **Explicit-only 模式**,允许自由圈定并严格指定哪一段内容才准许进入缓存体系。
[20:02](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=1202s) Prompt Caching 的进阶灵活性与全新诊断工具
在构建对话与 Agent 系统时,Prompt Caching(提示词缓存)的精准控制至关重要。开发者最希望避免的情况是将频繁变动且后续不会复用的动态内容写入缓存。针对这一痛点,演讲者指出当前模型系列不仅保留了之前的所有控制项与功能,还引入了一项关键突破:开发者现在可以在持续的多轮对话中随时动态调整模型的推理努力程度(Reasoning Effort),而完全不会破坏(break)现有的上下文缓存。
Aarti 随即补充了一个许多开发者容易忽视的隐藏特性:除了推理努力程度外,开发者在运行时通过参数调整传递给模型的工具集(例如修改 `allowed_tools` 等配置)同样不会导致缓存失效。这意味着开发者既能按需灵活调整每轮对话的思考深度与可用工具,又能始终维持极高的缓存命中率(Cache Hit Rate)。为了支持这一体系,OpenAI 在底层工具链上持续加大投入,并最新发布了两大重磅功能: 1. **Prompt Caching 管理面板(Dashboard)**:集成在后台管理网页中,允许开发者直观查看、衡量和追踪旗下所有应用在生产环境中的实际缓存命中表现。 2. **缓存诊断 API(Diagnostics API)**:开发者传入两条不同的请求 Query,该 API 能够精准比对并定位缓存发生未命中(Cache Miss)的具体位置与断点,从而彻底消除开发者优化 Prompt 结构时的盲目猜测。
```mermaid flowchart TD accTitle: Prompt Caching 优化与诊断架构 subgraph Conversation["动态对话流 (保持 Cache 命中)"] A["多轮上下文 Prefix"] --> B["动态调整 Reasoning Effort"] A --> C["动态调整 Allowed Tools"] B --> D["Prompt Cache 持续生效"] C --> D end subgraph Observability["可观测性与诊断工具"] E["Admin 仪表盘<br/>(追踪全应用 Cache Hit Rate)"] F["Diagnostics API<br/>(输入对比 Query -> 定位 Miss 断点)"] end D --> Observability ```
- **动态参数解耦**:推理努力程度(Reasoning Effort)与工具白名单(Allowed Tools)均实现与缓存前缀解耦,修改时不会导致 Prefix Cache 失效重新计算。 - **排除易变内容**:强调缓存路径应精细化管理,避免频繁变动、缺乏复用价值的高频变动数据污染缓存空间。 - **可视化与可调试性**:通过官方 Dashboard 监控全局命中率,借助 Diagnostics API 进行细粒度 Diff 诊断,成为业务降本的核心杠杆。
---
[21:21](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=1281s) 帕累托前沿与落地行动指南:如何停止为智能多付成本
在演讲收尾阶段,Aarti 对整场核心策略进行了系统性复盘。团队反复强调,衡量大模型性价比的唯一正确指标是“完成单项任务的实际成本”(Cost per completed task),而非单纯盯紧 API 列表上的每百万 Token 标价。在模型选型上,开发者的终极目标是在“成本”与“准确率”之间找到坐落在帕累托最优前沿(Pareto Frontier)上的模型组合。此外,团队归纳了四大核心降本增效杠杆:Prompt Caching(提示词缓存)、Programmatic Tool Calling(编程式工具调用)、Reasoning Effort(推理努力程度微调)以及 Batch API。
面对“听完演讲后明天回工位应该先做什么”的实际落地问题,Mandeep 和 Sapto 给出了一套结构化的工程实施路径。Mandeep 建议首先明确业务核心目标,划定业务能够容忍的准确率底线,并提炼出一套能真实反映生产环境调用特征的“代表性评估任务集”(Representative Task Set)。随后,遍历不同模型规格、推理深度和 Prompt 缓存策略,绘制出属于自己业务的帕累托前沿曲线,从而挑选出满足业务指标且综合成本最低的模型配置线(Model Configuration Harness)。Sapto 则特别叮嘱了工程迭代的心法:“一次只改一个变量(Test one change, one improvement)”,每当验证出一项优化便固化该配置,并随着模型版本与业务需求的发展,坚持常态化运行评估套件(Evals)。
```mermaid flowchart TD accTitle: AI 成本与准确率优化落地流程 subgraph Phase1["阶段一:目标定义与数据集"] A["明确具体任务<br/>设定业务准确率阈值"] --> B["构建代表性评估任务集<br/>(反映真实使用场景)"] end subgraph Phase2["阶段二:实验与前沿寻优"] B --> C["组合测试不同模型/配置<br/>(Prompt Caching / 推理努力度)"] C --> D["绘制帕累托前沿<br/>(Pareto Frontier: 准确率 vs 成本)"] end subgraph Phase3["阶段三:锁定与敏捷迭代"] D --> E["选定最优 Model Harness"] E --> F["单变量递进改进<br/>(One change at a time)"] F --> G["随系统演进持续运行 Evals"] end ```
- **核心选型法则**:告别单价虚荣指标,牢牢锚定“完成每个有效任务的端到端成本”与帕累托前沿平衡点。 - **四大降本抓手**:Prompt Caching、编程式工具调用(Programmatic Tool Calling)、动态调节推理深度(Reasoning Effort)与非实时批处理(Batch API)。 - **落地方法论**:先定阈值,再建代表性 Eval 集,跨配置扫参绘制成本-精度曲线,最后遵循单变量控制法进行长期敏捷演进。
## Notable quotes > [00:58](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=58s) 大家往往只盯着官网列出的输入和输出 token 列表价(Cost per Token),但实际上,单价便宜的模型可能会带来更高的总成本。 — Mandeep
> [00:58](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=58s) 企业和开发者真正应该关注的指标是“每任务成本”(Cost per Task)。 — Mandeep
> [06:33](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=393s) 当给 Luna 赋予“高”或“超高”的推理努力(Reasoning Effort)时,它的表现往往能击败许多前代甚至竞争对手的大模型。 — Mandeep
> [10:17](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=617s) 大家真的认为模型必须亲自阅读并对比所有的原始中间结果吗? — Sapto
> [12:55](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=775s) 面对成千上万份待处理的文档,你愿意等待多久? — Sapto
> [12:55](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=775s) 在为系统选型时,不应只问“我该选哪个模型家族”,还要问“我打算让模型分担多少计算量”。 — Sapto
> [12:55](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=775s) a successful outcome through lowering cost and acceptable latency — Sapto
> [15:29](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=929s) 所有人都在用,因为它是默认开启的! — Mandeep
> [15:29](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=929s) 尽可能保证 Prompt 前半部分内容的长期一致性。 — Sapto
> [18:43](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=1123s) 我就要缓存到这一行为止 — Sapto
> [21:21](https://www.youtube.com/watch?v=_nmlHbSB8kM&t=1281s) Test one change, one improvement — Sapto
## Mentioned OpenAI, Arty, Mandeep, Sapto, Perplexity, Notion, 6 Astra, 5.5, 5.6, 6.1 Sol, Luna, Decisions API, Clio, Blitzy, Prompt Caching, Programmatic Tool Calling, Batch API, Diagnostics API
## Video description Cut AI costs while preserving quality. Learn to measure cost per completed task, choose models and reasoning effort, and use prompt caching, Programmatic Tool Calling, and the Batch API.
[Source](https://www.youtube.com/watch?v=_nmlHbSB8kM)