Claude
单纯依赖超大上下文无法支撑长周期智能体运行,企业必须通过提示词缓存精简数据流,并采用轻量模型执行配合旗舰模型审查的顾问模式以维持商业可行性。
AI-assisted summary of Getting more out of the Claude Platform — original source. Check the original for full context.
Source published:
Key ideas
- 构建长周期 Agent 的首要基石是 Prompt Caching,它可为输入 Token 提供高达 90% 的成本折扣,大幅削减首字生成时间,且命中缓存的 Token 完全不计入 API 速率限制。 (0:46)
- 面对复杂外部数据导致的上下文爆炸,单纯增大上下文窗口无法根治问题,必须通过工具搜索工具(按需加载)、代码化工具调用(Python 过滤)和上下文压缩三大上下文工程手段进行精细治理。 (10:00)
- Anthropic 提出 Advisor 策略,让高性价比的 Sonnet 或 Haiku 负责繁重的日常工具调用与代码执行,仅在关键高风险节点按需调用 Opus 审查,实现以极低成本获取旗舰级智能。 (20:00)
- Claude 平台推出工作负载身份联合(WIF)以消除静态 API Key 泄露风险,并发布了可与 Claude Code 结合实现全自动基础设施运维的 Ant CLI 工具。 (26:00)
Detailed notes
## Background 本内容由 Claude 官方频道于 2026 年 5 月 7 日发布在 YouTube 平台上。视频简介指出,本场分享聚焦于如何利用 Claude 平台的最新能力实现降本、上下文管理与智能提升,通过现场演示展示 Prompt Caching、Tool Search、代码化工具调用、上下文压缩以及 Advisor 策略等实战模式,帮助开发者从每个 Token 中榨取最大价值。
## TL;DR Anthropic 的 Claude 平台产品负责人 Brad Abrams 深入探讨了将 Agent 推向真实生产环境所面临的成本、延迟与上下文无限膨胀等严峻挑战。演讲确立了提升 Token 效率的实战三部曲:首先必须通过 Prompt Caching 复用 KV 缓存,直接削减高达 90% 的输入成本;其次通过工具搜索、代码化工具调用及上下文压缩等上下文工程手段,杜绝数据孤岛带来的 100 万 Token 上下文撑爆问题;最后引入 Advisor 模式,让高性价比的 Sonnet 负责日常执行、旗舰级 Opus 按需审查关键决策,以极低成本获取顶尖智能。此外,分享还介绍了 Workload Identity Federation 与 Ant CLI 等支撑 Agent 自治运维的全新平台基础设施。
## Atmosphere & style 整场演讲洋溢着极客大会特有的热烈与幽默,节奏明快且极具实战说服力。主讲人 Brad 擅长用半开玩笑的调侃化解复杂的工程痛点——从现场互动时台下开发者面对延迟和成本惨淡举手的真实尴尬,到吐槽老旧 UI 并即兴切换为虚构的“HeroCorp 超级英雄租赁公司”,现场笑声不断。伴随工程师 Ben 的实时代码重构与控制台数据流监控,观众能够身临其境地见证百万级上下文从濒临崩溃到被精妙驯服的全过程,极富技术掌控感与实战启发性。
## Bulletin - [00:46](https://www.youtube.com/watch?v=7oO37GRhwGk&t=46s) 构建长周期 Agent 的首要基石是 Prompt Caching,它可为输入 Token 提供高达 90% 的成本折扣,大幅削减首字生成时间,且命中缓存的 Token 完全不计入 API 速率限制。 - [10:00](https://www.youtube.com/watch?v=7oO37GRhwGk&t=600s) 面对复杂外部数据导致的上下文爆炸,单纯增大上下文窗口无法根治问题,必须通过工具搜索工具(按需加载)、代码化工具调用(Python 过滤)和上下文压缩三大上下文工程手段进行精细治理。 - [20:00](https://www.youtube.com/watch?v=7oO37GRhwGk&t=1200s) Anthropic 提出 Advisor 策略,让高性价比的 Sonnet 或 Haiku 负责繁重的日常工具调用与代码执行,仅在关键高风险节点按需调用 Opus 审查,实现以极低成本获取旗舰级智能。 - [26:00](https://www.youtube.com/watch?v=7oO37GRhwGk&t=1560s) Claude 平台推出工作负载身份联合(WIF)以消除静态 API Key 泄露风险,并发布了可与 Claude Code 结合实现全自动基础设施运维的 Ant CLI 工具。
## Key takeaways - [00:00](https://www.youtube.com/watch?v=7oO37GRhwGk&t=0s) 绝大多数已将 Agent 推向生产环境的开发者在成本、延迟和可靠性上仍面临严峻瓶颈,工程化重点已从 PoC 转向实际运行效率与稳定性。 - [00:46](https://www.youtube.com/watch?v=7oO37GRhwGk&t=46s) 多轮 Agent 循环会导致上下文单调递增,若无缓存机制,底层系统每轮都需全量重算历史 Token,导致延迟与成本激增。 - [00:46](https://www.youtube.com/watch?v=7oO37GRhwGk&t=46s) Prompt Caching 通过复用公共上下文的 KV Cache,可节省高达 90% 的输入 Token 费用,并有效释放并发吞吐量,Cursor 等头部客户命中率已达 90% 以上。 - [00:46](https://www.youtube.com/watch?v=7oO37GRhwGk&t=46s) Anthropic 在控制台推出了缓存分析仪表盘,并在 Claude Code 中内置了优化技能,可通过指令自动检测并插入 cache_control 标记。 - [07:22](https://www.youtube.com/watch?v=7oO37GRhwGk&t=442s) 即便拥有 100 万 Token 的超长上下文容量,无节制地灌入原始企业数据孤岛(如 Slack、Gong、Salesforce)仍会在短时间内耗尽窗口,凸显出上下文工程的必要性。 - [10:00](https://www.youtube.com/watch?v=7oO37GRhwGk&t=600s) 上下文工程的核心是主动规范什么数据有资格进入上下文,开发者必须避免过多抽象层遮蔽对真实交互转录的可见性。 - [10:00](https://www.youtube.com/watch?v=7oO37GRhwGk&t=600s) 工具搜索工具(Tool Search Tool)推迟数百个工具定义的完整加载,仅在模型推理实际需要时即时注入,Lovable 借此减少了 10% 的 Token 消耗并提升了模型推理质量。 - [10:00](https://www.youtube.com/watch?v=7oO37GRhwGk&t=600s) 代码化工具调用(Programmatic Tool Calling)利用模型擅长编写 Python 代码的特性,在运行内存中解析并切片庞大数据,仅将极少数关键字段回传至上下文窗口。 - [10:00](https://www.youtube.com/watch?v=7oO37GRhwGk&t=600s) 上下文压缩(Compaction)是应对长周期运行的终极手段,通过将历史过时轮次提炼为精炼摘要,在保留核心线索的同时重置上下文体积。 - [15:00](https://www.youtube.com/watch?v=7oO37GRhwGk&t=900s) 即便底层模型具备百万级上下文能力,在实际工程中刻意收紧 Compaction 触发阈值反而能显著省钱、压降延迟并提高模型的推理专注度。 - [20:00](https://www.youtube.com/watch?v=7oO37GRhwGk&t=1200s) 单次运行成本居高不下的主要原因在于通篇使用顶配 Opus 模型,而轻量模型在常规代码编写与工具调用上已足够胜任。 - [20:00](https://www.youtube.com/watch?v=7oO37GRhwGk&t=1200s) Advisor 模式模拟了资深工程师与初级工程师的结对机制:小模型主控常规工作流,仅在遇到复杂异形任务时才请求 Opus 介入审查。 - [22:30](https://www.youtube.com/watch?v=7oO37GRhwGk&t=1350s) 在商业续约演示中,Sonnet 遗漏了关键交易风险,而作为 Advisor 的 Opus 敏锐识别出客户隐蔽刚需,成功排除了业务暴雷隐患。 - [26:00](https://www.youtube.com/watch?v=7oO37GRhwGk&t=1560s) 提升 Token 效能的黄金演进路径为:第一步全面落地 Prompt Caching,第二步开展严格的 Context Engineering,第三步构建 Advisor 多模型协同模式。 - [26:00](https://www.youtube.com/watch?v=7oO37GRhwGk&t=1560s) 平台新增 Workload Identity Federation(WIF)支持无密钥企业级鉴权,同时 Ant CLI 允许编码代理如 Claude Code 完全自主调度与运维平台基础设施。
## Detailed walkthrough ### [00:00](https://www.youtube.com/watch?v=7oO37GRhwGk&t=0s) 真实生产环境中的 Agent:成本、延迟与可靠性挑战
在 Code with Claude 大会接近尾声的这场演讲中,Anthropic 的 Claude 平台产品管理负责人 Brad Abrams 走上讲台。他热情地向坚持到最后的开发者们致谢,并半开玩笑地直言这是全天最重要的一场分享。Brad 指出,这场演讲的核心不是谈论玩具式的概念验证(PoC),而是聚焦于“将 Agent 推向生产环境”的真实战况。
为了解现场现状,Brad 在台上做了一个互动调查:他先请所有已经在生产环境中部署了实际 Agent 的开发者举手,随后要求那些对当前系统的“成本、可靠性与延迟”感到满意的开发者继续保持举手。随着后一个问题抛出,台下绝大多数手都放下了,只剩下稀稀拉拉的几位。Brad 打趣道,如果你身旁正好坐着这样一位举手者,散会后一定要找他们好好聊聊、汲取实战秘籍。面对生产化落地中普遍存在的痛点,本场 session 的目标正是分享一系列经过实战检验的核心技术与模式,帮助开发者全面掌控成本、响应延迟与运行稳定性。
```mermaid flowchart TD accTitle: Agent 上下文无限膨胀与推理瓶颈 accDescr: 展示长周期 Agent 在多轮工具调用中,上下文不断拼接导致的推理开销激增问题。 subgraph ToolLoop["多轮 Agent 循环 (Agentic Loop)"] A["系统提示词 (System Prompt)"] --> B["工具调用 1 (Tool Call 1)"] B --> C["工具返回结果 1 (Tool Result 1)"] C --> D["工具调用 2 (Tool Call 2)"] D --> E["工具返回结果 2 (Tool Result 2)"] end E --> F["不断膨胀的上下文历史 (Context Window)"] F -->|"未开启缓存:整段全量重新计算"| G["高延迟、巨额 Token 账单与频频触碰 Rate Limit"] F -->|"开启 Prompt Caching:复用 KV 缓存"| H["跳过前半段预填充,享受 90% 折扣与极速首字输出"] ```
---
[00:46](https://www.youtube.com/watch?v=7oO37GRhwGk&t=46s) Prompt Caching(提示词缓存):降低 90% 成本与加速推理的核心技术
Brad 明确表示,构建长周期运行 Agent(long-running agents)时,首要且最关键的技术就是 **Prompt Caching(提示词缓存)**。在典型的 Agent 执行流中,模型经历“发起工具调用 $\rightarrow$ 获取工具返回结果 $\rightarrow$ 再发起工具调用 $\rightarrow$ 再次获取结果”的死循环,每一次交互产生的数据都会被源源不断地追加到提示词末尾,导致上下文体积单调递增。若不开启缓存机制,底层推理系统在每轮迭代中都会被迫将前面早已计算过的海量历史 Token 从头重算一遍。
引入 Prompt Caching 后,开发者只需在提示词中标记出稳定不变的公共片段,Anthropic 即可提前计算并持久化存储大模型的键值对(KV Cache)。当后续请求到达时,系统直接跳过预填充阶段(Pre-fill)的大量矩阵运算,不仅大幅消减推理耗时,更带来了颠覆性的成本优势。Brad 强调:“If you're doing a long-running agent, you're not doing prompt caching, you're missing out on a 90% discount on input tokens, which is the largest share for most customers.”(如果你正在运行长周期 Agent 却没做提示词缓存,你就错失了输入 Token 高达 90% 的折扣,而输入 Token 对绝大多数客户而言正是账单里占比最大的部分)。
除了压减成本,缓存还能显著缩短首字生成时间(TTFT, Time to First Token)。不仅如此,Brad 还透露了一个鲜为人知的特性:**命中缓存的 Token 完全不计入 API 速率限制(Rate Limits)**。这意味着即使团队在峰值期间面临调用频率天花板,也能借助缓存有效释放并发吞吐量。Brad 举例说明,Cursor、Replit 和 Perplexity 等头部客户经过大量工程攻坚,已将自身的提示词缓存命中率打磨到了 90% 以上。而为了降低开发门槛,Anthropic 在平台上推出了两大开箱即用工具: - **Claude Console Analytics Dashboard**:开发者可在控制台的“分析”标签页下直接查看生产环境中各项 Agent 请求的 Prompt Cache 命中指标,若命中率低于 90%,即说明仍有极大优化空间。 - **Claude Code 智能缓存优化技能**:Claude Code 现已默认内置提示词缓存专家技能,只需对它输入“improve my cache hit rate”(提升我的缓存命中率),它便会自动分析工程源码、插入 `cache_control` 控制标记,甚至指导重构提示词结构。
---
[05:08](https://www.youtube.com/watch?v=7oO37GRhwGk&t=308s) 现场演示:HeroCorp AI 与利用 Claude Code 优化缓存命中率
为了直观呈现调优过程,Brad 邀请工程师 Ben 登台展开现场演示。演示项目模拟了一套供企业 CEO 使用的战略目标管理平台。然而大屏幕刚亮起,Brad 就忍不住吐槽界面的视觉风格:“这看起来简直像 90 年代末期的老旧 SharePoint UI!”为了符合 Code with Claude 的极客氛围,Ben 现场启动 Claude Code 挂载项目源码,迅速重构了一套酷炫的新主题。
在这套新皮肤下,系统摇身一变成为 **HeroCorp AI** 的高管控制台。HeroCorp 是一家专门对外出租超级英雄的公司,业务涵盖派遣英雄打击罪犯、守护大都会乃至参加儿童生日派对。系统的第一项战略目标是“超级英雄留存率提升”(Brad 调侃说这可能是因为公司给英雄们开的薪水太低了),界面聚合了各路超级英雄的最新汇报以及 CEO 待办事项。
此时 Brad 抛出一个关键问题:“Ben,你知道这个应用的缓存命中率是多少吗?”在 Ben 摇头表示不知情后,Brad 提醒现场开发者:“First off, you got to know what your cache hit rate is.”(首先,你必须搞清楚自己的缓存命中率到底是多少)。Ben 随即展开应用内置的开发者控制台(Dev Console)。控制台清晰地展示了当前的上下文 Token 占用、工具调用次数以及 Agent 执行轨迹转录(Agentic Transcript)。监控数据显示,当前系统的**缓存命中率接近 0%**。
随后,Ben 在 Claude Code 中直接执行优化指令,让工具对项目应用最佳缓存策略并重新运行。再次发起相同的工具调用流程时,执行轨迹中立即出现了密集的“Cache Writes(缓存写入)”与“Cache Hits(缓存命中)”日志。Brad 解释了其工作机理: 1. **缓存写入(Cache Write)**:推理系统首次遇到带有缓存标记的提示词片段时,将其 KV 计算结果存入缓存,默认有效时间(TTL)为 5 分钟(支持按需延长)。 2. **缓存读取/命中(Cache Hit)**:后续工具调用循环再次轮询至该公共段落时,直接读取 KV 缓存,从而大幅减少算力消耗并提升响应速度。
---
[07:22](https://www.youtube.com/watch?v=7oO37GRhwGk&t=442s) 上下文爆炸:从 100 万 Token 极限到上下文工程(Context Engineering)
尽管通过 Prompt Caching 优化了计算延迟与开销,但当 Ben 向下滚动页面展开更多战略目标时,系统遇到了更深层的瓶颈:上下文窗口撑爆了。Brad 无奈地指出,虽然这次给模型分配了足足 100 万 Token 的超大上下文容量(依托 Claude Opus 超长上下文能力),但这些额度竟然在连“目标一”都还没跑完时就被彻底耗尽了。
Ben 点开其中一个工具调用的原始返回数据向观众展示:为了让 Agent 做出全面决策,系统接入了企业的各类数据孤岛,包括 Slack 沟通记录、Gong 销售电话录音转录文本、Salesforce 客户关系数据等。这些工具调用将未经清洗、体量庞大的原始长文本毫无节制地灌入上下文窗口,导致 Token 数量呈现指数级暴增。Brad 严肃指出:“So even at a million token context, we're running out before we even get through objective one.”(因此,哪怕拥有 100 万 Token 的上下文容量,我们甚至还没执行完目标一,额度就已经消耗殆尽了)。
这生动地证明:单纯依赖底座模型增大上下文窗口,并不能根治 Agent 在真实企业级复杂数据流中的臃肿问题。面对海量外部数据涌入带来的上下文爆炸,必须引入更高层次的系统设计方法。Brad 随即切回幻灯片,正式引出下一阶段的核心技术议题——**上下文工程(Context Engineering)**,将其定义为一门掌控长周期 Agent 上下文生命周期的严格工程学科。
[10:00](https://www.youtube.com/watch?v=7oO37GRhwGk&t=600s) 上下文工程的原则与三大生产级工具
演讲者指出,优秀的上下文工程核心在于主动权衡:“决定什么内容该进入 Claude 上下文的严谨规范(It's the discipline of deciding what belongs in Claude's context)”。很多开发者常犯的一个错误,就是在底层平台之上叠了过多抽象层,掩盖了上下文的真实内容。其后果是开发者根本不清楚 Claude 究竟看到了什么,也就无从着手进行性能优化或做好上下文工程。因此,开发者必须深入查看并理解 Claude 所能访问和调用的完整交互转录(transcript),并主动决定哪些数据该放进上下文。针对这一挑战,演讲者介绍了三种目前已在生产环境中正式可用的上下文管理工具: 1. **减少工具声明(Tool Declarations)**:防止过多工具定义堆叠在初始 prompt 中。 2. **减少工具返回结果(Tool Results)**:防止工具执行后吐出海量无用文本污染上下文。 3. **压缩(Compaction)**:清理对话中过时、不再需要的历史轮次。
```mermaid flowchart TD accTitle: 三大上下文工程管理方案 accDescr: 展示工具搜索工具、代码化工具调用与上下文压缩三种降低上下文占用的技术方案。 subgraph S1["1. 减少工具声明"] A["Tool Search Tool<br/>(工具搜索工具)"] -->|"按需延迟加载"| D["瘦身系统 Prompt"] end subgraph S2["2. 减少返回数据"] B["Programmatic Tool Calling<br/>(代码化工具调用)"] -->|"Python 内存过滤"| E["仅加载关键字段"] end subgraph S3["3. 清理陈旧轮次"] C["Compaction<br/>(上下文压缩)"] -->|"总结多轮历史"| F["重置上下文体积"] end ```
在介绍“工具搜索工具(Tool Search Tool)”时,演讲者解释道,很多企业客户往往加载了数十个甚至数百个工具。构建长期运行的多智能体(long-running multi-agent)系统确实需要大量工具,这也正是大语言模型(LLM)通用能力的体现;但如果将这上百个工具在开头的系统提示词(System Prompt)中一次性全量加载,剩下的上下文空间将所剩无几。而借助 Tool Search Tool,系统会先声明所有工具,但“推迟加载(defer loading)”其完整定义,只有当模型在当前推理轨迹中实际需要某个工具时,才会“即时(just in time)”按需加载;未被调用的工具则永远不会进入 prompt。 - 客户 Lovable 采用 Tool Search Tool 后,整体 Token 消耗降低了 10%。 - 保持上下文精简不仅节省了费用和延迟,而且 Lovable 观察到这还会直接提升模型的实际推理智能。
演讲者接着展示了“代码化工具调用(Programmatic Tool Calling)”,并幽默地打趣幻灯片上的动态效果:“大家喜欢这些动画吗?你们能看出我有来自 Claude 的免费 Token 额度来做这些动画吧?”该功能专门解决工具返回数据量过大的问题。很多演示 Demo 中,工具直接返回数万字的长文本并全量塞进 prompt,但这在生产环境中完全行不通。如果人工去修改底层工具的返回格式,很容易误删某些边缘场景下模型恰恰需要的数据。
Anthropic 发现的核心洞察在于:“模型其实非常擅长写 Python 代码(the model is actually pretty good at writing Python code)”。因此,系统向模型开放当前可用的工具集合,让模型自行编写 Python 代码来执行工具: - 第一步:模型先写代码检查返回数据的结构规范(schema)。 - 第二步:在明确结构后,工具将全量数据加载到运行内存中,模型接着编写切片与提取代码,仅抓取所需的一两个字节或关键字段,并将这部分精准数据载入上下文。 - Quora 目前正在生产中使用该技术进行大量的 HTML 解析工作,既大幅降低了账单成本,又提高了代码解析的准确度与模型智能。
第三项技术被称为上下文管理的“大锤战术(sledgehammer technique)”——压缩(Compaction)。即便将工具声明与工具返回结果控制得极好,智能体一旦运行足够长的时间,依然不可避免地会逼近上下文窗口极限。Compaction 会直接识别并剔除那些已经过时、不再需要的历史轮次,将其浓缩为一段高度精炼的总结,以便模型在不丢失关键线索的前提下继续执行。目前商业智能平台 Hex 已在生产架构中全面接入了该功能。
---
[15:00](https://www.youtube.com/watch?v=7oO37GRhwGk&t=900s) HeroCorp 智能体实机演示:三大优化手段同屏实测
为了展示实际威力,演讲者切换回现场演示界面,决定对刚才的“HeroCorp 智能体”同时开启 Tool Search Tool、Programmatic Tool Calling 以及 Compaction 这三项优化。
页面重新加载后,屏幕上的上下文进度条上升速度显著放缓。在此前的基线测试中,仅执行第一个子目标时上下文 Token 数量就猛飙到了 100 万(1M),而此时即使调用了完全相同的底层工具、拿到了完全相同的底层数据,上下文消耗却极其轻量,整个网页得以完整顺畅地渲染完毕。演讲者调侃道:“我知道在座的一些‘算盘精’(bean counters,精打细算做财务分析的人)肯定已经注意到,我们这么做之后成本大幅度下降了。”
随后演讲者逐步拆解了这三项功能在底层的真实运行细节: - **Tool Search Tool 运行状态**:模型识别到业务需求(例如需要获取“英雄留存率指标(hero retention metrics)”),系统便从后台原本具备的数百个工具池中,仅精准挑选并返回了 3 到 4 个最匹配的工具定义。随后模型立刻调用了动态加载进来的 `hero_retention_metrics` 工具,按需获取了所需业务数据。 - **Programmatic Tool Calling 运行状态**:界面中被标记为“代码执行(code execution)”。后台直接公开了模型编写的真实 Python 脚本:模型通过 `results = async gather(...)` 异步并发调用此前那批数据工具,但它并没有把返回数据直接推入上下文,而是将接口数据保存在 JSON 对象中,再写出形如 `[:2500]` 的切片与定向提取逻辑,打印出标注清晰的字段来源(如联系人 Contact、商机 Pipeline、Gong 通话记录)。只有被 `print` 打印出的高价值片段,才最终载入模型上下文,将冗余的噪声完全挡在了门外。 - **Compaction 运行状态**:演讲者透露,为了本次演示的效果展示,他刻意将触发 Compaction 的阈值调得很小,大约设在 500K 左右。他指出,尽管自己个人主导推出了百万级上下文窗口(“I launched the Million Token Context. I love the Million Token Context”),但开发者在实际工程中不一定要顶格使用它;把阈值压得更紧不仅能显著省钱、降低延迟,而且能让模型保持更高的推理专注度。一旦上下文达到阈值,系统便自动暂停执行,将整个历史对话转录发送给另一个后台模型进行提炼,把包含数百次工具调用与庞大执行结果的陈旧记录,瞬间压缩为一条简明扼要的高质量摘要,供智能体无缝继续执行。
演讲者在此处总结道:“调用的是完全相同的工具,返回的是完全相同的数据,但我们变聪明了,我们正在运用上下文工程来透彻理解该放入什么(We're calling the exact same tools that are returning the exact same data, but we being smart, we using context engineering to understand what goes in)”。通过精细化的控制,智能体在极其有限的上下文与低成本开销下,轻松完成了此前会打爆上下文的超长任务。
[20:00](https://www.youtube.com/watch?v=7oO37GRhwGk&t=1200s) 引入 Advisor 策略:用 Sonnet 成本换取 Opus 级智能
在完成了上下文压缩之后,模型成功提取出继续推进所需的核心要素,能够继续执行任务。然而,现场讲师指出了一个严峻的现实问题:每次运行依然要花费大约 10 美元。讲师开玩笑说,贩卖 Token 是一门好生意,仅次于贩卖超级英雄,但每次加载 10 美元的成本迟早会惹上大麻烦。问题根源在于当前调用的是顶级旗舰模型 Opus(如 Opus 4.7),它的推理能力极其出色,但也极其昂贵。实际上,像 Sonnet 这样较小的模型在调用工具、编写 Python 代码方面同样表现优异,仅在少数极其复杂的场景下稍逊一筹。为了兼顾两者的优势,团队正式提出了“Advisor(顾问)策略”。
```mermaid flowchart TD accTitle: Advisor 策略工作流架构 accDescr: 展示执行模型 Sonnet 或 Haiku 在遇到复杂高风险任务时向顾问模型 Opus 请教的协同流程。
subgraph Execution["日常执行层 (轻量/低成本)"] A["执行器:Sonnet / Haiku"] -->|"日常任务:写代码 / 调工具"| B["处理标准工作流"] A -->|"遇到棘手异形任务或关键契约"| C{"发起 Advisor 调用"} end
subgraph Advisory["高级顾问层 (高智能/按需调用)"] C -->|"扫描上下文 / 审查记录"| D["顾问:Opus"] D -->|"纠错建议与深度洞察"| A end
B --> E["生成最终低成本、高质量交付物"] D --> E ```
讲师将 Advisor 策略的核心诉求总结为:“我们试图用 Advisor 解决的问题是:我们希望拥有 Opus 级别的智能,但只付出 Haiku 或 Sonnet 级别的成本。”这一模式的灵感直接源自真实工程团队的结对经验:让初级工程师与资级工程师搭档,资深工程师并不需要亲自敲下每一行代码,而是通过代码审查(Code Review)、审阅架构设计文档和提供指导来赋能初级工程师,后者的产出水准便能突飞猛进。在大语言模型架构中亦是如此——让较小的模型担任主执行器,日常任务全部自行消化;唯独遇到难以理解的“异形”复杂问题时,再去调用 Opus 进行转录记录审查并获取指导建议。现场提到,像 Bolt 这样的客户已经将这一策略投入实际生产,用以大规模控制推理成本。
- **核心价值诉求**:结合轻量模型的高性价比执行力与旗舰模型的深度审查能力,按需调取智力。 - **行业客户案例**:开发平台 Bolt 等客户已上线使用该 Advisor 模式以削减高昂的 Token 账单。
---
[22:30](https://www.youtube.com/watch?v=7oO37GRhwGk&t=1350s) Metropolis 续约实战:Opus 揪出 Sonnet 遗漏的关键情报
回到 HeroCorp 演示中,系统配置立刻被调整为“Sonnet 4.6 搭配 Opus 作为 Advisor”。讲师打趣道,看到模型栏切换的瞬间,公司财务的眼睛都放光了,因为繁琐的工具调用与 Python 代码执行全部交给了便宜的 Sonnet,费用瞬间断崖式下跌。但核心考验在于智能水平是否掉队:HeroCorp 眼下最核心的商业生死线是拿下“Metropolis 续约合同”。在审查 Gong 通话录音记录等大量背景数据时,Sonnet 粗略扫描后直接判断“一切进展顺利、符合预期”,但鉴于该交易属于极高价值订单,系统触发了 Advisor 机制,让 Opus 对同一份记录展开二次审查。
审查结果令人大吃一惊:Opus 敏锐地抓住了深埋在录音文本细节中的关键诉求——Metropolis 市长实际上非“冷冻乙烷(Cryothane)”不可。Sonnet 漏掉了这一致命细节并误报“进度正常”,而 Opus 成功排雷并发出警告,界面瞬间亮起代表危机的红字。讲师笑着纠正自己的用词:“哦等等,市场团队叮嘱我千万别说它‘便宜’(cheap),它不是便宜,它是‘实惠’(inexpensive)。”在确认市长需求后,大屏幕上的 CEO 控制台出现了一个一键操作项——锁定冷冻乙烷供应。讲师调动全场互动:“有谁支持保住这份合同的请举手?”在观众热烈回应后,他点击按钮完成了锁定并调侃道:“在 Agent 的世界里,作为 CEO 你唯一需要做的就是点一下按钮,搞定,一切危机迎刃而解。”
- **审查对象**:Metropolis 续约合同的 Gong 通话录音与客户历史沟通数据。 - **模型分工对比**:Sonnet 负责海量上下文读取与初步筛选;Opus 负责在关键节点扮演审查者,深挖潜在交易风险。 - **被挽救的关键细节**:发现市长对特定战略物资(Cryothane)的隐蔽刚需,避免了合同告吹。
---
[26:00](https://www.youtube.com/watch?v=7oO37GRhwGk&t=1560s) 总结复盘:从 Prompt Caching 到平台基础设施的全面进阶
演讲尾声,讲师在最后一分钟对整个分享的核心技术脉络做了精炼回顾,强调这是提升 Token 利用效率的三部曲。首要基石是 Prompt Caching(提示词缓存),讲师直接给出坚定建议:“如果你还没做缓存,直接忽略这次演讲的其余部分,马上去把缓存做了。”在缓存落地后,核心精力必须转向上下文工程(Context Engineering),必须清晰洞察留在 Context 里的每一条信息,并剔除无效数据将其高度精简优化。最后一步则是应用 Advisor 策略,以按需调用的方式低成本获取高阶智能。
除了这三大应用范式,讲师还特别推荐了 Claude 平台近期发布的几项硬核底层功能。首先是工作负载身份联合(Workload Identity Federation,简称 WIF),专为打消安全团队对 API Key 泄露或失控的顾虑而设计,彻底解决了密钥管理难题。其次是他个人最为推崇的官方命令行工具 Ant CLI:控制台网页上能操作的绝大多数配置,均已完整映射到 Ant CLI 中;更绝妙的是,像 Claude Code 这类编码代理天生擅长在命令行环境中工作,开发者只需将 Ant CLI 接入 Claude,模型就能完全自主接管、调度和运维整个平台的基础设施。讲师在告别音乐中总结道:“押注在我们的平台上,意味着平台会持续迭代进化,而随着新特性的不断推陈出新,你们的 Agent 也会水涨船高、变得越来越强大。”
- **优化路径黄金法则**: 1. Prompt Caching:构建低延迟、低成本推理的绝对地基; 2. Context Engineering:精准裁剪上下文,保持状态精炼; 3. Advisor 策略:小模型主控执行,大模型按需提供战略指导。 - **重点基础设施更新**: - **Workload Identity Federation (WIF)**:企业级无密钥身份验证,告别静态 API Key 的安全隐患; - **Ant CLI**:命令行管理工具,支持与 Claude Code 配合实现代理端到端自治运维。
## Notable quotes > [26:00](https://www.youtube.com/watch?v=7oO37GRhwGk&t=1560s) 如果你还没做缓存,直接忽略这次演讲的其余部分,马上去把缓存做了。 — Brad Abrams
> [20:00](https://www.youtube.com/watch?v=7oO37GRhwGk&t=1200s) 我们试图用 Advisor 解决的问题是:我们希望拥有 Opus 级别的智能,但只付出 Haiku 或 Sonnet 级别的成本。 — Brad Abrams
> [26:00](https://www.youtube.com/watch?v=7oO37GRhwGk&t=1560s) 押注在我们的平台上,意味着平台会持续迭代进化,而随着新特性的不断推陈出新,你们的 Agent 也会水涨船高、变得越来越强大。 — Brad Abrams
## Mentioned Brad Abrams, Ben, Anthropic, Claude, Claude Opus, Claude Sonnet, Claude Haiku, Claude Code, Claude Console, Prompt Caching, Tool Search Tool, Programmatic Tool Calling, Compaction, Advisor 策略, Workload Identity Federation (WIF), Ant CLI, HeroCorp AI, Cursor, Replit, Perplexity, Lovable, Quora, Hex, Bolt, Slack, Gong, Salesforce
## Video description Cut cost, manage context, boost intelligence. In this session, we'll show you how to put our latest platform capabilities to work. Through live demos you'll see what great prompt caching looks like, learn to keep context lean for long-running agents with tool search, programmatic tool calling, and compaction, and use the advisor strategy for a cost-effective intelligence boost. Together, they're a set of patterns you can apply to your agents today to get more from every token.
[Source](https://www.youtube.com/watch?v=7oO37GRhwGk)