Claude
AI-assisted summary of Caching, harnesses, and advisors: Building on Claude at GitHub scale — original source. Check the original for full context.
Source published:
Key ideas
- GitHub Copilot 在生产环境中将 Prompt 缓存命中率标准设定在 94% 至 96% 以上;由于未命中缓存的输入 Token 成本高达缓存命中的 10 倍,低于 70% 的命中率在内部通常被直接视为工程 Bug 处理。 (5:00)
- 小上下文窗口在实践中会引发 3 倍频率的上下文压缩,每次压缩需生成约 4,000 个高单价输出 Token 并破坏既有缓存,反证了长上下文窗口能够以更低的综合成本稳定维护缓存。 (10:00)
- GitHub 与 Anthropic 联合推出 Advisor 策略,以轻量模型 Haiku 作为日常任务执行者,并在复杂瓶颈处通过工具调用 Opus 获取极少量提示,实现以 Haiku 的成本获取 Opus 级的智能表现。 (13:30)
- GitHub 团队呼吁在 AI 时代将产品核心度量指标从单行的“代码采纳率”转向“代码生存率”,避免团队优化了表层点击行为却导致劣质代码被频繁删除的虚假繁荣。 (24:40)
Detailed notes
## Background 本内容由 Claude 官方 YouTube 频道于 2026 年 5 月 6 日发布。视频记录了在 Code with Claude 大会上,GitHub 首席产品官 Mario Rodriguez 与 Anthropic 的 Brad Abrams 的联合演讲,深入拆解了拥有数百万开发者的 GitHub Copilot 团队如何通过 Prompt 缓存、评测体系及全新 Advisor 架构,在大规模生产环境中同时实现质量提升与成本控制。
## TL;DR 演讲围绕 GitHub Copilot 支撑海量调用背后的三大工程支柱展开:首先,团队通过将 Prompt 缓存命中率拉升至 95% 以上并利用长上下文避免高昂的压缩开销,成功解决了超大规模下的推理成本难题;其次,引入以轻量模型(Haiku)为主执行者、顶尖模型(Opus)在关键节点介入答疑与批判的 Advisor/Rubber Duck 协同架构,达成了“以 Haiku 价格享受 Opus 智能”的效果;最后,分享了将新模型接入内部 Harness 的标准化闭环,并强调在评测 AI 产品时应摒弃表层的采纳率,转而以真实衡量终局价值的“代码生存率”为核心指标。
## Atmosphere & style 整场演讲充满务实且硬核的工程极客氛围,快节奏的干货输出中穿插着极具实战感的试错洞察。Mario Rodriguez 的表达热情干练且直击痛点,而 Brad Abrams 的登台互动则通过生动的结对编程比喻与现场终端 Demo,让复杂的架构决策显得直观而优雅。听众能够深切感受到顶级工程团队在直面数以亿计生产流量时的冷静与严谨,既有大厂架构师拆解底层调优时的从容,也洋溢着对赋能开发者心流体验的纯粹热情。
## Bulletin - [05:00](https://www.youtube.com/watch?v=y5TmF_6o6xk&t=300s) GitHub Copilot 在生产环境中将 Prompt 缓存命中率标准设定在 94% 至 96% 以上;由于未命中缓存的输入 Token 成本高达缓存命中的 10 倍,低于 70% 的命中率在内部通常被直接视为工程 Bug 处理。 - [10:00](https://www.youtube.com/watch?v=y5TmF_6o6xk&t=600s) 小上下文窗口在实践中会引发 3 倍频率的上下文压缩,每次压缩需生成约 4,000 个高单价输出 Token 并破坏既有缓存,反证了长上下文窗口能够以更低的综合成本稳定维护缓存。 - [13:30](https://www.youtube.com/watch?v=y5TmF_6o6xk&t=810s) GitHub 与 Anthropic 联合推出 Advisor 策略,以轻量模型 Haiku 作为日常任务执行者,并在复杂瓶颈处通过工具调用 Opus 获取极少量提示,实现以 Haiku 的成本获取 Opus 级的智能表现。 - [24:40](https://www.youtube.com/watch?v=y5TmF_6o6xk&t=1480s) GitHub 团队呼吁在 AI 时代将产品核心度量指标从单行的“代码采纳率”转向“代码生存率”,避免团队优化了表层点击行为却导致劣质代码被频繁删除的虚假繁荣。
## Key takeaways - [00:00](https://www.youtube.com/watch?v=y5TmF_6o6xk&t=0s) GitHub Copilot 支撑海量调用的三大工程支柱为:极端压榨成本的 Prompt 缓存、Advisor & Critic 异构模型协作模式,以及适应高频模型迭代的评估与路由 Harness。 - [05:00](https://www.youtube.com/watch?v=y5TmF_6o6xk&t=300s) 实现 95%+ 缓存命中率必须遵循前缀绝对静态原则,严禁在系统提示词中引入 UUID 等动态变量,并将构建顺序固化为系统提示词、工具定义、对话历史及当前消息。 - [05:00](https://www.youtube.com/watch?v=y5TmF_6o6xk&t=300s) 工具定义的动态加载或前缀变更是导致下游会话缓存大面积失效的高发诱因,团队必须针对技能和工具实验配备严密的回归测试。 - [05:00](https://www.youtube.com/watch?v=y5TmF_6o6xk&t=300s) 多模型调度框架(Harness)需要投入工程精力维护底层缓存亲和性路由,保证用户跨模型调用(如 Opus 切至开源模型再切回 Opus)时依然能复用先前的缓存状态。 - [10:00](https://www.youtube.com/watch?v=y5TmF_6o6xk&t=600s) 长上下文并不必然拉高成本;小窗口高频触发压缩不仅产生大量单价是输入 5 倍的高昂输出 Token,还会反复破坏缓存前缀导致成本失控。 - [10:00](https://www.youtube.com/watch?v=y5TmF_6o6xk&t=600s) 缓存命中率应作为关键效率指标在各前端(VS Code、CLI、Agent、移动端等)进行独立监控,以便精准捕捉版本发布中的性能回退。 - [13:30](https://www.youtube.com/watch?v=y5TmF_6o6xk&t=810s) Advisor 模式模拟了资深工程师指导初级工程师的分工:Haiku 独立承担高吞吐执行,仅在卡点处消耗极小延迟和微量 Token 咨询 Opus 并继续解题。 - [17:30](https://www.youtube.com/watch?v=y5TmF_6o6xk&t=1050s) Rubber Duck 机制充当批判性审查员,被精准部署在拟定计划后、复杂实现完成之后,以及编写测试后运行测试前这三个高杠杆节点以遏制返工。 - [20:00](https://www.youtube.com/watch?v=y5TmF_6o6xk&t=1200s) 新模型接入依托 CAPI 网关统一暴露端点,并触发针对多模型 Harness 的系统提示词、工具接口、上下文压缩与缓存策略的全套调优。 - [22:00](https://www.youtube.com/watch?v=y5TmF_6o6xk&t=1320s) 离线基准测试仅能提供底线参考,无法反映成千上万开发者的真实复杂场景,模型最终参数调优必须依靠具有统计显著性的线上 A/B 测试。 - [23:30](https://www.youtube.com/watch?v=y5TmF_6o6xk&t=1410s) 盲目堆砌数百个工具会加剧模型推理混淆与 Harness 维护负担,工具配置应针对具体交互界面(Surface)进行严格裁剪与最小化特异定制。 - [24:40](https://www.youtube.com/watch?v=y5TmF_6o6xk&t=1480s) 评估代码生成模型应优先考虑代码在提交和测试后的最终生存率(Outcome),而非敲击 Tab 键的即时采纳率(Activity)。
## Detailed walkthrough ### [00:00](https://www.youtube.com/watch?v=y5TmF_6o6xk&t=0s) GitHub 的使命与大规模集成 Claude 的核心支柱
GitHub 首席产品官(CPO)Mario Rodriguez 在 Code with Claude 大会上开场,热情表达了对开发者大会的热爱。他提到这类大会虽然“略显混乱却充满生机”,而且始终是“以开发者为先,而非以 Agent 为先”(dev first not agent first)。GitHub 本身是一家强使命驱动的公司,其核心愿景是通过提供优秀工具赋予开发者力量并推动人类进步。
在与企业及开发者交流时,客户所追求的目标非常明确:让开发者始终处于心流状态(keep developers in flow)、提高团队交付速度(velocity),并在保持现有团队规模的前提下实现更高产出。要在大规模场景下兼顾这几点,系统必须同时具备极高的效率与信任。Rodriguez 强调,每一个产品决策与平台集成架构都深深植根于这几个核心支柱: “I want to make sure that I keep developers in flow. I want to make sure that teams gain that velocity. And I want to make sure that the companies can do that with intelligence and trust.”
由于 GitHub Copilot 在底层平台上处理着数十亿乃至数万亿条消息调用,团队所面对的环境每周都在剧烈演进。为了帮助参会者理解如何在大规模下运行推理,Rodriguez 梳理出支撑其平台决策的三大关键领域: - **Prompt 缓存(Prompt Caching)**:没有缓存机制,运行成本将不可承受。在如此体量下,哪怕只有 1% 的效率提升,其意义也如同高频交易一般,直接关乎数百万美元的得失。 - **与 Anthropic 深度合作的架构创新(Advisor & Critic 模式)**:确保客户在正确的时机调用匹配的智能水平。 - **应对频繁模型迭代的评估与路由体系**:面对常常在周六凌晨 5 点突然通知“周二就要上线”的新模型发布节奏,如何基于基准评测和缓存表现决定默认模型,并将请求精准路由到最佳模型。
[05:00](https://www.youtube.com/watch?v=y5TmF_6o6xk&t=300s) 缓存命中率的工程实战:从 70% 到 95%+ 的硬核优化
Anthropic 最新发布的控制面板允许开发者监控 Messages API 的用量与缓存命中率,而 GitHub 内部则依赖一套更加详尽的监控系统来追踪不同模型版本间的差异(例如 Opus 4.6 与 Opus 4.7 之间的对比 delta)。每当新模型进入抢先体验阶段(EAP),团队会立刻运行包括 Terminal Benchmark 2 在内的一整套自研及行业标准基准测试,随后上线并在约 30 天内持续调整,直至该模型的所有优化完全收敛。
```mermaid flowchart TD accTitle: GitHub Prompt 缓存层级结构 accDescr: 展示 GitHub 构建 Prompt 时的四个静态到动态层级,越靠前的层级越需保持稳定以最大化缓存命中率。
subgraph PromptStructure["Prompt 结构层级(从最静态到最动态)"] L1["1. 系统提示词 System Prompt<br/>(绝对静态,严禁动态内容如 UUID)"] L2["2. 工具定义 Tools<br/>(严格保持前缀一致,防止全盘失效)"] L3["3. 历史对话上下文 Conversation Context<br/>(按轮次追加)"] L4["4. 当前发送的新消息 Latest Message"] end
L1 --> L2 L2 --> L3 L3 --> L4 ```
对于 GitHub 的业务规模而言,缓存命中率直接决定了商业可行性。在输入端,命中缓存的 Token 成本仅为未缓存成本的 10%(即相差 10 倍);频繁导致缓存失效就意味着要承担高达 10 倍的输入成本。因此,团队将缓存命中率的标准设得极为严苛: “For us to operate the service at scale, we need to run above 94, usually 94, 95, 96%. If we operate at 70%, that means usually that we have a bug, believe it or not.”
将命中率从 50% 提升到 70% 属于低垂的果实,但要将命中率拉升至 90% 甚至 96% 以上,必须经过大量严密的工程重构。Rodriguez 分享了团队在试错中总结出的三大核心工程原则:
1. **前缀中坚决不放动态内容(No dynamic content in prefix)**:必须确保前缀绝对静态。GitHub 早期曾踩过严重陷阱,在系统提示词中加入了 UUID,导致前缀每次变化,整段缓存彻底失效。调用结构的层级必须严格按照:系统提示词(System) $\rightarrow$ 工具(Tools) $\rightarrow$ 对话历史(Conversation) $\rightarrow$ 最新消息(Latest message)。 2. **工具定义的稳定性与回归测试**:如果工具采用动态加载,或者变更了工具定义的前缀,整个后续对话的缓存将全部失效。由于产品团队会频繁对技能(Skills)和工具进行实验,必须配套严密的回归测试,以确保实验不会破坏生产环境的工具前缀缓存。 3. **多模型 Harness 下的缓存亲和性(Cache Affinity)**:在 Copilot 这类复杂产品中,用户可能在单次任务里先调用 Opus,再调用 GPT 模型,接着调用开源(OSS)模型,最后切回 Opus。为了保证最后一次调用 Opus 时仍然能命中第一次的缓存状态,GitHub 的多模型 Harness(调度框架)投入了巨大的工程精力来维护底层的缓存亲和性路由。
[10:00](https://www.youtube.com/watch?v=y5TmF_6o6xk&t=600s) 长上下文与压缩的迷思:监控缓存命中率与多端表现
Mario Rodriguez 首先打破了一个在企业客户中非常普遍的误解:“长上下文是否意味着调用成本必然更高?”他的答案十分明确:事实并非如此。在 Copilot 团队的模拟实验中,保持相同模型和相同上下文容量的前提下,如果强行使用较小的上下文窗口,就不得不以更高的频率触发上下文压缩(Compaction)。数据显示,小上下文窗口下的平均压缩次数比大上下文窗口高出整整三倍。关键在于输入与输出 Token 之间巨大的价格差异——通常输出 Token 的单价是输入的 5 倍左右(例如输入 5 美元、输出 25 美元)。每次压缩为了总结历史消息,都需要生成约 4,000 个输出 Token;这不仅直接拉高了成本,还会使原本缓存好的上下文大量失效。Mario 强调:“长上下文窗口并不意味着你花得更多。事实上,你必须去理解压缩是如何完成的,并根据具体场景为用户妥善管理这一过程。”
```mermaid flowchart TD accTitle: Context Window Compaction vs Cache Tradeoff accDescr: 较小上下文窗口频繁触发高成本压缩并导致缓存失效,而长上下文窗口保留缓存且降低输出成本
subgraph SmallWindow["小上下文窗口策略"] A1["上下文迅速填满"] --> B1["频繁触发压缩 (3x Compaction)"] B1 --> C1["生成高昂输出 Tokens (~4,000 tokens)"] C1 --> D1["缓存大面积失效,调用成本剧增"] end
subgraph LongWindow["长上下文窗口策略"] A2["上下文容量充足"] --> B2["低频或无压缩操作"] B2 --> C2["稳定维持 Prompt 缓存"] C2 --> D2["显著降低总体 Token 成本与延迟"] end ```
基于这一洞察,Mario 强烈建议开发者对缓存命中率(Cache Hit Rate)进行严密监控: - **仪表盘先行**:无论如何都要投入时间搭建监控仪表板。平台通常会提供基础数据,但团队应进一步监控模型发布前后的指标增量(Deltas)。 - **指标核心地位**:“在看到这个指标之前,其他任何效率优化都无关紧要;你必须把缓存命中率从 50%、70% 一路推升到 90% 以上。” - **全端分别度量**:GitHub Copilot 覆盖了极多的交互界面,包括 VS Code、Copilot CLI、云端 Coding Agent、IntelliJ 以及移动端(Mobile)。每个终端都需要单独测量,以确切了解某次版本发布到底是带来了性能提升还是产生了指标回退(Regression)。
---
[13:30](https://www.youtube.com/watch?v=y5TmF_6o6xk&t=810s) Advisor 策略:以 Haiku 的价格获取 Opus 级的智能
在搞定 Prompt Caching 之后,接下来的核心挑战是如何在恰当的时机以最低的成本为用户提供合适的智能。为此,Mario 邀请了 Anthropic 的 Brad Abrams 上台介绍双方合作探索的“Advisor 策略”。Brad 称赞 GitHub Copilot 是 Anthropic 最重要的合作伙伴之一,他们的敏锐反馈直接塑造了许多 Claude API 功能。Copilot 团队向 Anthropic 提出的核心需求非常实在:他们希望能以 Haiku 的成本获得 Opus 水准的智能。
Brad 将这种架构类比为软件团队中“资深工程师指导初级工程师”的日常模式:初级工程师(如同轻量高效的模型 Haiku,充当执行者 Executor)负责绝大部分常规工作,遇到看不懂的复杂设计或代码审查时,只需转头向身旁的资深工程师(如同能力强悍但成本更高的 Opus,充当顾问 Advisor)求助。Senior 扫一眼给出关键提示,Junior 就能立刻推进下去。通过这种设计,系统只在最关键的瓶颈点将极少量的 Token 交给 Opus 思考,既控制了昂贵模型 Token 的消耗,又打破了轻量模型的能力天花板。
```mermaid flowchart LR accTitle: Executor and Advisor Model Collaboration Pattern accDescr: Haiku 作为执行者处理常规任务,遇到高难异形问题时通过 Advisor 工具向 Opus 索取提示并继续执行
subgraph Workflow["Advisor 架构工作流"] H["Haiku (执行者 / Junior)"] O["Opus (顾问 / Senior)"]
H -->|"处理常规输入"| R["直接输出结果"] H -->|"遇到高难异构问题 (调用 Advisor Tool)"| O O -->|"深度推理并返回少量关键提示 (Hint)"| H H -->|"带入提示完成剩余执行"| Done["高质量完成任务"] end ```
在现场演示中,Brad 在 GitHub Copilot CLI 环境中给出了同一道脑筋急转弯性质的复杂编程谜题,并对比了纯 Haiku 与“Haiku + Opus Advisor”两组表现: - **纯 Haiku**:像一个热情但缺乏经验的新人,独自快速旋转、不断胡乱尝试各种方法,却迟迟找不到正确方向。 - **Haiku + Advisor**:启动时略微停顿以向 Opus 发起咨询;Opus 迅速识破谜题并回传了一小段关键数据提示。一旦 Opus 退出上下文,Haiku 借助这一关键信息瞬间理清逻辑并完成了解答。 - Brad 总结道,通过引入极小代价的延迟与成本调用,轻量模型被大幅赋能:“仅仅是来自 Opus 的那一点点提示、非常微小的成本和极低的延迟损耗,就让 Haiku 变得无比强大。”
---
[17:30](https://www.youtube.com/watch?v=y5TmF_6o6xk&t=1050s) Rubber Duck 批判机制:在关键阶段纠偏方案
Mario 回到舞台后风趣地表示,谁不喜欢“用 Haiku 的价格享受 Opus 的智能”呢?接着,他介绍了 GitHub 内部正在实验的另一种互补算法——“Rubber Duck”(小橡皮鸭)。与侧重解答具体难题的 Advisor 工具不同,Rubber Duck 侧重于在特定时间节点作为外部的严苛评审员(Critique),审查当前步骤并提出修正意见。
在现场演示的 Bug 修复与功能开发案例中,系统在编码前主动向高阶模型请求批判审查。通过接收到深度的反馈,系统在动手写代码之前及时调整了实现计划,避免了后续大量的返工和 Token 浪费。Mario 强调这种机制被精确插入在开发工作流的三个关键时机:
1. **拟定计划之后(After drafting a plan)**:在系统完成架构规划但尚未执行时进行批判审查。Mario 认为这是收益最高的节点,“很多这类系统在规划方面正变得越来越强,如果你能在规划阶段就抓住问题,后续获得的收益将是最大的。” 2. **复杂实现完成之后(After a complex implementation)**:充当代码评审的前置哨兵(Pre-code review)。如果等代码全部提交后再走正式 Code Review,一旦发现偏差将产生极其昂贵的修复成本,在此处拦截能节省大量 Token。 3. **编写测试后、运行测试前(After writing tests but before running them)**:对于庞大且耗时漫长的企业级 CI 测试套件,在运行前由批判模型快速审核测试用例的有效性,能够避免无效排队,让开发者始终保持在心流(Flow)状态中。
- Mario 指出:“这是一种完全不同的模式,它与其说是 Advisor,不如说是一种指出‘嘿,我觉得你应该这么做’的批判审查。”目前 Rubber Duck 功能已在 GitHub 内部处于实验阶段。
[20:00](https://www.youtube.com/watch?v=y5TmF_6o6xk&t=1200s) Copilot CLI 中的 Advisor 策略与新模型接入流程
开发者如果下载了 GitHub Copilot CLI 并开启实验性功能(Experiments),便能直接体验 Advisor 模式。在终端中,用户可以随时随地调用它,例如输入“为这个任务制定计划,并向 Rubberduck(小黄鸭顾问)咨询”,便能迅速得到跨不同模型家族的交叉审查与批判性反馈。在解释完 Advisor 机制后,演讲进入了第三大核心主题:GitHub 究竟如何在庞大规模下条理清晰地接入并评估基础模型。在过去两年半的时间里,团队经历了从起步时的混乱摸索,到如今构建起一套高度系统化的模型吸纳流程。当 Anthropic 提供新模型进行测试时,GitHub 首先会将其接入内部的 CAPI(Copilot API)服务并生成专用端点,随后触发针对测试治理框架(Harness)的多项核心工程改造。
由于 GitHub 采用的是支持多家模型家族的多模态 Harness,系统提示词(System Prompts)必须针对新模型进行全方位更新,这一过程需要与 Anthropic 团队紧密协作。此外,团队还需要精细重构工具接口(Tool Interfaces)、微调智能体循环(Agent Loop,尽管随着模型能力的提升目前微调频率已有所降低),并将巨大精力倾注在上下文管理(Context Management)、上下文压缩(Compaction)以及提升 Prompt 缓存命中率上。完成基底改造后,工程流水线会并行启动两项测试:一方面在基准数据集上运行离线评测(Offline Benchmarks);另一方面在微软和 GitHub 内部的上万名开发者群体以及深度合作的核心用户之间展开内部试用(Internal Dogfooding,即在线评测)。团队将所有发现形成详尽文档与演示报告,实时同步给 Anthropic,在模型检查点(Checkpoints)和 API 参数层面上持续闭环迭代,直至模型最终正式发布。
```mermaid flowchart TD accTitle: GitHub Copilot 新模型接入与评估闭环架构 accDescr: 展示从 Anthropic 提供新模型到 CAPI、Harness 调优、离线/在线评估直至正式发布的完整流程。
subgraph Ingestion ["模型接入与端点暴露"] A["Anthropic 提供新模型 Checkpoint"] --> B["CAPI (Copilot API) 接入与端点暴露"] end
subgraph HarnessOpt ["多模型 Harness 深度优化"] B --> C1["系统提示词与上下文压缩"] B --> C2["工具接口优化与权限校验"] B --> C3["Prompt 缓存命中率调优"] end
subgraph Evaluation ["双轨评测与联合反馈"] C1 & C2 & C3 --> D1["离线基准测试 (Offline Evals)"] C1 & C2 & C3 --> D2["内部试用 (Dogfooding / 在线 A/B 测试)"] D1 & D2 --> E["生成详细分析文档与指标"] E --> F["与 Anthropic 进行参数/模型迭代循环"] end
F --> G["正式推向数百万终端开发者"] ```
- **CAPI(Copilot API)核心枢纽**:作为所有底层模型与前端功能(Chat、CLI、Agent 等)之间的抽象网关,统管所有新模型断点的安全接入与分发。 - **Harness 调优矩阵**:涵盖系统提示词定制、工具调用参数对齐、上下文精简与长文本缓存命中率优化。 - **双轨评估机制**:离线基准测试负责快速摸底并校准底线,微软与 GitHub 开发者内部实战试用则提供真实的在线质量表现。
---
[22:00](https://www.youtube.com/watch?v=y5TmF_6o6xk&t=1320s) 离线基准与在线评估的现实差距及调优周期
在分享评估经验时,演讲者特别强调了离线测试与真实线上环境之间的鸿沟。尽管离线基准必不可少,且能提供一个可供参考的基线,但它绝不能完全折射出成千上万开发者在复杂现实编码场景下的真实体验。真正决定成败的细节和高价值认知,几乎全部来自于上线后的在线评估(Online Evals)和严密的 A/B 测试。离线测试的作用更像是一个“压舱石”,只要基线稳定,团队大致就能预测新模型的底线水平,但那些微妙的边界情况、工具链调用的脆弱点,往往只有在真实流量冲击下才会暴露无遗。
通常情况下,团队需要花费数天甚至数周的时间,通过连续的在线实验去细致打磨一个模型的各项参数。为了保证整个调优过程科学可信,GitHub 严格依赖统计学显著性(Statsig 等工具)开展 A/B 测试,并按周形成追踪报告,同步汇报给内部所有关联团队以及 Anthropic 研发团队,确保在最合适的时间窗口上线打磨得最完善的模型。谈及离线测试的局限时,演讲者直接指出:“Offline gives you an indication, but I would say it's not going to be a tense reality; you learn a lot more from your online evals overall and the online experiments after launch than really the offline.” 这句话深刻总结了产品团队在追求极致模型效果时必须直面的工程现实。
- **调优耗时**:新模型即使通过了所有离线标准测试,依然需要经历数天至数周的在线小流量与 A/B 测试打磨。 - **周报对齐机制**:跨组织向 Anthropic 研发团队及 GitHub 内部核心业务线双向同步指标异动,推动模型端与接口端的双向迭代。 - **统计可信度**:在在线评估中严格引入统计显著性校验,避免将噪声误判为质量提升。
---
[23:30](https://www.youtube.com/watch?v=y5TmF_6o6xk&t=1410s) 优化 Harness 执行循环与避免工具膨胀陷阱
在优化测试与执行 Harness 的具体工程实践中,GitHub 抽象出了四大标准步骤:构建提示词与上下文(Build Prompt and Context)、调用模型(Calling the Model)、执行工具(Executing the Tool),以及追加结果并回溯检查(Appending Results and Loop Back)。在整个闭环中,工程团队投入时间最多、摩擦最为剧烈的环节正是“构建提示词与上下文”和“工具执行”。工具是赋能 Coding Agent 采取实际行动的支柱,但盲目添加工具反而会引发灾难性的系统混乱。
演讲者对近年来 AI 圈盲目堆砌工具的现象提出了尖锐警告:模型可用的工具并不是越多越好,成百上千个工具的暴露不仅会成倍增加模型的推理混淆度,还会导致 Harness 调优难度失控。在谈到工具配置策略时,演讲者明确表示:“Tools are very important to us; the more tools you have, then the more confusion ends up happening, the more you have to tune. So hundreds and hundreds of tools is not a good thing.” 正确的做法是针对特定的交互表面(Surface)和具体的工程场景实施工具包的严格裁剪与定制,让模型在清晰、最小化且确定性的工具集下运转。同时,在工具执行层必须严格做好权限检查(Check Permissions)、精准上下文注入以及结果解析,每当团队试图引入一个新工具时,都需要在模型指令层与工具运行层同时进行极限压测和优化。
- **Harness 四步核心循环**: 1. **构建提示词与上下文**:组织代码片段、历史交互与长文本缓存前缀。 2. **模型调用**:向 CAPI 发送推理请求并获取结构化指令。 3. **工具执行**:实施安全校验、参数解析并驱动底层环境运行(如读写文件、执行终端命令)。 4. **结果回填与循环**:将输出结构化回填进对话树,决定是结束执行还是开启下一轮思考。 - **防工具膨胀(Tool Bloat)原则**:杜绝一站式通用大工具包,按照代码审查、行内补全、终端 CLI 等不同界面按需装配特异化工具集。
---
[24:40](https://www.youtube.com/watch?v=y5TmF_6o6xk&t=1480s) 从行为指标转向结果指标:代码生存率与产品总结
在演讲的结尾阶段,团队从宏观产品方法论层面强调了核心度量衡的转变:在 AI 时代,产品经理必须度量最终“结果(Outcomes)”而非过程中的“活跃度(Activity)”。在代码生成领域,团队早期往往高度关注代码行的“采纳率(Acceptance Rate)”,即开发者在编辑器里是否敲击了 Tab 键接受补全建议。然而在实践中他们发现,如果开发者先接受了一段代码,半小时后又因为逻辑缺陷或风格不符而将其全部删掉,那么这种看似亮眼的采纳率根本没有为用户带来真正的价值交付。
相比之下,“代码生存率(Survival Rate)”——即生成并被接受的代码在经过一段时间、经历单元测试和代码提交后是否依然存留——是一个远为真实且严苛的结果指标。即使某个模型的单行采纳率破了纪录,如果其最终的代码生存率极其低下,就证明工程团队走错了方向。针对 AI 产品经理在指标制定上的根本变革,演讲者总结道:“It's very important if you're in product, and product really changes in the era of AI, that you're optimizing for the outcomes and not just the individual rows. Like I said, you end up then optimizing for a metric that then tanks the measurement of your entire product.” 在总结全场演讲时,GitHub 团队重申了贯穿大规模工程体系的三大支柱——利用 Prompt 缓存控制成本与延迟、引入多模型协作的 Advisor 审查架构,以及基于真实生存率 outcomes 指标优化 Harness,以此为所有基于 Claude 等前沿模型打造企业级软件的团队提供了宝贵的参考范式。
- **采纳率(Acceptance Rate)vs 代码生存率(Survival Rate)**:采纳率衡量表层点击意愿(Activity),代码生存率衡量最终工程价值沉淀(Outcome)。 - **指标偏离风险**:片面追求单点过程指标会导致产品整体体验与业务目标脱节,甚至毁掉产品在开发者心目中的信任基石。 - **全篇三大工程支柱复盘**: 1. **Prompt 缓存(Prompt Caching)**:在千万级长上下文交互中击穿成本与首字延迟瓶颈。 2. **顾问策略(Advisor Strategy)**:利用异构模型进行跨家族代码评审与方案纠错,防止单一模型盲区。 3. **基于严密评测的 Harness 持续调优**:以代码生存率等终局指标驱动在线 A/B 测试闭环。
## Notable quotes > [23:30](https://www.youtube.com/watch?v=y5TmF_6o6xk&t=1410s) Tools are very important to us; the more tools you have, then the more confusion ends up happening, the more you have to tune. So hundreds and hundreds of tools is not a good thing. — Mario Rodriguez
> [22:00](https://www.youtube.com/watch?v=y5TmF_6o6xk&t=1320s) Offline gives you an indication, but I would say it's not going to be a tense reality; you learn a lot more from your online evals overall and the online experiments after launch than really the offline. — Mario Rodriguez
## Mentioned Mario Rodriguez, Brad Abrams, GitHub, Anthropic, GitHub Copilot, Claude, Haiku, Opus, Copilot CLI, VS Code, IntelliJ, Microsoft, Messages API, CAPI, Statsig, Terminal Benchmark 2
## Video description GitHub's Copilot team ships Claude to millions of developers across chat, CLI, coding agent, and code review, and has become one of the most demanding users of the Claude Platform. GitHub CPO Mario Rodriguez and Anthropic's Brad Abrams break down how the team pushes quality up and costs down at scale, from caching and evaluation to the new Advisor strategy. Walk away with patterns you can apply to your own Claude-powered product.
[Source](https://www.youtube.com/watch?v=y5TmF_6o6xk)