Claude
前沿模型规划与自愈能力的大幅跃升,意味着开发者应主动削减冗余的工作流与历史提示词补丁,转而依赖贴合实际分布的评测集驱动模型端到端自治。
AI-assisted summary of The capability curve — original source. Check the original for full context.
Source published:
Key ideas
- 前沿编程模型能力显著跃升:Opus 4.7 在 SWE-bench Verified 上的得分达到 87%,相比一年前 Sonnet 3.7 的 62% 净增超 25 个百分点,在复杂真实 PR 上的成功概率提升至旧模型的 3 倍以上。 (0:00)
- 底层模型红利主要体现在规划能力、自愈回溯(错误恢复)及超长周期注意力三大支柱上,支持模型在数十万级 Token 下保持一致性并自主避免试错死亡循环。 (5:00)
- 工程范式转向“做减法”:过度复杂的外部脚手架与陈旧臃肿的提示词反而会削弱最新前沿模型的推理性能,直接削减外部约束或切换最新模型往往能带来更优收益。 (11:15)
- 构建高阶 Agent 需走向自治与闭环:结合自适应思考(adaptive thinking)、分类器审查(如 Claude Code Auto Mode)以及挂载端到端验证工具(如 Computer Use)实现多轮自省与自我迭代修正。 (12:30)
Detailed notes
## Background 该视频由 Anthropic 官方频道 Claude 于 2026 年 5 月 8 日发布在 YouTube 上。视频页面简介指出,前沿 AI 模型的能力正在突飞猛进,本次演讲旨在探讨这条“能力曲线”的未来走向,以及它对基于 Claude 构建应用的开发者究竟意味着什么。
## TL;DR Anthropic 研究产品经理 Alex Albert 回顾了模型从 Sonnet 3.7 到 Opus 4.7 的能力跃迁,展示了在 SWE-bench 上成功率飙升以及单 Prompt 完整重构 Claude.ai Web 端的真实案例。他指出,新一代模型在规划、错误自愈与超长注意力机制上实现了质的突破。面对这一趋势,Alex 建议开发者摆脱过时的学术测试,构建贴近真实业务且防饱和的评测集,并大胆为外部脚手架与臃肿 Prompt“做减法”。最后,他主张利用自适应思考、受控工具调用以及计算机使用(Computer Use)等自我验证工具,赋予模型更充裕的自主探索与闭环迭代空间。
## Atmosphere & style 演讲现场氛围轻松而极具号召力,Alex 开场用楼下免费酒会开涮,瞬间拉近了与台下工程师的距离,现场举手互动的反响格外热烈。整个分享没有空洞的学术说教,而是穿插着真实的 Demo 翻车调侃、风趣的生活比喻(如组装宜家家具)以及一线大厂的实践案例。听众仿佛置身于一场充满干货的开发者派对,既能直观感受到底层智能狂飙突进带来的震撼,又能获得务实、反直觉且可落地的工程架构启发。
## Bulletin - [00:00](https://www.youtube.com/watch?v=tP4MGcJ80Y0&t=0s) 前沿编程模型能力显著跃升:Opus 4.7 在 SWE-bench Verified 上的得分达到 87%,相比一年前 Sonnet 3.7 的 62% 净增超 25 个百分点,在复杂真实 PR 上的成功概率提升至旧模型的 3 倍以上。 - [05:00](https://www.youtube.com/watch?v=tP4MGcJ80Y0&t=300s) 底层模型红利主要体现在规划能力、自愈回溯(错误恢复)及超长周期注意力三大支柱上,支持模型在数十万级 Token 下保持一致性并自主避免试错死亡循环。 - [11:15](https://www.youtube.com/watch?v=tP4MGcJ80Y0&t=675s) 工程范式转向“做减法”:过度复杂的外部脚手架与陈旧臃肿的提示词反而会削弱最新前沿模型的推理性能,直接削减外部约束或切换最新模型往往能带来更优收益。 - [12:30](https://www.youtube.com/watch?v=tP4MGcJ80Y0&t=750s) 构建高阶 Agent 需走向自治与闭环:结合自适应思考(adaptive thinking)、分类器审查(如 Claude Code Auto Mode)以及挂载端到端验证工具(如 Computer Use)实现多轮自省与自我迭代修正。
## Key takeaways - [00:00](https://www.youtube.com/watch?v=tP4MGcJ80Y0&t=0s) 开发者对 Claude 驱动的 Agentic Coding 已建立深度信任,交付速度显著加快并大幅提升了生产力。 - [00:00](https://www.youtube.com/watch?v=tP4MGcJ80Y0&t=0s) SWE-bench Verified 基准得分从 62%(Sonnet 3.7)提升至 87%(Opus 4.7),标志着模型在长尾高难度真实代码问题上的解决能力实现质的飞跃。 - [05:00](https://www.youtube.com/watch?v=tP4MGcJ80Y0&t=300s) 单 Prompt 重构 Claude.ai 实测展示了代际差距:新模型不仅自主处理样式规范、API 响应与历史记录持久化,代码量反而更精简高效。 - [05:00](https://www.youtube.com/watch?v=tP4MGcJ80Y0&t=300s) 前沿模型具备深度的预先规划能力,应给予其充足的思考时间而不是强迫它立即动手敲代码,以保证下游端到端表现。 - [05:00](https://www.youtube.com/watch?v=tP4MGcJ80Y0&t=300s) 错误恢复机制能够有效打断以往反复试错的“死亡循环”,让模型遇阻时主动回溯并换维度重新规划,节省大量无效 Token 消耗。 - [05:00](https://www.youtube.com/watch?v=tP4MGcJ80Y0&t=300s) 超长周期注意力的大幅提升,使得模型能够在极长任务生命周期中牢牢遵守初始约束与系统提示词,无需频繁人工切碎任务。 - [05:00](https://www.youtube.com/watch?v=tP4MGcJ80Y0&t=300s) 企业实际落地验证了能力进阶:Vercel、Windsurf 与 Shopify 分别观察到了形式化证明、全流程无注意力衰减与出色的自省迭代重构能力。 - [10:00](https://www.youtube.com/watch?v=tP4MGcJ80Y0&t=600s) 一切优化的原点在于评测体系(Evals),测试集必须紧密贴合产品的真实数据分布与用户流量,避免使用脱节的学术基准。 - [10:00](https://www.youtube.com/watch?v=tP4MGcJ80Y0&t=600s) 随着模型智力不断提升,评测集的难度必须动态增加以防止指标饱和,从而持续保留精准的性能评估信号。 - [10:00](https://www.youtube.com/watch?v=tP4MGcJ80Y0&t=600s) 在拥有健康评测集的前提下,有时对应用所能做的最佳优化仅仅是直接接入并切换至最新的前沿模型。 - [11:15](https://www.youtube.com/watch?v=tP4MGcJ80Y0&t=675s) 简化外部脚手架(Scaffolding):针对前沿模型做减法、剥离过于死板的多步骤状态机或复杂编排,往往比做加法更能释放模型潜力。 - [11:15](https://www.youtube.com/watch?v=tP4MGcJ80Y0&t=675s) 定期清理提示词中历经多个模型世代堆积的历史补丁与过度微调约束,有助于降低 Token 消耗并解除对模型推理能力的限制。 - [12:30](https://www.youtube.com/watch?v=tP4MGcJ80Y0&t=750s) 利用自适应思考(adaptive thinking)配合 effort 参数,让模型自主权衡何时深思,精准控制思考 Token 与操作频率的平衡。 - [12:30](https://www.youtube.com/watch?v=tP4MGcJ80Y0&t=750s) 采用类似 Claude Code Auto Mode 的前置分类器对工具调用进行安全审查,在确保受控安全的前提下最大化自主性与后台运行时间。 - [12:30](https://www.youtube.com/watch?v=tP4MGcJ80Y0&t=750s) 为 Agent 架构构建闭环机制,通过赋予其电脑使用(Computer Use)等交互测试工具,使模型能够在输出交付前自主进行 QA 验证与纠错迭代。
## Detailed walkthrough ### [00:00](https://www.youtube.com/watch?v=tP4MGcJ80Y0&t=0s) 现场互动与 SWE-bench 基准的跨越式突破
Anthropic 技术团队成员兼研究产品经理(Research PM)Alex Albert 走上演讲台,先放下随身携带的水,以轻松幽默的语气向台下观众打招呼。他笑称刚才在后台听现场导播说楼下的欢聚酒会(Happy Hour)刚刚开始,因此他非常感激在座的开发者们选择来听他的演讲而不是去享用免费酒水点心,并保证接下来的 15 到 20 分钟绝对物超所值。
谈及技术氛围的变化,Alex 感慨道,今年大会的气场与去年相比有着天壤之别。一年前,Claude Code 甚至还没有正式全面开放(GA),仅仅发布了两三个月,大家才刚开始适应 Agent 驱动的代码生成(Agentic Coding)这种新范式。而如今与现场开发者交流时,能明显感受到大家正在深度信任 Claude、用它以更快的速度交付产品,并构建出过去在短时间内根本不可能实现的应用。为了摸清在场开发者的现状,Alex 在现场发起了一轮举手调研:“如果你觉得 Claude 让你的工作速度比一年前快了 10 倍,请举手并保持。”看到台下举起的大片手臂,他发出惊叹,随后又依次询问了提速 5 倍、2 倍以及只要使用过 Claude 的人数,现场反响极其热烈。
为了量化这种编码智能的跃迁,Alex 引用了衡量模型自主解决 GitHub Issue 并完成软件拉取请求(PR)的权威基准测试——SWE-bench Verified。约一年前,Anthropic 当时的旗舰模型 Sonnet 3.7 在该评测中的得分为 62%;而如今最新的 Opus 4.7 已经飙升至 87%。这不仅是短短一年多内超过 25 个百分点的飞跃,从解决复杂工程问题的概率来看,Alex Albert 总结道:“To put this in other words, Opus 4.7 is more than three times as likely to succeed on some of those difficult PRs that Sonnet 3.7 was failing on a year ago.”(换句话说,在那些一年前 Sonnet 3.7 会失败的复杂 PR 上,Opus 4.7 成功的概率是前者的三倍以上。)
- **时间对比**:去年大会时 Claude Code 刚推出 2-3 个月,尚未正式 GA;如今开发者已建立深度信任并进入高速交付阶段。 - **SWE-bench Verified 成绩**:Sonnet 3.7 为 62%,Opus 4.7 达到 87%,净增长超过 25%。 - **困难任务解决能力**:在长尾高难度真实 PR 处理上,新模型的成功率提升至旧模型的 3 倍以上。
---
[05:00](https://www.youtube.com/watch?v=tP4MGcJ80Y0&t=300s) 现场重构 Claude.ai 实测与三大能力进阶
为了不让讲解停留在抽象的数字上,Alex 准备了一段对比 Demo:让两代模型在相同任务下同台竞技,即通过在 Claude Code 中输入单条 Prompt,要求模型从零自主复刻完整的 Claude.ai Web 客户端。尽管演示视频在开场播放时经历了几秒短暂的黑屏小故障,让 Alex 开玩笑说“你们只能先凭空相信我了”,但画面随后顺利切入。旧款模型 Sonnet 4 仅仅搭建出了一个极其简陋的黑白双色聊天界面骨架,在输入框敲入 Prompt 触发请求后,前端立刻抛出错误崩溃,完全无法运行。而在同样环境下运行的 Opus 4.7 表现截然不同:它不仅自主编写大量代码、连续调用各类系统工具,最终交付的成果在外观上直接还原了 Claude 标志性的色彩主题与设计规范,能够真实收到底层 Claude API 的消息回复,支持开启新会话并持久化保留历史记录,甚至完美内嵌了实时内容可视化预览(Visualization)窗口。不仅如此,它还如同一个严谨的人类全栈工程师那样,主动为应用适配了暗黑模式(Dark Mode)。令人惊叹的是,Opus 4.7 完成度如此惊人的完整应用,所消耗的总代码行数反而比老模型更少、更精简高效。
```mermaid flowchart TD accTitle: 两代模型在单 Prompt 重构 Claude.ai 任务中的表现对比 accDescr: 展示 Sonnet 4 与 Opus 4.7 在同一任务下的执行过程与结果差异
subgraph Sonnet4["一年前:Sonnet 4"] A1["单条 Prompt 指令"] --> B1["直接草率生成代码"] B1 --> C1["简陋黑白静态 UI 骨架"] C1 --> D1["发送消息即报错崩溃"] end
subgraph Opus47["现阶段:Opus 4.7"] A2["单条 Prompt 指令"] --> B2["深度规划与工具调用"] B2 --> C2["调用 API 并管理多轮上下文"] C2 --> D2["完整还原应用生态"] D2 --> E2["内嵌可视化、暗黑模式且代码更精简"] end ```
Alex 指出,这次演讲的核心并非单纯夸耀某个单一模型的参数,而是深入探讨当开发者所依赖的底层模型以“月”为单位发生本质级迭代时,工程实践究竟该如何重塑。他将这些模型红利归结为三大支柱:
1. **规划能力(Planning Ability)**:老模型的致命缺陷是“先行动后思考”(Act first, think later)。Alex 打趣称这就像自己组装宜家家具一样,总是直接上手硬拧,直到零件散落一地彻底乱套时,才后悔莫及地想翻说明书。而新一代模型在动手写代码前,会预先留出充裕的思考时间,全面梳理架构策略。关于这一点,Alex Albert 向在场开发者强调:“Give it some time to actually think about the problem, what it's going to do. Don't force it to just jump straight into that action because this can reduce your downstream performance.”(给模型留出真正思考问题及其执行方案的时间。切忌强迫它直奔敲代码的操作,因为仓促行事会削弱后续环节的端到端表现。) 2. **错误恢复能力(Error Recovery)**:以往模型常会跌入所谓的“死亡循环”(Doom Loop)——一旦遭遇报错,它提出的修复方案无法奏效,便会在当前错误假设下陷入反复试错的死胡同,直到 Context 耗尽瘫痪。新模型则具备清晰的自愈回溯能力(Backtracking),遇阻时能够主动退出死角,换一个全局维度重新规划新路径,不仅显著拉高了任务成功率,还极大地节省了浪费在无效试错上的 Token。 3. **超长周期注意力(Attention Over Long Runs)**:在长时间、长序列的复杂任务中,老模型往往会在中途“跑偏”(lose the plot),逐渐淡忘初始约束,甚至完全忽略 System Prompt 中的严格指令。而新模型能够在处理数十万甚至上百万级 Token 的极长生命周期内,依然牢牢保持一致性与专注度。这意味着开发者不再需要像保姆一样时刻提防 Context 溢出或人为切碎任务,可以放心地赋予其长时间的自主运行权。
这三大优势叠加复合,最终转化为端到端工程能力的大幅跃升。企业客户在实际业务中也验证了这一趋势:Vercel 发现 Opus 4.7 在执行底层系统编程时,会在动笔写任何一行实际实现代码前,自主写出完整的形式化逻辑证明(Proofs);Windsurf 观察到 Claude 在长达数小时的最长 Agentic 流程中从未发生注意力衰减;Shopify 则反馈模型在自主编码过程中展现出了极其出色的自省与迭代重构(Iterative Refinement)能力。在抛出“开发者该如何将这些优势复制到自己的应用中”这一问题后,Alex 给出了一个看似反直觉的答案:一切优化的原点不在于你的业务代码架构,而在于你的基准评测体系(Evals),因为只有可衡量的东西,才有可能被持续改进。
- **Vercel 实践**:在系统级底层代码编写中,Opus 4.7 会在编码前先撰写严格的系统证明。 - **Windsurf 评估**:在超长周期 Agent 执行链中,注意力机制始终保持高度专注,未发生指令衰减。 - **Shopify 反馈**:模型编码具备自我检查机制,能够持续主动回溯并打磨优化输出。
[10:00](https://www.youtube.com/watch?v=tP4MGcJ80Y0&t=600s) 构建紧贴实际场景的评测集并拥抱最新前沿模型
在评估模型表现时,开发者最容易陷入的误区就是选择与真实业务脱节的测试集。评测体系(evals)必须直接衡量与产品实际数据分布(product distribution)高度接近的任务,而不是随意选取相邻或学术化的基准。讲者指出,许多团队在开发编程 Agent 时,常常使用通用的学术编程基准进行测试,而不是基于真实用户流量或相似行为模式的场景来验证,这往往会使优化方向南辕北辙。
```mermaid flowchart TD accTitle: Evaluation and Model Upgrading Workflow accDescr: 评测体系设计与模型升级流程图,展示贴合实际分布、防饱和以及向最新前沿模型迁移的三步闭环。
subgraph EvalDesign["1. 评测集设计与维护"] A["采集成品真实流量数据"] --> B["构建贴合实际分布的 Evals"] B --> C{"难度是否趋于饱和?"} C -->|"是"| D["提升评测难度与复杂性"] C -->|"否"| E["保持有效评估信号"] end
subgraph ModelUpgrade["2. 前沿模型验证与替换"] E --> F["直接接入最新 Frontier 模型"] D --> F F --> G["对比性能基线 & 快速上线"] end ```
随着前沿模型的能力迅速跃升,评测集的难度必须同步提升,防止出现指标“饱和(saturated)”而失去辨别力。只有确保评测标准随着模型智力的增长而动态迭代,开发者才能在前沿模型发布时持续获取精准的评估信号。一旦建立起健康且不饱和的评测集,最有效的系统优化手段往往就是直接切换至最新模型。正如讲者所言:“I found that sometimes the best optimization you can make to your app is simply swapping in the latest model.”(我发现,有时对应用所能做的最佳优化,仅仅是直接换上最新的模型。)
- **评测切忌脱离实际**:避免用学术基准代替真实用户的交互模式与边缘案例。 - **防止指标饱和**:随着前沿模型智力升级,持续提高评估题目的复杂度,确保具备足够的信息增益。 - **积极跟进最新模型**:投入充足时间在第一时间对新发布的前沿模型进行端到端测试。
[11:15](https://www.youtube.com/watch?v=tP4MGcJ80Y0&t=675s) 简化系统脚手架与清理臃肿的 Prompt
当模型基础能力显著提升后,围绕模型搭建的“脚手架(scaffolding)”——包括外部调度代码、复杂工作流、Prompt 规则集以及工具链配置——需要被重新审视。早期模型可能需要极其繁琐的多步骤编排(multi-step workflow)或刚性状态机来引导才能完成任务,但在新一代模型面前,许多外部约束已成冗余。讲者特别强调,开发者常常可以通过做减法来换取更好的效果:“Often you can actually boost your performance by removing instead of adding things onto your scaffolding.”(很多时候,你实际上可以通过削减而不是增加脚手架中的内容来提升系统性能。)直接让模型在单一线程或更简洁的上下文中端到端执行,表现往往优于层层包裹的机械流程。
与此同时,提示词(Prompts)的演变也存在类似的问题。随着项目历经多个模型世代的迭代,提示词中往往会堆积大量修补特定模型缺陷的补丁规则与指令。久而久之,这些提示词演变成了一团难以理解的庞杂混乱体,团队甚至已无法弄清某些历史指令设立的初衷及其对当前模型的具体影响。针对每一代新模型,开发者应彻底清理提示词,删去陈旧的边界控制与过度微调的限制。这不仅能降低 Token 消耗、缩减响应延迟,更能解除对模型推理能力的束缚,从而实质性提升任务完成质量。
[12:30](https://www.youtube.com/watch?v=tP4MGcJ80Y0&t=750s) 赋予模型自主空间:自适应思考、受控工具调用与自我迭代闭环
在充分精简脚手架之后,核心策略是“给模型留出工作的空间(give the model room to work)”。在任务规划阶段,开发者应借助自适应思考(adaptive thinking),允许 Claude 自主权衡何时展开深度推理,并通过调节 effort 参数来精细控制思考 Token 的消耗量与采取行动的频率。在工具调用方面,系统不应因安全担忧而过度限制代理,而应采用受控机制开放更多权限。讲者以 Claude Code 的 Auto Mode 为例,说明了工程团队如何在不牺牲安全性的前提下扩展自主性:系统利用专用分类器对 Claude 提议执行的工具调用进行实时审查,自动判定该操作是否需要人工显式批准(explicit human approval)。这种分类机制使 Claude 能够在后台长时间独立运行,大幅减少不必要的人工介入。
```mermaid flowchart LR accTitle: Closed-Loop Agent Execution Flow accDescr: 具备自我检验与纠错能力的 Agent 闭环执行流程。
subgraph Execution["执行与调用"] A["规划与自适应思考"] --> B["受控工具调用 / Auto Mode"] B --> C["执行环境产出结果"] end
subgraph Verification["自省与闭环迭代"] C --> D["模型主动自检 / 自动化测试"] D --> E{"是否满足验收标准?"} E -->|"存在 Bug 或偏差"| A E -->|"验证通过"| F["任务完成交付"] end ```
构建高阶 Agent 架构的另一核心要素是实现“闭环(closing the loop)”。系统必须提供充分的手段,让模型具备自省、检验输出并主动迭代纠错的能力。例如,在面向前端应用开发的代码 Agent 中,可以为其挂载“电脑使用(computer use)”工具,使模型能够像真人测试人员一样直接在网页上进行交互点击,针对自己编写的功能或 Bug 进行 QA 测试与验证。讲者强调,前沿模型在自我验证与自主演进方面的能力正在持续飞速发展,赋予其充足的工具与自省机制是释放其潜能的关键。在演讲尾声,讲者总结了整场关于能力曲线的分享,并热情邀请参会者在茶歇招待会上面对面交流,共同探讨如何让 Claude 更好地服务于开发者的具体业务。
- **自适应思考与参数调优**:利用 adaptive thinking 让模型自主决定思考深度,结合 effort 参数精准平衡 Token 预算与操作频率。 - **基于分类器的安全自治**:借助 Claude Code 的 Auto Mode 机制,利用前置分类器自动筛选风险操作,仅在必要时请求人工授权。 - **提供自检反馈通路**:通过开放测试环境及输入交互能力(如前端 Computer Use),让模型在输出交付前完成自我验证与多轮修复闭环。
## Notable quotes > [11:15](https://www.youtube.com/watch?v=tP4MGcJ80Y0&t=675s) Often you can actually boost your performance by removing instead of adding things onto your scaffolding. — Alex Albert
> [10:00](https://www.youtube.com/watch?v=tP4MGcJ80Y0&t=600s) I found that sometimes the best optimization you can make to your app is simply swapping in the latest model. — Alex Albert
## Mentioned Alex Albert, Anthropic, Claude, Claude Code, Claude.ai, SWE-bench Verified, Sonnet 3.7, Opus 4.7, Sonnet 4, Vercel, Windsurf, Shopify, GitHub
## Video description Frontier models are getting more capable, fast. Where the curve is going, and what it means for developers building on Claude.
[Source](https://www.youtube.com/watch?v=tP4MGcJ80Y0)