AI Engineer
通过将长时间运行的自定义工具委托给子代理,主协调代理可规避系统400调用阻塞并维持即时对话响应。
AI-assisted summary of Claude Managed Agents Q&A: Evals, CI/CD and Multi-Tenancy (Part 4 of 4) — Anthropic — original source. Check the original for full context.
Source published:
Key ideas
- Anthropic 内部通过封装底层 API 的 ant CLI 工具,将 Agent 配置以 YAML 格式纳入版本控制,在 CI/CD 流水线中实现类 Terraform 的声明式自动化部署。 (0:01)
- 在 Claude Managed Agents 中,当 Agent 正在等待外部自定义工具返回结果时,发送新消息将直接触发 HTTP 400 错误;官方推荐使用协调者模式(Coordinator Pattern)将耗时工具委托给子代理,以保持主代理随时可响应。 (1:09)
- Anthropic 内部评估系统可并发启动多达 10,000 个独立 Session 测试新模型表现,并强调评测集构建的核心瓶颈在于高质量数据,建议通过真实线上 Session 日志沉淀黄金评测集。 (2:45)
- 官方当前托管沙箱规格统一且暂不支持动态配置 GPU 或扩容内存,重度计算场景需通过自托管沙箱方案接入 Modal、E2B 或 Daytona 等第三方算力集群。 (12:10)
Detailed notes
## Background 本视频由 AI Engineer 于 2026 年 10 月 12 日在 YouTube 平台发布,记录了 Anthropic 在旧金山举办的 AI Engineer World's Fair 2026 技术研讨会的闭门问答环节(共四部分的第四部分)。视频简介指出,Anthropic 技术团队成员 Priyanka Phatak 与 Gabe Cemaj 围绕 Claude Managed Agents(CMA)展开深度现场答疑,核心涵盖代理配置的 CI/CD 同步、自定义工具等待机制、评测体系、多租户隔离、GPU 自托管沙箱以及协调者模式等工程实战议题。
## TL;DR 在本次问答中,Anthropic 工程师详述了通过 ant CLI 与 YAML 文件实现 Agent 基础设施即代码(IaC)的 CI/CD 自动化部署方案,并解答了模型等待自定义工具时消息阻塞的处理边界。针对企业落地,团队分享了利用真实历史会话构建高质量黄金评测集(Evals)的经验,以及在单 Workspace 元数据隔离与多 Workspace 物理隔离之间的架构取舍。最后,讲师剖析了借助 Modal 等自托管沙箱引入 GPU 算力的方法,并提出通过主协调者(Coordinator)与子代理(Subagent)解耦的模式,彻底解决耗时工具调用阻断主会话交互的并发难题。
## Atmosphere & style 现场技术交流氛围极为紧凑硬核、务实透明。Gabe Cemaj 与 Priyanka Phatak 的回答不避讳系统现阶段的边界与限制(如 HTTP 400 阻塞规则与缺乏外部网络隧道),而是坦诚分享内部工程实现细节与权衡考量。台下开发者直切生产痛点发问,讲师则结合代码架构图与实操设计模式当场拆解,整场问答节奏紧凑、干货拉满,充盈着前沿工程实践碰撞出的专业与求真质感。
## Bulletin - [00:01](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=1s) Anthropic 内部通过封装底层 API 的 ant CLI 工具,将 Agent 配置以 YAML 格式纳入版本控制,在 CI/CD 流水线中实现类 Terraform 的声明式自动化部署。 - [01:09](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=69s) 在 Claude Managed Agents 中,当 Agent 正在等待外部自定义工具返回结果时,发送新消息将直接触发 HTTP 400 错误;官方推荐使用协调者模式(Coordinator Pattern)将耗时工具委托给子代理,以保持主代理随时可响应。 - [02:45](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=165s) Anthropic 内部评估系统可并发启动多达 10,000 个独立 Session 测试新模型表现,并强调评测集构建的核心瓶颈在于高质量数据,建议通过真实线上 Session 日志沉淀黄金评测集。 - [12:10](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=730s) 官方当前托管沙箱规格统一且暂不支持动态配置 GPU 或扩容内存,重度计算场景需通过自托管沙箱方案接入 Modal、E2B 或 Daytona 等第三方算力集群。
## Key takeaways - [00:01](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=1s) Agent 配置支持代码化管理:通过 ant CLI 读取 Git 仓库中的 YAML 定义,可以在 CI/CD 中差异化自动化同步线上持久化 Agent 资源。 - [01:09](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=69s) 自定义工具等待期间存在调用顺序锁:系统挂起期间禁止接收新消息以保证调用顺序,强行调用报 400 错误,而普通后台任务期间消息可正常入队。 - [02:45](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=165s) 构建 Agent 评测系统的核心原则是“Garbage in, garbage out”:问题定义模糊的虚假 100% 得分毫无意义,最佳冷启动方式是回溯历史生产会话进行打分标注。 - [02:45](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=165s) Anthropic 内部依靠云端纯原生架构,能够秒级并行拉起 10,000 个 Session 针对未发布新模型进行大规模自动化 Harness 验证与 Prompt 微调。 - [04:42](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=282s) 企业资源权限默认以 Workspace(工作空间)为边界隔离:同 Workspace 下 API Key 完全共享 Agent、Memory Store 与 MCP 资产,局部细粒度控制需业务方在接入层封装。 - [06:29](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=389s) 应对海量 AI 生成代码的审查瓶颈:Anthropic 采用 PR 触发多子代理并发审查 Diff 挖掘 Bug,并结合安全沙箱让 Agent 操控无头浏览器进行端到端自动化 UI 验证。 - [08:48](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=528s) 多租户隔离架构设计分层:轻量级场景可在单 Agent 中通过 Session metadata 标记 customer_id,面对法律合规硬性要求则必须按客户划分独立 Workspace 或独立 Org。 - [10:00](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=600s) 多客户共享统一 Agent 模板时,CI/CD 工具链支持将同一套 YAML 定义一键批量同步至所有客户独立的专属 Workspace 中。 - [12:10](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=730s) 高算力与 GPU 场景依赖自托管沙箱:Anthropic 官方提供与 Modal、E2B、Daytona 等平台的集成 Cookbook,允许开发者将 Agent 执行循环无缝委托给外部自定义容器。 - [13:20](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=800s) 多人协同 Slack Agent 建模方案:将 Slack Thread 映射为 Session,以显式标记发言人身份的 user.message 注入上下文,并挂载专用发帖工具由 Agent 自主决策发言时机。 - [14:34](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=874s) 超长周期任务(如连续运行 6 小时以上)无需外部轮询打断:依靠明确的 Outcome 退出标准让模型持续自我迭代,并通过 Session Events API 或状态上报工具实现人机可观测性。 - [16:30](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=990s) 采用协调者模式(Coordinator Pattern)解决交互阻塞:在同一个 Core Session 内部由子代理挂载自定义工具并执行阻塞等待,主线程协调者始终保持空闲以便即时回复人类用户。
## Detailed walkthrough ### [00:01](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=1s) 代理配置的 CI/CD 管理机制
在研讨会问答环节伊始,现场观众首先询问了如何对 Claude Managed Agents(CMA)的配置进行持续集成与持续交付(CI/CD)管理。Gabe Cemaj 解释称,Anthropic 内部开发了一个名为 `ant CLI` 的命令行工具,该工具通过封装底层 API,为开发者提供类似 Terraform 的声明式基础设施管理体验。开发者可以将代理长期资源以 YAML 格式保存在代码库中,一旦代码仓库发生变更,CI/CD 流水线便会自动调用 `ant CLI` 读取这些 YAML 文件,并将更新应用到线上资源中。Gabe Cemaj 明确证实,Anthropic 内部在构建持久、长周期的资源时,正是采用这种将配置代码化检入版本库的方式:“Yeah, that's how if if we need to build durable long-term resources, we just we can check them in.”
- `ant CLI` 提供类 Terraform 的 YAML 声明式配置,便于在 CI/CD 流水线中实现自动化同步与版本控制。 - 团队内部同样使用这套方案维护线上持久化的生产级 Agent 资源。
```mermaid flowchart LR accTitle: Agent Config CI/CD Pipeline accDescr: Pipeline showing how agent configs written in YAML are pushed to Anthropic using ant CLI.
subgraph Repo["版本控制代码库"] YML["agent_config.yaml"] end
subgraph CICD["CI/CD 流水线"] CLI["ant CLI 工具"] end
subgraph Platform["Claude Managed Agents"] API["Anthropic 平台 API"] RSRCS["代理与长期云端资源"] end
YML -->|"代码提交 / PR 合并"| CLI CLI -->|"调用 API 差异化部署"| API API -->|"更新环境"| RSRCS ```
---
[01:09](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=69s) 自定义工具等待期间的消息处理规则与社区资源
有开发者提出关于会话并发交互的边界情况:如果 Agent 正在等待外部自定义工具(Custom Tool)的结果返回,客户端是否还能发送新的普通消息?Gabe Cemaj 明确指出,在等待自定义工具执行结果期间,系统的执行会被挂起;出于保证调用顺序正确性(Ordering purposes)的考虑,平台会直接阻塞新消息的传入。如果客户端在此窗口期强行发送消息,系统将直接返回 HTTP 400 错误。不过,若 Agent 只是在进行其他的常规内部任务,消息是完全可以正常排队(Queue up)的。
随后,现场观众索取了幻灯片上的 API 额度二维码,并就 GitHub 仓库中其他配套 workshop 资源的完整性发问。Gabe Cemaj 回应说明,该仓库中的其他示例源自他们之前在伦敦举办的 Code with Claude 技术大会,相关的讲座视频均已完整上传至 YouTube,仓库中的 Readme 文件本身也提供了自解释的使用指南。
- **自定义工具挂起限制**:Agent 等待自定义工具结果时禁止发送新消息,强行发送将触发 400 报错;常规推理或内置任务状态下则支持消息入队。 - **历史参考资料**:相关扩展资料与技能演示大多脱胎于伦敦 Code with Claude 大会,配套视频可公开检索。
---
[02:45](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=165s) Anthropic 评估系统(Evals)实践与数据质量
谈及大模型评估系统(Evals)的设计标准与质量维护最佳实践,Gabe Cemaj 揭秘了 Anthropic 内部评估基础设施的运转机制。由于开发团队能够先于公众接触到未发布的最新模型版本,因此他们必须第一时间验证并更新针对 Agent 框架(Harness)的各项底层假设,剔除冗余机制。Anthropic 拥有完善的内部评测工具集和丰富的数据集切片;得益于纯云端架构,评测系统可以瞬间并发启动多达 10,000 个独立 Session,全面评估各类通用任务及代码生成任务的表现,进而调整系统提示词(Prompt tuning)并验证假设。
针对普通开发者如何构建 Agent 评测系统的提问,Gabe Cemaj 强调,虽然类似 Claude Code 的工具能辅助搭建评测框架,但最关键的瓶颈永远在于数据质量:“I think the the best advice we can give you is to get high quality data to evaluate over. I think Claude Claude code is pretty good at building an eval for you, but garbage in, garbage out.” 如果测试问题定义不清,即使模型拿到了 100% 的准确率,在实际生产中也毫无意义。Priyanka Phatak 进一步补充了极具实操性的冷启动建议:开发者应回溯历史生产会话日志(Historical sessions),抽取真实结果并进行打分标注,这是逐步沉淀高质量黄金评测集的最佳路径。
- **万级云端并发**:Anthropic 内部支持并行启动 10,000 个云端 Session 测试新模型表现。 - **评测核心法则**:严格遵循“Garbage in, garbage out”,避免因问题边界定义模糊而陷入假阳性(虚假 100% 得分)陷阱。 - **数据积累途径**:利用线上真实 Session 历史构建可量化打分的测试数据集。
---
[04:42](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=282s) 企业组织内的资源共享边界与权限划分
一名大量使用 Claude 进行代码开发的观众询问,如何在大型企业的不同部门之间安全共享 Agent、Memory Store(记忆库)或 MCP(Model Context Protocol)通道等资产。Priyanka Phatak 明确了平台的多租户层级:所有 CMA 资源默认绑定在工作区(Workspace)级别,该 Workspace 内的所有有效 API Key 均享有相同的资源访问权限。
在企业架构设计上,通常由平台管理员在组织(Org)维度统筹,并根据部门边界或团队职责划分不同的 Workspaces,再为对应人员分配访问授权。面对观众关于能否跨团队“局部共享”(例如仅共享记忆库、而不共享底层 MCP 通道)的疑问,Gabe Cemaj 坦诚目前平台底层尚未提供细粒度的局部访问控制列表(ACL),但上层应用的开发者完全可以通过自建集成网关,为终端用户实现灵活的细粒度数据控制。
| 资源层级 | 隔离与归属范围 | 权限特征与控制建议 | |:--- |:--- |:--- | | **Organization (组织级)** | 包含多个 Workspace 的企业总实体 | 由平台最高管理员统一配置和派生工作区 | | **Workspace (工作区级)** | Agent、Memory Store、MCP 等核心资源的归属边界 | 区内 API Key 默认完全共享;团队需按安全边界创建不同 Workspace | | **细粒度资产级控制** | 暂未原生提供单个组件的局部跨区授权 | 需业务方在上层集成层(Builder & Integration)自行封装权限网关 |
---
[06:29](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=389s) Agent 生成代码的代码审查(Code Review)与沙箱验证
现场讨论转向了当下火热的痛点:当大量 Agent 不知疲倦地产生海量代码时,代码审查(Code Review)迅速成为整个研发交付的致命瓶颈。有观众提问,Anthropic 是如何应对数万行 AI 生成代码的审查与合并测试的。Gabe Cemaj 透露,他们原本策划该 Workshop 时的首选主题正是解决此问题。目前的实践是通过与 CMA 深度集成,在工程师提交 Pull Request(PR)时自动触发审查工作流。该工作流会派生出多个并行的子代理(Sub-agents)会话,多角度交叉审查代码 Diff 并搜寻潜在 Bug。这一自动化审查方案在 Anthropic 内部有效承担了繁重的脏活累活,大幅降低了单次 PR 的人工耗时并压降了缺陷率。
谈到最终的集成验证,Priyanka Phatak 与 Gabe Cemaj 阐述了沙箱(Sandbox)在自动化测试闭环中的角色:不仅让 Agent 处于审查与评论的文本循环中,还可以将待测应用直接运行在 CMA 的安全沙箱容器内。此时 Agent 扮演 QA 角色,借助自动化浏览器操作 UI 界面、进行交互并自我验证(Self-validate),甚至录制验证视频回传给人类工程师。不过,Gabe Cemaj 也提到目前沙箱环境暂未开放直接的外部网络隧道(Tunneling),人工无法直接在外部实时打开沙箱内运行的网页界面。
- **多 Agent 协同审查**:PR 触发后并发调度多个 Sub-agent 深入排查逻辑漏洞。 - **沙箱自我验证闭环**:代码部署到云端隔离沙箱运行,Agent 自主充当端到端 QA,通过操控无头浏览器进行黑盒验证与行为取证。 - **网络隧道限制**:当前沙箱尚未提供对外的反向网络隧道,前端交互主要依赖 Agent 自主运行并回传结果。
---
[08:48](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=528s) 企业多租户隔离架构设计
针对企业级客户对数据合规与真正“租户隔离”(Tenant Isolation)的关切,现场观众追问在服务 100 家不同企业客户时,CMA 的实例分配模型是怎样的。Gabe Cemaj 澄清 Anthropic 目前不支持本地化私有部署(On-prem),所有服务均在云端提供;但平台的架构设计为租户隔离提供了极高的灵活度。
Priyanka Phatak 与 Gabe Cemaj 指出,隔离粒度完全取决于业务架构的选择。最轻量的方式是为每个最终客户独立声明并绑定一个专有 Agent,从而实现对话数据和记忆的逻辑切分;如果需要更强的数据隔离边界,开发者可以为每家客户划定一个独立的 Workspace;若面对要求极为严苛的合规场景,甚至可以为每个客户设立完全独立的组织(Organization)。业务系统只需在自己的服务层维护好客户身份与 Agent/Workspace 之间的映射路由即可。
“It's however you choose to define it. You can define an agent per customer, and then that way the data will be segregated, or you can use a workspace per customer if you want like true isolation you could do an org per customer.” —— Gabe Cemaj 总结道。
- **逻辑隔离方案**:单个 Workspace 内维护多 Agent 映射,每位客户绑定特定 Agent。 - **环境隔离方案**:基于客户粒度分配独立的 Workspace,隔离所有的 API Key 与中间件上下文。 - **实体隔离方案**:针对超高合规诉求,直接以客户为单位创建独立的 Org,实现底层物理与账单隔离。
[10:00](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=600s) 多租户架构:多客户共享 Agent 与数据隔离
现场有观众提问:如果业务方有两个客户,希望只构建一次 Agent,但让这两个客户共同使用该 Agent,应该如何实现?
Gabe Cemaj 解释称实现方式有很多种。一种方式是通过自动化流程:将 Agent 的定义以 YAML 文件的形式保存在代码库中,然后构建自动化工具,将其同步到各个对应的 Workspace(工作空间),在代码发生变动时完成批量同步;另一种方式则是将所有内容建模在单一 Organization(组织)下进行管理。Priyanka Phatak 补充道,也可以面向所有客户仅创建一个统一的 Agent,由开发者在自己的业务后端维护映射关系,记录哪个客户正在使用哪一个 Session(会话)。
针对“在哪个 Workspace 中精确运行该 Agent”的问题,Gabe 指出如果选择每个 Workspace 独立部署的模式,Anthropic 提供了工具链支持将代码中的单一 Agent 定义同步到多处:“Whenever you update it in your code through CI, you can update all of the definitions at once.”(只要你在代码中通过 CI 进行更新,就可以一次性更新所有的 Agent 定义)。Priyanka 进一步拆解了两种设计选择:一种是将包含 System Prompt、模型名称和工具配置的 Agent 模板复制到每个客户专属的 Workspace 中;另一种是将所有客户置于同一个 Workspace 下,共用一个 Agent,利用 Session 上的 `metadata` 字段写入例如 `customer_id` 的标识,从而在业务逻辑上追踪每个会话归属的客户。
现场观众紧接着追问:如果把所有客户数据放在同一个 Workspace 中,该如何满足严格的数据隔离(Data Segregation)合规要求?Gabe 明确表示:“If you care about data segregation, then you need to put them in individual workspaces, and the resources are allocated per workspace.”(如果你看重数据隔离,就必须将他们放在各自独立的 Workspace 中,所有资源都是按 Workspace 粒度进行分配的)。当被问及这是法律层面的硬性要求还是单纯的偏好时,提问者确认确实涉及法务与合规风险——客户绝不希望与其他客户共享数据,需要专有隔离。Gabe 强调,这种场景下唯一的标准方案就是按客户划分独立的 Workspace。
```mermaid flowchart TD accTitle: Multi-tenancy Architecture Patterns in Claude Managed Agents accDescr: Diagram contrasting single workspace isolation via session metadata against dedicated workspace isolation via CI/CD sync.
subgraph OptionA ["方案 A:严格合规隔离(Dedicated Workspace)"] CodeYAML["Git 代码库 (agent.yaml)"] CI["CI/CD 同步工具 (ant CLI)"] WS1["客户 A 专属 Workspace<br/>(独立资源分配与数据隔离)"] WS2["客户 B 专属 Workspace<br/>(独立资源分配与数据隔离)"]
CodeYAML --> CI CI -->|"自动化同步配置"| WS1 CI -->|"自动化同步配置"| WS2 end
subgraph OptionB ["方案 B:轻量逻辑隔离(Single Workspace)"] SingleWS["单一共享 Workspace"] SharedAgent["共享 Agent 模板"] SessA["Session 1<br/>metadata: {customer_id: 'A'}"] SessB["Session 2<br/>metadata: {customer_id: 'B'}"]
SingleWS --> SharedAgent SharedAgent --> SessA SharedAgent --> SessB end ```
- **单 Workspace 模式**:通过 Session 的 `metadata` 字段记录客户标识(如 `customer_id`),适合内部或合规要求较低的多租户轻量级共享。 - **多 Workspace 模式**:每个客户拥有独立的 Workspace,底层资源物理隔绝,满足严苛的法律合规与数据安全要求。 - **配置同步工具**:借助 CI/CD 流水线,代码仓库中的 YAML 定义可通过官方工具直接同步至所有目标 Workspace。
---
[12:10](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=730s) 自定义算力与 GPU:通过自托管 Sandbox 扩展运行环境
一位观众提出,在某些重度计算场景中,Agent 工作时可能需要更大的内存空间,甚至需要调用 GPU 才能完成特定任务,想了解 Claude Managed Agents 是否原生支持调整计算环境。
Gabe Cemaj 给出了明确的现状说明:“Today, if you want to do custom resource allocations for your sandbox, you would use self-hosted sandboxes.”(目前如果你希望为 Sandbox 进行自定义资源分配,需要使用自托管沙箱)。例如,用户可以选择接入 Modal 这样提供 GPU 算力的平台。Anthropic 官方已经推出了相应的 Cookbook 和原生第一方集成方案,开发者可以将自己的 Modal 实例接入进来,让 Agent 的核心循环直接在 Modal 的计算容器内部运行,以此替代 Anthropic 目前规格统一的内置托管沙箱。
观众随后询问官方文档中是否提供了这些计算环境的详细规格列表。Gabe 和 Priyanka 确认相关硬件规格均已记录在官方文档中,同时文档中还提供了对接第三方沙箱服务商(如 Modal、E2B、Daytona 等)的完整示例与 Cookbook,方便开发者按需接入具备高内存或 GPU 的异构沙箱。
- **官方托管沙箱现状**:当前提供的沙箱规格统一,暂不支持在平台内直接动态升配单机内存或申请 GPU。 - **自托管沙箱扩展方案**:支持接入 Modal、E2B、Daytona 等第三方容器运行环境,由用户自主掌控 GPU 及内存配额。 - **集成路径**:官方文档提供了端到端 Cookbook,支持将 Agent 执行循环无缝委托至外部算力集群。
---
[13:20](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=800s) 协作式 Slack Agent:多玩家交互模式建模
有观众提出,希望利用 Claude Managed Agents(CMA)在例如 Slack 的不同聊天频道中构建类似“Claude Tag”的多人互动模式(Multiplayer Mode),询问最佳的架构设计方式。
Gabe Cemaj 解释称这一架构完全可以直接落地。在技术实现上,可以将 Slack 的每一个讨论串(Thread)映射为一个 CMA Session。每当不同用户在频道或讨论串中发言时,系统会将该事件作为 `user.message` 注入会话,并在上下文里显式标记消息来源(例如明确告知 Agent 该消息来自 Gabe 还是来自 Priyanka)。通过这种方式,所有人都可以独立向该 Agent 发送消息。此外,系统还支持在多个 Session 之间共享记忆,使 Agent 能够沉淀多轮群聊经验。为了让交互更加自然,建议为 Agent 配备 Slack 发帖工具(如 `slack_post_tool`),让 Agent 自主决定何时发帖回复,而不是机械地将模型的每一次输出都实时镜像到频道中。
Priyanka Phatak 补充了隔离粒度的建议:如果要实现原汁原味的 Claude Tag 体验,最佳实践是为每个 Slack 频道单独配置一个独立的 Agent;每个 Agent 维护各自独立的记忆,且权限范围被严格限制在当前 Slack 频道的上下文消息之内,防止跨频道数据串扰。
---
[14:34](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=874s) 超长任务运行:Outcome 评估驱动与状态检查点
观众探讨了长周期循环任务(例如连续运行长达 6 小时以上的 Agent)的实现方案,询问控制台中是否有专门针对长时间运行任务的模块,或者官方是否有后续的产品路线规划。
Gabe Cemaj 指出,前期演示过的 Outcome(产出评估)系统是驱动超长运行会话的最优解。开发者只需定义清晰的退出准则(Exit Criteria),Claude 就会持续自我迭代直至完全满足这些标准:“And Claude will just keep going until it meets that criteria. And it could be a really long task like, you know, rebuild blank and it will just mercilessly iterate until it matches the rubric.”(Claude 会不断执行下去直到达成指标;这可以是一个非常庞大的任务,比如重构某个系统,它会严格对照评分标准毫不手软地持续迭代)。Priyanka 也确认底层引擎对运行周期没有特殊限制,Agent 完全可以稳定运行超过 6 个小时。
针对如何在长达数小时的任务中获取状态检查点(Checkpoints)与进度追踪的问题,Priyanka 建议通过 Session 下的 Events API(事件流)来进行实时监听。Gabe 则提供了一个极具实操性的提示词工程技巧:可以为 Agent 注册一个类似于 `update_status_for_human` 的自定义工具,促使 Claude 在每次取得阶段性进展时自主调用该工具向外部汇报进度,从而为人类用户提供透明的进展反馈。
- **超长任务驱动机制**:基于 Outcome 评估标准提供闭环终止条件,无需外部频繁打断,模型可自主迭代数小时完成深度任务。 - **会话可观测性**:利用 Session 维度的 Events API 监听底层的执行事件流。 - **人机协同状态汇报**:通过挂载专用的状态汇报工具,让模型在自主判断有实质进展时主动推送状态更新。
---
[16:30](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=990s) 协调者模式(Coordinator Pattern):解决自定义工具阻塞与异步交互
一位一直在分析多种 Agent 框架的观众提出了一个深层并发场景:在之前的环节中官方曾提到,当 Agent 正在等待自定义工具的执行结果(例如 Human-in-the-loop 人工审批流程)时,如果此时有新的外部消息发给该 Agent,系统会直接返回 HTTP 400 错误;面对这种等待阻塞,是否有优雅的架构解法?
Priyanka 与 Gabe 就子 Agent(Subagent)的机制展开了探讨。Gabe 指出解决该问题的关键在于将主 Agent 与子 Agent 解耦:“You could basically have like a subagent that's handling your custom tool and then that way your main kind of coordinator agent's always free for receiving.”(你完全可以让一个子 Agent 去负责处理耗时的自定义工具,这样一来,负责协调的主 Agent 就能随时保持空闲状态以接收新消息)。
```mermaid flowchart TD accTitle: Coordinator Pattern for Handling Custom Tool Blocking accDescr: Architecture showing main coordinator agent staying idle and responsive while subagents execute custom tools asynchronously.
User["用户 / 外部系统"] API["CMA 统一 Session API<br/>(线程路由与 ID 派发)"]
subgraph CoreSession ["单一 Core Session 内部生命周期"] MainThread["主线程: Coordinator Agent<br/>(保持空闲,可随时响应新请求)"] SubThread["子线程: Worker Subagent<br/>(挂载 Custom Tool 并等待结果)"]
MainThread -->|"委托耗时操作"| SubThread SubThread -->|"执行完成回传"| MainThread end
CustomTool["自定义工具 / 人工介入审批<br/>(Human-in-the-Loop)"]
User -->|"发送新消息 (不报 400)"| API API -->|"路由至主线程"| MainThread SubThread <-->|"阻塞等待外部返回"| CustomTool ```
针对 API 维度的调用细节,观众追问:开发者是否可以在 API 层面直接把自定义工具的结果返回给子 Agent?Priyanka 解释了具体流程:开发者首先定义顶层的协调者 Agent,并配置该 Agent 具备调用下游子 Agent 的权限;耗时的自定义工具只在子 Agent 的配置中定义。当子 Agent 抛出工具调用事件时,开发者监听其会话流并填入工具结果。
Gabe 进一步澄清了底层的会话模型:在架构上,这依然属于同一个核心 Session(Core Session)。虽然技术实现上存在不同的子线程(Thread),但开发者只需要直接与主线程进行交互,底层的 CMA 运行时会基于内部 ID 自动完成消息的精准派发与委托。
有观众确认核心逻辑:“也就是说,当子 Agent 在后台忙于工作甚至等待工具返回时,主协调 Agent 依然保持空闲状态吗?”Gabe 和 Priyanka 指着现场演示架构图给予了肯定答复:在主线程的生命周期时间轴上,当子 Agent 处于工作状态或阻塞等待工具结果时,主协调线程显示为空闲(Idle)。Gabe 总结道:“So if you're trying to do something where you want like the main agent to be always chatty, then I think the coordinator pattern works pretty well for that.”(因此,如果你希望构建一个主 Agent 能够始终保持即时对话响应的系统,协调者模式能非常完美地解决这个问题)。
最后,两位讲师表示分享时间已到,邀请现场还有疑问的开发者在会场外继续交流,全场在掌声中结束了本场 Workshop。
## Notable quotes > [16:30](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=990s) You could basically have like a subagent that's handling your custom tool and then that way your main kind of coordinator agent's always free for receiving. — Gabe Cemaj
> [02:45](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=165s) I think the the best advice we can give you is to get high quality data to evaluate over. I think Claude Claude code is pretty good at building an eval for you, but garbage in, garbage out. — Gabe Cemaj
> [08:48](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=528s) It's however you choose to define it. You can define an agent per customer, and then that way the data will be segregated, or you can use a workspace per customer if you want like true isolation you could do an org per customer. — Gabe Cemaj
## Mentioned Claude Managed Agents, Anthropic, Priyanka Phatak, Gabe Cemaj, ant CLI, Terraform, Claude Code, MCP, Modal, E2B, Daytona, Slack, AI Engineer
## Video description How to version agent configs, isolate customers, add GPUs and keep a long-running agent responsive.
NEXT UP: AI ENGINEER CODE SUMMIT Join us in SF for the second annual AIE CODE Summit, Nov 10–12, our last flagship summit of 2026. Applications live now: https://aie.codes
The workshop closes with audience Q&A for Priyanka Phatak and Gabe Cemaj: syncing agent configs in CI/CD with the ant CLI, what happens when you message an agent waiting on a custom tool, how Anthropic runs evals, sharing resources across a workspace, code-review agents, tenant isolation, GPUs via self-hosted sandboxes, modeling a multiplayer Slack agent, and a coordinator pattern that keeps the main agent free while a subagent handles custom tools.
This is part 4 of 4 of the Claude Managed Agents workshop from Anthropic.
In this video: • Keeping agent definitions in YAML and syncing them in CI/CD • Isolating tenants by workspace, org or session metadata • Self-hosted sandboxes for GPUs and extra memory • A coordinator pattern for custom tools
SPEAKERS Priyanka Phatak, Member of Technical Staff, Anthropic (leads the Claude Managed Agents engineering team)
Gabe Cemaj, Member of Technical Staff, Anthropic GitHub: https://github.com/gcemaj
LINKS Claude Managed Agents docs: https://platform.claude.com/docs/en/managed-agents/overview Scaling Managed Agents: Decoupling the brain from the hands: https://www.anthropic.com/engineering/managed-agents
CHAPTERS 0:00 Q&A: CI/CD for agent configs 1:10 Q&A: messages during custom tool waits 2:06 Q&A: other workshop repos 2:45 Q&A: Anthropic's eval practices 4:42 Q&A: sharing resources across an org 6:29 Q&A: reviewing agent-written code 8:48 Q&A: tenant isolation 9:54 Q&A: one agent, many customers 12:10 Q&A: custom compute and GPUs 13:20 Q&A: a multiplayer Slack agent 14:34 Q&A: very long-running sessions 16:30 Q&A: coordinator pattern for custom tools 18:30 Closing
Recorded at the AI Engineer World's Fair 2026 in San Francisco. Subscribe for more talks from the engineers building with AI.
AI Engineer: https://ai.engineer YouTube: https://www.youtube.com/@aiDotEngineer X: https://x.com/aiDotEngineer LinkedIn: https://www.linkedin.com/company/aidotengineer/
#Claude #AIAgents #AIEngineer
[Source](https://www.youtube.com/watch?v=QSeaZ6qHyXs)