Anthropic详解CMA多租户架构与协调者解耦方案

Claude Managed Agents Q&A: Evals, CI/CD and Multi-Tenancy (Part 4 of 4) — Anthropic — AI Engineer

AI Engineer

通过将长时间运行的自定义工具委托给子代理,主协调代理可规避系统400调用阻塞并维持即时对话响应。

AI-assisted summary of Claude Managed Agents Q&A: Evals, CI/CD and Multi-Tenancy (Part 4 of 4) — Anthropic — original source. Check the original for full context.

Source published:

Key ideas

  • Anthropic 内部通过封装底层 API 的 ant CLI 工具,将 Agent 配置以 YAML 格式纳入版本控制,在 CI/CD 流水线中实现类 Terraform 的声明式自动化部署。 (0:01)
  • 在 Claude Managed Agents 中,当 Agent 正在等待外部自定义工具返回结果时,发送新消息将直接触发 HTTP 400 错误;官方推荐使用协调者模式(Coordinator Pattern)将耗时工具委托给子代理,以保持主代理随时可响应。 (1:09)
  • Anthropic 内部评估系统可并发启动多达 10,000 个独立 Session 测试新模型表现,并强调评测集构建的核心瓶颈在于高质量数据,建议通过真实线上 Session 日志沉淀黄金评测集。 (2:45)
  • 官方当前托管沙箱规格统一且暂不支持动态配置 GPU 或扩容内存,重度计算场景需通过自托管沙箱方案接入 Modal、E2B 或 Daytona 等第三方算力集群。 (12:10)

Detailed notes

## Background 本视频由 AI Engineer 于 2026 年 10 月 12 日在 YouTube 平台发布,记录了 Anthropic 在旧金山举办的 AI Engineer World's Fair 2026 技术研讨会的闭门问答环节(共四部分的第四部分)。视频简介指出,Anthropic 技术团队成员 Priyanka Phatak 与 Gabe Cemaj 围绕 Claude Managed Agents(CMA)展开深度现场答疑,核心涵盖代理配置的 CI/CD 同步、自定义工具等待机制、评测体系、多租户隔离、GPU 自托管沙箱以及协调者模式等工程实战议题。

## TL;DR 在本次问答中,Anthropic 工程师详述了通过 ant CLI 与 YAML 文件实现 Agent 基础设施即代码(IaC)的 CI/CD 自动化部署方案,并解答了模型等待自定义工具时消息阻塞的处理边界。针对企业落地,团队分享了利用真实历史会话构建高质量黄金评测集(Evals)的经验,以及在单 Workspace 元数据隔离与多 Workspace 物理隔离之间的架构取舍。最后,讲师剖析了借助 Modal 等自托管沙箱引入 GPU 算力的方法,并提出通过主协调者(Coordinator)与子代理(Subagent)解耦的模式,彻底解决耗时工具调用阻断主会话交互的并发难题。

## Atmosphere & style 现场技术交流氛围极为紧凑硬核、务实透明。Gabe Cemaj 与 Priyanka Phatak 的回答不避讳系统现阶段的边界与限制(如 HTTP 400 阻塞规则与缺乏外部网络隧道),而是坦诚分享内部工程实现细节与权衡考量。台下开发者直切生产痛点发问,讲师则结合代码架构图与实操设计模式当场拆解,整场问答节奏紧凑、干货拉满,充盈着前沿工程实践碰撞出的专业与求真质感。

## Bulletin - [00:01](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=1s) Anthropic 内部通过封装底层 API 的 ant CLI 工具,将 Agent 配置以 YAML 格式纳入版本控制,在 CI/CD 流水线中实现类 Terraform 的声明式自动化部署。 - [01:09](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=69s) 在 Claude Managed Agents 中,当 Agent 正在等待外部自定义工具返回结果时,发送新消息将直接触发 HTTP 400 错误;官方推荐使用协调者模式(Coordinator Pattern)将耗时工具委托给子代理,以保持主代理随时可响应。 - [02:45](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=165s) Anthropic 内部评估系统可并发启动多达 10,000 个独立 Session 测试新模型表现,并强调评测集构建的核心瓶颈在于高质量数据,建议通过真实线上 Session 日志沉淀黄金评测集。 - [12:10](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=730s) 官方当前托管沙箱规格统一且暂不支持动态配置 GPU 或扩容内存,重度计算场景需通过自托管沙箱方案接入 Modal、E2B 或 Daytona 等第三方算力集群。

## Key takeaways - [00:01](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=1s) Agent 配置支持代码化管理:通过 ant CLI 读取 Git 仓库中的 YAML 定义,可以在 CI/CD 中差异化自动化同步线上持久化 Agent 资源。 - [01:09](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=69s) 自定义工具等待期间存在调用顺序锁:系统挂起期间禁止接收新消息以保证调用顺序,强行调用报 400 错误,而普通后台任务期间消息可正常入队。 - [02:45](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=165s) 构建 Agent 评测系统的核心原则是“Garbage in, garbage out”:问题定义模糊的虚假 100% 得分毫无意义,最佳冷启动方式是回溯历史生产会话进行打分标注。 - [02:45](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=165s) Anthropic 内部依靠云端纯原生架构,能够秒级并行拉起 10,000 个 Session 针对未发布新模型进行大规模自动化 Harness 验证与 Prompt 微调。 - [04:42](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=282s) 企业资源权限默认以 Workspace(工作空间)为边界隔离:同 Workspace 下 API Key 完全共享 Agent、Memory Store 与 MCP 资产,局部细粒度控制需业务方在接入层封装。 - [06:29](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=389s) 应对海量 AI 生成代码的审查瓶颈:Anthropic 采用 PR 触发多子代理并发审查 Diff 挖掘 Bug,并结合安全沙箱让 Agent 操控无头浏览器进行端到端自动化 UI 验证。 - [08:48](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=528s) 多租户隔离架构设计分层:轻量级场景可在单 Agent 中通过 Session metadata 标记 customer_id,面对法律合规硬性要求则必须按客户划分独立 Workspace 或独立 Org。 - [10:00](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=600s) 多客户共享统一 Agent 模板时,CI/CD 工具链支持将同一套 YAML 定义一键批量同步至所有客户独立的专属 Workspace 中。 - [12:10](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=730s) 高算力与 GPU 场景依赖自托管沙箱:Anthropic 官方提供与 Modal、E2B、Daytona 等平台的集成 Cookbook,允许开发者将 Agent 执行循环无缝委托给外部自定义容器。 - [13:20](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=800s) 多人协同 Slack Agent 建模方案:将 Slack Thread 映射为 Session,以显式标记发言人身份的 user.message 注入上下文,并挂载专用发帖工具由 Agent 自主决策发言时机。 - [14:34](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=874s) 超长周期任务(如连续运行 6 小时以上)无需外部轮询打断:依靠明确的 Outcome 退出标准让模型持续自我迭代,并通过 Session Events API 或状态上报工具实现人机可观测性。 - [16:30](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=990s) 采用协调者模式(Coordinator Pattern)解决交互阻塞:在同一个 Core Session 内部由子代理挂载自定义工具并执行阻塞等待,主线程协调者始终保持空闲以便即时回复人类用户。

## Detailed walkthrough ### [00:01](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=1s) 代理配置的 CI/CD 管理机制

在研讨会问答环节伊始,现场观众首先询问了如何对 Claude Managed Agents(CMA)的配置进行持续集成与持续交付(CI/CD)管理。Gabe Cemaj 解释称,Anthropic 内部开发了一个名为 `ant CLI` 的命令行工具,该工具通过封装底层 API,为开发者提供类似 Terraform 的声明式基础设施管理体验。开发者可以将代理长期资源以 YAML 格式保存在代码库中,一旦代码仓库发生变更,CI/CD 流水线便会自动调用 `ant CLI` 读取这些 YAML 文件,并将更新应用到线上资源中。Gabe Cemaj 明确证实,Anthropic 内部在构建持久、长周期的资源时,正是采用这种将配置代码化检入版本库的方式:“Yeah, that's how if if we need to build durable long-term resources, we just we can check them in.”

- `ant CLI` 提供类 Terraform 的 YAML 声明式配置,便于在 CI/CD 流水线中实现自动化同步与版本控制。 - 团队内部同样使用这套方案维护线上持久化的生产级 Agent 资源。

```mermaid flowchart LR accTitle: Agent Config CI/CD Pipeline accDescr: Pipeline showing how agent configs written in YAML are pushed to Anthropic using ant CLI.

subgraph Repo["版本控制代码库"] YML["agent_config.yaml"] end

subgraph CICD["CI/CD 流水线"] CLI["ant CLI 工具"] end

subgraph Platform["Claude Managed Agents"] API["Anthropic 平台 API"] RSRCS["代理与长期云端资源"] end

YML -->|"代码提交 / PR 合并"| CLI CLI -->|"调用 API 差异化部署"| API API -->|"更新环境"| RSRCS ```

---

[01:09](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=69s) 自定义工具等待期间的消息处理规则与社区资源

有开发者提出关于会话并发交互的边界情况:如果 Agent 正在等待外部自定义工具(Custom Tool)的结果返回,客户端是否还能发送新的普通消息?Gabe Cemaj 明确指出,在等待自定义工具执行结果期间,系统的执行会被挂起;出于保证调用顺序正确性(Ordering purposes)的考虑,平台会直接阻塞新消息的传入。如果客户端在此窗口期强行发送消息,系统将直接返回 HTTP 400 错误。不过,若 Agent 只是在进行其他的常规内部任务,消息是完全可以正常排队(Queue up)的。

随后,现场观众索取了幻灯片上的 API 额度二维码,并就 GitHub 仓库中其他配套 workshop 资源的完整性发问。Gabe Cemaj 回应说明,该仓库中的其他示例源自他们之前在伦敦举办的 Code with Claude 技术大会,相关的讲座视频均已完整上传至 YouTube,仓库中的 Readme 文件本身也提供了自解释的使用指南。

- **自定义工具挂起限制**:Agent 等待自定义工具结果时禁止发送新消息,强行发送将触发 400 报错;常规推理或内置任务状态下则支持消息入队。 - **历史参考资料**:相关扩展资料与技能演示大多脱胎于伦敦 Code with Claude 大会,配套视频可公开检索。

---

[02:45](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=165s) Anthropic 评估系统(Evals)实践与数据质量

谈及大模型评估系统(Evals)的设计标准与质量维护最佳实践,Gabe Cemaj 揭秘了 Anthropic 内部评估基础设施的运转机制。由于开发团队能够先于公众接触到未发布的最新模型版本,因此他们必须第一时间验证并更新针对 Agent 框架(Harness)的各项底层假设,剔除冗余机制。Anthropic 拥有完善的内部评测工具集和丰富的数据集切片;得益于纯云端架构,评测系统可以瞬间并发启动多达 10,000 个独立 Session,全面评估各类通用任务及代码生成任务的表现,进而调整系统提示词(Prompt tuning)并验证假设。

针对普通开发者如何构建 Agent 评测系统的提问,Gabe Cemaj 强调,虽然类似 Claude Code 的工具能辅助搭建评测框架,但最关键的瓶颈永远在于数据质量:“I think the the best advice we can give you is to get high quality data to evaluate over. I think Claude Claude code is pretty good at building an eval for you, but garbage in, garbage out.” 如果测试问题定义不清,即使模型拿到了 100% 的准确率,在实际生产中也毫无意义。Priyanka Phatak 进一步补充了极具实操性的冷启动建议:开发者应回溯历史生产会话日志(Historical sessions),抽取真实结果并进行打分标注,这是逐步沉淀高质量黄金评测集的最佳路径。

- **万级云端并发**:Anthropic 内部支持并行启动 10,000 个云端 Session 测试新模型表现。 - **评测核心法则**:严格遵循“Garbage in, garbage out”,避免因问题边界定义模糊而陷入假阳性(虚假 100% 得分)陷阱。 - **数据积累途径**:利用线上真实 Session 历史构建可量化打分的测试数据集。

---

[04:42](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=282s) 企业组织内的资源共享边界与权限划分

一名大量使用 Claude 进行代码开发的观众询问,如何在大型企业的不同部门之间安全共享 Agent、Memory Store(记忆库)或 MCP(Model Context Protocol)通道等资产。Priyanka Phatak 明确了平台的多租户层级:所有 CMA 资源默认绑定在工作区(Workspace)级别,该 Workspace 内的所有有效 API Key 均享有相同的资源访问权限。

在企业架构设计上,通常由平台管理员在组织(Org)维度统筹,并根据部门边界或团队职责划分不同的 Workspaces,再为对应人员分配访问授权。面对观众关于能否跨团队“局部共享”(例如仅共享记忆库、而不共享底层 MCP 通道)的疑问,Gabe Cemaj 坦诚目前平台底层尚未提供细粒度的局部访问控制列表(ACL),但上层应用的开发者完全可以通过自建集成网关,为终端用户实现灵活的细粒度数据控制。

| 资源层级 | 隔离与归属范围 | 权限特征与控制建议 | |:--- |:--- |:--- | | **Organization (组织级)** | 包含多个 Workspace 的企业总实体 | 由平台最高管理员统一配置和派生工作区 | | **Workspace (工作区级)** | Agent、Memory Store、MCP 等核心资源的归属边界 | 区内 API Key 默认完全共享;团队需按安全边界创建不同 Workspace | | **细粒度资产级控制** | 暂未原生提供单个组件的局部跨区授权 | 需业务方在上层集成层(Builder & Integration)自行封装权限网关 |

---

[06:29](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=389s) Agent 生成代码的代码审查(Code Review)与沙箱验证

现场讨论转向了当下火热的痛点:当大量 Agent 不知疲倦地产生海量代码时,代码审查(Code Review)迅速成为整个研发交付的致命瓶颈。有观众提问,Anthropic 是如何应对数万行 AI 生成代码的审查与合并测试的。Gabe Cemaj 透露,他们原本策划该 Workshop 时的首选主题正是解决此问题。目前的实践是通过与 CMA 深度集成,在工程师提交 Pull Request(PR)时自动触发审查工作流。该工作流会派生出多个并行的子代理(Sub-agents)会话,多角度交叉审查代码 Diff 并搜寻潜在 Bug。这一自动化审查方案在 Anthropic 内部有效承担了繁重的脏活累活,大幅降低了单次 PR 的人工耗时并压降了缺陷率。

谈到最终的集成验证,Priyanka Phatak 与 Gabe Cemaj 阐述了沙箱(Sandbox)在自动化测试闭环中的角色:不仅让 Agent 处于审查与评论的文本循环中,还可以将待测应用直接运行在 CMA 的安全沙箱容器内。此时 Agent 扮演 QA 角色,借助自动化浏览器操作 UI 界面、进行交互并自我验证(Self-validate),甚至录制验证视频回传给人类工程师。不过,Gabe Cemaj 也提到目前沙箱环境暂未开放直接的外部网络隧道(Tunneling),人工无法直接在外部实时打开沙箱内运行的网页界面。

- **多 Agent 协同审查**:PR 触发后并发调度多个 Sub-agent 深入排查逻辑漏洞。 - **沙箱自我验证闭环**:代码部署到云端隔离沙箱运行,Agent 自主充当端到端 QA,通过操控无头浏览器进行黑盒验证与行为取证。 - **网络隧道限制**:当前沙箱尚未提供对外的反向网络隧道,前端交互主要依赖 Agent 自主运行并回传结果。

---

[08:48](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=528s) 企业多租户隔离架构设计

针对企业级客户对数据合规与真正“租户隔离”(Tenant Isolation)的关切,现场观众追问在服务 100 家不同企业客户时,CMA 的实例分配模型是怎样的。Gabe Cemaj 澄清 Anthropic 目前不支持本地化私有部署(On-prem),所有服务均在云端提供;但平台的架构设计为租户隔离提供了极高的灵活度。

Priyanka Phatak 与 Gabe Cemaj 指出,隔离粒度完全取决于业务架构的选择。最轻量的方式是为每个最终客户独立声明并绑定一个专有 Agent,从而实现对话数据和记忆的逻辑切分;如果需要更强的数据隔离边界,开发者可以为每家客户划定一个独立的 Workspace;若面对要求极为严苛的合规场景,甚至可以为每个客户设立完全独立的组织(Organization)。业务系统只需在自己的服务层维护好客户身份与 Agent/Workspace 之间的映射路由即可。

“It's however you choose to define it. You can define an agent per customer, and then that way the data will be segregated, or you can use a workspace per customer if you want like true isolation you could do an org per customer.” —— Gabe Cemaj 总结道。

- **逻辑隔离方案**:单个 Workspace 内维护多 Agent 映射,每位客户绑定特定 Agent。 - **环境隔离方案**:基于客户粒度分配独立的 Workspace,隔离所有的 API Key 与中间件上下文。 - **实体隔离方案**:针对超高合规诉求,直接以客户为单位创建独立的 Org,实现底层物理与账单隔离。

[10:00](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=600s) 多租户架构:多客户共享 Agent 与数据隔离

现场有观众提问:如果业务方有两个客户,希望只构建一次 Agent,但让这两个客户共同使用该 Agent,应该如何实现?

Gabe Cemaj 解释称实现方式有很多种。一种方式是通过自动化流程:将 Agent 的定义以 YAML 文件的形式保存在代码库中,然后构建自动化工具,将其同步到各个对应的 Workspace(工作空间),在代码发生变动时完成批量同步;另一种方式则是将所有内容建模在单一 Organization(组织)下进行管理。Priyanka Phatak 补充道,也可以面向所有客户仅创建一个统一的 Agent,由开发者在自己的业务后端维护映射关系,记录哪个客户正在使用哪一个 Session(会话)。

针对“在哪个 Workspace 中精确运行该 Agent”的问题,Gabe 指出如果选择每个 Workspace 独立部署的模式,Anthropic 提供了工具链支持将代码中的单一 Agent 定义同步到多处:“Whenever you update it in your code through CI, you can update all of the definitions at once.”(只要你在代码中通过 CI 进行更新,就可以一次性更新所有的 Agent 定义)。Priyanka 进一步拆解了两种设计选择:一种是将包含 System Prompt、模型名称和工具配置的 Agent 模板复制到每个客户专属的 Workspace 中;另一种是将所有客户置于同一个 Workspace 下,共用一个 Agent,利用 Session 上的 `metadata` 字段写入例如 `customer_id` 的标识,从而在业务逻辑上追踪每个会话归属的客户。

现场观众紧接着追问:如果把所有客户数据放在同一个 Workspace 中,该如何满足严格的数据隔离(Data Segregation)合规要求?Gabe 明确表示:“If you care about data segregation, then you need to put them in individual workspaces, and the resources are allocated per workspace.”(如果你看重数据隔离,就必须将他们放在各自独立的 Workspace 中,所有资源都是按 Workspace 粒度进行分配的)。当被问及这是法律层面的硬性要求还是单纯的偏好时,提问者确认确实涉及法务与合规风险——客户绝不希望与其他客户共享数据,需要专有隔离。Gabe 强调,这种场景下唯一的标准方案就是按客户划分独立的 Workspace。

```mermaid flowchart TD accTitle: Multi-tenancy Architecture Patterns in Claude Managed Agents accDescr: Diagram contrasting single workspace isolation via session metadata against dedicated workspace isolation via CI/CD sync.

subgraph OptionA ["方案 A:严格合规隔离(Dedicated Workspace)"] CodeYAML["Git 代码库 (agent.yaml)"] CI["CI/CD 同步工具 (ant CLI)"] WS1["客户 A 专属 Workspace<br/>(独立资源分配与数据隔离)"] WS2["客户 B 专属 Workspace<br/>(独立资源分配与数据隔离)"]

CodeYAML --> CI CI -->|"自动化同步配置"| WS1 CI -->|"自动化同步配置"| WS2 end

subgraph OptionB ["方案 B:轻量逻辑隔离(Single Workspace)"] SingleWS["单一共享 Workspace"] SharedAgent["共享 Agent 模板"] SessA["Session 1<br/>metadata: {customer_id: 'A'}"] SessB["Session 2<br/>metadata: {customer_id: 'B'}"]

SingleWS --> SharedAgent SharedAgent --> SessA SharedAgent --> SessB end ```

- **单 Workspace 模式**:通过 Session 的 `metadata` 字段记录客户标识(如 `customer_id`),适合内部或合规要求较低的多租户轻量级共享。 - **多 Workspace 模式**:每个客户拥有独立的 Workspace,底层资源物理隔绝,满足严苛的法律合规与数据安全要求。 - **配置同步工具**:借助 CI/CD 流水线,代码仓库中的 YAML 定义可通过官方工具直接同步至所有目标 Workspace。

---

[12:10](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=730s) 自定义算力与 GPU:通过自托管 Sandbox 扩展运行环境

一位观众提出,在某些重度计算场景中,Agent 工作时可能需要更大的内存空间,甚至需要调用 GPU 才能完成特定任务,想了解 Claude Managed Agents 是否原生支持调整计算环境。

Gabe Cemaj 给出了明确的现状说明:“Today, if you want to do custom resource allocations for your sandbox, you would use self-hosted sandboxes.”(目前如果你希望为 Sandbox 进行自定义资源分配,需要使用自托管沙箱)。例如,用户可以选择接入 Modal 这样提供 GPU 算力的平台。Anthropic 官方已经推出了相应的 Cookbook 和原生第一方集成方案,开发者可以将自己的 Modal 实例接入进来,让 Agent 的核心循环直接在 Modal 的计算容器内部运行,以此替代 Anthropic 目前规格统一的内置托管沙箱。

观众随后询问官方文档中是否提供了这些计算环境的详细规格列表。Gabe 和 Priyanka 确认相关硬件规格均已记录在官方文档中,同时文档中还提供了对接第三方沙箱服务商(如 Modal、E2B、Daytona 等)的完整示例与 Cookbook,方便开发者按需接入具备高内存或 GPU 的异构沙箱。

- **官方托管沙箱现状**:当前提供的沙箱规格统一,暂不支持在平台内直接动态升配单机内存或申请 GPU。 - **自托管沙箱扩展方案**:支持接入 Modal、E2B、Daytona 等第三方容器运行环境,由用户自主掌控 GPU 及内存配额。 - **集成路径**:官方文档提供了端到端 Cookbook,支持将 Agent 执行循环无缝委托至外部算力集群。

---

[13:20](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=800s) 协作式 Slack Agent:多玩家交互模式建模

有观众提出,希望利用 Claude Managed Agents(CMA)在例如 Slack 的不同聊天频道中构建类似“Claude Tag”的多人互动模式(Multiplayer Mode),询问最佳的架构设计方式。

Gabe Cemaj 解释称这一架构完全可以直接落地。在技术实现上,可以将 Slack 的每一个讨论串(Thread)映射为一个 CMA Session。每当不同用户在频道或讨论串中发言时,系统会将该事件作为 `user.message` 注入会话,并在上下文里显式标记消息来源(例如明确告知 Agent 该消息来自 Gabe 还是来自 Priyanka)。通过这种方式,所有人都可以独立向该 Agent 发送消息。此外,系统还支持在多个 Session 之间共享记忆,使 Agent 能够沉淀多轮群聊经验。为了让交互更加自然,建议为 Agent 配备 Slack 发帖工具(如 `slack_post_tool`),让 Agent 自主决定何时发帖回复,而不是机械地将模型的每一次输出都实时镜像到频道中。

Priyanka Phatak 补充了隔离粒度的建议:如果要实现原汁原味的 Claude Tag 体验,最佳实践是为每个 Slack 频道单独配置一个独立的 Agent;每个 Agent 维护各自独立的记忆,且权限范围被严格限制在当前 Slack 频道的上下文消息之内,防止跨频道数据串扰。

---

[14:34](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=874s) 超长任务运行:Outcome 评估驱动与状态检查点

观众探讨了长周期循环任务(例如连续运行长达 6 小时以上的 Agent)的实现方案,询问控制台中是否有专门针对长时间运行任务的模块,或者官方是否有后续的产品路线规划。

Gabe Cemaj 指出,前期演示过的 Outcome(产出评估)系统是驱动超长运行会话的最优解。开发者只需定义清晰的退出准则(Exit Criteria),Claude 就会持续自我迭代直至完全满足这些标准:“And Claude will just keep going until it meets that criteria. And it could be a really long task like, you know, rebuild blank and it will just mercilessly iterate until it matches the rubric.”(Claude 会不断执行下去直到达成指标;这可以是一个非常庞大的任务,比如重构某个系统,它会严格对照评分标准毫不手软地持续迭代)。Priyanka 也确认底层引擎对运行周期没有特殊限制,Agent 完全可以稳定运行超过 6 个小时。

针对如何在长达数小时的任务中获取状态检查点(Checkpoints)与进度追踪的问题,Priyanka 建议通过 Session 下的 Events API(事件流)来进行实时监听。Gabe 则提供了一个极具实操性的提示词工程技巧:可以为 Agent 注册一个类似于 `update_status_for_human` 的自定义工具,促使 Claude 在每次取得阶段性进展时自主调用该工具向外部汇报进度,从而为人类用户提供透明的进展反馈。

- **超长任务驱动机制**:基于 Outcome 评估标准提供闭环终止条件,无需外部频繁打断,模型可自主迭代数小时完成深度任务。 - **会话可观测性**:利用 Session 维度的 Events API 监听底层的执行事件流。 - **人机协同状态汇报**:通过挂载专用的状态汇报工具,让模型在自主判断有实质进展时主动推送状态更新。

---

[16:30](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=990s) 协调者模式(Coordinator Pattern):解决自定义工具阻塞与异步交互

一位一直在分析多种 Agent 框架的观众提出了一个深层并发场景:在之前的环节中官方曾提到,当 Agent 正在等待自定义工具的执行结果(例如 Human-in-the-loop 人工审批流程)时,如果此时有新的外部消息发给该 Agent,系统会直接返回 HTTP 400 错误;面对这种等待阻塞,是否有优雅的架构解法?

Priyanka 与 Gabe 就子 Agent(Subagent)的机制展开了探讨。Gabe 指出解决该问题的关键在于将主 Agent 与子 Agent 解耦:“You could basically have like a subagent that's handling your custom tool and then that way your main kind of coordinator agent's always free for receiving.”(你完全可以让一个子 Agent 去负责处理耗时的自定义工具,这样一来,负责协调的主 Agent 就能随时保持空闲状态以接收新消息)。

```mermaid flowchart TD accTitle: Coordinator Pattern for Handling Custom Tool Blocking accDescr: Architecture showing main coordinator agent staying idle and responsive while subagents execute custom tools asynchronously.

User["用户 / 外部系统"] API["CMA 统一 Session API<br/>(线程路由与 ID 派发)"]

subgraph CoreSession ["单一 Core Session 内部生命周期"] MainThread["主线程: Coordinator Agent<br/>(保持空闲,可随时响应新请求)"] SubThread["子线程: Worker Subagent<br/>(挂载 Custom Tool 并等待结果)"]

MainThread -->|"委托耗时操作"| SubThread SubThread -->|"执行完成回传"| MainThread end

CustomTool["自定义工具 / 人工介入审批<br/>(Human-in-the-Loop)"]

User -->|"发送新消息 (不报 400)"| API API -->|"路由至主线程"| MainThread SubThread <-->|"阻塞等待外部返回"| CustomTool ```

针对 API 维度的调用细节,观众追问:开发者是否可以在 API 层面直接把自定义工具的结果返回给子 Agent?Priyanka 解释了具体流程:开发者首先定义顶层的协调者 Agent,并配置该 Agent 具备调用下游子 Agent 的权限;耗时的自定义工具只在子 Agent 的配置中定义。当子 Agent 抛出工具调用事件时,开发者监听其会话流并填入工具结果。

Gabe 进一步澄清了底层的会话模型:在架构上,这依然属于同一个核心 Session(Core Session)。虽然技术实现上存在不同的子线程(Thread),但开发者只需要直接与主线程进行交互,底层的 CMA 运行时会基于内部 ID 自动完成消息的精准派发与委托。

有观众确认核心逻辑:“也就是说,当子 Agent 在后台忙于工作甚至等待工具返回时,主协调 Agent 依然保持空闲状态吗?”Gabe 和 Priyanka 指着现场演示架构图给予了肯定答复:在主线程的生命周期时间轴上,当子 Agent 处于工作状态或阻塞等待工具结果时,主协调线程显示为空闲(Idle)。Gabe 总结道:“So if you're trying to do something where you want like the main agent to be always chatty, then I think the coordinator pattern works pretty well for that.”(因此,如果你希望构建一个主 Agent 能够始终保持即时对话响应的系统,协调者模式能非常完美地解决这个问题)。

最后,两位讲师表示分享时间已到,邀请现场还有疑问的开发者在会场外继续交流,全场在掌声中结束了本场 Workshop。

## Notable quotes > [16:30](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=990s) You could basically have like a subagent that's handling your custom tool and then that way your main kind of coordinator agent's always free for receiving. — Gabe Cemaj

> [02:45](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=165s) I think the the best advice we can give you is to get high quality data to evaluate over. I think Claude Claude code is pretty good at building an eval for you, but garbage in, garbage out. — Gabe Cemaj

> [08:48](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=528s) It's however you choose to define it. You can define an agent per customer, and then that way the data will be segregated, or you can use a workspace per customer if you want like true isolation you could do an org per customer. — Gabe Cemaj

## Mentioned Claude Managed Agents, Anthropic, Priyanka Phatak, Gabe Cemaj, ant CLI, Terraform, Claude Code, MCP, Modal, E2B, Daytona, Slack, AI Engineer

## Video description How to version agent configs, isolate customers, add GPUs and keep a long-running agent responsive.

NEXT UP: AI ENGINEER CODE SUMMIT Join us in SF for the second annual AIE CODE Summit, Nov 10–12, our last flagship summit of 2026. Applications live now: https://aie.codes

The workshop closes with audience Q&A for Priyanka Phatak and Gabe Cemaj: syncing agent configs in CI/CD with the ant CLI, what happens when you message an agent waiting on a custom tool, how Anthropic runs evals, sharing resources across a workspace, code-review agents, tenant isolation, GPUs via self-hosted sandboxes, modeling a multiplayer Slack agent, and a coordinator pattern that keeps the main agent free while a subagent handles custom tools.

This is part 4 of 4 of the Claude Managed Agents workshop from Anthropic.

In this video: • Keeping agent definitions in YAML and syncing them in CI/CD • Isolating tenants by workspace, org or session metadata • Self-hosted sandboxes for GPUs and extra memory • A coordinator pattern for custom tools

SPEAKERS Priyanka Phatak, Member of Technical Staff, Anthropic (leads the Claude Managed Agents engineering team)

Gabe Cemaj, Member of Technical Staff, Anthropic GitHub: https://github.com/gcemaj

LINKS Claude Managed Agents docs: https://platform.claude.com/docs/en/managed-agents/overview Scaling Managed Agents: Decoupling the brain from the hands: https://www.anthropic.com/engineering/managed-agents

CHAPTERS 0:00 Q&A: CI/CD for agent configs 1:10 Q&A: messages during custom tool waits 2:06 Q&A: other workshop repos 2:45 Q&A: Anthropic's eval practices 4:42 Q&A: sharing resources across an org 6:29 Q&A: reviewing agent-written code 8:48 Q&A: tenant isolation 9:54 Q&A: one agent, many customers 12:10 Q&A: custom compute and GPUs 13:20 Q&A: a multiplayer Slack agent 14:34 Q&A: very long-running sessions 16:30 Q&A: coordinator pattern for custom tools 18:30 Closing

Recorded at the AI Engineer World's Fair 2026 in San Francisco. Subscribe for more talks from the engineers building with AI.

AI Engineer: https://ai.engineer YouTube: https://www.youtube.com/@aiDotEngineer X: https://x.com/aiDotEngineer LinkedIn: https://www.linkedin.com/company/aidotengineer/

#Claude #AIAgents #AIEngineer

[Source](https://www.youtube.com/watch?v=QSeaZ6qHyXs)

中文简报

Anthropic将Claude多租户数据隔离限制在工作区级别 企业开发者必须通过持续集成流水线为每个客户配置独立的工作区以确保数据隔离,因为Claude Managed Agents仅在工作区级别实施安全边界,而非在共享会话内部。 在本次闭幕问答中,Gabe Cemaj与Priyanka Phatak概述了大规模部署Claude Managed Agents的架构模式与运维最佳实践。他们解释了团队如何通过CI/CD中的`ant` CLI声明式管理配置,跨工作区或会话元数据强制执行客户租户边界,以及为GPU密集型任务连接自托管沙盒(如Modal或Daytona)。他们还分享了Anthropic的内部评估方法论,探讨了自动化拉取请求审查,并详细介绍了一种协调器-子代理架构模式,该模式可防止在处理长时间运行的自定义工具时发生HTTP 400阻塞错误。 Anthropic在源代码控制中将持久代理定义声明式地管理为YAML文件,并通过名为ant的内部基础设施即代码CLI封装工具进行部署。 (0:13) Anthropic的内部评估测试工具会启动超过10,000个并行云代理会话,以针对精选基准数据集验证提示词变更和预发布模型权重。 (2:45) Claude Managed Agents在解析自定义工具期间强制执行严格的执行暂停;在此阻塞阶段分发新的用户消息会触发HTTP 400错误,除非通过协调器-子代理架构进行处理。 (1:10) 专用计算(包括GPU加速和更大的内存限制)需要连接外部自托管沙盒(例如Modal、E2B或Daytona),而非依赖默认的云基础设施。 (12:10)

精炼阅读摘要

Anthropic 团队成员 Gabe Cemaj 与 Priyanka Phatak 阐明了 Claude 托管代理(Claude Managed Agents, CMA)的工程化落地架构,指出其依赖声明式配置、工作区级数据隔离与云端评估体系支撑生产部署。同时,针对自定义工具阻塞、高算力需求及企业合规等场景,平台要求开发者在应用层引入协调者子代理、自托管沙箱等模式以弥补系统边界。 CI/CD 声明式部署与工具调用执行限制 (0:13) Gabe Cemaj 介绍,Anthropic 提供了名为 ant CLI 的 API 包装工具,支持类似 Terraform 的基础设施即代码(IaC)工作流。开发者可将智能体的系统提示词、模型类型及工具等持久化资源编写为 YAML 文件存入 Git 仓库,并在代码合并时通过 CI/CD 自动化调用 ant CLI 保持平台资源同步,Anthropic 内部亦采用该机制维护长期资源。在执行生命周期方面,当模型正在等待自定义工具(Custom Tool)返回结果时,系统会暂停执行以确保消息顺序。若调用方在此等待窗口强行向该会话推送新消息,系统不会排队处理,而是直接抛出 HTTP 400 Bad Request 错误。 大规模云端评估体系与生产数据基准构建 (2:06) 针对智能体质量评测,Gabe Cemaj 透露 Anthropic 内部构建了自动化评估流水线,在新模型权重发布前,团队会在云端并行启动超过 10,000 个智能体并发会话,覆盖通用任务与代码任务的标准基准数据集,以此优化提示词并剔除过时假设。在构建评估用例方面,Gabe 警告称“输入垃圾,产出垃圾”(garbage in, garbage out),早期内部测试曾因场景设计过于简单而出现虚假的 100% 通过率。Priyanka Phatak 建议外部团队从零构建基准时,应优先提取并审查真实的生产会话日志,评估智能体的历史实际表现,以此提炼出具有代表性的经验评测数据集。 工作区安全边界与多租户数据隔离模型 (4:42) 在权限控制方面,Priyanka Phatak 指出 CMA 的资源(智能体、记忆存储及 MCP 协议通道)均严格绑定在工作区(Workspace)层级,同一工作区内的所有 API 密钥均可访问这些资源。由于 CMA 原生不提供跨资源的细粒度访问控制列表(ACL),团队若需做局部资源隔离,必须在自定义集成层通过调用不同的 API 密钥实现。针对多租户场景,Gabe 与 Priyanka 明确 CMA 仅支持云端托管,不支持本地私有化部署。对于要求严格合规或合同限制的数据隔离,系统强制要求为每个客户分配独立的工作区,并通过 CI 工具同步 YAML 模板;而在弱隔离场景下,开发者可在单工作区内复用智能体,通过会话元数据(如 customer_id)在应用层完成租户路由。 沙箱自动化质检与外部硬件算力扩展 (6:29) 为应对代码生成量激增带来的审查瓶颈,Anthropic 内部在 Pull Request 创建时会自动触发 CMA 多子代理会话,分析代码差异并标注潜在缺陷。Gabe 与 Priyanka 解释,CMA 沙箱可直接作为自动化测试床运行本地开发服务与测试套件;因平台当前不支持网络隧道直接穿透至沙箱进行人工交互,Claude 需借助沙箱内的浏览器自动化工具完成 UI 交互验证,并输出录屏等产物供工程师复核。对于需要大内存或 GPU 加速的高算力任务,Gabe 说明 CMA 原生托管沙箱提供的是标准化算力规格,开发者需采用自托管沙箱方案,通过官方文档与示例将执行环境解耦至 Modal、E2B 或 Daytona 等外部算力平台,同时保留 CMA 的编排能力。 协调者子代理架构与长时任务执行模式 (16:30) 针对多小时级别的长任务运行,Gabe 强调应采用基于结果标准的评估体系(Outcome-Driven Rubric),通过设定明确的退出标准让 Claude 自主迭代验证产物,而非硬编码流程步骤;Priyanka 补充称平台没有 6 小时等人工超时截断,开发者可通过监听 Events API 或定义状态汇报工具来追踪进度。针对自定义工具执行阻塞期间无法接收用户消息(HTTP 400)的限制,Gabe 和 Priyanka 提出了协调者子代理架构(Coordinator Subagent Pattern):主协调智能体保持空闲与持续响应,将耗时较长的自定义工具或人机协作(HITL)任务委托给子代理执行。CMA 平台会自动根据内部 ID 路由事件,从而实现主线程即时通信与后台子线程工具执行的并发解耦。 本次问答表明,Claude Managed Agents 在支撑高并发自动化任务与企业工作流的同时,仍面临自动生成代码审查负担加剧、缺乏原生细粒度访问控制及不支持本地部署等局限。构建高可靠应用不仅依赖平台托管能力,更依赖工程团队在工作区隔离、自托管算力接入以及子代理架构设计上的规范化实现。

Detailed notes — zh

## Background 本视频由 AI Engineer 于 2026 年 10 月 12 日在 YouTube 平台发布,记录了 Anthropic 在旧金山举办的 AI Engineer World's Fair 2026 技术研讨会的闭门问答环节(共四部分的第四部分)。视频简介指出,Anthropic 技术团队成员 Priyanka Phatak 与 Gabe Cemaj 围绕 Claude Managed Agents(CMA)展开深度现场答疑,核心涵盖代理配置的 CI/CD 同步、自定义工具等待机制、评测体系、多租户隔离、GPU 自托管沙箱以及协调者模式等工程实战议题。 ## TL;DR 在本次问答中,Anthropic 工程师详述了通过 ant CLI 与 YAML 文件实现 Agent 基础设施即代码(IaC)的 CI/CD 自动化部署方案,并解答了模型等待自定义工具时消息阻塞的处理边界。针对企业落地,团队分享了利用真实历史会话构建高质量黄金评测集(Evals)的经验,以及在单 Workspace 元数据隔离与多 Workspace 物理隔离之间的架构取舍。最后,讲师剖析了借助 Modal 等自托管沙箱引入 GPU 算力的方法,并提出通过主协调者(Coordinator)与子代理(Subagent)解耦的模式,彻底解决耗时工具调用阻断主会话交互的并发难题。 ## Atmosphere & style 现场技术交流氛围极为紧凑硬核、务实透明。Gabe Cemaj 与 Priyanka Phatak 的回答不避讳系统现阶段的边界与限制(如 HTTP 400 阻塞规则与缺乏外部网络隧道),而是坦诚分享内部工程实现细节与权衡考量。台下开发者直切生产痛点发问,讲师则结合代码架构图与实操设计模式当场拆解,整场问答节奏紧凑、干货拉满,充盈着前沿工程实践碰撞出的专业与求真质感。 ## Bulletin - [00:01](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=1s) Anthropic 内部通过封装底层 API 的 ant CLI 工具,将 Agent 配置以 YAML 格式纳入版本控制,在 CI/CD 流水线中实现类 Terraform 的声明式自动化部署。 - [01:09](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=69s) 在 Claude Managed Agents 中,当 Agent 正在等待外部自定义工具返回结果时,发送新消息将直接触发 HTTP 400 错误;官方推荐使用协调者模式(Coordinator Pattern)将耗时工具委托给子代理,以保持主代理随时可响应。 - [02:45](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=165s) Anthropic 内部评估系统可并发启动多达 10,000 个独立 Session 测试新模型表现,并强调评测集构建的核心瓶颈在于高质量数据,建议通过真实线上 Session 日志沉淀黄金评测集。 - [12:10](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=730s) 官方当前托管沙箱规格统一且暂不支持动态配置 GPU 或扩容内存,重度计算场景需通过自托管沙箱方案接入 Modal、E2B 或 Daytona 等第三方算力集群。 ## Key takeaways - [00:01](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=1s) Agent 配置支持代码化管理:通过 ant CLI 读取 Git 仓库中的 YAML 定义,可以在 CI/CD 中差异化自动化同步线上持久化 Agent 资源。 - [01:09](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=69s) 自定义工具等待期间存在调用顺序锁:系统挂起期间禁止接收新消息以保证调用顺序,强行调用报 400 错误,而普通后台任务期间消息可正常入队。 - [02:45](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=165s) 构建 Agent 评测系统的核心原则是“Garbage in, garbage out”:问题定义模糊的虚假 100% 得分毫无意义,最佳冷启动方式是回溯历史生产会话进行打分标注。 - [02:45](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=165s) Anthropic 内部依靠云端纯原生架构,能够秒级并行拉起 10,000 个 Session 针对未发布新模型进行大规模自动化 Harness 验证与 Prompt 微调。 - [04:42](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=282s) 企业资源权限默认以 Workspace(工作空间)为边界隔离:同 Workspace 下 API Key 完全共享 Agent、Memory Store 与 MCP 资产,局部细粒度控制需业务方在接入层封装。 - [06:29](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=389s) 应对海量 AI 生成代码的审查瓶颈:Anthropic 采用 PR 触发多子代理并发审查 Diff 挖掘 Bug,并结合安全沙箱让 Agent 操控无头浏览器进行端到端自动化 UI 验证。 - [08:48](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=528s) 多租户隔离架构设计分层:轻量级场景可在单 Agent 中通过 Session metadata 标记 customer_id,面对法律合规硬性要求则必须按客户划分独立 Workspace 或独立 Org。 - [10:00](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=600s) 多客户共享统一 Agent 模板时,CI/CD 工具链支持将同一套 YAML 定义一键批量同步至所有客户独立的专属 Workspace 中。 - [12:10](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=730s) 高算力与 GPU 场景依赖自托管沙箱:Anthropic 官方提供与 Modal、E2B、Daytona 等平台的集成 Cookbook,允许开发者将 Agent 执行循环无缝委托给外部自定义容器。 - [13:20](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=800s) 多人协同 Slack Agent 建模方案:将 Slack Thread 映射为 Session,以显式标记发言人身份的 user.message 注入上下文,并挂载专用发帖工具由 Agent 自主决策发言时机。 - [14:34](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=874s) 超长周期任务(如连续运行 6 小时以上)无需外部轮询打断:依靠明确的 Outcome 退出标准让模型持续自我迭代,并通过 Session Events API 或状态上报工具实现人机可观测性。 - [16:30](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=990s) 采用协调者模式(Coordinator Pattern)解决交互阻塞:在同一个 Core Session 内部由子代理挂载自定义工具并执行阻塞等待,主线程协调者始终保持空闲以便即时回复人类用户。 ## Detailed walkthrough ### [00:01](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=1s) 代理配置的 CI/CD 管理机制 在研讨会问答环节伊始,现场观众首先询问了如何对 Claude Managed Agents(CMA)的配置进行持续集成与持续交付(CI/CD)管理。Gabe Cemaj 解释称,Anthropic 内部开发了一个名为 `ant CLI` 的命令行工具,该工具通过封装底层 API,为开发者提供类似 Terraform 的声明式基础设施管理体验。开发者可以将代理长期资源以 YAML 格式保存在代码库中,一旦代码仓库发生变更,CI/CD 流水线便会自动调用 `ant CLI` 读取这些 YAML 文件,并将更新应用到线上资源中。Gabe Cemaj 明确证实,Anthropic 内部在构建持久、长周期的资源时,正是采用这种将配置代码化检入版本库的方式:“Yeah, that's how if if we need to build durable long-term resources, we just we can check them in.” - `ant CLI` 提供类 Terraform 的 YAML 声明式配置,便于在 CI/CD 流水线中实现自动化同步与版本控制。 - 团队内部同样使用这套方案维护线上持久化的生产级 Agent 资源。 ```mermaid flowchart LR accTitle: Agent Config CI/CD Pipeline accDescr: Pipeline showing how agent configs written in YAML are pushed to Anthropic using ant CLI. subgraph Repo["版本控制代码库"] YML["agent_config.yaml"] end subgraph CICD["CI/CD 流水线"] CLI["ant CLI 工具"] end subgraph Platform["Claude Managed Agents"] API["Anthropic 平台 API"] RSRCS["代理与长期云端资源"] end YML -->|"代码提交 / PR 合并"| CLI CLI -->|"调用 API 差异化部署"| API API -->|"更新环境"| RSRCS ``` --- ### [01:09](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=69s) 自定义工具等待期间的消息处理规则与社区资源 有开发者提出关于会话并发交互的边界情况:如果 Agent 正在等待外部自定义工具(Custom Tool)的结果返回,客户端是否还能发送新的普通消息?Gabe Cemaj 明确指出,在等待自定义工具执行结果期间,系统的执行会被挂起;出于保证调用顺序正确性(Ordering purposes)的考虑,平台会直接阻塞新消息的传入。如果客户端在此窗口期强行发送消息,系统将直接返回 HTTP 400 错误。不过,若 Agent 只是在进行其他的常规内部任务,消息是完全可以正常排队(Queue up)的。 随后,现场观众索取了幻灯片上的 API 额度二维码,并就 GitHub 仓库中其他配套 workshop 资源的完整性发问。Gabe Cemaj 回应说明,该仓库中的其他示例源自他们之前在伦敦举办的 Code with Claude 技术大会,相关的讲座视频均已完整上传至 YouTube,仓库中的 Readme 文件本身也提供了自解释的使用指南。 - **自定义工具挂起限制**:Agent 等待自定义工具结果时禁止发送新消息,强行发送将触发 400 报错;常规推理或内置任务状态下则支持消息入队。 - **历史参考资料**:相关扩展资料与技能演示大多脱胎于伦敦 Code with Claude 大会,配套视频可公开检索。 --- ### [02:45](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=165s) Anthropic 评估系统(Evals)实践与数据质量 谈及大模型评估系统(Evals)的设计标准与质量维护最佳实践,Gabe Cemaj 揭秘了 Anthropic 内部评估基础设施的运转机制。由于开发团队能够先于公众接触到未发布的最新模型版本,因此他们必须第一时间验证并更新针对 Agent 框架(Harness)的各项底层假设,剔除冗余机制。Anthropic 拥有完善的内部评测工具集和丰富的数据集切片;得益于纯云端架构,评测系统可以瞬间并发启动多达 10,000 个独立 Session,全面评估各类通用任务及代码生成任务的表现,进而调整系统提示词(Prompt tuning)并验证假设。 针对普通开发者如何构建 Agent 评测系统的提问,Gabe Cemaj 强调,虽然类似 Claude Code 的工具能辅助搭建评测框架,但最关键的瓶颈永远在于数据质量:“I think the the best advice we can give you is to get high quality data to evaluate over. I think Claude Claude code is pretty good at building an eval for you, but garbage in, garbage out.” 如果测试问题定义不清,即使模型拿到了 100% 的准确率,在实际生产中也毫无意义。Priyanka Phatak 进一步补充了极具实操性的冷启动建议:开发者应回溯历史生产会话日志(Historical sessions),抽取真实结果并进行打分标注,这是逐步沉淀高质量黄金评测集的最佳路径。 - **万级云端并发**:Anthropic 内部支持并行启动 10,000 个云端 Session 测试新模型表现。 - **评测核心法则**:严格遵循“Garbage in, garbage out”,避免因问题边界定义模糊而陷入假阳性(虚假 100% 得分)陷阱。 - **数据积累途径**:利用线上真实 Session 历史构建可量化打分的测试数据集。 --- ### [04:42](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=282s) 企业组织内的资源共享边界与权限划分 一名大量使用 Claude 进行代码开发的观众询问,如何在大型企业的不同部门之间安全共享 Agent、Memory Store(记忆库)或 MCP(Model Context Protocol)通道等资产。Priyanka Phatak 明确了平台的多租户层级:所有 CMA 资源默认绑定在工作区(Workspace)级别,该 Workspace 内的所有有效 API Key 均享有相同的资源访问权限。 在企业架构设计上,通常由平台管理员在组织(Org)维度统筹,并根据部门边界或团队职责划分不同的 Workspaces,再为对应人员分配访问授权。面对观众关于能否跨团队“局部共享”(例如仅共享记忆库、而不共享底层 MCP 通道)的疑问,Gabe Cemaj 坦诚目前平台底层尚未提供细粒度的局部访问控制列表(ACL),但上层应用的开发者完全可以通过自建集成网关,为终端用户实现灵活的细粒度数据控制。 | 资源层级 | 隔离与归属范围 | 权限特征与控制建议 | |:--- |:--- |:--- | | **Organization (组织级)** | 包含多个 Workspace 的企业总实体 | 由平台最高管理员统一配置和派生工作区 | | **Workspace (工作区级)** | Agent、Memory Store、MCP 等核心资源的归属边界 | 区内 API Key 默认完全共享;团队需按安全边界创建不同 Workspace | | **细粒度资产级控制** | 暂未原生提供单个组件的局部跨区授权 | 需业务方在上层集成层(Builder & Integration)自行封装权限网关 | --- ### [06:29](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=389s) Agent 生成代码的代码审查(Code Review)与沙箱验证 现场讨论转向了当下火热的痛点:当大量 Agent 不知疲倦地产生海量代码时,代码审查(Code Review)迅速成为整个研发交付的致命瓶颈。有观众提问,Anthropic 是如何应对数万行 AI 生成代码的审查与合并测试的。Gabe Cemaj 透露,他们原本策划该 Workshop 时的首选主题正是解决此问题。目前的实践是通过与 CMA 深度集成,在工程师提交 Pull Request(PR)时自动触发审查工作流。该工作流会派生出多个并行的子代理(Sub-agents)会话,多角度交叉审查代码 Diff 并搜寻潜在 Bug。这一自动化审查方案在 Anthropic 内部有效承担了繁重的脏活累活,大幅降低了单次 PR 的人工耗时并压降了缺陷率。 谈到最终的集成验证,Priyanka Phatak 与 Gabe Cemaj 阐述了沙箱(Sandbox)在自动化测试闭环中的角色:不仅让 Agent 处于审查与评论的文本循环中,还可以将待测应用直接运行在 CMA 的安全沙箱容器内。此时 Agent 扮演 QA 角色,借助自动化浏览器操作 UI 界面、进行交互并自我验证(Self-validate),甚至录制验证视频回传给人类工程师。不过,Gabe Cemaj 也提到目前沙箱环境暂未开放直接的外部网络隧道(Tunneling),人工无法直接在外部实时打开沙箱内运行的网页界面。 - **多 Agent 协同审查**:PR 触发后并发调度多个 Sub-agent 深入排查逻辑漏洞。 - **沙箱自我验证闭环**:代码部署到云端隔离沙箱运行,Agent 自主充当端到端 QA,通过操控无头浏览器进行黑盒验证与行为取证。 - **网络隧道限制**:当前沙箱尚未提供对外的反向网络隧道,前端交互主要依赖 Agent 自主运行并回传结果。 --- ### [08:48](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=528s) 企业多租户隔离架构设计 针对企业级客户对数据合规与真正“租户隔离”(Tenant Isolation)的关切,现场观众追问在服务 100 家不同企业客户时,CMA 的实例分配模型是怎样的。Gabe Cemaj 澄清 Anthropic 目前不支持本地化私有部署(On-prem),所有服务均在云端提供;但平台的架构设计为租户隔离提供了极高的灵活度。 Priyanka Phatak 与 Gabe Cemaj 指出,隔离粒度完全取决于业务架构的选择。最轻量的方式是为每个最终客户独立声明并绑定一个专有 Agent,从而实现对话数据和记忆的逻辑切分;如果需要更强的数据隔离边界,开发者可以为每家客户划定一个独立的 Workspace;若面对要求极为严苛的合规场景,甚至可以为每个客户设立完全独立的组织(Organization)。业务系统只需在自己的服务层维护好客户身份与 Agent/Workspace 之间的映射路由即可。 “It's however you choose to define it. You can define an agent per customer, and then that way the data will be segregated, or you can use a workspace per customer if you want like true isolation you could do an org per customer.” —— Gabe Cemaj 总结道。 - **逻辑隔离方案**:单个 Workspace 内维护多 Agent 映射,每位客户绑定特定 Agent。 - **环境隔离方案**:基于客户粒度分配独立的 Workspace,隔离所有的 API Key 与中间件上下文。 - **实体隔离方案**:针对超高合规诉求,直接以客户为单位创建独立的 Org,实现底层物理与账单隔离。 ### [10:00](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=600s) 多租户架构:多客户共享 Agent 与数据隔离 现场有观众提问:如果业务方有两个客户,希望只构建一次 Agent,但让这两个客户共同使用该 Agent,应该如何实现? Gabe Cemaj 解释称实现方式有很多种。一种方式是通过自动化流程:将 Agent 的定义以 YAML 文件的形式保存在代码库中,然后构建自动化工具,将其同步到各个对应的 Workspace(工作空间),在代码发生变动时完成批量同步;另一种方式则是将所有内容建模在单一 Organization(组织)下进行管理。Priyanka Phatak 补充道,也可以面向所有客户仅创建一个统一的 Agent,由开发者在自己的业务后端维护映射关系,记录哪个客户正在使用哪一个 Session(会话)。 针对“在哪个 Workspace 中精确运行该 Agent”的问题,Gabe 指出如果选择每个 Workspace 独立部署的模式,Anthropic 提供了工具链支持将代码中的单一 Agent 定义同步到多处:“Whenever you update it in your code through CI, you can update all of the definitions at once.”(只要你在代码中通过 CI 进行更新,就可以一次性更新所有的 Agent 定义)。Priyanka 进一步拆解了两种设计选择:一种是将包含 System Prompt、模型名称和工具配置的 Agent 模板复制到每个客户专属的 Workspace 中;另一种是将所有客户置于同一个 Workspace 下,共用一个 Agent,利用 Session 上的 `metadata` 字段写入例如 `customer_id` 的标识,从而在业务逻辑上追踪每个会话归属的客户。 现场观众紧接着追问:如果把所有客户数据放在同一个 Workspace 中,该如何满足严格的数据隔离(Data Segregation)合规要求?Gabe 明确表示:“If you care about data segregation, then you need to put them in individual workspaces, and the resources are allocated per workspace.”(如果你看重数据隔离,就必须将他们放在各自独立的 Workspace 中,所有资源都是按 Workspace 粒度进行分配的)。当被问及这是法律层面的硬性要求还是单纯的偏好时,提问者确认确实涉及法务与合规风险——客户绝不希望与其他客户共享数据,需要专有隔离。Gabe 强调,这种场景下唯一的标准方案就是按客户划分独立的 Workspace。 ```mermaid flowchart TD accTitle: Multi-tenancy Architecture Patterns in Claude Managed Agents accDescr: Diagram contrasting single workspace isolation via session metadata against dedicated workspace isolation via CI/CD sync. subgraph OptionA ["方案 A:严格合规隔离(Dedicated Workspace)"] CodeYAML["Git 代码库 (agent.yaml)"] CI["CI/CD 同步工具 (ant CLI)"] WS1["客户 A 专属 Workspace<br/>(独立资源分配与数据隔离)"] WS2["客户 B 专属 Workspace<br/>(独立资源分配与数据隔离)"] CodeYAML --> CI CI -->|"自动化同步配置"| WS1 CI -->|"自动化同步配置"| WS2 end subgraph OptionB ["方案 B:轻量逻辑隔离(Single Workspace)"] SingleWS["单一共享 Workspace"] SharedAgent["共享 Agent 模板"] SessA["Session 1<br/>metadata: {customer_id: 'A'}"] SessB["Session 2<br/>metadata: {customer_id: 'B'}"] SingleWS --> SharedAgent SharedAgent --> SessA SharedAgent --> SessB end ``` - **单 Workspace 模式**:通过 Session 的 `metadata` 字段记录客户标识(如 `customer_id`),适合内部或合规要求较低的多租户轻量级共享。 - **多 Workspace 模式**:每个客户拥有独立的 Workspace,底层资源物理隔绝,满足严苛的法律合规与数据安全要求。 - **配置同步工具**:借助 CI/CD 流水线,代码仓库中的 YAML 定义可通过官方工具直接同步至所有目标 Workspace。 --- ### [12:10](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=730s) 自定义算力与 GPU:通过自托管 Sandbox 扩展运行环境 一位观众提出,在某些重度计算场景中,Agent 工作时可能需要更大的内存空间,甚至需要调用 GPU 才能完成特定任务,想了解 Claude Managed Agents 是否原生支持调整计算环境。 Gabe Cemaj 给出了明确的现状说明:“Today, if you want to do custom resource allocations for your sandbox, you would use self-hosted sandboxes.”(目前如果你希望为 Sandbox 进行自定义资源分配,需要使用自托管沙箱)。例如,用户可以选择接入 Modal 这样提供 GPU 算力的平台。Anthropic 官方已经推出了相应的 Cookbook 和原生第一方集成方案,开发者可以将自己的 Modal 实例接入进来,让 Agent 的核心循环直接在 Modal 的计算容器内部运行,以此替代 Anthropic 目前规格统一的内置托管沙箱。 观众随后询问官方文档中是否提供了这些计算环境的详细规格列表。Gabe 和 Priyanka 确认相关硬件规格均已记录在官方文档中,同时文档中还提供了对接第三方沙箱服务商(如 Modal、E2B、Daytona 等)的完整示例与 Cookbook,方便开发者按需接入具备高内存或 GPU 的异构沙箱。 - **官方托管沙箱现状**:当前提供的沙箱规格统一,暂不支持在平台内直接动态升配单机内存或申请 GPU。 - **自托管沙箱扩展方案**:支持接入 Modal、E2B、Daytona 等第三方容器运行环境,由用户自主掌控 GPU 及内存配额。 - **集成路径**:官方文档提供了端到端 Cookbook,支持将 Agent 执行循环无缝委托至外部算力集群。 --- ### [13:20](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=800s) 协作式 Slack Agent:多玩家交互模式建模 有观众提出,希望利用 Claude Managed Agents(CMA)在例如 Slack 的不同聊天频道中构建类似“Claude Tag”的多人互动模式(Multiplayer Mode),询问最佳的架构设计方式。 Gabe Cemaj 解释称这一架构完全可以直接落地。在技术实现上,可以将 Slack 的每一个讨论串(Thread)映射为一个 CMA Session。每当不同用户在频道或讨论串中发言时,系统会将该事件作为 `user.message` 注入会话,并在上下文里显式标记消息来源(例如明确告知 Agent 该消息来自 Gabe 还是来自 Priyanka)。通过这种方式,所有人都可以独立向该 Agent 发送消息。此外,系统还支持在多个 Session 之间共享记忆,使 Agent 能够沉淀多轮群聊经验。为了让交互更加自然,建议为 Agent 配备 Slack 发帖工具(如 `slack_post_tool`),让 Agent 自主决定何时发帖回复,而不是机械地将模型的每一次输出都实时镜像到频道中。 Priyanka Phatak 补充了隔离粒度的建议:如果要实现原汁原味的 Claude Tag 体验,最佳实践是为每个 Slack 频道单独配置一个独立的 Agent;每个 Agent 维护各自独立的记忆,且权限范围被严格限制在当前 Slack 频道的上下文消息之内,防止跨频道数据串扰。 --- ### [14:34](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=874s) 超长任务运行:Outcome 评估驱动与状态检查点 观众探讨了长周期循环任务(例如连续运行长达 6 小时以上的 Agent)的实现方案,询问控制台中是否有专门针对长时间运行任务的模块,或者官方是否有后续的产品路线规划。 Gabe Cemaj 指出,前期演示过的 Outcome(产出评估)系统是驱动超长运行会话的最优解。开发者只需定义清晰的退出准则(Exit Criteria),Claude 就会持续自我迭代直至完全满足这些标准:“And Claude will just keep going until it meets that criteria. And it could be a really long task like, you know, rebuild blank and it will just mercilessly iterate until it matches the rubric.”(Claude 会不断执行下去直到达成指标;这可以是一个非常庞大的任务,比如重构某个系统,它会严格对照评分标准毫不手软地持续迭代)。Priyanka 也确认底层引擎对运行周期没有特殊限制,Agent 完全可以稳定运行超过 6 个小时。 针对如何在长达数小时的任务中获取状态检查点(Checkpoints)与进度追踪的问题,Priyanka 建议通过 Session 下的 Events API(事件流)来进行实时监听。Gabe 则提供了一个极具实操性的提示词工程技巧:可以为 Agent 注册一个类似于 `update_status_for_human` 的自定义工具,促使 Claude 在每次取得阶段性进展时自主调用该工具向外部汇报进度,从而为人类用户提供透明的进展反馈。 - **超长任务驱动机制**:基于 Outcome 评估标准提供闭环终止条件,无需外部频繁打断,模型可自主迭代数小时完成深度任务。 - **会话可观测性**:利用 Session 维度的 Events API 监听底层的执行事件流。 - **人机协同状态汇报**:通过挂载专用的状态汇报工具,让模型在自主判断有实质进展时主动推送状态更新。 --- ### [16:30](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=990s) 协调者模式(Coordinator Pattern):解决自定义工具阻塞与异步交互 一位一直在分析多种 Agent 框架的观众提出了一个深层并发场景:在之前的环节中官方曾提到,当 Agent 正在等待自定义工具的执行结果(例如 Human-in-the-loop 人工审批流程)时,如果此时有新的外部消息发给该 Agent,系统会直接返回 HTTP 400 错误;面对这种等待阻塞,是否有优雅的架构解法? Priyanka 与 Gabe 就子 Agent(Subagent)的机制展开了探讨。Gabe 指出解决该问题的关键在于将主 Agent 与子 Agent 解耦:“You could basically have like a subagent that's handling your custom tool and then that way your main kind of coordinator agent's always free for receiving.”(你完全可以让一个子 Agent 去负责处理耗时的自定义工具,这样一来,负责协调的主 Agent 就能随时保持空闲状态以接收新消息)。 ```mermaid flowchart TD accTitle: Coordinator Pattern for Handling Custom Tool Blocking accDescr: Architecture showing main coordinator agent staying idle and responsive while subagents execute custom tools asynchronously. User["用户 / 外部系统"] API["CMA 统一 Session API<br/>(线程路由与 ID 派发)"] subgraph CoreSession ["单一 Core Session 内部生命周期"] MainThread["主线程: Coordinator Agent<br/>(保持空闲,可随时响应新请求)"] SubThread["子线程: Worker Subagent<br/>(挂载 Custom Tool 并等待结果)"] MainThread -->|"委托耗时操作"| SubThread SubThread -->|"执行完成回传"| MainThread end CustomTool["自定义工具 / 人工介入审批<br/>(Human-in-the-Loop)"] User -->|"发送新消息 (不报 400)"| API API -->|"路由至主线程"| MainThread SubThread <-->|"阻塞等待外部返回"| CustomTool ``` 针对 API 维度的调用细节,观众追问:开发者是否可以在 API 层面直接把自定义工具的结果返回给子 Agent?Priyanka 解释了具体流程:开发者首先定义顶层的协调者 Agent,并配置该 Agent 具备调用下游子 Agent 的权限;耗时的自定义工具只在子 Agent 的配置中定义。当子 Agent 抛出工具调用事件时,开发者监听其会话流并填入工具结果。 Gabe 进一步澄清了底层的会话模型:在架构上,这依然属于同一个核心 Session(Core Session)。虽然技术实现上存在不同的子线程(Thread),但开发者只需要直接与主线程进行交互,底层的 CMA 运行时会基于内部 ID 自动完成消息的精准派发与委托。 有观众确认核心逻辑:“也就是说,当子 Agent 在后台忙于工作甚至等待工具返回时,主协调 Agent 依然保持空闲状态吗?”Gabe 和 Priyanka 指着现场演示架构图给予了肯定答复:在主线程的生命周期时间轴上,当子 Agent 处于工作状态或阻塞等待工具结果时,主协调线程显示为空闲(Idle)。Gabe 总结道:“So if you're trying to do something where you want like the main agent to be always chatty, then I think the coordinator pattern works pretty well for that.”(因此,如果你希望构建一个主 Agent 能够始终保持即时对话响应的系统,协调者模式能非常完美地解决这个问题)。 最后,两位讲师表示分享时间已到,邀请现场还有疑问的开发者在会场外继续交流,全场在掌声中结束了本场 Workshop。 ## Notable quotes > [16:30](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=990s) You could basically have like a subagent that's handling your custom tool and then that way your main kind of coordinator agent's always free for receiving. — Gabe Cemaj > [02:45](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=165s) I think the the best advice we can give you is to get high quality data to evaluate over. I think Claude Claude code is pretty good at building an eval for you, but garbage in, garbage out. — Gabe Cemaj > [08:48](https://www.youtube.com/watch?v=QSeaZ6qHyXs&t=528s) It's however you choose to define it. You can define an agent per customer, and then that way the data will be segregated, or you can use a workspace per customer if you want like true isolation you could do an org per customer. — Gabe Cemaj ## Mentioned Claude Managed Agents, Anthropic, Priyanka Phatak, Gabe Cemaj, ant CLI, Terraform, Claude Code, MCP, Modal, E2B, Daytona, Slack, AI Engineer ## Video description How to version agent configs, isolate customers, add GPUs and keep a long-running agent responsive. NEXT UP: AI ENGINEER CODE SUMMIT Join us in SF for the second annual AIE CODE Summit, Nov 10–12, our last flagship summit of 2026. Applications live now: https://aie.codes The workshop closes with audience Q&A for Priyanka Phatak and Gabe Cemaj: syncing agent configs in CI/CD with the ant CLI, what happens when you message an agent waiting on a custom tool, how Anthropic runs evals, sharing resources across a workspace, code-review agents, tenant isolation, GPUs via self-hosted sandboxes, modeling a multiplayer Slack agent, and a coordinator pattern that keeps the main agent free while a subagent handles custom tools. This is part 4 of 4 of the Claude Managed Agents workshop from Anthropic. In this video: • Keeping agent definitions in YAML and syncing them in CI/CD • Isolating tenants by workspace, org or session metadata • Self-hosted sandboxes for GPUs and extra memory • A coordinator pattern for custom tools SPEAKERS Priyanka Phatak, Member of Technical Staff, Anthropic (leads the Claude Managed Agents engineering team) Gabe Cemaj, Member of Technical Staff, Anthropic GitHub: https://github.com/gcemaj LINKS Claude Managed Agents docs: https://platform.claude.com/docs/en/managed-agents/overview Scaling Managed Agents: Decoupling the brain from the hands: https://www.anthropic.com/engineering/managed-agents CHAPTERS 0:00 Q&A: CI/CD for agent configs 1:10 Q&A: messages during custom tool waits 2:06 Q&A: other workshop repos 2:45 Q&A: Anthropic's eval practices 4:42 Q&A: sharing resources across an org 6:29 Q&A: reviewing agent-written code 8:48 Q&A: tenant isolation 9:54 Q&A: one agent, many customers 12:10 Q&A: custom compute and GPUs 13:20 Q&A: a multiplayer Slack agent 14:34 Q&A: very long-running sessions 16:30 Q&A: coordinator pattern for custom tools 18:30 Closing Recorded at the AI Engineer World's Fair 2026 in San Francisco. Subscribe for more talks from the engineers building with AI. AI Engineer: https://ai.engineer YouTube: https://www.youtube.com/@aiDotEngineer X: https://x.com/aiDotEngineer LinkedIn: https://www.linkedin.com/company/aidotengineer/ #Claude #AIAgents #AIEngineer [Source](https://www.youtube.com/watch?v=QSeaZ6qHyXs)

Source quotes

[16:30] Gabe Cemaj: You could basically have like a subagent that's handling your custom tool and then that way your main kind of coordinator agent's always free for receiving. [2:45] Gabe Cemaj: I think the the best advice we can give you is to get high quality data to evaluate over. I think Claude Claude code is pretty good at building an eval for you, but garbage in, garbage out. [8:48] Gabe Cemaj: It's however you choose to define it. You can define an agent per customer, and then that way the data will be segregated, or you can use a workspace per customer if you want like true isolation you could do an org per customer.