Datadog推Temper框架用机床规范约束AI编程

How Datadog built a universal machine tool for Claude Code — Claude

Claude

工程瓶颈已从代码编写转移至反馈与验证,必须通过形式化状态机与严格验证器终结AI自主生成的不可维护胶水代码。

AI-assisted summary of How Datadog built a universal machine tool for Claude Code — original source. Check the original for full context.

Source published:

Key ideas

  • Datadog 内部约 3,000 名工程师中有 90% 在生产环境中采用 AI 编码工具,其中三分之二的采用量由 Claude Code 驱动。 (10:00)
  • 单名工程师借助 Claude Code 仅用数天便构建出 Kafka 兼容的高性能流处理服务 Helix,但在将其推向生产环境时遭遇了严重的反馈循环与生产协调瓶颈。 (10:00)
  • 为遏制长程 Agent 自主发明碎片化临时工具导致的“虚假进展”,Datadog 打造了名为 Temper 的机器工具框架,将非确定性代码生成转化为显式状态机与声明式蓝图。 (15:00)
  • Temper 引入四层“瑞士奶酪”验证器模型(代数检查、模型检验、故障注入、属性测试),以高保证工程标准解决当前 AI 软件交付中最关键的验证瓶颈。 (25:00)

Detailed notes

## Background 该视频由 YouTube 频道 Claude 于 2026 年 5 月 6 日发布。视频内容源自 Datadog 工程副总裁 Sesh Nalla 的技术分享,讲述了过去四个月中 Datadog 内部 90% 的工程师在生产中采用 AI 编码工具(其中三分之二依赖 Claude Code)后,团队如何构建名为 Temper 的约束性框架,以解决跨会话工具泛滥且难以维护的痛点,进而产出安全、可复用的软件生产“机器母机”。

## TL;DR Sesh Nalla 借用制造业“机器母机(Machine Tools)”与工装夹具的隐喻,回顾了 Datadog 从纯手工分布式系统开发到利用 Claude Code 仅耗时数天构建类 Kafka 服务 Helix 的范式转变。他指出当前软件瓶颈已从“代码编写”转移到“长程 Agent 协同与验证”,工程师被迫提升抽象层级成为系统环境的设计者。为避免长任务 Agent 产生大量难以维护的临时胶水代码与“虚假进展”,Datadog 打造了名为 Temper 的受限框架:通过声明式蓝图、显式状态转换表、WASM 沙箱以及四层“瑞士奶酪”验证器,将开发模式推向无人值守的“暗灯工厂”与定向进化。

## Atmosphere & style 整场演讲呈现出一种严谨务实、直击工业一线的工程反思基调,兼具前瞻的系统哲学与硬核的实战沉淀。Sesh Nalla 并没有陷入单纯炒作 AI 生成速度的狂热,而是带着亲身经历数千次夜间告警的资深架构师视角,坦诚剖析工程师被迫“连升三级去管智能体”带来的眩晕感与认知失重。他在粗犷主义的幻灯片间幽默自嘲,用冷静且极具穿透力的行业洞察,将受众从浮躁的代码补全带入制造工程严密性与“有机生命体进化”的深远意境之中。

## Bulletin - [10:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=600s) Datadog 内部约 3,000 名工程师中有 90% 在生产环境中采用 AI 编码工具,其中三分之二的采用量由 Claude Code 驱动。 - [10:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=600s) 单名工程师借助 Claude Code 仅用数天便构建出 Kafka 兼容的高性能流处理服务 Helix,但在将其推向生产环境时遭遇了严重的反馈循环与生产协调瓶颈。 - [15:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=900s) 为遏制长程 Agent 自主发明碎片化临时工具导致的“虚假进展”,Datadog 打造了名为 Temper 的机器工具框架,将非确定性代码生成转化为显式状态机与声明式蓝图。 - [25:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=1500s) Temper 引入四层“瑞士奶酪”验证器模型(代数检查、模型检验、故障注入、属性测试),以高保证工程标准解决当前 AI 软件交付中最关键的验证瓶颈。

## Key takeaways - [00:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=0s) 制造业中的机器工具(如夹具、模具)通过标准化与精密性实现规模化生产,这为现代软件工程借助 AI 走向工业化提供了核心灵感。 - [05:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=300s) AI 辅助开发的瓶颈经历了三次转移:从 Courier 时期的人工构建系统,转移到 Bits Evolve 时期的反馈闭环界定,最终演变为 Helix 时期的生产协调与多轮交互成本。 - [10:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=600s) AI 编码工具迫使工程师的抽象层级断层式跃迁,从手写具体代码的核心心流转变为定义上下文、边界、工具与故障检测的“事实管理者”。 - [12:30](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=750s) 传统工具链针对人类反应速度设计,面对运行速度快两个数量级且运行长达数十小时的长程 Agent,人类沦为信息孤岛与低效执行桥梁。 - [12:30](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=750s) 缺乏约束的 Agent 会在局部会话中随意生成临时胶水代码并造成“虚假进展”,使中间工具与核心系统边界模糊且难以维护。 - [15:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=900s) Temper 被构想为软件领域的 CNC 机床,要求 Agent 产出精确的规格说明,再由确定性框架编译为可审计、跨会话复用的工业级工具。 - [15:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=900s) 借鉴“暗灯工厂”理念,人类应扮演软件工厂的顶层架构师与验证机制设计者,让 Agent 在后台长时间自主生产合格制品。 - [17:30](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=1050s) 许多软件本质上是围绕数据库的控制逻辑与状态跃迁,Temper 放弃传统散乱隐式的 CRUD 架构,将其重构为类似 Erlang OTP 的显式状态机。 - [20:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=1200s) Temper 采用声明式蓝图架构,智能体迭代输出的数据化转换表经由独立编译与多层验证后热部署至运行时,大幅提升推理严密性与迭代效率。 - [25:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=1500s) 通过引入类型化的小步 Effect 系统与 WASM 沙箱,Temper 严格圈定模型生成代码的外部副作用,防止状态机被任意应用逻辑破坏。 - [25:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=1500s) 验证环节是当前 AI 交付的核心瓶颈,Temper 的四层检验机制通过代数合法性、可达图模型检验、故障调度与随机属性测试保障系统不变式。 - [27:30](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=1650s) 长程生成的数千行胶水代码无法被人类与 LLM 可靠审查,将其解耦为小型、可读、职责明确的高保证声明式工件是关键基础设施可维护的前提。 - [27:30](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=1650s) 由严密机器工具驱动的软件开发正在从冰冷的“暗灯工厂”走向“定向进化”,工程师通过反馈与选择机制如同培育有机生命体般演化软件系统。

## Detailed walkthrough 这份文稿详细记录了 Datadog 工程副总裁 Sesh Nalla 关于如何利用 Claude Code 构建“机器工具(Machine Tools)”的演讲内容。以下是本次演讲第一部分的详细回顾:

### [00:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=0s) 从制造业到软件工程的隐喻 Sesh Nalla 以一个生动的类比开场:他询问听众是否听说过“机器工具(Machine Tools)”。他解释道,在制造业中,夹具、固定装置、量规和模具是生产精确、可重复零件的核心,正是这些工具支撑了引擎、飞机乃至登月舱等复杂系统的组装。他指出,机器工具在工业化时期是一项突破,通过标准化和精密性实现了规模化生产。Nalla 将此作为 Datadog 如何利用 Claude Code 进行软件开发的灵感来源,旨在实现软件生产的标准化与可重复性。

他展示了一张关于 AI 模型能力演进的个人评估图(虽非科学数据,但反映了他的职业观察):2025 年大部分时间,模型仅限于处理局部修改、小函数或一次性原型;而到了 2025 年底,随着性能的指数级增长,他开始信任 Claude 处理更宏大、更模糊的系统级任务。

### [05:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=300s) 从手工构建到自动化演进的历程 Nalla 回顾了 Datadog 在 AI 辅助开发方面的探索路径。2024 年,团队在没有 AI 代理辅助的情况下,完全通过人工构建了一个名为 Courier 的分布式队列系统。当时,核心难点在于构建系统组件并使其交互过程变得可观测、可测试和可验证。为了应对这些挑战,他们引入了严格的形式化建模和模拟。

接着,他在 2025 年 9 月启动了名为“Bits Evolve”的项目。这是一个受 DeepMind 的 AlphaEvolve 启发的闭环进化优化框架,旨在通过一组模型(“模型委员会”)生成代码变体,并利用基准测试、测试用例和生产环境观测数据来决定哪些代码能够“存活”。Nalla 总结道:“The insight was that, This kind of evolution is only as good as the environment it adapts within.”(其洞察在于:这种进化过程的质量完全取决于它所处的适应环境。)如果基准测试质量差,生成的代码优化就会流于浅表。

### [10:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=600s) 瓶颈的转移与“机器工具”的必要性 随着 Claude Code 的能力提升,团队尝试构建了一个名为 Helix 的 Kafka 兼容系统。令团队震惊的是,仅由一名人类工程师配合 Claude Code,仅用了几天时间就构建出了一个功能完备的系统——而在 2024 年,构建类似的 Courier 系统耗时一年。

尽管速度飞跃,但将这些系统投入生产环境仍充满挑战,瓶颈开始从“构建本身”转移到“反馈循环”和“生产协作”。Nalla 指出:“There were too many places where the human had to interpret and correct. It's too multi-turn, too interactive.”(在许多地方,人类必须进行解读和修正。交互次数太多,过程太繁琐。)这催生了对“机器工具”的需求: * **Courier 阶段**:瓶颈在于构建,需依靠严谨的设计与模拟。 * **Bits Evolve 阶段**:瓶颈转移到反馈循环(即如何界定优胜劣汰)。 * **Helix 阶段**:瓶颈转移到生产环境的协调与部署。

他强调,目前的任务是从“机械化(Mechanization)”——即代理执行更多任务——转向“工业化(Industrialization)”,即让开发工作变得可重复、可验证、可控制且可扩展。面对日益复杂的开发任务,机器工具成为了必不可少的辅助,以应对过去四个月中 Datadog 内部高达 90% 的工程团队对 AI 编码工具的普及性应用。

---

**核心概念图解:**

```mermaid flowchart TD subgraph 进化路径 A["Courier (手工构建)"] -->|瓶颈转移| B["Bits Evolve (反馈闭环)"] B -->|瓶颈转移| C["Helix (生产协调)"] end subgraph 目标 C --> D["机器工具 (工业化标准)"] end accTitle: 软件工程演进与瓶颈转移路径 accDescr: 展示了从Courier手工构建到Bits Evolve优化,再到Helix系统集成,最终指向机器工具工业化标准的过程。 ```

[10:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=600s) 抽象层级跃迁:从“编写代码”到“被迫连升三级”

在 Datadog,有约 3,000 名工程师在生产代码中使用 AI 编码工具,其中至少有三分之二的采用量是由 Claude Code 驱动的。正如之前介绍内部类似 Kafka 的流服务“Helix”时提到的,大部分工作形态仍然是“单个工程师掌控全局”——由一名工程师指挥一个或多个 Agent 会话。任务正在两个维度上迅速演进:一端是生成难度越来越高,另一端则是验证过程越来越充满不确定性与模糊性。这种工作流在 Datadog 内部的软件开发生命周期(SDLC)中催生了大量高度个性化的流程,单个人所能产出的工作量远超以往。

过去,工程师口中的“心流(Flow)”意味着意图与代码之间极其直接的对应关系:理解问题、编写代码、测试、代码审查(Review)、发布上线、运维,然后日复一日地循环往复。然而,随着智能体的介入,这种抽象层级正在发生剧变。对于许多酷爱深入底层代码的工程师来说,这一转变甚至让他们陷入了“悲伤的七个阶段”。工程角色已从“手写代码”转变为“塑造工作”:决定 Agent 应该看到什么上下文、定义期望的结果、为其配备何种工具、明确何为成功、并设计故障检测机制。

面对这种断层式跃迁,Sesh Nalla 形象地指出:“All of this is powerful, it's like everyone's promoted three levels up into management chain, which they weren't signed up for.”(这一切非常强大,但这就像每个人都被莫名其妙地往管理层硬生生提拔了三级,而这根本不是工程师当初想报名的工作。)这种跳跃伴随着强烈的失重感与眩晕感,就像被推着反抗重力疾速上升一样,很多热爱代码细节的工程师尚未适应在这个全新的“作业高度”上呼吸。

- **工程师规模与工具分布**:Datadog 约 3,000 名工程师中,超三分之二的 AI 生产代码生成依赖 Claude Code。 - **角色心智转变**:工程师从具体代码的编写者,转变为 Agent 的环境设计者与边界裁判。

---

[12:30](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=750s) 人类瓶颈与工具失控:长任务 Agent 带来的“虚假进展”

在模型能力实现飞跃之前,人类团队本身就是“工厂”:工具链完全围绕人类的注意力、人类的判断力以及组织记忆而设计;系统生产环境中正在发生什么,全都沉淀在工程师的大脑中。然而,从 12 个月前到仅 4 个月前,伴随着 Claude Code 与 Opus 4.5 的发布,范式迎来了拐点。现在常见的情形是一名主力工程师同时调度 3 到 5 个并行的交互会话;例如大会上甚至有人提到自己同时并发 10 个任务,演示的内容仅占其耗时的 10%。

矛盾由此爆发:现有的基础设施和工具依然是“为人设计的”,而 Agent 的运行速度比人类快两个数量级。工具链无法匹配 Agent 的速度,导致人类被迫沦为“Agent 的极速执行”与“人类形状系统”之间的低效桥梁。更糟糕的是,关键运维记忆只零散留在某个工程师的大脑中,或是散落在 Agent 生成的零碎 Markdown 文档里。一旦半夜系统故障报警,其他人很难快速接管。

随着云端托管 Agent(Cloud-managed Agents)的兴起,Agent 开始承担耗时更长、具有自主判断力的后台计算角色——不仅是在执行指令,而是在自主决策,会话动辄持续数小时、整夜,甚至有长达 20 至 28 小时的长程基准任务。在这些漫长的会话中,每个 Agent 都会根据局部上下文自己发明专属工具、胶水代码和临时约定。虽然产出速度极快且部分成果有用,但也会产生大量“虚假的进展(False progress)”,并在中间工具与核心业务代码之间造成极度模糊的边界,使整套系统难以共享、协作与长期运维。

```mermaid flowchart TD accTitle: Agent 与传统工具链的失配及 Temper 解决方案 accDescr: 展示了传统以人为核心的工具链如何在长任务 Agent 的冲击下导致人类瓶颈,以及 Temper 如何引入规范来收敛工具。

subgraph Problem["失配现状:人类成为搬砖桥梁"] A["高并发长程 Agent<br/>(运行数小时至数天)"] -->|"自主发明临时工具/协议"| B["碎片化中间工具与本地胶水代码"] B -->|"难以共享/维护"| C["人类工程师<br/>(低效肉身桥梁 / 认知过载)"] C -->|"手工桥接"| D["传统人类形状系统<br/>(Git / CI / 生产系统)"] end

subgraph Solution["理想形态:Temper 机器工具"] E["Agent 会话"] -->|"输出精确意图规格"| F["Temper 机器工具<br/>(确定性状态机 / 夹具)"] F -->|"生成可复用、可审计的工具"| G["暗灯工厂 (Dark Factory)<br/>自动化软件交付"] end ```

---

[15:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=900s) 引入 Temper:作为软件制造的“机器母机”

为了解决这种结构性失配,Sesh Nalla 提出了“机器母机(Machine Tool)”的概念。若要让智能体构建并运维像核心数据库这样至关重要的系统,绝不能任由它们在每个局部会话中随意拼凑工具,而必须引入一种工业级的确定性约束机制——Datadog 将其命名为 **Temper**。

机器母机好比物理制造业中的工装夹具(Jig)或 CNC 数控机床:工程师或 Agent 只需向其输入螺纹间距、结构尺寸等精确规格(Specifications),机床就能以极高的一致性和重复精度加工出零件,甚至用于制造精密飞机。Temper 扮演的正是软件工程里的 CNC 机床:智能体不再每次重新发明轮子,而是先产出问题域的精确描述,与 Temper(或类似 Temporal 的持久化编排机制)进行迭代,让功能先跑通,再沉淀为可重复运行、可验证、跨会话可复用的工业级软件。

这种理念与知名技术博主 Simon Willison(simonwillison.net)倡导的“暗灯工厂(Dark Factory / 黑灯工厂)”高度契合。暗灯工厂指的是工厂车间无需人类值守,灯全关掉,机器在黑暗中持续自行运转。在软件工程中,人类的角色蜕变为顶层设计者:设计工厂架构、约束边界、目标成果与闭环验证链路;Agent 负责在无人值守的后台运转数天甚至数周,持续生产预期的软件制品。而 Temper 正是搭建这种软件暗灯工厂的关键机器母机。

- **机器母机核心理念**:Agent 不再盲目编写不可控的一次性脚本,而是输出规格说明,由确定性框架将其编译为可审计、可复用工具。 - **暗灯工厂范式**:工程师从一线代码巡检员转变为工厂顶层设计师,掌控边界与验证机制。

---

[17:30](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=1050s) Helix 暗灯工厂落地实践:三维架构与显式状态机

Sesh Nalla 以 Datadog 内部的真实案例 **Helix** 展示了暗灯工厂的实操过程。Helix 是一套类似 Kafka 的高性能流处理存储服务,属于 Datadog 内部最昂贵的前五大核心基础设施负载之一。令人惊叹的是,工程师仅用约一周时间就搭建出了 Helix 的原型,并通过流量镜像(Shadowing)与生产实际负载并行验证。评测结果显示,Helix 在部分场景下展现出了比现有生产方案便宜 2 到 5 倍的材料成本优势。然而,从令人兴奋的实验室原型走到真正安全的多人共管生产系统,仍然必须经过漫长里程的严格考验。

为此,团队构建了模拟生产环境流量的合成工作负载,并围绕 Helix 搭建了一座由 Temper 驱动的软件工厂。Temper 在该架构中承担了三种截然不同且关键的角色:

1. **Agent 控制平面(Agent Control Plane)**:面向云端托管的 Agents,以极高精度统一纳管它们的会话、角色分配、工作任务队列以及完整的运维生命周期。 2. **工具构建框架(Tool-building Platform)**:让智能体能够编写微型 Temper 应用作为自身工具,打通代码仓库、CI 流水线和部署工具等 SDLC 工具链。 3. **Helix 控制 API(Helix Control API)**:作为 Helix 数据平面的控制接口与生命周期管理层,专门用来执行和施加合成工作负载压力。

在这个过程中,团队获得了一个意料之外的重大认知洞察:“The surprise was it started to feel more general than agent infrastructure. A lot of software, if you squint closely, is just control logic around database, APIs around state, policies around mutation, lifecycle transitions.”(令人惊喜的是,它给人的感觉远比纯粹的 Agent 基础设施更通用。如果眯起眼睛仔细审视,很多软件本质上都只是围绕数据库的控制逻辑、围绕状态暴露的 API、围绕数据变更的策略以及生命周期的状态跃迁。)

这引出了一项关键技术辨析:为什么不能直接让 Claude Code 用 TypeScript 或 Python 随手写一个常见的 CRUD 应用?Claude Code 固然擅长快速生成 CRUD 业务代码并附带测试用例,但传统 CRUD 架构的致命弱点在于:控制逻辑、业务规则与状态转换被散乱地切片并埋藏在路由层(Routes)、数据库外键约束、应用服务代码、后台定时任务以及非形式化的开发文档中。虽然测试覆盖率看似很高,但底层的系统运行模型在代码库里往往是隐蔽的(Implicit)。Temper 的核心价值在于将这套模型抽丝剥茧,转变成**显式的状态机(Explicit State Machine)**。这种显式模型并非凭空捏造,它在 Erlang OTP 等经历数十年工业检验的 Actor 运行时中早已得到充分证明。

[20:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=1200s) Temper 的构建路径:声明式蓝图与形式化状态迁移

Sesh Nalla 深入剖析了 Temper 的内部架构。他指出,随着 Temporal 等工作流引擎和持久化执行运行时的流行,精确运行时(precise runtime)的概念已被广泛采用,用来支撑不可摧毁的应用程序。在 Temper 的构建路径中,系统不要求模型编写散乱的代码,而是要求其以“蓝图(blueprint)”的形式描述操作领域:系统中存在哪些状态、哪些状态迁移是合法的、谁有权发起请求、允许产生哪些副作用、必须满足哪些不变式(invariants),以及当工具调用失败时应当如何处理。智能体往往需要经过多轮迭代来形成这一蓝图——类似于其自身的“计划模式(plan mode)”,最终输出的不是一段模糊的 Markdown 描述,而是一个精确的声明式工件(declarative artifact)。随后,由类似编译器的 Temper 对其进行验证,并热部署到运行时中。这一机制与 Erlang BEAM 虚拟机的设计理念高度契合。在运行路径上,它对外呈现的体验与常规的 CRUD API 完全一致,用户根本察觉不到差异。

这种设计的核心在于抽象层级的提升。智能体不再直接生成任意的应用代码,而是生成结构化描述,再由 LLM 外部的独立编译步骤将其转化为运行时。Sesh Nalla 将其类比为编写 Rust 代码并交由 Rust 编译器处理。Temper 将这份蓝图转化为“形式化状态迁移系统(formal state transitions)”,这在函数式编程和 Actor 运行时中十分普遍。他强调,这里的“形式化”并不意味着纯理论上对所有属性进行穷尽证明,而是指应用程序的基础形态被精确表示为一个迁移系统;这种结构比任意代码更有利于人类和智能体进行严密推理。

展示幻灯片时,Sesh Nalla 开玩笑地为其“完全粗犷主义、毫无语法高亮的设计”致歉,并展示了一份由智能体为 Helix 发布流程编写的规范。该规范定义了状态(States)、动作(Actions)与触发器(Triggers)。例如,只有在 planned 状态或实体流转到 rolling 状态时,“开始滚动更新(start rolling)”才是合法动作;该动作会触发非幂等的副作用(如为 Kubernetes StatefulSet 打补丁),随后通过回调(callback)标记进度或报告失败。Temper 将这份声明式规范编译为一张转换表(transition table)。关键的控制逻辑被数据化,既不是隐式编码在意大利面条式的代码中,也没有隐藏在临时的服务调用链里。

```mermaid flowchart TD accTitle: Temper 构建与编译管道架构 accDescr: 展示从智能体生成蓝图到转换表热部署及验证的完整流程。

subgraph Design["设计阶段"] A["智能体多次迭代 (Plan Mode)"] --> B["声明式蓝图 (Blueprint)"] end

subgraph Compile["编译与转换"] B --> C["Temper 编译器"] C --> D["形式化转换表 (Data-like Table)"] end

subgraph Verify["安全屏障"] D --> E["多层验证器 (Swiss Cheese Verifier)"] end

subgraph Runtime["运行时"] E --> F["热重载部署 (Hot Deploy)"] F --> G["运行时执行 (CRUD API 接口)"] end ```

- Sesh Nalla 阐述核心抽象逻辑:“It's important to note that the agent is not generating arbitrary application code directly. We have raised the abstraction. It's generating a structured description that compiles into our end-time shift.” - 关于形式化的实际意义,他澄清道:“Formal here doesn't mean every possible property is proved. It isn't theoretical. It means the basic shape of the application is represented as a precise transition system.” - 智能体面对发布流程需求变更(例如新增状态或回滚路径)时,只需对规范进行针对性修改并热重载,无需耗时的 CI 流程,非常适合智能体彻夜自主迭代。

[25:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=1500s) 策略网关、小步副作用与四层“瑞士奶酪”验证器

由于状态转换表本身呈现为数据结构,Temper 能够将状态决策与策略决策结合在一起统一评估。系统可以设立严格的策略网关(policy gates):例如明确谁有权修改部署发布流程、黑暗工厂(dark factory)中的操作员智能体(operator agent)拥有哪些动作权限、哪些高危操作对构建器智能体(builder agent)绝对禁用,以及人类管理者可以独立指定规则——比如“已完成的发布是否允许再次回滚”或“工具调用失败后是否允许继续执行发布路径”。在副作用方面,Temper 借鉴了 TypeScript 等强类型运行时中的 Effect 系统,将副作用严格限制为微小、带类型的操作,防止状态机沦为任意应用行为的后门。若确实需要复杂的外部逻辑,则将其打包进 WebAssembly(WASM)沙箱模块中,严格圈定 LLM 生成任意代码的作用域,极大降低了排障难度。

为了确保转换表可以安全地热加载到生产环境中,Temper 引入了验证器(verifier)作为准入卡口。Sesh Nalla 指出,当前软件工程的核心瓶颈正是验证环节。Temper 的验证器采用了“瑞士奶酪模型(Swiss cheese pattern)”,包含多层检查机制,并不要求单层穷尽所有问题,Claude 会根据编译器输出自主判断是否需要跑完全部层级: - **Level 1(代数检查)**:检查自动机本身的代数属性与迁移合法性; - **Level 2(模型检验)**:对可达状态图(reachable state graph)进行模型检验,排查是否存在通往故障或非法状态的路径; - **Level 3(故障注入与调度)**:注入故障并调度不同时序,验证系统在故障和极端时序下其不变式(invariants)是否依然成立; - **Level 4(基于属性的测试,Property Testing)**:通过随机动作序列进行属性测试,全面检验系统的健壮性。

验证能力具有极强的复利效应。正如 Boris 在其他演讲中所提到的,无论是在生产环境还是仿真中暴露出的新漏洞或遗漏条件,都会沉淀回测试套件与验证模型中,使系统的免疫力持续演进。

- 谈及当前技术发展阻碍,Sesh Nalla 直言:“Verification is basically the bottleneck right now, for pretty much everything.” - 针对属性测试技术,他呼吁业界重视:“Level 4 uses property tests. which I highly encourage that we have to start learning, this mechanism of randomized testing with action sequences.”

[27:30](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=1650s) 从黑暗工厂到定向进化:软件工程的未来范式

在探讨系统工程的未来时,Sesh Nalla 结合自己在 Datadog 维护关键基础设施的亲身经历谈到:过去三四年里他曾被夜间告警叫醒过上千次,因此深知对于银行、金融或大规模基础设施等复杂的业务领域,一旦生成的工件变成数千行杂乱无章的胶水代码,人类不仅根本无法在脑海中建立心智模型,现有的 LLM 也无法可靠地对其进行审查和签字验收。相反,将系统解耦为若干行数极少、职责明确、人类一眼即可看懂的小型声明式工件,使得人类与智能体都能在不破坏全局的前提下实施修改。这种高保证软件工程(high-assurance software)在航空航天与金融领域已存在数十年,只是过去纯人工实现的成本过于高昂,而智能体的崛起正在彻底改写这一成本收益天平。

重提制造工业中“用机床制造机器”的隐喻,Sesh Nalla 强调,工业革命的胜利不在于单打独斗的工匠能够打造多么精妙的单个装置,而在于机床生产出的标准化、可组合、可检验、可替换的零部件,赋予了人类构建更大规模复杂机器的能力。在智能体构建软件的时代,想要可靠地构建数据库并投入生产,必须引入这种制造级的工程严密性。最后,他反思了“黑暗工厂(dark factory)”这一概念,坦言“dark”一词听起来略带悲凉与压抑;如果智能体能够以这种自律与严密性自主构建软件,软件系统将不再像冰冷的死物,而更像一个有机生命体——人类可以通过反馈、选择与适应去培育和进化它。这种模式更接近农业或“定向进化(directed evolution)”,架构师只需指引方向,比如根据用户实际画像,选择将 Kafka 演化为纯粹的先进先出(FIFO)队列,还是演化为具备更大缓冲区而精简 Broker 的系统,开启人机协同软件演进的全新可能。

- 总结工业制造与现代软件的共性时,Sesh Nalla 掷地有声地指出:“The win was not that one artisan could build a brilliant machine, The win was that a machine built with machine tools made parts composable and inspectable and replaceable that we could build larger machines. And my claim is that for software, Agent build software, we need such kind of rigor for us to scale from here on if you were to really build databases and put them in production.” - 展望由智能体驱动的软件生命周期,他描绘了有机演进的愿景:“So the whole software built this way can feel like an organism. that we can grow, cultivate, and evolve through feedback, selection, and adaptation.”

## Notable quotes > [10:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=600s) All of this is powerful, it's like everyone's promoted three levels up into management chain, which they weren't signed up for. — Sesh Nalla

> [25:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=1500s) Verification is basically the bottleneck right now, for pretty much everything. — Sesh Nalla

> [17:30](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=1050s) The surprise was it started to feel more general than agent infrastructure. A lot of software, if you squint closely, is just control logic around database, APIs around state, policies around mutation, lifecycle transitions. — Sesh Nalla

> [20:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=1200s) Formal here doesn't mean every possible property is proved. It isn't theoretical. It means the basic shape of the application is represented as a precise transition system. — Sesh Nalla

## Mentioned Datadog, Sesh Nalla, Claude Code, Claude, Temper, Courier, Bits Evolve, DeepMind, AlphaEvolve, Helix, Kafka, Opus 4.5, Temporal, Simon Willison, Erlang OTP, BEAM, Rust, Kubernetes, TypeScript, Python, WebAssembly (WASM), Boris

## Video description At Datadog, 90% of engineers adopted AI coding tools for production work in the last four months, with Claude Code driving two-thirds of that usage. As sessions grew more ambitious, the reusable tools they produced — for verification, debugging, orchestration — sprawled into unmaintainable one-offs. Sesh Nalla, VP of Engineering, shares how Datadog built Temper: a constrained framework that produces secure, reusable tools that compound across sessions and teams instead.

[Source](https://www.youtube.com/watch?v=EdmuYPBt_EM)

中文简报

Datadog利用状态机框架遏制Claude Code代码蔓延 随着AI工具将基础设施开发周期从数年压缩至数天,验证取代构建成为软件的主要瓶颈,迫使工程团队使用形式化状态机而非人工代码审查来约束智能体。 Sesh Nalla回顾了Datadog从手工打造Courier等分布式系统,到使用Claude Code在短短数天内构建出兼容Kafka的Helix引擎的历程,指出智能体构建已将工程瓶颈向下游转移至验证、人工协调和工具蔓延。为了从单纯的机械化过渡到真正的工业化,Datadog创建了名为Temper的受限框架,作为软件“机床”运作。Claude Code不再生成任意的过程式代码,而是输出声明式蓝图,并将其编译为可验证的形式化状态转换和沙盒化的WASM副作用。在多层级联验证的支持下,Temper建立了安全、可复用的控制平面,使自主智能体能够安全地支持长时间运行的“黑灯工厂”以及系统的定向演进。 在四个月内,Datadog约3000名工程师中有90%在生产任务中采用了AI编程工具,其中Claude Code占据了总用量的大约三分之二。 (7:44) Datadog展示了一名工程师搭配Claude Code仅用三天就构建出兼容Kafka的分布式流处理原型Helix,而其2024年的前身Courier则耗费了人类工程师整整一年时间。 (7:44) 为解决自主智能体工作期间生成的脆弱、难以维护的验证脚本蔓延问题,Datadog开发了Temper——一个将系统建模为声明式状态蓝图而非过程式CRUD代码的通用机床框架。 (15:00) Temper将任意代码执行隔离在沙盒化的WebAssembly(WASM)模块中,并强制执行涵盖自动机代数、模型检测、调度模拟和基于属性测试的四层级联验证。 (25:00)

精炼阅读摘要

Datadog工程副总裁Sesh Nalla指出,随着大模型将系统构建速度压缩至数天,软件工程的核心瓶颈已从代码编写转移至验证与协同;团队为此构建了类似工业机床的框架Temper,通过显式状态机与分层验证来实现可控、可复用的自主演进。 工程瓶颈后移与工业化跃迁 (7:44) 在Datadog的研发演化历程中,分布式排队系统Courier在2024年由工程师纯手工构建,历时整整一年;而到了2025年下半年,单名工程师协同Claude Code仅用约三天便生成了兼容Kafka的分布式流处理原型Helix。这种生成速度的跃升暴露出新的结构性矛盾:生成代码容易,但在缺乏生产环境历练的情况下,系统难以安全交付上云。Nalla借用阿姆达尔定律和工业革命的隐喻说明,当代码机械化生成变得廉价时,研发瓶颈迅速后移至反馈回路、协同审核与运行验证层面。在Datadog内部,AI编程工具在四个月内覆盖了90%的生产任务工程师(约3,000人),其中Claude Code承载了约三分之二的使用量,传统以人类注意力为核心的协作流程已无法承载成倍增加的并行会话。 碎片化脚本引发的工具蔓延困境 (10:00) 当工程师指挥智能体进行耗时20至28小时的长周期基准测试与调试时,智能体倾向于在单个会话或临时Markdown便签中临时拼凑本地胶水脚本。这些即兴工具不仅难以在企业组织内部沉淀复用,还导致中间临时构件与真正生产代码的界限变得模糊,造成看似高效实则脆弱的“虚假进展”。Nalla认为,工程师角色正被迫向更高抽象层级迁移,从编写具体代码转向定义约束、提供工具与设定失败检测机制。为了避免运维知识沉没在孤立的会话上下文中,软件工程亟需一套标准化的“机床”,强制智能体产出确定性、可检验的基础设施,而非不可维护的一次性代码。 Temper框架的显式状态机架构 (15:00) 针对无监督无人值守的“暗灯工厂”(Dark Factory)运行场景,Datadog研发了名为Temper的机床框架。传统CRUD架构通常将控制逻辑分散在路由、服务层与数据库约束中,而Temper借鉴Erlang/OTP与Actor模型的思想,将应用的核心控制逻辑抽象为纯数据形态的显式状态转移表。智能体不再直接输出杂乱的业务逻辑,而是通过迭代计划模式生成包含状态、合法转移路径、触发角色与不变量的声明式蓝图。该蓝图在LLM外部由专有编译器进行验证并支持热重载,使智能体能够像装配机械零件一样清晰推理系统状态,同时有效避免了回归风险。 策略门禁与分层验证机制 (25:00) 为防止自主智能体失控并降低系统风险,Temper将状态转移与权限策略直接绑定,例如将执行构建的智能体与具备生产运行权限的操作智能体进行严格角色隔离。所有外部副作用被限定在小粒度的类型化操作中,并通过WebAssembly(WASM)沙箱环境执行,极大收缩了不可信生成代码的故障半径。在蓝图上线前,Temper部署了类“瑞士奶酪”的四级渐进验证器:第一级校验自动机代数结构;第二级通过模型检测遍历可达状态图以杜绝死锁与危险状态;第三级注入调度故障与异常时序;第四级执行随机化属性测试。这种机制确保了线上发现的缺陷能够反哺模型,形成持续复利的防护网。 Nalla总结指出,高保证工程以往因高昂的人力成本而难以广泛应用,而AI智能体从根本上改变了形式化方法的经济学可行性。通过标准化机床与严谨的状态约束,软件研发有望摆脱对黑盒代码的人肉巡检,转向类似生物体的定向演进,使基础组件能够依据实时流量特征安全地自适应变异。

Detailed notes — zh

## Background 该视频由 YouTube 频道 Claude 于 2026 年 5 月 6 日发布。视频内容源自 Datadog 工程副总裁 Sesh Nalla 的技术分享,讲述了过去四个月中 Datadog 内部 90% 的工程师在生产中采用 AI 编码工具(其中三分之二依赖 Claude Code)后,团队如何构建名为 Temper 的约束性框架,以解决跨会话工具泛滥且难以维护的痛点,进而产出安全、可复用的软件生产“机器母机”。 ## TL;DR Sesh Nalla 借用制造业“机器母机(Machine Tools)”与工装夹具的隐喻,回顾了 Datadog 从纯手工分布式系统开发到利用 Claude Code 仅耗时数天构建类 Kafka 服务 Helix 的范式转变。他指出当前软件瓶颈已从“代码编写”转移到“长程 Agent 协同与验证”,工程师被迫提升抽象层级成为系统环境的设计者。为避免长任务 Agent 产生大量难以维护的临时胶水代码与“虚假进展”,Datadog 打造了名为 Temper 的受限框架:通过声明式蓝图、显式状态转换表、WASM 沙箱以及四层“瑞士奶酪”验证器,将开发模式推向无人值守的“暗灯工厂”与定向进化。 ## Atmosphere & style 整场演讲呈现出一种严谨务实、直击工业一线的工程反思基调,兼具前瞻的系统哲学与硬核的实战沉淀。Sesh Nalla 并没有陷入单纯炒作 AI 生成速度的狂热,而是带着亲身经历数千次夜间告警的资深架构师视角,坦诚剖析工程师被迫“连升三级去管智能体”带来的眩晕感与认知失重。他在粗犷主义的幻灯片间幽默自嘲,用冷静且极具穿透力的行业洞察,将受众从浮躁的代码补全带入制造工程严密性与“有机生命体进化”的深远意境之中。 ## Bulletin - [10:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=600s) Datadog 内部约 3,000 名工程师中有 90% 在生产环境中采用 AI 编码工具,其中三分之二的采用量由 Claude Code 驱动。 - [10:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=600s) 单名工程师借助 Claude Code 仅用数天便构建出 Kafka 兼容的高性能流处理服务 Helix,但在将其推向生产环境时遭遇了严重的反馈循环与生产协调瓶颈。 - [15:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=900s) 为遏制长程 Agent 自主发明碎片化临时工具导致的“虚假进展”,Datadog 打造了名为 Temper 的机器工具框架,将非确定性代码生成转化为显式状态机与声明式蓝图。 - [25:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=1500s) Temper 引入四层“瑞士奶酪”验证器模型(代数检查、模型检验、故障注入、属性测试),以高保证工程标准解决当前 AI 软件交付中最关键的验证瓶颈。 ## Key takeaways - [00:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=0s) 制造业中的机器工具(如夹具、模具)通过标准化与精密性实现规模化生产,这为现代软件工程借助 AI 走向工业化提供了核心灵感。 - [05:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=300s) AI 辅助开发的瓶颈经历了三次转移:从 Courier 时期的人工构建系统,转移到 Bits Evolve 时期的反馈闭环界定,最终演变为 Helix 时期的生产协调与多轮交互成本。 - [10:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=600s) AI 编码工具迫使工程师的抽象层级断层式跃迁,从手写具体代码的核心心流转变为定义上下文、边界、工具与故障检测的“事实管理者”。 - [12:30](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=750s) 传统工具链针对人类反应速度设计,面对运行速度快两个数量级且运行长达数十小时的长程 Agent,人类沦为信息孤岛与低效执行桥梁。 - [12:30](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=750s) 缺乏约束的 Agent 会在局部会话中随意生成临时胶水代码并造成“虚假进展”,使中间工具与核心系统边界模糊且难以维护。 - [15:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=900s) Temper 被构想为软件领域的 CNC 机床,要求 Agent 产出精确的规格说明,再由确定性框架编译为可审计、跨会话复用的工业级工具。 - [15:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=900s) 借鉴“暗灯工厂”理念,人类应扮演软件工厂的顶层架构师与验证机制设计者,让 Agent 在后台长时间自主生产合格制品。 - [17:30](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=1050s) 许多软件本质上是围绕数据库的控制逻辑与状态跃迁,Temper 放弃传统散乱隐式的 CRUD 架构,将其重构为类似 Erlang OTP 的显式状态机。 - [20:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=1200s) Temper 采用声明式蓝图架构,智能体迭代输出的数据化转换表经由独立编译与多层验证后热部署至运行时,大幅提升推理严密性与迭代效率。 - [25:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=1500s) 通过引入类型化的小步 Effect 系统与 WASM 沙箱,Temper 严格圈定模型生成代码的外部副作用,防止状态机被任意应用逻辑破坏。 - [25:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=1500s) 验证环节是当前 AI 交付的核心瓶颈,Temper 的四层检验机制通过代数合法性、可达图模型检验、故障调度与随机属性测试保障系统不变式。 - [27:30](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=1650s) 长程生成的数千行胶水代码无法被人类与 LLM 可靠审查,将其解耦为小型、可读、职责明确的高保证声明式工件是关键基础设施可维护的前提。 - [27:30](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=1650s) 由严密机器工具驱动的软件开发正在从冰冷的“暗灯工厂”走向“定向进化”,工程师通过反馈与选择机制如同培育有机生命体般演化软件系统。 ## Detailed walkthrough 这份文稿详细记录了 Datadog 工程副总裁 Sesh Nalla 关于如何利用 Claude Code 构建“机器工具(Machine Tools)”的演讲内容。以下是本次演讲第一部分的详细回顾: ### [00:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=0s) 从制造业到软件工程的隐喻 Sesh Nalla 以一个生动的类比开场:他询问听众是否听说过“机器工具(Machine Tools)”。他解释道,在制造业中,夹具、固定装置、量规和模具是生产精确、可重复零件的核心,正是这些工具支撑了引擎、飞机乃至登月舱等复杂系统的组装。他指出,机器工具在工业化时期是一项突破,通过标准化和精密性实现了规模化生产。Nalla 将此作为 Datadog 如何利用 Claude Code 进行软件开发的灵感来源,旨在实现软件生产的标准化与可重复性。 他展示了一张关于 AI 模型能力演进的个人评估图(虽非科学数据,但反映了他的职业观察):2025 年大部分时间,模型仅限于处理局部修改、小函数或一次性原型;而到了 2025 年底,随着性能的指数级增长,他开始信任 Claude 处理更宏大、更模糊的系统级任务。 ### [05:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=300s) 从手工构建到自动化演进的历程 Nalla 回顾了 Datadog 在 AI 辅助开发方面的探索路径。2024 年,团队在没有 AI 代理辅助的情况下,完全通过人工构建了一个名为 Courier 的分布式队列系统。当时,核心难点在于构建系统组件并使其交互过程变得可观测、可测试和可验证。为了应对这些挑战,他们引入了严格的形式化建模和模拟。 接着,他在 2025 年 9 月启动了名为“Bits Evolve”的项目。这是一个受 DeepMind 的 AlphaEvolve 启发的闭环进化优化框架,旨在通过一组模型(“模型委员会”)生成代码变体,并利用基准测试、测试用例和生产环境观测数据来决定哪些代码能够“存活”。Nalla 总结道:“The insight was that, This kind of evolution is only as good as the environment it adapts within.”(其洞察在于:这种进化过程的质量完全取决于它所处的适应环境。)如果基准测试质量差,生成的代码优化就会流于浅表。 ### [10:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=600s) 瓶颈的转移与“机器工具”的必要性 随着 Claude Code 的能力提升,团队尝试构建了一个名为 Helix 的 Kafka 兼容系统。令团队震惊的是,仅由一名人类工程师配合 Claude Code,仅用了几天时间就构建出了一个功能完备的系统——而在 2024 年,构建类似的 Courier 系统耗时一年。 尽管速度飞跃,但将这些系统投入生产环境仍充满挑战,瓶颈开始从“构建本身”转移到“反馈循环”和“生产协作”。Nalla 指出:“There were too many places where the human had to interpret and correct. It's too multi-turn, too interactive.”(在许多地方,人类必须进行解读和修正。交互次数太多,过程太繁琐。)这催生了对“机器工具”的需求: * **Courier 阶段**:瓶颈在于构建,需依靠严谨的设计与模拟。 * **Bits Evolve 阶段**:瓶颈转移到反馈循环(即如何界定优胜劣汰)。 * **Helix 阶段**:瓶颈转移到生产环境的协调与部署。 他强调,目前的任务是从“机械化(Mechanization)”——即代理执行更多任务——转向“工业化(Industrialization)”,即让开发工作变得可重复、可验证、可控制且可扩展。面对日益复杂的开发任务,机器工具成为了必不可少的辅助,以应对过去四个月中 Datadog 内部高达 90% 的工程团队对 AI 编码工具的普及性应用。 --- **核心概念图解:** ```mermaid flowchart TD subgraph 进化路径 A["Courier (手工构建)"] -->|瓶颈转移| B["Bits Evolve (反馈闭环)"] B -->|瓶颈转移| C["Helix (生产协调)"] end subgraph 目标 C --> D["机器工具 (工业化标准)"] end accTitle: 软件工程演进与瓶颈转移路径 accDescr: 展示了从Courier手工构建到Bits Evolve优化,再到Helix系统集成,最终指向机器工具工业化标准的过程。 ``` ### [10:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=600s) 抽象层级跃迁:从“编写代码”到“被迫连升三级” 在 Datadog,有约 3,000 名工程师在生产代码中使用 AI 编码工具,其中至少有三分之二的采用量是由 Claude Code 驱动的。正如之前介绍内部类似 Kafka 的流服务“Helix”时提到的,大部分工作形态仍然是“单个工程师掌控全局”——由一名工程师指挥一个或多个 Agent 会话。任务正在两个维度上迅速演进:一端是生成难度越来越高,另一端则是验证过程越来越充满不确定性与模糊性。这种工作流在 Datadog 内部的软件开发生命周期(SDLC)中催生了大量高度个性化的流程,单个人所能产出的工作量远超以往。 过去,工程师口中的“心流(Flow)”意味着意图与代码之间极其直接的对应关系:理解问题、编写代码、测试、代码审查(Review)、发布上线、运维,然后日复一日地循环往复。然而,随着智能体的介入,这种抽象层级正在发生剧变。对于许多酷爱深入底层代码的工程师来说,这一转变甚至让他们陷入了“悲伤的七个阶段”。工程角色已从“手写代码”转变为“塑造工作”:决定 Agent 应该看到什么上下文、定义期望的结果、为其配备何种工具、明确何为成功、并设计故障检测机制。 面对这种断层式跃迁,Sesh Nalla 形象地指出:“All of this is powerful, it's like everyone's promoted three levels up into management chain, which they weren't signed up for.”(这一切非常强大,但这就像每个人都被莫名其妙地往管理层硬生生提拔了三级,而这根本不是工程师当初想报名的工作。)这种跳跃伴随着强烈的失重感与眩晕感,就像被推着反抗重力疾速上升一样,很多热爱代码细节的工程师尚未适应在这个全新的“作业高度”上呼吸。 - **工程师规模与工具分布**:Datadog 约 3,000 名工程师中,超三分之二的 AI 生产代码生成依赖 Claude Code。 - **角色心智转变**:工程师从具体代码的编写者,转变为 Agent 的环境设计者与边界裁判。 --- ### [12:30](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=750s) 人类瓶颈与工具失控:长任务 Agent 带来的“虚假进展” 在模型能力实现飞跃之前,人类团队本身就是“工厂”:工具链完全围绕人类的注意力、人类的判断力以及组织记忆而设计;系统生产环境中正在发生什么,全都沉淀在工程师的大脑中。然而,从 12 个月前到仅 4 个月前,伴随着 Claude Code 与 Opus 4.5 的发布,范式迎来了拐点。现在常见的情形是一名主力工程师同时调度 3 到 5 个并行的交互会话;例如大会上甚至有人提到自己同时并发 10 个任务,演示的内容仅占其耗时的 10%。 矛盾由此爆发:现有的基础设施和工具依然是“为人设计的”,而 Agent 的运行速度比人类快两个数量级。工具链无法匹配 Agent 的速度,导致人类被迫沦为“Agent 的极速执行”与“人类形状系统”之间的低效桥梁。更糟糕的是,关键运维记忆只零散留在某个工程师的大脑中,或是散落在 Agent 生成的零碎 Markdown 文档里。一旦半夜系统故障报警,其他人很难快速接管。 随着云端托管 Agent(Cloud-managed Agents)的兴起,Agent 开始承担耗时更长、具有自主判断力的后台计算角色——不仅是在执行指令,而是在自主决策,会话动辄持续数小时、整夜,甚至有长达 20 至 28 小时的长程基准任务。在这些漫长的会话中,每个 Agent 都会根据局部上下文自己发明专属工具、胶水代码和临时约定。虽然产出速度极快且部分成果有用,但也会产生大量“虚假的进展(False progress)”,并在中间工具与核心业务代码之间造成极度模糊的边界,使整套系统难以共享、协作与长期运维。 ```mermaid flowchart TD accTitle: Agent 与传统工具链的失配及 Temper 解决方案 accDescr: 展示了传统以人为核心的工具链如何在长任务 Agent 的冲击下导致人类瓶颈,以及 Temper 如何引入规范来收敛工具。 subgraph Problem["失配现状:人类成为搬砖桥梁"] A["高并发长程 Agent<br/>(运行数小时至数天)"] -->|"自主发明临时工具/协议"| B["碎片化中间工具与本地胶水代码"] B -->|"难以共享/维护"| C["人类工程师<br/>(低效肉身桥梁 / 认知过载)"] C -->|"手工桥接"| D["传统人类形状系统<br/>(Git / CI / 生产系统)"] end subgraph Solution["理想形态:Temper 机器工具"] E["Agent 会话"] -->|"输出精确意图规格"| F["Temper 机器工具<br/>(确定性状态机 / 夹具)"] F -->|"生成可复用、可审计的工具"| G["暗灯工厂 (Dark Factory)<br/>自动化软件交付"] end ``` --- ### [15:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=900s) 引入 Temper:作为软件制造的“机器母机” 为了解决这种结构性失配,Sesh Nalla 提出了“机器母机(Machine Tool)”的概念。若要让智能体构建并运维像核心数据库这样至关重要的系统,绝不能任由它们在每个局部会话中随意拼凑工具,而必须引入一种工业级的确定性约束机制——Datadog 将其命名为 **Temper**。 机器母机好比物理制造业中的工装夹具(Jig)或 CNC 数控机床:工程师或 Agent 只需向其输入螺纹间距、结构尺寸等精确规格(Specifications),机床就能以极高的一致性和重复精度加工出零件,甚至用于制造精密飞机。Temper 扮演的正是软件工程里的 CNC 机床:智能体不再每次重新发明轮子,而是先产出问题域的精确描述,与 Temper(或类似 Temporal 的持久化编排机制)进行迭代,让功能先跑通,再沉淀为可重复运行、可验证、跨会话可复用的工业级软件。 这种理念与知名技术博主 Simon Willison(simonwillison.net)倡导的“暗灯工厂(Dark Factory / 黑灯工厂)”高度契合。暗灯工厂指的是工厂车间无需人类值守,灯全关掉,机器在黑暗中持续自行运转。在软件工程中,人类的角色蜕变为顶层设计者:设计工厂架构、约束边界、目标成果与闭环验证链路;Agent 负责在无人值守的后台运转数天甚至数周,持续生产预期的软件制品。而 Temper 正是搭建这种软件暗灯工厂的关键机器母机。 - **机器母机核心理念**:Agent 不再盲目编写不可控的一次性脚本,而是输出规格说明,由确定性框架将其编译为可审计、可复用工具。 - **暗灯工厂范式**:工程师从一线代码巡检员转变为工厂顶层设计师,掌控边界与验证机制。 --- ### [17:30](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=1050s) Helix 暗灯工厂落地实践:三维架构与显式状态机 Sesh Nalla 以 Datadog 内部的真实案例 **Helix** 展示了暗灯工厂的实操过程。Helix 是一套类似 Kafka 的高性能流处理存储服务,属于 Datadog 内部最昂贵的前五大核心基础设施负载之一。令人惊叹的是,工程师仅用约一周时间就搭建出了 Helix 的原型,并通过流量镜像(Shadowing)与生产实际负载并行验证。评测结果显示,Helix 在部分场景下展现出了比现有生产方案便宜 2 到 5 倍的材料成本优势。然而,从令人兴奋的实验室原型走到真正安全的多人共管生产系统,仍然必须经过漫长里程的严格考验。 为此,团队构建了模拟生产环境流量的合成工作负载,并围绕 Helix 搭建了一座由 Temper 驱动的软件工厂。Temper 在该架构中承担了三种截然不同且关键的角色: 1. **Agent 控制平面(Agent Control Plane)**:面向云端托管的 Agents,以极高精度统一纳管它们的会话、角色分配、工作任务队列以及完整的运维生命周期。 2. **工具构建框架(Tool-building Platform)**:让智能体能够编写微型 Temper 应用作为自身工具,打通代码仓库、CI 流水线和部署工具等 SDLC 工具链。 3. **Helix 控制 API(Helix Control API)**:作为 Helix 数据平面的控制接口与生命周期管理层,专门用来执行和施加合成工作负载压力。 在这个过程中,团队获得了一个意料之外的重大认知洞察:“The surprise was it started to feel more general than agent infrastructure. A lot of software, if you squint closely, is just control logic around database, APIs around state, policies around mutation, lifecycle transitions.”(令人惊喜的是,它给人的感觉远比纯粹的 Agent 基础设施更通用。如果眯起眼睛仔细审视,很多软件本质上都只是围绕数据库的控制逻辑、围绕状态暴露的 API、围绕数据变更的策略以及生命周期的状态跃迁。) 这引出了一项关键技术辨析:为什么不能直接让 Claude Code 用 TypeScript 或 Python 随手写一个常见的 CRUD 应用?Claude Code 固然擅长快速生成 CRUD 业务代码并附带测试用例,但传统 CRUD 架构的致命弱点在于:控制逻辑、业务规则与状态转换被散乱地切片并埋藏在路由层(Routes)、数据库外键约束、应用服务代码、后台定时任务以及非形式化的开发文档中。虽然测试覆盖率看似很高,但底层的系统运行模型在代码库里往往是隐蔽的(Implicit)。Temper 的核心价值在于将这套模型抽丝剥茧,转变成**显式的状态机(Explicit State Machine)**。这种显式模型并非凭空捏造,它在 Erlang OTP 等经历数十年工业检验的 Actor 运行时中早已得到充分证明。 ### [20:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=1200s) Temper 的构建路径:声明式蓝图与形式化状态迁移 Sesh Nalla 深入剖析了 Temper 的内部架构。他指出,随着 Temporal 等工作流引擎和持久化执行运行时的流行,精确运行时(precise runtime)的概念已被广泛采用,用来支撑不可摧毁的应用程序。在 Temper 的构建路径中,系统不要求模型编写散乱的代码,而是要求其以“蓝图(blueprint)”的形式描述操作领域:系统中存在哪些状态、哪些状态迁移是合法的、谁有权发起请求、允许产生哪些副作用、必须满足哪些不变式(invariants),以及当工具调用失败时应当如何处理。智能体往往需要经过多轮迭代来形成这一蓝图——类似于其自身的“计划模式(plan mode)”,最终输出的不是一段模糊的 Markdown 描述,而是一个精确的声明式工件(declarative artifact)。随后,由类似编译器的 Temper 对其进行验证,并热部署到运行时中。这一机制与 Erlang BEAM 虚拟机的设计理念高度契合。在运行路径上,它对外呈现的体验与常规的 CRUD API 完全一致,用户根本察觉不到差异。 这种设计的核心在于抽象层级的提升。智能体不再直接生成任意的应用代码,而是生成结构化描述,再由 LLM 外部的独立编译步骤将其转化为运行时。Sesh Nalla 将其类比为编写 Rust 代码并交由 Rust 编译器处理。Temper 将这份蓝图转化为“形式化状态迁移系统(formal state transitions)”,这在函数式编程和 Actor 运行时中十分普遍。他强调,这里的“形式化”并不意味着纯理论上对所有属性进行穷尽证明,而是指应用程序的基础形态被精确表示为一个迁移系统;这种结构比任意代码更有利于人类和智能体进行严密推理。 展示幻灯片时,Sesh Nalla 开玩笑地为其“完全粗犷主义、毫无语法高亮的设计”致歉,并展示了一份由智能体为 Helix 发布流程编写的规范。该规范定义了状态(States)、动作(Actions)与触发器(Triggers)。例如,只有在 planned 状态或实体流转到 rolling 状态时,“开始滚动更新(start rolling)”才是合法动作;该动作会触发非幂等的副作用(如为 Kubernetes StatefulSet 打补丁),随后通过回调(callback)标记进度或报告失败。Temper 将这份声明式规范编译为一张转换表(transition table)。关键的控制逻辑被数据化,既不是隐式编码在意大利面条式的代码中,也没有隐藏在临时的服务调用链里。 ```mermaid flowchart TD accTitle: Temper 构建与编译管道架构 accDescr: 展示从智能体生成蓝图到转换表热部署及验证的完整流程。 subgraph Design["设计阶段"] A["智能体多次迭代 (Plan Mode)"] --> B["声明式蓝图 (Blueprint)"] end subgraph Compile["编译与转换"] B --> C["Temper 编译器"] C --> D["形式化转换表 (Data-like Table)"] end subgraph Verify["安全屏障"] D --> E["多层验证器 (Swiss Cheese Verifier)"] end subgraph Runtime["运行时"] E --> F["热重载部署 (Hot Deploy)"] F --> G["运行时执行 (CRUD API 接口)"] end ``` - Sesh Nalla 阐述核心抽象逻辑:“It's important to note that the agent is not generating arbitrary application code directly. We have raised the abstraction. It's generating a structured description that compiles into our end-time shift.” - 关于形式化的实际意义,他澄清道:“Formal here doesn't mean every possible property is proved. It isn't theoretical. It means the basic shape of the application is represented as a precise transition system.” - 智能体面对发布流程需求变更(例如新增状态或回滚路径)时,只需对规范进行针对性修改并热重载,无需耗时的 CI 流程,非常适合智能体彻夜自主迭代。 ### [25:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=1500s) 策略网关、小步副作用与四层“瑞士奶酪”验证器 由于状态转换表本身呈现为数据结构,Temper 能够将状态决策与策略决策结合在一起统一评估。系统可以设立严格的策略网关(policy gates):例如明确谁有权修改部署发布流程、黑暗工厂(dark factory)中的操作员智能体(operator agent)拥有哪些动作权限、哪些高危操作对构建器智能体(builder agent)绝对禁用,以及人类管理者可以独立指定规则——比如“已完成的发布是否允许再次回滚”或“工具调用失败后是否允许继续执行发布路径”。在副作用方面,Temper 借鉴了 TypeScript 等强类型运行时中的 Effect 系统,将副作用严格限制为微小、带类型的操作,防止状态机沦为任意应用行为的后门。若确实需要复杂的外部逻辑,则将其打包进 WebAssembly(WASM)沙箱模块中,严格圈定 LLM 生成任意代码的作用域,极大降低了排障难度。 为了确保转换表可以安全地热加载到生产环境中,Temper 引入了验证器(verifier)作为准入卡口。Sesh Nalla 指出,当前软件工程的核心瓶颈正是验证环节。Temper 的验证器采用了“瑞士奶酪模型(Swiss cheese pattern)”,包含多层检查机制,并不要求单层穷尽所有问题,Claude 会根据编译器输出自主判断是否需要跑完全部层级: - **Level 1(代数检查)**:检查自动机本身的代数属性与迁移合法性; - **Level 2(模型检验)**:对可达状态图(reachable state graph)进行模型检验,排查是否存在通往故障或非法状态的路径; - **Level 3(故障注入与调度)**:注入故障并调度不同时序,验证系统在故障和极端时序下其不变式(invariants)是否依然成立; - **Level 4(基于属性的测试,Property Testing)**:通过随机动作序列进行属性测试,全面检验系统的健壮性。 验证能力具有极强的复利效应。正如 Boris 在其他演讲中所提到的,无论是在生产环境还是仿真中暴露出的新漏洞或遗漏条件,都会沉淀回测试套件与验证模型中,使系统的免疫力持续演进。 - 谈及当前技术发展阻碍,Sesh Nalla 直言:“Verification is basically the bottleneck right now, for pretty much everything.” - 针对属性测试技术,他呼吁业界重视:“Level 4 uses property tests. which I highly encourage that we have to start learning, this mechanism of randomized testing with action sequences.” ### [27:30](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=1650s) 从黑暗工厂到定向进化:软件工程的未来范式 在探讨系统工程的未来时,Sesh Nalla 结合自己在 Datadog 维护关键基础设施的亲身经历谈到:过去三四年里他曾被夜间告警叫醒过上千次,因此深知对于银行、金融或大规模基础设施等复杂的业务领域,一旦生成的工件变成数千行杂乱无章的胶水代码,人类不仅根本无法在脑海中建立心智模型,现有的 LLM 也无法可靠地对其进行审查和签字验收。相反,将系统解耦为若干行数极少、职责明确、人类一眼即可看懂的小型声明式工件,使得人类与智能体都能在不破坏全局的前提下实施修改。这种高保证软件工程(high-assurance software)在航空航天与金融领域已存在数十年,只是过去纯人工实现的成本过于高昂,而智能体的崛起正在彻底改写这一成本收益天平。 重提制造工业中“用机床制造机器”的隐喻,Sesh Nalla 强调,工业革命的胜利不在于单打独斗的工匠能够打造多么精妙的单个装置,而在于机床生产出的标准化、可组合、可检验、可替换的零部件,赋予了人类构建更大规模复杂机器的能力。在智能体构建软件的时代,想要可靠地构建数据库并投入生产,必须引入这种制造级的工程严密性。最后,他反思了“黑暗工厂(dark factory)”这一概念,坦言“dark”一词听起来略带悲凉与压抑;如果智能体能够以这种自律与严密性自主构建软件,软件系统将不再像冰冷的死物,而更像一个有机生命体——人类可以通过反馈、选择与适应去培育和进化它。这种模式更接近农业或“定向进化(directed evolution)”,架构师只需指引方向,比如根据用户实际画像,选择将 Kafka 演化为纯粹的先进先出(FIFO)队列,还是演化为具备更大缓冲区而精简 Broker 的系统,开启人机协同软件演进的全新可能。 - 总结工业制造与现代软件的共性时,Sesh Nalla 掷地有声地指出:“The win was not that one artisan could build a brilliant machine, The win was that a machine built with machine tools made parts composable and inspectable and replaceable that we could build larger machines. And my claim is that for software, Agent build software, we need such kind of rigor for us to scale from here on if you were to really build databases and put them in production.” - 展望由智能体驱动的软件生命周期,他描绘了有机演进的愿景:“So the whole software built this way can feel like an organism. that we can grow, cultivate, and evolve through feedback, selection, and adaptation.” ## Notable quotes > [10:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=600s) All of this is powerful, it's like everyone's promoted three levels up into management chain, which they weren't signed up for. — Sesh Nalla > [25:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=1500s) Verification is basically the bottleneck right now, for pretty much everything. — Sesh Nalla > [17:30](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=1050s) The surprise was it started to feel more general than agent infrastructure. A lot of software, if you squint closely, is just control logic around database, APIs around state, policies around mutation, lifecycle transitions. — Sesh Nalla > [20:00](https://www.youtube.com/watch?v=EdmuYPBt_EM&t=1200s) Formal here doesn't mean every possible property is proved. It isn't theoretical. It means the basic shape of the application is represented as a precise transition system. — Sesh Nalla ## Mentioned Datadog, Sesh Nalla, Claude Code, Claude, Temper, Courier, Bits Evolve, DeepMind, AlphaEvolve, Helix, Kafka, Opus 4.5, Temporal, Simon Willison, Erlang OTP, BEAM, Rust, Kubernetes, TypeScript, Python, WebAssembly (WASM), Boris ## Video description At Datadog, 90% of engineers adopted AI coding tools for production work in the last four months, with Claude Code driving two-thirds of that usage. As sessions grew more ambitious, the reusable tools they produced — for verification, debugging, orchestration — sprawled into unmaintainable one-offs. Sesh Nalla, VP of Engineering, shares how Datadog built Temper: a constrained framework that produces secure, reusable tools that compound across sessions and teams instead. [Source](https://www.youtube.com/watch?v=EdmuYPBt_EM)

Source quotes

[10:00] Sesh Nalla: All of this is powerful, it's like everyone's promoted three levels up into management chain, which they weren't signed up for. [25:00] Sesh Nalla: Verification is basically the bottleneck right now, for pretty much everything. [17:30] Sesh Nalla: The surprise was it started to feel more general than agent infrastructure. A lot of software, if you squint closely, is just control logic around database, APIs around state, policies around mutation, lifecycle transitions. [20:00] Sesh Nalla: Formal here doesn't mean every possible property is proved. It isn't theoretical. It means the basic shape of the application is represented as a precise transition system.