Datadog自研运维模型推理成本降九成客户数倍调用推高产研预算

Silicon Valley Vector 硅谷坐标

AI规模化落地的核心瓶颈已从模型跑通转向运维管控，非技术员工自建的低效影子Agent与数据泄露风险成为企业成本与合规的最大威胁。

AI-assisted summary of Silicon Valley Coordinates x Datadog CPO | HYSTA Chair Ilan Yan: AI Deployment Enters the ROI Era — original source. Check the original for full context.

Source published: 2026-10-16

Key ideas

Datadog 首席产品官李严冰指出，AI 大规模落地的最大瓶颈已从单纯的模型跑通转变为运维管控与严格的 ROI 核算，企业正面临严重的 Token 消耗超标与算力预算压力。 (0:00)
全球前 10 大 AI 独角兽与头部公司已全量采用 Datadog，推动其市值走出年初 SaaS 估值暴跌（Saaspocalypse）阴影并创下历史新高，打破了 AI 将淘汰监控运维软件的市场疑虑。 (5:00)
Datadog 利用自身积累的海量专有运维标注数据自主训练了垂类 Frontier Model，在可观测性评测中性能媲美通用前沿模型，同时将推理成本降低至少一个数量级（90% 以上）。 (7:22)
企业内部 AI 应用出现双轨分化：工程研发团队的 Coding Agent 虽吞吐大但 ROI 与效能可精准量化，而非技术人员搭建的“影子 Agent”则深陷 Token 浪费与 API Key、商业机密泄露的真实安全隐患。 (13:14)

Detailed notes

## Background 该视频由 YouTube 频道“Silicon Valley Vector 硅谷坐标”于 2026 年 10 月 15 日发布。内容记录了在 2026 HYSTA 年会现场，硅谷坐标创始人曹卿云对 Datadog 首席产品官兼 HYSTA 主席李严冰的深度专访，聚焦 AI 落地走向成本与 ROI 时代、Datadog 的市值回升与护城河，以及企业可观测性演进。

## TL;DR 李严冰指出，AI 规模化落地的核心瓶颈已从模型能否跑通全面转向 token 成本控制与真实的商业 ROI，而复杂的运维管控让可观测性成为刚需。面对大模型自写代码的竞争，她以自动驾驶对比企业分布式运维的超高复杂度，阐述了 Datadog 凭借专业运维经验、海量标注数据和自研垂类低成本模型构筑的深厚护城河。此外，她还拆解了企业内部研发编码 Agent 的效能转化与非技术人员自建“影子 Agent”带来的算力浪费与重大数据安全风险。

## Atmosphere & style 对话整体呈现出务实、严谨且极具行业洞察力的一线工程师与高管视野，褪去了 AI 狂热期的盲目浮躁。李严冰的表述条理清晰、直击工业界痛点，在平静从容的叙述中穿插着诸如自动驾驶控制维度对比、预算飙升大跌眼镜等生动细节。整场访谈充盈着理性复盘与商业推演的厚重感，给观众一种拨开概念泡沫、窥见企业级软件真实运转机理的清醒体验。

## Bulletin - [00:00](https://www.youtube.com/watch?v=5cHWSHASPec&t=0s) Datadog 首席产品官李严冰指出，AI 大规模落地的最大瓶颈已从单纯的模型跑通转变为运维管控与严格的 ROI 核算，企业正面临严重的 Token 消耗超标与算力预算压力。 - [05:00](https://www.youtube.com/watch?v=5cHWSHASPec&t=300s) 全球前 10 大 AI 独角兽与头部公司已全量采用 Datadog，推动其市值走出年初 SaaS 估值暴跌（Saaspocalypse）阴影并创下历史新高，打破了 AI 将淘汰监控运维软件的市场疑虑。 - [07:22](https://www.youtube.com/watch?v=5cHWSHASPec&t=442s) Datadog 利用自身积累的海量专有运维标注数据自主训练了垂类 Frontier Model，在可观测性评测中性能媲美通用前沿模型，同时将推理成本降低至少一个数量级（90% 以上）。 - [13:14](https://www.youtube.com/watch?v=5cHWSHASPec&t=794s) 企业内部 AI 应用出现双轨分化：工程研发团队的 Coding Agent 虽吞吐大但 ROI 与效能可精准量化，而非技术人员搭建的“影子 Agent”则深陷 Token 浪费与 API Key、商业机密泄露的真实安全隐患。

## Key takeaways - [00:00](https://www.youtube.com/watch?v=5cHWSHASPec&t=0s) 华人学者与创业者在 AI 生态中影响力显著，NeurIPS 统计显示一万名论文作者中 57% 本科毕业于中国院校，华人创立的独角兽企业已有 41 家。 - [00:00](https://www.youtube.com/watch?v=5cHWSHASPec&t=0s) 企业对 AI 系统的考量经历三个发展阶段：从早期的验证模型可行性，到关注安全性与可信度，最终演变为当前的严控 Token 成本与交付实际商业 ROI。 - [00:00](https://www.youtube.com/watch?v=5cHWSHASPec&t=0s) 可观测性（Observability）成为 AI 规模化落地的核心底座，企业必须全面掌握底层系统状态、Agent 协作链路以及最终转化产生的业务价值。 - [05:00](https://www.youtube.com/watch?v=5cHWSHASPec&t=300s) Datadog 走出 SaaS 板块回调低谷并市值翻倍，核心逻辑在于 AI 行业并未取代运维软件，反而前沿 AI 模型极度依赖深度的可观测性支撑。 - [05:00](https://www.youtube.com/watch?v=5cHWSHASPec&t=300s) 监控运维产品的形态正在从单纯面向人类工程师的 Web Dashboard，转变为人机共生模式，全面嵌入 CLI 命令行、Slack 协同等高频工作流场景。 - [07:22](https://www.youtube.com/watch?v=5cHWSHASPec&t=442s) 软件系统运维的复杂度远超自动驾驶：自动驾驶控制局限于特定视线范围及有限控制维度，而大规模异构分布式系统与多 Agent 协同具有极高的发散性，极难被端到端通用 AI 一夕取代。 - [07:22](https://www.youtube.com/watch?v=5cHWSHASPec&t=442s) Datadog 依托领域专业知识、真实全链路运维数据与自研垂类模型三大护城河构建防线，其特制模型在保持顶尖质量的同时将推理成本削减 90% 以上。 - [10:17](https://www.youtube.com/watch?v=5cHWSHASPec&t=617s) 前沿模型实验室极度缺乏专业工业垂直场景的高质量标注数据，甚至主动向垂直软件巨头寻求购买数据支持。 - [10:17](https://www.youtube.com/watch?v=5cHWSHASPec&t=617s) 未来模型格局不会由少数通用闭源模型垄断，通过收购 Adaptive ML 等强化学习技术对开源或垂类模型进行 Post-training，已成为企业沉淀核心数据壁垒的标准路径。 - [13:14](https://www.youtube.com/watch?v=5cHWSHASPec&t=794s) 研发团队采用 Coding Agent 是目前最大的 AI 预算开销，Datadog 通过量化分析能够将 Token 消耗与 PR 提交速度、发版周期和稳定性直接关联验证 ROI。 - [13:14](https://www.youtube.com/watch?v=5cHWSHASPec&t=794s) 非技术人员自建的“影子 Agent”缺乏工程架构设计与合规审查，带来严重的 Token 成本浪费以及核心商业数据与 API Key 泄露风险，成为阻碍大中型企业下沉采购的现实路障。

## Detailed walkthrough ### [00:00](https://www.youtube.com/watch?v=5cHWSHASPec&t=0s) HYSTA 年会见证华人 AI 力量与落地痛点

在 2026 HYSTA（华源）年会现场，硅谷坐标创始人曹卿云与 Datadog 首席产品官兼 HYSTA 主席李严冰展开对话。李严冰指出，HYSTA 的盛会每年都在迈上新高度，近几年的核心主题始终紧扣 AI。随着华人在人工智能领域的贡献与话语权不断提升，今年的与会嘉宾规格、话题深度与参与质量都实现了质的飞跃，会议的核心议题聚焦于“AI 的真正 Scaling（规模化扩展）”。

李严冰分享了一组前三天刚出炉的 Carnegie 调研数据：作为全球顶尖学术会议的 NeurIPS，其统计的一万名论文作者中，有 57% 的作者本科教育来自中国，这一群体既包括中国本土的研究者，也涵盖了分布在美国及世界各地的华人学者。除了在科研前沿深耕，华人更将技术研发积极转化为创业实践与商业价值。目前由华人担任创始人或联合创始人的 10 亿美元估值以上的独角兽企业已有 41 家，其中许多创业者也亲临年会现场。

针对 AI 时代企业运维的演化趋势，李严冰给出了清晰的产业洞化判断： > “其实现在 AI 落地推广，加大规模的被大家广泛采用，最大的一个障碍就是如何在对它进行运维管控。”

李严冰回顾道，行业最初接触 AI 时处于兴奋期，关注的仅仅是“模型到底能不能 work（能否跑通）”；随后阶段，焦点转向系统的安全保障与信任机制；而到了今年，企业普遍面临现实的成本压力，发现 token 消耗与实际预算严重超标。行业关注点正从“能不能跑”全面转向能否在严控成本的同时交付真正的商业 ROI，而非盲目追求“token max”。在这背后，Observability（可观测性）扮演着关键角色——企业必须深入探究 AI 的底层行为、Agent 之间的协作关系以及其最终产生的业务价值，这让 Datadog 处于极佳的行业风口。

- NeurIPS 统计显示：10,000 名论文作者中，57% 本科毕业于中国院校。 - 华人作为 Founder 或 Co-founder 创立的 10 亿美元级以上公司已达 41 家。 - 企业 AI 诉求演进三部曲：模型能否跑通 $\rightarrow$ 系统安全与可信 $\rightarrow$ Token 成本控制与真实商业 ROI 交付。

---

[05:00](https://www.youtube.com/watch?v=5cHWSHASPec&t=300s) 走出 SaaS 谷底：市值翻倍与 Agent 时代的交互重构

回顾今年年初的行业波动，整个 SaaS 板块曾遭遇一轮严重的估值杀跌（Saaspocalypse），Datadog 的市值也一度大幅回落。但市场随后意识到 AI 无法取代运维系统，相反，前沿模型极其依赖深度的可观测性支撑。Datadog 率先走出低谷，市值自年初低点已实现翻倍并创下历史新高。

李严冰用核心数据佐证了这一趋势： > “大家的现在的市场上的共识是 AI 需要更多的 observability，所以这也是我们的机会。”

目前全球排名前 10 的头部 AI 公司全部采用 Datadog 进行系统的可见性与可观测性管理，完全击碎了“AI 将淘汰监控运维软件”的疑虑。在产品形态上，Datadog 正在经历从“为人设计”到“人机共用”的质变。过去产品以精美的 UI 和丰富的 Dashboard 见长，主要服务于工程师；未来系统将由人类工程师与各种 AI Agent 共同使用。产品交互将打破传统的 Web 网页和移动端界限，李严冰将其定义为： > “我们在哪里工作，你的工具就应该在哪里。”

无论是工程师在 CLI（命令行界面）里编写代码，还是团队在 Slack 沟通协同，可观测性工具都必须无缝嵌入对应场景，实现全天候、全工作形态的随时触达。

```mermaid flowchart LR accTitle: Datadog 产品演进路径 accDescr: 展示 Datadog 从服务人类工程师演化为人机共生并在各类终端环境实时嵌入的过程。

subgraph Phase1 ["传统监控运维"] U1["人类工程师"] --> D1["Web 控制台 / UI Dashboard"] end

subgraph Phase2 ["AI 与 Agent 时代"] U2["人类工程师 + AI Agents"] --> D2["全场景嵌入式形态"] D2 --> C1["CLI 命令行"] D2 --> C2["Slack 等协同办公工具"] D2 --> C3["IDE / API / 工作流"] end

Phase1 -.->|"数据与交互升级"| Phase2 ```

---

[07:22](https://www.youtube.com/watch?v=5cHWSHASPec&t=442s) 自动驾驶对比系统运维：Datadog 的三大护城河

面对 OpenAI 等前沿模型实验室能力大爆发、能够自主写代码的现状，外界常担忧监控厂商的护城河是否会被攻破。曾任职于自动驾驶卡车上市公司 Aurora 的李严冰，从工程本质给出了反直觉的对比分析。Aurora 是全球首家在公共高速公路实现无安全员常态化自动驾驶落地的企业，看似极度困难，但李严冰指出，自动驾驶的系统复杂度其实远低于大规模企业级生产系统的运维。

李严冰深入对比了二者的控制逻辑：在驾驶场景中，车辆感知仅局限于视线所及的局部空间，物理控制也只有三个核心维度——加速、减速与打方向盘。然而在现代企业软件体系中，庞大的分布式软件、异构硬件基础设施、复杂的网络拓扑以及大量自主交互的 AI Agent 交织在一起，其维度和复杂度远超自动驾驶，距离真正实现端到端全自动运维还有极其漫长的路要走。编码（Coding）虽然技术门槛高，但其核心输出相对单一（即产生代码）；而系统运维（Operation）具有极高的异构性与发散性，极难被通用 AI 一夕取代。

李严冰总结了 Datadog 赖以防守并持续扩张的三大护城河： 1. **深厚的领域专业知识（Domain Expertise）**：多年沉淀的企业级复杂系统运维经验与规则体系。 2. **海量真实运维数据**：拥有全球规模最大的 IT 生产系统、微服务和 Agent 运行底层观测数据。 3. **针对专业领域的自研模型投入**：通用大模型虽强，但在专业运维场景下不仅推理速度慢、推理调用昂贵，且常常因缺乏垂类经验而无法给出最优解。

李严冰透露，Datadog 内部的 AI Research 团队利用特有的 observability 运维标注数据，自主训练了垂类 Frontier Model。本周刚完成的评测显示： > “比起最前沿的 frontier model，我们自己特制的 model 质量是非常非常相近的，但成本是有至少一个量级的减少。”

- 自动驾驶控制：局限于视线范围环境，核心操作仅加速、减速、方向盘。 - 现代软件运维：复杂软硬件架构、多智能体交互，复杂度呈指数级提升。 - 垂类自训成果：Datadog 自研可观测性大模型在保持媲美通用顶级模型性能的同时，推理成本降低至少 90%（一个数量级以上）。

---

[10:17](https://www.youtube.com/watch?v=5cHWSHASPec&t=617s) 企业级模型的路径分歧与数据博弈

针对企业是否会抛弃前沿闭源 API 转向开源自建模型的讨论，李严冰表示未来绝非某一家或几家前沿模型“一统天下”的格局，而是各取所需。当前对开源或垂直模型进行 Post-training（后训练）已成为企业常态，这正是企业将专属业务数据转化为独特竞争壁垒的途径。

李严冰分享了一个来自前沿大模型实验室的生动插曲： > “最有趣的话题呢，他就是说‘严冰，我们非常想在这种运维的场景上做得更好，你能不能把你们的数据 label 好了卖给我们？’”

这一细节直接印证了即使是最顶尖的前沿研究机构，在高度专精的垂直工业场景中同样极度匮乏高质量的上下文与标注数据。Datadog 坚持有机自研与外部并购双轮驱动，去年收购了行业领先的强化学习（RL）公司 Adaptive ML，以全面加速其垂类智能模型的基础建设。

在谈及 Datadog 内部自身的 AI 实践时，李严冰坦言企业内部同样经历着深刻的预算震荡。在刚完成的明年度 AI 与研发经费预算编制过程中，费用飙升让管理层直呼“大跌眼镜”，其算力与研发需求增长远远超出了直觉预期。在产研支出方面，客户对 AI 增强型产品的调用呈现数倍级爆发式增长，这证明外部商业需求极其强劲，研发与算力的高额投入物有所值。

- 行业共识：单一模型无法通吃所有应用，Post-training 成为企业铸造数据壁垒的标准路径。 - 战略布局：收购强化学习技术公司 Adaptive ML，推动自身运维专用模型演进。 - 成本痛点：内部 AI 研发经费与外部客户调用呈数倍爆发，算力开销激增驱动企业对 ROI 进行严密审视。

---

[13:14](https://www.youtube.com/watch?v=5cHWSHASPec&t=794s) 组织内部双轨落地：工程效能转化与影子 Agent 的隐蔽风险

在深入企业内部的日常运作时，李严冰将企业内的 AI 落地划分为两个截然不同的阵营：工程师的专业工具链，与非技术员工自建的“业余 Agent”。

一方面是软件研发团队对 Coding Agent 的重度采用，这也是目前内部最大的一笔 AI 预算支出。不同于其他企业只能盲目承担账单，Datadog 凭借自身的产品工具，能够全面量化 AI 投入与 Engineering Velocity（工程效能速度）之间的映射关系： > “我们其实不仅知道大家用多少 token，在哪里用，而且知道它最后的这个 outcome 是什么，比如说你对于这个 PR 的速度，对这个产品的稳定性，对产品的 feature 的发布，对产品的这个安全的这个提升，我们都是能看得清清楚楚。”

另一方面，李严冰表达了对“知识工作者（Knowledge Work）”自发搭建的弱管控 Agent 的深切担忧。当前，许多销售、HR 或运营人员等非工程背景员工，出于解决自身业务痛点的目的，自行编写并部署了大量非标准化的内部 Agent。这类“影子 Agent”存在严重的双重短板： 1. **Token 效率极其低下**：由于缺乏系统架构设计经验，Prompt 和上下文调用冗余，造成严重的计算与 API 资金浪费。 2. **企业安全防护形同虚设**：非技术人员缺乏严格的代码审查与合规意识，极易在流程中暴露企业底层 API Key，或无意中将核心商业数据泄露到公共网络。

李严冰指出，外界媒体往往热衷于渲染“AI 毁灭人类”或“数千个恶意 Agent 突破沙箱对外部发起协同攻击”等极具煽动性的末日场景，但在真实商业世界中，最致命的威胁往往来自最基础的安全漏洞。一个缺乏审计的业余销售助手把核心商业数据外泄，或者一段脚本暴露了敏感凭据，才是当前阻碍大中型企业进一步下沉并扩大 AI 采购的真正现实路障。

## Notable quotes > [00:00](https://www.youtube.com/watch?v=5cHWSHASPec&t=0s) 现在 AI 落地推广，加大规模的被大家广泛采用，最大的一个障碍就是如何在对它进行运维管控。 — 李严冰

> [07:22](https://www.youtube.com/watch?v=5cHWSHASPec&t=442s) 比起最前沿的 frontier model，我们自己特制的 model 质量是非常非常相近的，但成本是有至少一个量级的减少。 — 李严冰

> [05:00](https://www.youtube.com/watch?v=5cHWSHASPec&t=300s) 我们在哪里工作，你的工具就应该在哪里。 — 李严冰

## Mentioned 李严冰, 曹卿云, HYSTA, Datadog, Aurora, Adaptive ML, NeurIPS, Carnegie, OpenAI, Slack

## Video description 【导语】

2026 HYSTA 年会现场，硅谷坐标对话 Datadog 首席产品官、HYSTA 主席李严冰。她判断 AI 大规模落地最大的障碍不是模型而是运维管控，行业关注点已从「能不能 work」走到「token 成本和 ROI」；Datadog 年内从Saaspocalypsys到目前新高市值翻倍、自训 observability 模型、企业的护城河和自有模型——一线 CPO 讲透 AI 时代的可观测性生意。

【嘉宾】 Datadog首席产品官｜HYSTA主席李严冰

【主持】硅谷坐标创始人｜曹卿云

#hysta #华源 #saas #ddog #硅谷 #科技 #observability #enterpriseai

[Source](https://www.youtube.com/watch?v=5cHWSHASPec)

中文简报

Datadog自研运维模型推理成本降九成客户数倍调用推高产研预算 AI规模化落地的核心瓶颈已从模型跑通转向运维管控，非技术员工自建的低效影子Agent与数据泄露风险成为企业成本与合规的最大威胁。李严冰指出，AI规模化落地的核心瓶颈已从模型能否跑通全面转向Token成本控制与真实的商业ROI，而复杂的运维管控让可观测性成为刚需。面对大模型自写代码的竞争，她以自动驾驶对比企业分布式运维的超高复杂度，阐述了Datadog凭借专业运维经验、海量标注数据和自研垂类低成本模型构筑的深厚护城河。此外，她还拆解了企业内部研发编码Agent的效能转化与非技术人员自建“影子Agent”带来的算力浪费与重大数据安全风险。 Datadog首席产品官李严冰指出，AI大规模落地的最大瓶颈已从单纯的模型跑通转变为运维管控与严格的ROI核算，企业正面临严重的Token消耗超标与算力预算压力。 (0:00) 全球前10大AI独角兽与头部公司已全量采用Datadog，推动其市值走出年初SaaS估值暴跌（Saaspocalypse）阴影并创下历史新高，打破了AI将淘汰监控运维软件的市场疑虑。 (5:00) Datadog利用自身积累的海量专有运维标注数据自主训练了垂类Frontier Model，在可观测性评测中性能媲美通用前沿模型，同时将推理成本降低至少一个数量级（90%以上）。 (7:22) 企业内部AI应用出现双轨分化：工程研发团队的Coding Agent虽吞吐大但ROI与效能可精准量化，而非技术人员搭建的“影子Agent”则深陷Token浪费与API Key、商业机密泄露的真实安全隐患。 (13:14)

Source quotes

[0:00] 李严冰: 现在 AI 落地推广，加大规模的被大家广泛采用，最大的一个障碍就是如何在对它进行运维管控。 [7:22] 李严冰: 比起最前沿的 frontier model，我们自己特制的 model 质量是非常非常相近的，但成本是有至少一个量级的减少。 [5:00] 李严冰: 我们在哪里工作，你的工具就应该在哪里。

Original transcript

[0:00] AI 落地推广最大的一个障碍呢就是如何对它进行运维管控今年年初的时候我们整个SARS在市值的都有大规模的滑落然后 DataDog 也是其中但是我们应该是率先从低谷中脱颖而出的大家的现在的市场上的共识是AI需要更多的observability我们在哪里工作你的工具就应该在哪里严斌你好,今年的HiStar,你觉得跟往年的HiStar的这个会议有什么不一样?严斌你好,我觉得HiStar的会议就是一年都会上升一个新高度。尤其是最近几年我们的主题都是AI随着中国人在AI方面的影响力越来越大,所以感觉今天的这个盛会无论是参与者,或者是我们的话题,或者我们的嘉宾,都是质量又有一个质的提升。今年会主要讲一些哪些主题呢今天我们主要是AI的真正的skating的主题。我知道,清云,你也是很关注我们华人在AI行业的影响力。其实前几天我看到一个非常令我惊讶的数据,这就是前三天才出炉的一个Carnegui的research,说最近Neurips作为AI界的一个最重要的科研大会,它从一万个作者中进行了一些统计。57%的作者他的本科教育来自中国当然这个有包括在中国的作者包括在美国和世界其他的各地大家可以看到现在华人在AI圈的重量当然我们华人的不只是做AI的研究而且还把AI转化成这个entrepreneurship转化成企业我还看到另外一个也让我非常惊讶的话题就是说来自中国的这个founder或者是co-founder有41个10亿美元量级以上的公司然后很多这些公司今天都会在我们的社会上所以说从华元今年AI大会的主题就不仅仅是说最前沿的研究最前沿的企业应用还有很多很多的这个Founder真正见到了business上的成功您是这个DataDog的首席产品官然后也是算硅谷华人女性中间我想跟您请教一下,在AI时代,您看到AI运维是怎么样的趋势发展?这里面最好的机会,未来会在哪里?对,我觉得这个问题问得非常好。从我的作为Datadog的首席产品观的角度来看,其实现在AI落地推广,加大规模的被大家广泛采用,最大的一个障碍就是如何在对它进行运维管控。所以说其实最开始大家看到AI感觉非常的兴奋的只是说这个AI到底会不会work 然后很快又意识到我们知道AI work的非常好我可不可以相信它的安全保障这样的一些方面的问题到今年大家又意识到即使我能相信我的AI 但是发现它的这个token cost或者是它这个AI的这个预算是成本是远远超出了预算所以说无论是从这个AI是不是产生正确的结果是不是我们可以对AI的有这个可控可信任的这样的一个感觉到我们能不能对AI所提供真正的这个商业价值而不是看大家都在token max而真正能deliver商业化的这个ROI我觉得现在反而是大家最关注的问题那这些关注的问题它的背后有一个很重要的点就是我们叫做observability就是能够深入的了解AI其实在做什么agent之间的关系是什么究竟采用什么样的价值所以说datadog在这个时候呢也是处在一个非常好的风口就是说对AI的observability现在是一个AI量产化我们看到这个Data Log的市值也是一路飙升线,也是在史高的位置。我们看到整个可观测性,以前都是可能给工程师去让他们观测,现在以后未来给agents观测,然后这观测数据量也变大了,然后未来可能这样的产品形态会有什么样变化?比如说今年年初的时候,我们整个SaaS有一个SaaS的这样的一个景象,就大家统统的这个, [5:00] 在市值的都有大规模的滑落然后Datadog也是其中但是我们应该是率先从这个低谷中脱颖而出的所以说我们今年从年初到现在市值已经翻倍了当然这个其中很多的并不是大家一个主观性的说这个AI需要更多的observity其实是看真正的数据的比如说我们看世界上最大的10家AI公司都需要用Datadog来帮助他们做可见性observability所以说大家对于AI能取代observability这个观念已经完全给抛弃了而是大家现在的市场上的共识是AI需要更多的observability所以这也是我们的机会当然我们现在从产品形态的角度来讲可以考虑到以前Datadog产品是有非常丰富的user experienceUI有很漂亮的dashboard是设计给人来使用的我觉得在未来的发展是人和agent来共同使用这样的产品而且这个产品的交互也从这种网页型mobile型为主变成it goes anywhere we do our work就是我们在哪里工作你的工具就应该在哪里如果你在一个CLI里编程那你可以访问它如果你在一个slack里和你的团队进行交互你也可以在那里我们对于产品的固定的原来的这个而是在任何的时候任何的工作方式都可以访问到他我觉得就是今年早些时候一个大家觉得OpenAI可能会不会自己就出来做了而且现在这个模型能力这么强自己会写代码了然后您觉得未来Datatog 它的这个傅成和在哪里就是说他的不可替代性对其实傅成和我觉得有几点一个是operation不仅只是mission critical它是复杂度是非常高的我之前是做自动驾驶我原来在Aura做过就是在Aura是一个自动驾驶卡车公司它是美国第一家应该现在也是世界唯一一家在公共高速公路上就是从自动驾驶的时候从自动驾驶的时候从自动驾驶的时候有人到无人的突破在哪里,当然是感觉是一个非常难的问题。但是其实想想,自动驾驶比起运为大规模的生产型的软件和系统,其实复杂度是很低的。你想想,比如开车,你只需要了解一下你视线所及的本地的场景。另外你在开车的时候,你只有三个控制你只能加速、减速和打方向盘而在一个大规模的软件和硬件和基础架构非常复杂的一个系统,因为现在有很复杂的AI agent 在里边,这个复杂度是远远超过于自动驾驶这样的。所以说从完全能够真正的实现完全自动化的这种大规模的生产运维其实还是有很长的一段距离所以我想说的问题就是说这个Operation是一个非常高度的complexity比如说比起Coding,Coding也是有很多技术难度但是它是一个相对简单的一个事情,就是产生Code而运维它是一个非常多元化的一个事情所以说我们不担心自己被AI取代因为我们自己也在研发很多AI回到你的护城河来讲第一,这个问题非常复杂所以我们是有很多多年积累的domain expertise第二是数据我们拥有世界上最大的关于运维的数据第三,我们也在invest in intelligence比如说这种general purpose的大模型可以解决很多的问题但是它有时候比较慢有时候非常贵而且有时候对非常专业性的这个domain它不一定能给出最好的答案比如说我们有自己的这个AI research这周我刚刚看到一个结果比起最 frontier 的 model我们是用这个observability的数据train我们自己这个observability的frontier model那可以看到比起这种最前沿的frontier model我们自己特质的model 质量是非常非常相线的但成本是有至少 [10:00] 一个量级的这个减少所以说我们认为自己的护城河,无论是我们自己的数据,我们对于research和foundation model的投入,还有我们专攻这个领域的这种经验的积累,我觉得都是我们的护城河。所以您觉得就像Datadog这样的Enterprise,它其实还是最后会选择用开源模型,然后用自己的数据,然后做自己的模型,不一定需要去用Frontier Lab, API。我觉得这个是客举所需,因为不同的models有不同的我相信现在业界的共识呢,将来的model并不是说最frontier的model一统天下,也不是几家frontier model就提供世界上所有的model,我觉得大家在做这个post training已经是非常非常常见的,因为这样你可以把自己的数据变成你真正的副成河。其实最有趣的话题呢他就是说颜冰我们非常想在这种运维的场景上做得更好你能不能把你们的数据Label 好了卖给我们所以说就是可以看到就是说即使是世界上最前沿的Lab 在某个这种非常专业化的场景呢它也是缺少这方面的积累的然后当然就是我们觉得即使是大家有数据呢我觉得有一个general purpose的model很难去最好的服务所有所有的应用场景所以我们在这方面有自己一些organic的investment我们去年也买了一个leading RL company叫adaptive ML也就是帮我们加速这方面的投入像Datadog在你们在自己企业内部去采用AI的时候有碰到什么样的挑战吗?你们现在的AI adoption 这个比例大概有多少?对,其实我觉得和很多企业的挑战都是有一些类似的可能我们作为一个开发工程师产品的这样的一个公司,我们可能起步的早一些但是我觉得对AI的使用刚刚对明年的我们的研发经费或者是AI经费做预算的时候,我们当时就是说大跌眼镜的一个感觉,因为这个增长是远远超出我们直觉的一个预期。产品这一方面其实很简单这个提升呢是一个很好的现象因为这说明我们的客户对于我们这种AI-enabled产品的使用率是更高的提升的这个我们都在乘多少倍数的在增长所以大家觉得在这方面的AI的投入是非常非常值得的当然我们产品的投入也有对于research的投入这个投入则是要一定有一个这种长期的回报的因为从research 投入无论是买GPU或者是这个搭建AI的基础架构到多少的 training run 都是非常大的一个投入那从内部的效率提升呢我觉得有两面的一个是工程师对 coding agent 的使用我觉得这个现在可能还是最大的一个预算的这一块这一块呢可能我们主要是看如何把这方面的这个投入真正转化成啊这个engineering velocity这个就是比较好的是我们就是干这方面的所以我们其实不仅知道大家用多少token在哪里用而且知道它最后的这个outcome是什么比如说你对于这个pr的速度对这个产品的稳定性对产品的feature的视频对产品的这个安全的这个提升我们都是能看得清清楚楚就是这个AI的投入是产生了这样的结果我觉得现在比较担心的是一种像这种针对于knowledge work的这种AI使用因为这时候大家很多还是处在比如说我一个销售他并不是一个工程师他写了自己一个用于销售的一个工具或者是我们的这个HR团队写了一些针对他的这样的场景我觉得对这一类的agent现在其实非常非常多就是比较业余一点的这样的agent其实很多时候它对于token的使用不是最优化的最重要的是 [15:00] 他可能有时候对安全的考量不是最高的我觉得安全对AI现在是一个当下非常热门的话题当然大家想象的都是这种什么世界末日的场景比如AI杀死了人类或者是几千个AI agent一起从sandbox跑出来对别的公司进行攻击最近的这些头条新闻都是这个性质的但是其实真正的实际的从企业的AI的角度我们考虑的很多安全的问题都是更现实的比如说你一个比较业余的AI agent把自己的商业数据不小心泄露了或者是你一个不专业的没有经过很好的AI的review或者是控制的这样一个东西把自己的API key暴露了其实很多的我们现在考虑的安全的问题是更基本的还不是一个世界末日这样的问题我觉得这个也是企业更更多的采用AI的一个比较重要的一个barrier谢谢您今天的分享。谢谢。你们问题非常专业。

Datadog自研运维模型推理成本降九成 客户数倍调用推高产研预算