企业推进智能体面临算力与Token成本反噬

AI Infrastructure for Scaling Agents Across the Enterprise — Ai4

Ai4

大企业所谓超大规模Agent部署多属夸大,唯有将分散的数据孤岛整合为联邦上下文并替代昂贵外包,方能避免推理成本吞噬业务利润。

AI-assisted summary of AI Infrastructure for Scaling Agents Across the Enterprise — original source. Check the original for full context.

Source published:

Detailed notes

## Background 该内容由 YouTube 频道 Ai4 于 2025 年 8 月 24 日发布。视频记录了一场关于企业级 AI Agent 规模化基础设施的圆桌讨论,汇聚了来自 TIAA、Cox Automotive、Cox Communications、Hyland 和 Hammerspace 的多位技术高管,共同探讨支撑智能体在企业中落地所需的数据架构、算力配置、治理与管理挑战。

## TL;DR 圆桌嘉宾围绕企业部署 AI Agent 的现实挑战展开深入探讨,指出单纯追求智能体数量往往陷入经济账无法跑通和炒作夸大的陷阱。专家们强调,Agent 规模化的核心壁垒不在于模型本身,而在于解决非结构化数据治理、构建跨区域的全局命名空间与联邦数据访问平台,并建立端到端可观测性与权限安全红线。在落地策略上,企业应倡导人机协同并优先解决内部员工与现场高频痛点,通过削减第三方外包服务快速释放 ROI,同时积极拥抱端侧小模型、模型上下文协议(MCP)及混合部署等前沿架构趋势。

## Atmosphere & style 讨论开场伴随着轻松诙谐的趣事破冰,随后迅速切换为硬核、务实且充满审慎怀疑的技术交锋。嘉宾们毫不避讳地戳破行业营销泡沫,坦率直言“自欺欺人”与“踩坑留下的伤疤”,展现出一线技术管理者在面对巨额 Token 成本与数据混乱时的清醒与韧性。整场对话既有对底层基础设施演进的深度洞察,又洋溢着同行之间相互打趣与求真求实的极客共鸣,为观众呈现了一场褪去浮华、直面落地痛点的实战思辨。

## Key takeaways - [03:55](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=235s) 企业在智能体规模化部署上面临严峻的经济账挑战,很多大规模落地宣称并不现实,当前应采取‘战略下注’与小步验证策略,在探索出可行闭环后回归传统机器学习的标准化打法控制 Token 成本。 - [06:44](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=404s) 真正的 Agentic 工作流具备自主性、持续运行与免人工介入的计算智能三大特征;构建企业级平台的核心壁垒在于非结构化数据管理与多记录系统的联邦安全访问。 - [08:28](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=508s) 机器对机器(M2M)交互使权限审计与可观测性更为复杂,企业需构建跨云和地理位置的‘全局命名空间’,并在基础设施层部署自主 Agent 优化网络与数据延迟。 - [10:04](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=604s) 避免将细小工具夸大为独立 Agent,应基于本体(Ontology)构建可组合架构,依靠编排智能体(Orchestrator)跨部门调度微型用例与复用组件。 - [12:02](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=722s) 推广智能体需普及全员 AI 素养并设立业务布道者,在给予团队自由探索沙盒的同时建立安全合规治理,平衡创新速度与架构标准化。 - [15:08](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=908s) 落地实践采取三步走策略:率先在自身研发流程与内部现场业务中试错踩坑,将沉淀的‘伤疤’与架构经验反哺并简化外部商业产品的安全交付。 - [19:05](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1145s) 上下文工程正演变为自动化企业引擎,但模型上下文协议(MCP)等工具调用标准在安全方面尚在早期,必须严格把控自主 Agent 的权限边界与数据泄露隐患。 - [21:05](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1265s) 规模化扩展的关键约束是性价比(Price Performance)与投资回报率(ROI),算力虽逐渐商品化,但底层数据与存储基础设施仍是长期扩展的决定性基石。 - [22:48](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1368s) 与其盲目堆砌数百个分散 Agent,不如聚焦少数核心超级 Agent,并设立统领红线的‘共享伦理 Agent’及专职负责审计与权力制衡的治理 Agent。 - [26:06](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1566s) 智能体的终极定位是人机协同(Human-in-the-Loop),其使命不是直接取代人类,而是剥除易错与重复劳动,赋能一线员工并推动全公司的组织级转型。 - [28:14](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1694s) 企业降本增效优先从削减离岸处理和外部生成等第三方外包合同切入,通过 AI 智能体直接补齐内部员工技能盲区,把节省资金回流产品创新。 - [31:49](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1909s) 端侧小模型(SLM)与开放互操作标准正加速普及;混合部署虽兼顾隐私与成本,但高度依赖本地软件管理运维栈,同时需要全面复兴对海量冷数据的治理能力。 - [35:27](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=2127s) 穿透行业营销迷雾需要结合一线客户沟通、开源社区交流、AI 竞品检索工具以及高频生态产品 Demo,并通过紧密的同行专家网络进行交叉验证去噪。

## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=4s) 嘉宾介绍与破冰趣事

圆桌讨论在轻松幽默的氛围中拉开序幕。主持人兼 TIAA(美国教师退休基金会)高级常务董事兼首席架构师 Geeta Pyne 首先作自我介绍。她指出 TIAA 是一家拥有百年历史、致力于保障美国人养老与财富管理的机构。Geeta 调侃称自己虽然头衔是首席架构师,但实际上更像是一个“首席洗瓶工(Chief Bottle Washer)”或“保洁员”,职责就是在架构、工程与数据层面收拾烂摊子、理清头绪。在邀请各位嘉宾介绍自己的同时,她提出了一个破冰要求:每人必须分享一件关于自己的趣事。

Cox Automotive 人工智能与机器学习副总裁 Jodi Blomberg 率先接话。她介绍 Cox Automotive 涵盖软件业务以及汽车拍卖、技师维修等技术驱动型服务;自己此前曾就职于 Waste Management 和 Charles Schwab,单纯出于对各类行业 AI 应用的热爱。谈及趣事时,Jodi 幽默地陷入自我纠结,表示自己本来觉得自己挺搞笑的,但临场却想不出段子,被 Geeta 调侃这就像“棕色的狗就是一只棕色的狗”一样无厘头。随后,Cox Communications 负责 AI 基础设施与扩展、IT 运营及公私有云的副总裁助理 Matthew Shorts 作了介绍。他将趣事转化为冷知识,透露自己曾经尝试过“徒手抓鲶鱼(Noodling)”,引得现场观众纷纷准备掏出手机搜索。

紧接着,Hyland Software 首席技术官 Tim McIntire 进行了自我介绍。他拥有在 Teradata、斯克里普斯海洋研究所(Scripps Oceanography)、高性能计算及神经网络领域深耕数十年的资深数据背景,并提到拥有 30 年企业内容管理历史的 Hyland 正迎来巨大机遇;他分享的趣事则是自己今天特意穿了一双亮粉色鞋底的鞋子。最后,来自 Hammerspace 的 AI 解决方案高级总监 Samuel Newnam 介绍了自己 25 年来在存储、数据中心虚拟化及网络领域的背景,强调自己专注于将产品架构与 AI Agent、MCP(Model Context Protocol)服务紧密结合。他的趣事则是一个典型的“极客冷笑话”——他把所有老爹笑话(Dad jokes)都存在数据库里,以便需要时能以毫秒级速度检索调用。

- **Geeta Pyne**:TIAA 高级常务董事兼首席架构师,拥有 30 年跨行业架构与数据经验。 - **Jodi Blomberg**:Cox Automotive AI/ML 副总裁,专注汽车拍卖与维修等软件及技术赋能场景。 - **Matthew Shorts**:Cox Communications AI 基础设施、IT 运营与混合云副总裁助理。 - **Tim McIntire**:Hyland Software 首席技术官,深耕企业级非结构化数据与 HPC。 - **Samuel Newnam**:Hammerspace AI 解决方案高级总监,专注 AI 数据架构、Agent 与 MCP 服务集成。

---

[03:55](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=235s) Agent 规模化落地的现实:经济账与框架幻象

谈话切入正题后,Geeta 引述了当天上午主题演讲的内容,向嘉宾抛出核心问题:当前业界究竟是在构建什么形态的 Agent?从早期的概念验证(PoC)走向企业级规模化部署的过程中,基础设施和成本面临怎样的真实挑战?

Jodi Blomberg 率先表达了审慎且务实的观点。她更倾向于使用“智能体系统(Agentic Systems)”而非孤立的单个“Agent”来描述当前的架构演进。Jodi 坦言,她对目前许多大型企业是否真正实现了超大规模的“智能体网络(Agentic Mesh)”持怀疑态度,因为企业背后的经济模型尚未跑通。构建一个智能体系统非常容易,但系统运行所消耗的 Token 成本极易超过其创造的商业价值。她直言:“如果你声称自己已经完全掌握了如何从成本和基础设施两个维度来规模化 Agent,那你可能多少有点‘自欺欺人(a little bit delusional)’。”

在 Jodi 看来,当前企业在智能体规模化层面的真实策略是“战略下注”。在探索正确答案的阶段,团队愿意多消耗一些 Token 来验证系统闭环;而一旦探索出可行路径,就会回归传统机器学习的打法——提炼出可复现的最佳模式,并将其固化与持续推广。

---

[06:44](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=404s) 重新定义 Agent 与 Hyland 的联邦数据基座

针对业内频繁将传统自动化脚本包装为 Agent 的现象,Geeta 提出应厘清“自动化”与“真正的 Agent/Agentic”之间的本质区别,并邀请 Tim McIntire 给出定义。

Tim 分享道,在近期参加的 AI 开发者大会上,4 小时的主题演讲光是定义 Agent 就耗费了整整 2 个小时。在他看来,真正意义上的 Agentic 工作流必须具备三大核心特征:主要运行方式是**自主的(Autonomous)**、执行过程是**持续或近乎持续的(Continuous / Near-continuously)**,并且能够在无需人类实时介入的情况下提供**计算智能(Compute Intelligence)**。

谈及 Hyland 在该领域的实践,Tim 指出,企业中 80% 的数据都是非结构化数据,而这正是 Hyland 深耕 30 年的内容管理核心领域。Hyland 近期推出了 Agent 构建框架(Agent Builder Framework)的测试版。他强调,构建企业级智能体平台最关键的壁垒并非模型本身,而在于如何以受控、可理解且合规的方式,跨多个记录系统(Systems of Record)实现对海量联邦数据(Federated Data)的安全访问。

```mermaid flowchart TD accTitle: Enterprise Agentic System and Federated Data Architecture

subgraph S1["底层数据层 (Enterprise Data Layer)"] D1["非结构化内容 (文档/元数据)"] D2["多个核心记录系统 (Systems of Record)"] D3["多源异构存储 (跨多云/本地)"] end

subgraph S2["数据治理与联邦抽象 (Hyland Platform)"] F1["联邦数据访问与安全管控"] F2["统一上下文与元数据索引"] end

subgraph S3["智能体工作流 (Agentic Framework)"] A1["Agent Builder Framework"] A2["自主与持续执行引擎"] A3["免人工介入的智能决策"] end

D1 --> F1 D2 --> F1 D3 --> F1 F1 --> F2 F2 --> A1 A1 --> A2 A2 --> A3 ```

---

[08:28](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=508s) 数据混乱治理、全局命名空间与基础设施级 Agent

面对 Tim 提到的数据难题,Geeta 将话筒交给专注于数据架构的 Hammerspace 专家 Samuel Newnam,探讨底层存储与架构如何应对 Agent 带来的变革。

Sam 揭示了企业数据现状中普遍存在的“混沌状态”:数以 PB 计的数据散落在各个孤岛,拥有各自独立的认证与登录体系。以往,企业面临的挑战是一个 26 岁的数据科学家进门并索要系统全部权限的“上帝模式(God access)”,至少这背后还是一个具体的人,有可追踪的面孔和身份;但当演进至 Agent 时代,系统交互变成了“计算机与计算机直接对话”,权限审计、监控追踪以及全链路可观测性(Observability)变得空前复杂。

为了化解这一难题,Hammerspace 倡导通过构建“全局命名空间(Global Namespace)”来简化、自动化并加速数据流动。随着物理 AI(Physical AI)与多模态智能体的发展,计算不再局限于单一数据中心,而是受制于“GPU 引力”与“电力引力(Power Gravity)”。数据必须突破协议、供应商与地理位置的限制,为分布在各处的 Agent 提供统一、安全的访问端点。同时,Sam 透露 Hammerspace 也在践行“喝自己的香槟(Drinking our own champagne)”——率先将自主 Agent 部署到自身基础设施内部,用于实时监控、分析并优化智能体工作流中的端到端延迟。

- **数据权限与可观测性跃迁**:从人类用户的“上帝权限”管理转向机器与机器通信(M2M)的实时监控与细粒度追踪。 - **全局命名空间(Global Namespace)**:跨越不同地理区域、云厂商和底层存储协议,将分散的 PB 级数据整合为统一逻辑访问点。 - **算力引力迁移**:从传统的单体存储架构转向跟随 GPU 引力与电力引力分布的分布式数据基础设施。 - **基础设施内生智能**:优先在基础设施层引入 Agent,主动诊断与优化 Agentic 复杂链路中的网络及存储延迟。

[10:04](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=604s) 联邦数据平台的延迟监控与规模化现状的剖析

在讨论智能体工作流时,可观测性与底层数据平台的协同至关重要。企业需要通过 Zipkin 等链路追踪工具到各类元数据统计系统(MD stats),全面洞察智能体工作流中的每一个环节。这不仅能有效加速检索增强生成(RAG)和智能体任务的流转,更能精准定位系统延迟发生的具体节点。例如,当数据被重定位到不同区域、或是从边缘端迁移到云端时,系统能评估这对性能的潜在帮助以及随之而来的成本指标变化。通过这种联邦化的多系统互通方式,企业致力于构建一个真正支撑多样化负载的底层数据平台。

针对智能体规模化(Scaling Agents)的真实进展,嘉宾们直言不讳地指出了当前行业中的普遍误解。所谓的大规模落地往往被夸大,很多宣称“部署了 100 个智能体”的企业,拆解到底层其实只是十来个真正的核心智能体,下方挂载了大量细碎的基础工具代理(utility agents)。真正的破局点在于建立清晰的本体(ontology),将细粒度、可复用的架构组件组合成具备层级结构的集群能力,形成可组合的架构(composable architecture)。当前展厅中充斥着各类智能体构建平台,竞争异常碎片化,因此企业更倾向于依靠“编排智能体”(orchestrator agent,而非所谓“母体智能体”)跨领域调度协同,通过在全公司范围内解锁微型用例来摸索标准化路径,而非盲目进行大规模押注。

```mermaid flowchart TD accTitle: 智能体编排与可组合架构 accDescription: 展示编排智能体如何调度底层细粒度工具智能体并基于联邦数据平台运行

subgraph Orchestration["智能体协同与控制层"] OA["编排智能体 (Orchestrator Agent)"] Ontology["智能体本体与层级结构 (Ontology)"] OA --- Ontology end

subgraph UtilityLayer["细粒度执行单元"] UA1["专用智能体 A"] UA2["专用智能体 B"] UA3["工具型代理 (Utility Agents)"] end

subgraph DataInfra["联邦数据与可观测性平台"] Obs["Zipkin / 性能监控与延迟追踪"] FedData["跨多云/边缘的联邦数据访问"] end

OA --> UA1 OA --> UA2 OA --> UA3 UA1 & UA2 & UA3 --> DataInfra ```

- **链路延迟定位**:通过跨端追踪分析数据重定位对响应时间和云/边缘成本的影响。 - **智能体架构解构**:避免将简单的辅助型小工具夸大为独立的大型智能体。 - **渐进式试点策略**:不盲目推进大额押注,而是利用编排器(Orchestrator)在各部门验证小规模可复用能力。

---

[12:02](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=722s) 企业 AI 素养普及与自由创新和标准化的博弈

推广智能体不能脱离底层基本功的建设,而推动管理层与业务部门理解这一逻辑的前提是全员 AI 素养的提升。有企业在去年年底意识到自身在基础能力上的短板,果断对组织架构进行了重组与重置,以匹配行业技术的演进节奏。为了让认知渗透到业务各层级,企业在不同的技术栈与业务部门中设立了“布道者”(champions),由他们结合专业业务场景推动认知升级。实际推行中,基础 AI 素养培训的紧迫性远超预期,甚至需要从最基础的认知纠偏做起——向同事解释清楚“ChatGPT 并不是一个美化版的 Google 搜索引擎”。所幸自上而下的推动获得了高管层的全力支持,管理层明确要求加速行动,为基层探索提供了空间。

在鼓励提速的过程中,企业面临着速度、实验与标准化之间的艰难平衡。当团队全速向前奔跑时,管理层必须决定给予各组多少自由试错的“游乐场”(playgrounds),以及何时收拢建立统一平台。过度发散会导致“同一件事用二十种不同方式去做”,而过早限制又会压制创新。尤其是在涉及数据副本管理(copy data management)、安全审计、红蓝军对抗(red teams and blue teams)等合规要求时,必须在受控沙盒中推进,在智能体走向规模化之前先把运营、治理与运行机制彻底厘清。

---

[15:08](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=908s) 试错实践:“伤疤”作为内部能力与企业三大落地场景

谈及在试错过程中留下的“伤疤”(scar tissues),企业将其视为转化为组织核心肌肉记忆的必经之路。以 Cox Automotive 为例,其智能体落地实践清晰地划分为三大类场景:

1. **赋能自身研发**:重塑软件开发本身的流程与工程效率。 2. **赋能内部业务与现场人员**:服务线下拍卖场的工作人员或现场技术员,帮助他们处理日常文书工作、优化繁琐的物理操作工作流。 3. **面向客户的外部商业产品**:打造基于智能体的商业化解决方案推向市场。

企业目前的核心打法是将前两个内部场景中踩坑积累的经验,反哺并简化第三类面向外部客户的产品交付。在多云及混合云(multicloud hybrid cloud)环境中,跨生态调度数据常常会踩坑——例如曾因配置不当在昂贵的数据管道上输送了过量数据而产生巨额账单。但正因为这些错误是在内部流程中发生的,风险被严格隔离在企业内部,未外溢给客户。在知识管理(knowledge management)等直面客户的应用上,即使初次架构设计出现偏差,团队也能迅速重构,把内部沉淀的“伤疤”转化为自信的架构认知,更安全地为最终用户释放价值。

| 智能体应用维度 | 目标受众与典型任务 | 关键策略与价值闭环 | |:--- |:--- |:--- | | **自身研发流程** | 内部开发与工程团队,重构代码构建与系统交付流程 | 率先试错,摸清多云网络与计算开销边界 | | **内部现场业务** | 拍卖场工作人员、现场技术员,辅助文档归档与日常工作流优化 | 降低重复性文书负担,验证沙盒安全与数据管控 | | **外部商业产品** | 企业外部最终客户,交付融合企业上下文的智能体服务 | 继承内部沉淀的最佳实践,避免客户面临架构与成本风险 |

[19:05](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1145s) 上下文工程与 Agent 时代的安全与数据暴露隐患

Tim McIntire 探讨了“企业上下文引擎”(Enterprise Context Engine)的构想——它作为一个运行在平台底层的 Agent 工作流,不断将企业私有数据转化为上下文,无缝供给由外部 LLM 驱动的上层应用。这种模式超越了早期的提示词工程(Prompt Engineering)、传统 RAG 或手工上下文工程,让 Agent 自动化管理数据注入过程。

主持人 Geeta Pyne 迅速提议稍后对“上下文工程”进行深入展开。随后,Samuel Newnam 谈及企业在落地 Agent 时面临的现实创伤(Scars)。他指出,“数据”与“数据泄露”往往形影不离。许多企业客户最深层的恐惧在于:一旦启用自主 Agent,究竟应该赋予它们多大的权限?Agent 本身构成了全新的攻击向量。尤其是像模型上下文协议(MCP)这样新兴的协议与服务平台,虽然赋予了模型强大的外部工具调用能力,但整个行业在安全标准制定上仍处于起步阶段。在 GPU 高速吞吐通信的同时,企业如何确保两个互联系统不会凭空创建敏感数据,或是越权访问原本受限的企业资产?这使得 Agent 的权限边界设定、自主自由度控制以及可观测性(Observability)成为了当下最棘手的核心议题。

```mermaid flowchart TD accTitle: Enterprise Agent Security and Context Engine Architecture subgraph EnterpriseContext["企业上下文引擎 (Enterprise Context Engine)"] Data["企业私有数据 (Enterprise Data)"] --> AgenticContext["Agent 上下文工作流"] end

subgraph SecurityGate["安全与治理边界 (Security & Observability)"] AgenticContext --> AuthCheck{"权限与合规检查\n(MCP / 访问控制)"} AuthCheck -- 授权通过 --> SafeContext["结构化安全上下文"] AuthCheck -- 违规阻断 --> Log["安全日志与可观测审计"] end

SafeContext --> LLMApp["外部 LLM 驱动的应用"] ```

---

[21:05](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1265s) 规模化(Scaling)的真正含义:基础设施选型、成本与 ROI

面对“如何在企业中实现 Agent 规模化扩展”的问题,嘉宾们从基础设施与经济模型两个维度展开了解剖:

* **底层基础设施的架构抉择**:Samuel Newnam 认为企业当前正处于关键十字路口。过去存放在传统 NAS 存储上的非结构化数据在性能上已无法满足 AI 需求。企业高管在技术选型上面临“规模化瘫痪”(Scale Paralyzed):是选择开箱即用的闭源一体化系统,还是自行拼装开源组件?算力究竟部署在边缘端、公有云,还是去各种 Neo-Cloud 争夺 GPU 算力时长?他强调,尽管算力正在逐渐商品化(Commodity),但底层数据与存储平台依然是决定 Agent 能否在 2026 年、2027 年乃至 2028 年持续扩展的真正基石。 * **性价比与 ROI 的核心约束**:Tim McIntire 补充道,尽管业界对大规模数据管理已相对熟练,但当前 AI 与 Agent 规模化扩展的核心难点始终围绕着“性价比”(Price Performance)与“投资回报率”(ROI)。企业必须为具体场景匹配最合适、最具成本效益的模型,否则 Agent 工作流消耗的推理成本将迅速吞噬业务产出的价值。

---

[22:48](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1368s) 横向扩展 vs 纵向渗透:Agent 架构的拓扑与伦理中枢

Matthew Shorts 提出了思考 Agent 规模化的两个核心维度:横向扩展(引入更多不同功能的 Agent)与纵向深化(将单一通用 Agent/母 Agent 深度渗透至整个组织的各个业务环节)。如果一个具备编排能力的“母 Agent”(Mother Agent)能够跨部门创造稳定价值,企业应当集中资源最大化压榨该 Agent 的 ROI,而不是盲目在系统里堆积数百个各自为政的细分 Agent。

Jodi Blomberg 赞同这一观点,并引用了零售巨头沃尔玛(Walmart)的案例:沃尔玛在尝试了大量分散 Agent 后,选择收缩并聚焦于少数核心超级 Agent(如客服 Agent、销售 Agent)。Jodi 提出,与其争论是搞“母 Agent”还是细分 Agent,企业更需要一个“共享伦理/价值观 Agent”(Shared Ethics Agent)。无论底层的 Agent 工作流如何编排,都必须统一运行在企业既定的伦理红线与核心价值观约束之下。

Geeta Pyne 则从软件工程视角总结了 Agent 的分类体系: 1. **业务领域 Agent**:按照企业的业务域或功能分类法(Capability Taxonomy)划分,天然继承对应领域的数据权限与访问控制。 2. **技术与治理 Agent**:常驻运行的底层治理节点,专门负责可观测性(Observability)、审计、伦理校验和权力制衡,确保系统“不仅具备做某件事的技术能力,更符合做这件事的合规标准”。

---

[26:06](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1566s) 从系统到组织:人机协同与以人为本的组织转型

当讨论转向“企业如何在 Agent 落地过程中赋能员工”时,专家们一致驳斥了“完全取代人类”的激进论调:

* **人机协同(Human-in-the-Loop)**:Tim McIntire 指出,在超过 90% 的企业业务流中,Agent 的目标绝不是踢开人类,而是通过提供更全面、精准的上下文信息,让员工更高效地做出决策。 * **剔除易错与重复劳动**:Matthew Shorts 进一步校准了这一逻辑:Agent 的真正使命是剥除人类在流程中引入的失误和错误。将员工从枯燥、重复且容易出错的任务中彻底解放出来,使他们能够将精力投入到更具创新性、更高价值的业务创造中,这也能极大提升员工对工作的热情与成就感。 * **全员转型与现场痛点自动化**:Jodi Blomberg 分享了 Cox Automotive 的现场调研经历——团队直接跟车陪同外勤一线人员,当面询问“你日常工作中最讨厌哪一部分?”,而那一部分往往就是技术团队最优先通过 Agent 实现自动化的痛点。她援引公司首席产品官(CPO)的话指出,Agent 落地绝非单纯的技术上线,而是一场“全公司的组织级转型”(Whole-Company Transformation),无法仅靠几场简单的内部午餐分享会(Brown Bag Session)轻松过关,必须从高层战略到底层执行双向推进。

[28:14](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1694s) 成本压力与劳动力替代:AI 是“助手”而非“替代者”

主持人抛出了一个尖锐的话题,直指来自董事会或 CEO 的实际压力:企业在部署智能体(Agent)时,究竟追求多大幅度的成本节约?这是否意味着直接缩减员工编制(FTE)?针对这一“触碰烫手山芋”的问题,Jodi Blomberg 率先作答。她透露,其所在团队设立的 AI 加速器在今年前六个月内就构建了 27 个概念验证(PoC),并挖掘出了约 2000 万美元的效率提升空间。但她明确指出,这些降本增效目前主要来自于削减外部供应商开支,而非解雇内部员工——例如取消外包内容生成的合同,或是停用负责手动读取 PDF 的离岸外包公司。先从这些低摩擦、低压力的外部环节切入,不仅能直接增厚企业利润,还能保护内部员工的积极性,为团队去开发真正能商业化收费的创新产品争取空间。

随后其他嘉宾补充指出,AI 智能体为企业带来了一种全新的“专业能力引入”模式。过去企业若缺乏某种高度垂直的专业技能,通常只能通过高薪雇佣全职员工或采购昂贵的第三方专业服务来弥补;而现在,企业可以通过智能体直接赋能现有员工,为其配备此前不具备的技能,从而在不增加编制、不裁撤团队的前提下实现业务能力的跃升。这种模式直接冲击的是第三方外包合同,实现了“把节省下来的每一分钱重新投回产品创新”的良性循环。

- **AI 加速器成效**:半年内构建 27 个 PoC,识别出约 2000 万美元的效率优化空间。 - **降本首选目标**:优先替代离岸 PDF 处理和外部内容生成等第三方外包合同。 - **组织能力重塑**:通过 AI 智能体直接补充内部员工技能盲区,无需扩充编制即可引入垂直专业能力。

---

[30:27](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1827s) 研发预算、快速试错与人机协同的心理机制

Samuel Newnam 探讨了企业在引入智能体工作流时的预算架构与心理预期。他强调,管理层必须意识到 AI 领域的研发(R&D)依然遵循严谨的科学探索规律,不能因为一切都在云端和算法模型中运行,就忽视了试错所需的时间与资金成本。企业一方面需要设立专属的探索预算,另一方面也必须建立严格的投资回报率(ROI)评估机制,确保团队能够“快速试错”(Fail Fast),而不是无休止地进行无效实验。

在人机交互层面,Samuel Newnam 幽默地调侃道:“下次跳槽谈判时,我要求的福利可能不是配一个行政助理,而是配一个专属 AI 智能体。”他指出,从零售、娱乐到企业日常运营,数字化身(Digital Human)与数字伴侣正在重构人机交互形态。这种变革带给员工的不仅是效率数字,更是心理上的“安全感”与“确定性”——通过 AI 的实时校验与辅助,员工可以消除工作中犯错的恐惧,提升交付质量与职业成就感,这种心态维度的价值往往是传统财务报表无法直接量化的。

```mermaid flowchart TD accTitle: 智能体企业部署与价值闭环 subgraph Budget["研发与试错机制"] A["设立专属探索预算"] --> B["快速试错 (Fail Fast) 机制"] B --> C["ROI 与效率评估"] end subgraph Execution["智能体落地场景"] C --> D["削减第三方外包服务"] C --> E["赋能内部员工专业技能"] end subgraph Impact["双重业务价值"] D --> F["直接节约资金回流创新"] E --> G["提升员工交付质量与心理安全感"] end ```

---

[31:49](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1909s) 智能体规模化面临的架构趋势:端侧小模型、互操作标准与混合部署

当谈到支撑智能体大规模落地必须发生的技术创新时,嘉宾们提到了几个核心技术风向。首先是部署在边缘端的**小型语言模型(SLM)**,因其轻量、低延迟和响应迅速而备受关注;其次是**互操作性标准**的普及,业内正在摆脱过去打补丁式的割裂连接方式,积极拥抱如模型上下文协议(Model Context Protocol, MCP)以及 Google 相关的互联规范,以构建开放协同的智能体生态。

在算力与基础设施层面,**混合部署(Hybrid Deployment)**由于兼顾了极致的性价比与数据隐私要求,正从曾经复杂的“科研玩具”演进为可落地的企业级架构。企业既可以选择在本地数据中心构建全栈架构(例如依托 NVIDIA Dell AI 工厂及 NIM 微服务栈紧邻企业数据仓库运行),也可以采用“本地数据 + 云端向量化/算力”的分离架构。然而,混合部署的最大瓶颈不仅在于获取充足的 GPU 硬件配额,更在于**本地软件管理栈(Management Stack)**的运维复杂度——如果无法高效管理本地部署的软件堆栈,其性价比优势很快会被高昂的运维成本吞噬。

与算力并行的是**数据管理(Data Management)**的全面复兴。随着智能体以远超人类打字数百万倍的算力吞吐数据,过去被长期堆在 SharePoint 角落、版本混乱的“冷数据”必须被重新清洗与治理。预计到 2027 年全球将产生高达 300 ZB 的海量数据,如何在如此庞大的数据洪流中厘清数据资产价值并建立严格的访问与调度机制,是实现智能体规模化扩展的决定性前提。

- **端侧 SLM 与开放互联**:边缘小模型配合 MCP 等互操作标准,打破应用间的数据孤岛。 - **混合部署范式**: - *全本地部署*:本地数据仓库配合 NVIDIA NIM 软件栈与 AI 工厂硬件。 - *拆分架构*:核心敏感数据留存本地,向量化与模型推理算力上云。 - **数据治理新挑战**:从传统的“数据堆砌”转向智能体级的高频检索治理,应对 2027 年 300 Zettabytes 级别的全球数据规模。

---

[35:27](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=2127s) 现场问答:穿透行业炒作与获取一手真实信息

在现场提问环节,一位自称“极度怀疑论者”的观众提问:在充满营销夸大与夸张宣传的 AI 行业中,专家们究竟通过哪些渠道获取客观真实的信息,如何保持对技术落地可行性、成本与能耗的独立思考?

Samuel Newnam 分享道,获取第一手真相的最有效途径其实非常朴素——就是与一线客户保持高频的直接沟通。他在每天密集的 Zoom 会议中倾听各类企业对智能体的不同定义、实际遇到的数据脏乱差问题与落地挫折;此外,开源社区交流、行业展台面对面讨论以及同行间的非公开交流,都远比那些由赞助商包装的播客或商业广告更加真实客观。当主持人打趣追问“你们现在还给 Gartner 付费买咨询报告吗”时,嘉宾笑着坦承行业内依然存在这种“付费参与”的商业机制,但真正有价值的技术认知早已来自于开源生态、一线实践以及智能体辅助的高效信息挖掘之中。

[37:04](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=2224s) 穿透营销迷雾:通过 AI 搜索与密集 Demo 保持技术敏锐度

在探讨如何紧跟日新月异的 AI 趋势时,嘉宾们分享了各自获取前沿信息与进行竞品调研的实用方法。利用像 Perplexity 这样的 AI 检索工具,可以直接对各类产品进行深入的竞品分析(Competitive Analysis),从而看清底层技术与真实能力的本质。这种方式能让技术团队快速看透厂商包装出来的营销话术,暴露出产品真正具备的“真实性”(Authenticity),让浮夸的宣传无所遁形。除了依赖 AI 搜索工具,多与行业内的人交流也是不可替代的信息源,例如收听《AI Daily》等行业知名播客以获取灵感。

与生态伙伴的实际交流和产品演示(Demo)同样是把握技术脉搏的关键。有嘉宾坦言自己的团队其实“苦不堪言”,因为他非常热衷于引入潜在合作伙伴安排产品 Demo。团队成员常常抱怨并翻白眼说:“我们已经有这个功能了,或者我们已经做了类似的东西。”但他总是坚持认为,外部伙伴可能在某些独特的维度上提出了团队从未考虑过的解法。除了积极约见合作伙伴看 Demo 之外,订阅《The Rundown》等行业快讯也是极好的习惯,它每天提供精炼的信息切片,让技术管理者在早上 9 点就能迅速补齐前一天傍晚到夜间数小时内 AI 领域发生的最新突发动态。

- **调研与检索工具**:借助 Perplexity 等新型 AI 检索产品直接透视竞品实力,剥离表层营销宣传。 - **Demo 驱动洞察**:顶住内部团队“已有类似方案”的吐槽,通过高频观看合作伙伴的产品演示挖掘盲区创新。 - **资讯追踪渠道**:日常收听《AI Daily》播客,并利用《The Rundown》晨间简报快速掌握过去数小时的行业突变。

---

[38:14](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=2294s) 过滤行业噪音:硬核白皮书、精选 Newsletter 与“场外求助”同行验证

针对更深层次的技术吸收,嘉宾们展现了不同的学习路径。有嘉宾给自己设定了“每周硬核阅读一篇技术白皮书(White Paper)”的挑战,并幽默地表示自己就是纯粹“喜欢里面的数学推导部分”。这一硬核习惯立即引发了现场其他嘉宾的打趣与调侃:“居然真有人读那些白皮书啊?”引来会心一笑的回应:“对,我们当中的一部分人确实会读,不过在一堆论文里挑选具体读哪一篇其实相当困难。”

```mermaid flowchart TD accTitle: 跟踪 AI 前沿与去伪存真的信息流架构 subgraph S1["信息输入源 (Information Sources)"] A["学术白皮书与数学论文<br/>(Weekly White Papers)"] B["每日行业快讯<br/>(The Rundown / The Turing Post)"] C["生态 Demo 与 AI 检索<br/>(Perplexity / Partner Demos)"] end

subgraph S2["辨别与过滤 (Filter & Triage)"] D["梳理事实脉络<br/>(Piece together what is true)"] end

subgraph S3["同行交叉验证 (Peer Validation)"] E["'求助场外好友' 机制<br/>(Phone a Friend)"] F["同行技术质询与去噪<br/>('Hey, that doesn't seem true')"] end

A --> D B --> D C --> D D --> E E --> F ```

除了深啃白皮书,日常收件箱里订阅的高质量通讯(如《The Turing Post》等 AI Newsletter)也是构建全局认知的重要拼图。面对铺天盖地真假难辨的技术炒作与突破新闻,嘉宾总结出了一套“拼图辨真伪”的务实策略:先通过每日快讯碎片拼凑出整体脉络,遇到存疑或看似不合理的技术宣称时,直接启动“场外求助热线(Phone a friend)”,向行业同行与专家好友发消息求证:“嘿,这说法看起来不太靠谱,你觉得呢?”通过紧密的同行网络完成最后一步的去伪存真。

## Notable quotes > [03:55](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=235s) 如果你声称自己已经完全掌握了如何从成本和基础设施两个维度来规模化 Agent,那你可能多少有点‘自欺欺人’。 — Jodi Blomberg

> [06:44](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=404s) 真正意义上的 Agentic 工作流必须具备三大核心特征:主要运行方式是自主的、执行过程是持续或近乎持续的,并且能够在无需人类实时介入的情况下提供计算智能。 — Tim McIntire

> [12:02](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=722s) ChatGPT 并不是一个美化版的 Google 搜索引擎。

> [19:05](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1145s) 数据与数据泄露往往形影不离。 — Samuel Newnam

> [22:48](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1368s) 与其争论是搞‘母 Agent’还是细分 Agent,企业更需要一个‘共享伦理/价值观 Agent’。无论底层的 Agent 工作流如何编排,都必须统一运行在企业既定的伦理红线与核心价值观约束之下。 — Jodi Blomberg

> [26:06](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1566s) 在超过 90% 的企业业务流中,Agent 的目标绝不是踢开人类,而是通过提供更全面、精准的上下文信息,让员工更高效地做出决策。 — Tim McIntire

> [26:06](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1566s) Agent 的真正使命是剥除人类在流程中引入的失误和错误。将员工从枯燥、重复且容易出错的任务中彻底解放出来。 — Matthew Shorts

> [26:06](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1566s) Agent 落地绝非单纯的技术上线,而是一场‘全公司的组织级转型’,无法仅靠几场简单的内部午餐分享会轻松过关。 — Jodi Blomberg

> [30:27](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1827s) 下次跳槽谈判时,我要求的福利可能不是配一个行政助理,而是配一个专属 AI 智能体。 — Samuel Newnam

> [38:14](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=2294s) 嘿,这说法看起来不太靠谱,你觉得呢? — Samuel Newnam

## Mentioned Geeta Pyne, Jodi Blomberg, Matthew Shorts, Tim McIntire, Samuel Newnam, TIAA, Cox Automotive, Cox Communications, Hyland Software, Hammerspace, Waste Management, Charles Schwab, Teradata, Scripps Oceanography, Walmart, NVIDIA, Dell, Gartner, Google, Perplexity, ChatGPT, Zipkin, Model Context Protocol (MCP), NVIDIA NIM, SharePoint, AI Daily, The Rundown, The Turing Post

## Video description Samuel Newnam, Sr. Director of AI Solutions, Hammerspace Jodi Blomberg, VP, AI and Machine Learning, Cox Automotive Tim McIntire, EVP, Chief Technology Officer, Hyland Matthew Shorts, AVP, AI, IT Operations, and Public and Private Cloud, Cox Communications Geeta Pyne, Senior Managing Director and Chief Architect, TIAA

Abstracts

AI agents have rapidly evolved from experimental tools to transformative forces capable of delivering significant business value across enterprise functions. This panel will explore the critical infrastructure components—hardware, software, and human resources—that companies must deploy to effectively scale AI agents throughout their operations. Panelists will discuss essential digital tools and platforms that enable seamless agent integration, management, and optimization within complex enterprise ecosystems. Topics will include data requirements, compute resource allocation, and strategies for maintaining robust performance as agent complexity increases. Attendees will gain insights into best practices for building scalable, efficient, and adaptable AI infrastructures designed to unlock the full potential of enterprise-wide agent deployments.

[Source](https://www.youtube.com/watch?v=ORk6e_H9FWo)

中文简报

Cox与Hyland高管警告:Token成本威胁企业AI规模化 除非企业解决数据碎片化问题并优先针对昂贵的外部合同,否则自主企业智能体的运营成本可能超过其创造的价值。 与会嘉宾抛开行业炒作,审视了部署智能体系统的现实情况,强调未加管制的Token支出和复杂的工具编排极易导致智能体的运营成本高于其创造的价值。实现有效规模化需要稳固的非结构化数据架构、统一的全局命名空间以及可组合的层级结构,而非孤立的“母体智能体”或无序蔓延的单点解决方案。讨论指出,企业成功落地的关键在于规范的沙箱机制、本地与边缘混合架构,以及侧重于自动化外部承包商任务和赋能员工而非裁减人员的组织变革管理。 单体经济效益与 Token 治理是企业扩展智能体系统的主要瓶颈,失控的自主推理和多步骤工具调用极易导致运行成本超出其创造的业务价值。 (4:00) 企业智能体的核心痛点并非基础模型推理,而在于跨传统遗留系统对高度分散且庞大的非结构化数据进行受控的联邦式编排访问。 (6:12) 随着计算机间自主通信架构普及,建立统一的全局数据命名空间成为打破算力、电力和存储壁垒、规避数据孤岛的关键基础设施要求。 (8:26) 企业应当摒弃片面追求智能体数量的虚荣指标,转向构建模块化、层次化的可组合本体架构,由中央编排智能体统一协调各细分功能子智能体。 (10:41) 在商业化落地与投资回报方面,企业优先通过构建概念验证(POC)智能体取代外部外包合同与高成本第三方供应商,以实现立竿见影的降本增效并将资金反哺于自主研发。 (28:14)

精炼阅读摘要

企业在规模化落地自主智能体(Agent)系统时,正从概念炒作转向对单位经济学与底层基础设施的务实审视;专家指出,规模化瓶颈不在于基础模型推理,而在于非结构化数据访问治理、网络与算力重力平衡,以及通过替代外部采购合同而非内部裁员来验证真实的投资回报率。 规模化现实与单位经济学考量 (4:00) Cox Automotive 人工智能与机器学习副总裁 Jodi Blomberg 认为,当前业界关于大规模跨部门“智能体网络”已成熟落地的说法言过其实。由于自主工具执行和多步推理过程具备高度不确定性,企业极易构建出一个运行成本远超产出收益的智能体系统。Blomberg 强调,当前行业仍处于动态摸索阶段,企业应采取务实策略:在前期探索阶段容忍较高的 Token 消耗以验证可行性,随后必须运用传统机器学习的严谨工程标准,将经验提炼为确定性的复用架构,并实施严格的成本优化与 Token 管控。 Cox Communications 的 Matthew Shorts 亦对虚荣指标提出预警。他指出,许多组织宣称部署了上百个智能体,实质上往往只是约 10 个核心任务智能体配合数十个小型实用子程序。为避免在碎片化的厂商市场中被套牢,企业不应押注单一的通用“母体智能体”,而应建立清晰的分层本体架构,通过中央协调型智能体管理具备明确职责与边界的微型子智能体,在小规模、低风险业务场景中逐步沉淀可扩展的标准单元。 破解非结构化数据重力与访问瓶颈 (8:26) Hyland Software 首席技术官 Tim McIntire 表示,企业中约 80% 的信息属于文档和富媒体等非结构化数据。企业级智能体面临的关键卡点并非算法调用,而是如何在海量且分散的遗留记录系统中,建立起受控、合规的联邦数据访问机制。面对全球数据总量预计在 2027 年达到 300 ZB 的增长态势,智能体以数百万 FLOPs 的速度高速吞吐信息,若企业未能事先梳理杂乱无章的遗留数据孤岛,数据资产将反向演化为巨大的运行风险。 针对算力分散和数据迁移难题,Hammerspace 的 AI 解决方案高级总监 Sam Newnam 提出通过“全局命名空间”(Global Namespace)打通本地文件存储、云端对象存储与边缘环境。该架构向智能体提供跨地理位置与云厂商的一致访问层和安全边界,规避数据重力约束。此外,团队强调端到端遥测的重要性,主张利用 Zipkin 追踪及 mdtest 元数据性能基准等工具排查 RAG 和跨节点协作中的网络延迟,以便在边缘低延迟处理与可扩展云存储之间做出理性的成本与架构权衡。 架构治理、沙箱隔离与监督机制 (19:05) 智能体获得系统操作权限后,机器间的毫秒级交互使企业安全和数据外泄防护面临全新挑战。虽然 Model Context Protocol(MCP)等协议推动了跨服务工具调用,但全行业范围内的权威治理标准尚未确立。为了防范未经授权的数据通路与失控调用,专家组一致主张在生产推广前设置严密的隔离“沙箱玩场”(Playgrounds),针对数据副本复制管理、细粒度权限和红蓝对抗测试建立刚性护栏。 在架构分层方面,Jodi Blomberg 提出引入组织级“共享伦理智能体”或“价值观智能体”构想,将其作为贯穿全局的治理层,持续评估子智能体行为是否符合企业合规原则。企业软件架构必须依照业务领域划分能力分类学(Taxonomy),同时在后台长期部署专门的技术与监管智能体,负责审计、可观测性与访问阻断,落实“具备执行能力并不代表应当执行”的安全底线。 替代外部合同与人机协同组织变革 (28:14) 针对董事会与管理层对劳动力成本削减的关注,专家组指出,AI 加速器的重心主要在于锁定速赢的运营效率,而非直接削减内部员工编制。企业最有效的切入点是通过概念验证(POC)替代昂贵的外部供应商合同,例如第三方面向营销的内容生成机构,或是专门负责 PDF 录入与数据提取的离岸业务流程外包(BPO)团队。以某企业为例,其在半年内通过 27 个 POC 锁定了约 2000 万美元的运营效率收益,并将节省资金重新注回核心技术与产品研发。 在组织协同上,与会者指出超过 90% 的生产流程仍然必须保持人机协同(Human-in-the-loop),智能体的核心价值是剥离重复繁琐的人工差错,释放员工处理高价值创新业务。企业推行 AI 无法仅靠浅层的非正式分享会,而需要深入一线——例如安排技术团队跟访现场汽修车队以摸清底层痛点——并通过在各职能部门嵌入专职推广代表,打破将生成式 AI 视作“高级版 Google”的认知局限,建立自上而下推动与自下而上理解相结合的转型路径。 边缘小模型与混合云部署范式 (31:49) 智能体底层技术栈正从完全依赖中心化云端大型 LLM,向轻量化、分布式的混合架构过渡。面板指出,本地边缘硬件部署的小语言模型(SLM)因响应迅速、成本低廉且具备高确定性,正成为处理端点任务的关键方案。同时,行业正从非标准的临时胶水代码逐步迈向以 MCP 和 Google A2A 为代表的互操作协议规范。 在数据主权与云出口成本(Egress)的双重约束下,企业正转向将敏感核心资产保留在私有数据仓库,并利用如 Dell AI Factory 搭配 NVIDIA NIM 微服务在本地进行计算的模式;非敏感数据则通过向量化嵌入(Embeddings)同步至公共云进行弹性扩展。研讨强调,混合架构中决定性价比与吞吐瓶颈的决定性要素,已不再是底层基础大模型本身,而是企业级的管理软件调度层与 GPU 资源分配逻辑。 当前企业智能体规模化仍面临非结构化数据散乱、端到端可观测性缺失以及行业安全治理标准缺位等现实瓶颈。尽管通过削减外部外包开销为企业指明了清晰的前期投资回报路径,但如何在保持人机协同安全边界的同时,平衡多智能体交互引发的算力成本与网络开销,依然是多云环境下长期部署的未决难题。

Detailed notes — zh

## Background 该内容由 YouTube 频道 Ai4 于 2025 年 8 月 24 日发布。视频记录了一场关于企业级 AI Agent 规模化基础设施的圆桌讨论,汇聚了来自 TIAA、Cox Automotive、Cox Communications、Hyland 和 Hammerspace 的多位技术高管,共同探讨支撑智能体在企业中落地所需的数据架构、算力配置、治理与管理挑战。 ## TL;DR 圆桌嘉宾围绕企业部署 AI Agent 的现实挑战展开深入探讨,指出单纯追求智能体数量往往陷入经济账无法跑通和炒作夸大的陷阱。专家们强调,Agent 规模化的核心壁垒不在于模型本身,而在于解决非结构化数据治理、构建跨区域的全局命名空间与联邦数据访问平台,并建立端到端可观测性与权限安全红线。在落地策略上,企业应倡导人机协同并优先解决内部员工与现场高频痛点,通过削减第三方外包服务快速释放 ROI,同时积极拥抱端侧小模型、模型上下文协议(MCP)及混合部署等前沿架构趋势。 ## Atmosphere & style 讨论开场伴随着轻松诙谐的趣事破冰,随后迅速切换为硬核、务实且充满审慎怀疑的技术交锋。嘉宾们毫不避讳地戳破行业营销泡沫,坦率直言“自欺欺人”与“踩坑留下的伤疤”,展现出一线技术管理者在面对巨额 Token 成本与数据混乱时的清醒与韧性。整场对话既有对底层基础设施演进的深度洞察,又洋溢着同行之间相互打趣与求真求实的极客共鸣,为观众呈现了一场褪去浮华、直面落地痛点的实战思辨。 ## Key takeaways - [03:55](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=235s) 企业在智能体规模化部署上面临严峻的经济账挑战,很多大规模落地宣称并不现实,当前应采取‘战略下注’与小步验证策略,在探索出可行闭环后回归传统机器学习的标准化打法控制 Token 成本。 - [06:44](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=404s) 真正的 Agentic 工作流具备自主性、持续运行与免人工介入的计算智能三大特征;构建企业级平台的核心壁垒在于非结构化数据管理与多记录系统的联邦安全访问。 - [08:28](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=508s) 机器对机器(M2M)交互使权限审计与可观测性更为复杂,企业需构建跨云和地理位置的‘全局命名空间’,并在基础设施层部署自主 Agent 优化网络与数据延迟。 - [10:04](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=604s) 避免将细小工具夸大为独立 Agent,应基于本体(Ontology)构建可组合架构,依靠编排智能体(Orchestrator)跨部门调度微型用例与复用组件。 - [12:02](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=722s) 推广智能体需普及全员 AI 素养并设立业务布道者,在给予团队自由探索沙盒的同时建立安全合规治理,平衡创新速度与架构标准化。 - [15:08](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=908s) 落地实践采取三步走策略:率先在自身研发流程与内部现场业务中试错踩坑,将沉淀的‘伤疤’与架构经验反哺并简化外部商业产品的安全交付。 - [19:05](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1145s) 上下文工程正演变为自动化企业引擎,但模型上下文协议(MCP)等工具调用标准在安全方面尚在早期,必须严格把控自主 Agent 的权限边界与数据泄露隐患。 - [21:05](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1265s) 规模化扩展的关键约束是性价比(Price Performance)与投资回报率(ROI),算力虽逐渐商品化,但底层数据与存储基础设施仍是长期扩展的决定性基石。 - [22:48](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1368s) 与其盲目堆砌数百个分散 Agent,不如聚焦少数核心超级 Agent,并设立统领红线的‘共享伦理 Agent’及专职负责审计与权力制衡的治理 Agent。 - [26:06](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1566s) 智能体的终极定位是人机协同(Human-in-the-Loop),其使命不是直接取代人类,而是剥除易错与重复劳动,赋能一线员工并推动全公司的组织级转型。 - [28:14](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1694s) 企业降本增效优先从削减离岸处理和外部生成等第三方外包合同切入,通过 AI 智能体直接补齐内部员工技能盲区,把节省资金回流产品创新。 - [31:49](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1909s) 端侧小模型(SLM)与开放互操作标准正加速普及;混合部署虽兼顾隐私与成本,但高度依赖本地软件管理运维栈,同时需要全面复兴对海量冷数据的治理能力。 - [35:27](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=2127s) 穿透行业营销迷雾需要结合一线客户沟通、开源社区交流、AI 竞品检索工具以及高频生态产品 Demo,并通过紧密的同行专家网络进行交叉验证去噪。 ## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=4s) 嘉宾介绍与破冰趣事 圆桌讨论在轻松幽默的氛围中拉开序幕。主持人兼 TIAA(美国教师退休基金会)高级常务董事兼首席架构师 Geeta Pyne 首先作自我介绍。她指出 TIAA 是一家拥有百年历史、致力于保障美国人养老与财富管理的机构。Geeta 调侃称自己虽然头衔是首席架构师,但实际上更像是一个“首席洗瓶工(Chief Bottle Washer)”或“保洁员”,职责就是在架构、工程与数据层面收拾烂摊子、理清头绪。在邀请各位嘉宾介绍自己的同时,她提出了一个破冰要求:每人必须分享一件关于自己的趣事。 Cox Automotive 人工智能与机器学习副总裁 Jodi Blomberg 率先接话。她介绍 Cox Automotive 涵盖软件业务以及汽车拍卖、技师维修等技术驱动型服务;自己此前曾就职于 Waste Management 和 Charles Schwab,单纯出于对各类行业 AI 应用的热爱。谈及趣事时,Jodi 幽默地陷入自我纠结,表示自己本来觉得自己挺搞笑的,但临场却想不出段子,被 Geeta 调侃这就像“棕色的狗就是一只棕色的狗”一样无厘头。随后,Cox Communications 负责 AI 基础设施与扩展、IT 运营及公私有云的副总裁助理 Matthew Shorts 作了介绍。他将趣事转化为冷知识,透露自己曾经尝试过“徒手抓鲶鱼(Noodling)”,引得现场观众纷纷准备掏出手机搜索。 紧接着,Hyland Software 首席技术官 Tim McIntire 进行了自我介绍。他拥有在 Teradata、斯克里普斯海洋研究所(Scripps Oceanography)、高性能计算及神经网络领域深耕数十年的资深数据背景,并提到拥有 30 年企业内容管理历史的 Hyland 正迎来巨大机遇;他分享的趣事则是自己今天特意穿了一双亮粉色鞋底的鞋子。最后,来自 Hammerspace 的 AI 解决方案高级总监 Samuel Newnam 介绍了自己 25 年来在存储、数据中心虚拟化及网络领域的背景,强调自己专注于将产品架构与 AI Agent、MCP(Model Context Protocol)服务紧密结合。他的趣事则是一个典型的“极客冷笑话”——他把所有老爹笑话(Dad jokes)都存在数据库里,以便需要时能以毫秒级速度检索调用。 - **Geeta Pyne**:TIAA 高级常务董事兼首席架构师,拥有 30 年跨行业架构与数据经验。 - **Jodi Blomberg**:Cox Automotive AI/ML 副总裁,专注汽车拍卖与维修等软件及技术赋能场景。 - **Matthew Shorts**:Cox Communications AI 基础设施、IT 运营与混合云副总裁助理。 - **Tim McIntire**:Hyland Software 首席技术官,深耕企业级非结构化数据与 HPC。 - **Samuel Newnam**:Hammerspace AI 解决方案高级总监,专注 AI 数据架构、Agent 与 MCP 服务集成。 --- ### [03:55](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=235s) Agent 规模化落地的现实:经济账与框架幻象 谈话切入正题后,Geeta 引述了当天上午主题演讲的内容,向嘉宾抛出核心问题:当前业界究竟是在构建什么形态的 Agent?从早期的概念验证(PoC)走向企业级规模化部署的过程中,基础设施和成本面临怎样的真实挑战? Jodi Blomberg 率先表达了审慎且务实的观点。她更倾向于使用“智能体系统(Agentic Systems)”而非孤立的单个“Agent”来描述当前的架构演进。Jodi 坦言,她对目前许多大型企业是否真正实现了超大规模的“智能体网络(Agentic Mesh)”持怀疑态度,因为企业背后的经济模型尚未跑通。构建一个智能体系统非常容易,但系统运行所消耗的 Token 成本极易超过其创造的商业价值。她直言:“如果你声称自己已经完全掌握了如何从成本和基础设施两个维度来规模化 Agent,那你可能多少有点‘自欺欺人(a little bit delusional)’。” 在 Jodi 看来,当前企业在智能体规模化层面的真实策略是“战略下注”。在探索正确答案的阶段,团队愿意多消耗一些 Token 来验证系统闭环;而一旦探索出可行路径,就会回归传统机器学习的打法——提炼出可复现的最佳模式,并将其固化与持续推广。 --- ### [06:44](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=404s) 重新定义 Agent 与 Hyland 的联邦数据基座 针对业内频繁将传统自动化脚本包装为 Agent 的现象,Geeta 提出应厘清“自动化”与“真正的 Agent/Agentic”之间的本质区别,并邀请 Tim McIntire 给出定义。 Tim 分享道,在近期参加的 AI 开发者大会上,4 小时的主题演讲光是定义 Agent 就耗费了整整 2 个小时。在他看来,真正意义上的 Agentic 工作流必须具备三大核心特征:主要运行方式是**自主的(Autonomous)**、执行过程是**持续或近乎持续的(Continuous / Near-continuously)**,并且能够在无需人类实时介入的情况下提供**计算智能(Compute Intelligence)**。 谈及 Hyland 在该领域的实践,Tim 指出,企业中 80% 的数据都是非结构化数据,而这正是 Hyland 深耕 30 年的内容管理核心领域。Hyland 近期推出了 Agent 构建框架(Agent Builder Framework)的测试版。他强调,构建企业级智能体平台最关键的壁垒并非模型本身,而在于如何以受控、可理解且合规的方式,跨多个记录系统(Systems of Record)实现对海量联邦数据(Federated Data)的安全访问。 ```mermaid flowchart TD accTitle: Enterprise Agentic System and Federated Data Architecture subgraph S1["底层数据层 (Enterprise Data Layer)"] D1["非结构化内容 (文档/元数据)"] D2["多个核心记录系统 (Systems of Record)"] D3["多源异构存储 (跨多云/本地)"] end subgraph S2["数据治理与联邦抽象 (Hyland Platform)"] F1["联邦数据访问与安全管控"] F2["统一上下文与元数据索引"] end subgraph S3["智能体工作流 (Agentic Framework)"] A1["Agent Builder Framework"] A2["自主与持续执行引擎"] A3["免人工介入的智能决策"] end D1 --> F1 D2 --> F1 D3 --> F1 F1 --> F2 F2 --> A1 A1 --> A2 A2 --> A3 ``` --- ### [08:28](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=508s) 数据混乱治理、全局命名空间与基础设施级 Agent 面对 Tim 提到的数据难题,Geeta 将话筒交给专注于数据架构的 Hammerspace 专家 Samuel Newnam,探讨底层存储与架构如何应对 Agent 带来的变革。 Sam 揭示了企业数据现状中普遍存在的“混沌状态”:数以 PB 计的数据散落在各个孤岛,拥有各自独立的认证与登录体系。以往,企业面临的挑战是一个 26 岁的数据科学家进门并索要系统全部权限的“上帝模式(God access)”,至少这背后还是一个具体的人,有可追踪的面孔和身份;但当演进至 Agent 时代,系统交互变成了“计算机与计算机直接对话”,权限审计、监控追踪以及全链路可观测性(Observability)变得空前复杂。 为了化解这一难题,Hammerspace 倡导通过构建“全局命名空间(Global Namespace)”来简化、自动化并加速数据流动。随着物理 AI(Physical AI)与多模态智能体的发展,计算不再局限于单一数据中心,而是受制于“GPU 引力”与“电力引力(Power Gravity)”。数据必须突破协议、供应商与地理位置的限制,为分布在各处的 Agent 提供统一、安全的访问端点。同时,Sam 透露 Hammerspace 也在践行“喝自己的香槟(Drinking our own champagne)”——率先将自主 Agent 部署到自身基础设施内部,用于实时监控、分析并优化智能体工作流中的端到端延迟。 - **数据权限与可观测性跃迁**:从人类用户的“上帝权限”管理转向机器与机器通信(M2M)的实时监控与细粒度追踪。 - **全局命名空间(Global Namespace)**:跨越不同地理区域、云厂商和底层存储协议,将分散的 PB 级数据整合为统一逻辑访问点。 - **算力引力迁移**:从传统的单体存储架构转向跟随 GPU 引力与电力引力分布的分布式数据基础设施。 - **基础设施内生智能**:优先在基础设施层引入 Agent,主动诊断与优化 Agentic 复杂链路中的网络及存储延迟。 ### [10:04](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=604s) 联邦数据平台的延迟监控与规模化现状的剖析 在讨论智能体工作流时,可观测性与底层数据平台的协同至关重要。企业需要通过 Zipkin 等链路追踪工具到各类元数据统计系统(MD stats),全面洞察智能体工作流中的每一个环节。这不仅能有效加速检索增强生成(RAG)和智能体任务的流转,更能精准定位系统延迟发生的具体节点。例如,当数据被重定位到不同区域、或是从边缘端迁移到云端时,系统能评估这对性能的潜在帮助以及随之而来的成本指标变化。通过这种联邦化的多系统互通方式,企业致力于构建一个真正支撑多样化负载的底层数据平台。 针对智能体规模化(Scaling Agents)的真实进展,嘉宾们直言不讳地指出了当前行业中的普遍误解。所谓的大规模落地往往被夸大,很多宣称“部署了 100 个智能体”的企业,拆解到底层其实只是十来个真正的核心智能体,下方挂载了大量细碎的基础工具代理(utility agents)。真正的破局点在于建立清晰的本体(ontology),将细粒度、可复用的架构组件组合成具备层级结构的集群能力,形成可组合的架构(composable architecture)。当前展厅中充斥着各类智能体构建平台,竞争异常碎片化,因此企业更倾向于依靠“编排智能体”(orchestrator agent,而非所谓“母体智能体”)跨领域调度协同,通过在全公司范围内解锁微型用例来摸索标准化路径,而非盲目进行大规模押注。 ```mermaid flowchart TD accTitle: 智能体编排与可组合架构 accDescription: 展示编排智能体如何调度底层细粒度工具智能体并基于联邦数据平台运行 subgraph Orchestration["智能体协同与控制层"] OA["编排智能体 (Orchestrator Agent)"] Ontology["智能体本体与层级结构 (Ontology)"] OA --- Ontology end subgraph UtilityLayer["细粒度执行单元"] UA1["专用智能体 A"] UA2["专用智能体 B"] UA3["工具型代理 (Utility Agents)"] end subgraph DataInfra["联邦数据与可观测性平台"] Obs["Zipkin / 性能监控与延迟追踪"] FedData["跨多云/边缘的联邦数据访问"] end OA --> UA1 OA --> UA2 OA --> UA3 UA1 & UA2 & UA3 --> DataInfra ``` - **链路延迟定位**:通过跨端追踪分析数据重定位对响应时间和云/边缘成本的影响。 - **智能体架构解构**:避免将简单的辅助型小工具夸大为独立的大型智能体。 - **渐进式试点策略**:不盲目推进大额押注,而是利用编排器(Orchestrator)在各部门验证小规模可复用能力。 --- ### [12:02](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=722s) 企业 AI 素养普及与自由创新和标准化的博弈 推广智能体不能脱离底层基本功的建设,而推动管理层与业务部门理解这一逻辑的前提是全员 AI 素养的提升。有企业在去年年底意识到自身在基础能力上的短板,果断对组织架构进行了重组与重置,以匹配行业技术的演进节奏。为了让认知渗透到业务各层级,企业在不同的技术栈与业务部门中设立了“布道者”(champions),由他们结合专业业务场景推动认知升级。实际推行中,基础 AI 素养培训的紧迫性远超预期,甚至需要从最基础的认知纠偏做起——向同事解释清楚“ChatGPT 并不是一个美化版的 Google 搜索引擎”。所幸自上而下的推动获得了高管层的全力支持,管理层明确要求加速行动,为基层探索提供了空间。 在鼓励提速的过程中,企业面临着速度、实验与标准化之间的艰难平衡。当团队全速向前奔跑时,管理层必须决定给予各组多少自由试错的“游乐场”(playgrounds),以及何时收拢建立统一平台。过度发散会导致“同一件事用二十种不同方式去做”,而过早限制又会压制创新。尤其是在涉及数据副本管理(copy data management)、安全审计、红蓝军对抗(red teams and blue teams)等合规要求时,必须在受控沙盒中推进,在智能体走向规模化之前先把运营、治理与运行机制彻底厘清。 --- ### [15:08](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=908s) 试错实践:“伤疤”作为内部能力与企业三大落地场景 谈及在试错过程中留下的“伤疤”(scar tissues),企业将其视为转化为组织核心肌肉记忆的必经之路。以 Cox Automotive 为例,其智能体落地实践清晰地划分为三大类场景: 1. **赋能自身研发**:重塑软件开发本身的流程与工程效率。 2. **赋能内部业务与现场人员**:服务线下拍卖场的工作人员或现场技术员,帮助他们处理日常文书工作、优化繁琐的物理操作工作流。 3. **面向客户的外部商业产品**:打造基于智能体的商业化解决方案推向市场。 企业目前的核心打法是将前两个内部场景中踩坑积累的经验,反哺并简化第三类面向外部客户的产品交付。在多云及混合云(multicloud hybrid cloud)环境中,跨生态调度数据常常会踩坑——例如曾因配置不当在昂贵的数据管道上输送了过量数据而产生巨额账单。但正因为这些错误是在内部流程中发生的,风险被严格隔离在企业内部,未外溢给客户。在知识管理(knowledge management)等直面客户的应用上,即使初次架构设计出现偏差,团队也能迅速重构,把内部沉淀的“伤疤”转化为自信的架构认知,更安全地为最终用户释放价值。 | 智能体应用维度 | 目标受众与典型任务 | 关键策略与价值闭环 | |:--- |:--- |:--- | | **自身研发流程** | 内部开发与工程团队,重构代码构建与系统交付流程 | 率先试错,摸清多云网络与计算开销边界 | | **内部现场业务** | 拍卖场工作人员、现场技术员,辅助文档归档与日常工作流优化 | 降低重复性文书负担,验证沙盒安全与数据管控 | | **外部商业产品** | 企业外部最终客户,交付融合企业上下文的智能体服务 | 继承内部沉淀的最佳实践,避免客户面临架构与成本风险 | ### [19:05](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1145s) 上下文工程与 Agent 时代的安全与数据暴露隐患 Tim McIntire 探讨了“企业上下文引擎”(Enterprise Context Engine)的构想——它作为一个运行在平台底层的 Agent 工作流,不断将企业私有数据转化为上下文,无缝供给由外部 LLM 驱动的上层应用。这种模式超越了早期的提示词工程(Prompt Engineering)、传统 RAG 或手工上下文工程,让 Agent 自动化管理数据注入过程。 主持人 Geeta Pyne 迅速提议稍后对“上下文工程”进行深入展开。随后,Samuel Newnam 谈及企业在落地 Agent 时面临的现实创伤(Scars)。他指出,“数据”与“数据泄露”往往形影不离。许多企业客户最深层的恐惧在于:一旦启用自主 Agent,究竟应该赋予它们多大的权限?Agent 本身构成了全新的攻击向量。尤其是像模型上下文协议(MCP)这样新兴的协议与服务平台,虽然赋予了模型强大的外部工具调用能力,但整个行业在安全标准制定上仍处于起步阶段。在 GPU 高速吞吐通信的同时,企业如何确保两个互联系统不会凭空创建敏感数据,或是越权访问原本受限的企业资产?这使得 Agent 的权限边界设定、自主自由度控制以及可观测性(Observability)成为了当下最棘手的核心议题。 ```mermaid flowchart TD accTitle: Enterprise Agent Security and Context Engine Architecture subgraph EnterpriseContext["企业上下文引擎 (Enterprise Context Engine)"] Data["企业私有数据 (Enterprise Data)"] --> AgenticContext["Agent 上下文工作流"] end subgraph SecurityGate["安全与治理边界 (Security & Observability)"] AgenticContext --> AuthCheck{"权限与合规检查\n(MCP / 访问控制)"} AuthCheck -- 授权通过 --> SafeContext["结构化安全上下文"] AuthCheck -- 违规阻断 --> Log["安全日志与可观测审计"] end SafeContext --> LLMApp["外部 LLM 驱动的应用"] ``` --- ### [21:05](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1265s) 规模化(Scaling)的真正含义:基础设施选型、成本与 ROI 面对“如何在企业中实现 Agent 规模化扩展”的问题,嘉宾们从基础设施与经济模型两个维度展开了解剖: * **底层基础设施的架构抉择**:Samuel Newnam 认为企业当前正处于关键十字路口。过去存放在传统 NAS 存储上的非结构化数据在性能上已无法满足 AI 需求。企业高管在技术选型上面临“规模化瘫痪”(Scale Paralyzed):是选择开箱即用的闭源一体化系统,还是自行拼装开源组件?算力究竟部署在边缘端、公有云,还是去各种 Neo-Cloud 争夺 GPU 算力时长?他强调,尽管算力正在逐渐商品化(Commodity),但底层数据与存储平台依然是决定 Agent 能否在 2026 年、2027 年乃至 2028 年持续扩展的真正基石。 * **性价比与 ROI 的核心约束**:Tim McIntire 补充道,尽管业界对大规模数据管理已相对熟练,但当前 AI 与 Agent 规模化扩展的核心难点始终围绕着“性价比”(Price Performance)与“投资回报率”(ROI)。企业必须为具体场景匹配最合适、最具成本效益的模型,否则 Agent 工作流消耗的推理成本将迅速吞噬业务产出的价值。 --- ### [22:48](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1368s) 横向扩展 vs 纵向渗透:Agent 架构的拓扑与伦理中枢 Matthew Shorts 提出了思考 Agent 规模化的两个核心维度:横向扩展(引入更多不同功能的 Agent)与纵向深化(将单一通用 Agent/母 Agent 深度渗透至整个组织的各个业务环节)。如果一个具备编排能力的“母 Agent”(Mother Agent)能够跨部门创造稳定价值,企业应当集中资源最大化压榨该 Agent 的 ROI,而不是盲目在系统里堆积数百个各自为政的细分 Agent。 Jodi Blomberg 赞同这一观点,并引用了零售巨头沃尔玛(Walmart)的案例:沃尔玛在尝试了大量分散 Agent 后,选择收缩并聚焦于少数核心超级 Agent(如客服 Agent、销售 Agent)。Jodi 提出,与其争论是搞“母 Agent”还是细分 Agent,企业更需要一个“共享伦理/价值观 Agent”(Shared Ethics Agent)。无论底层的 Agent 工作流如何编排,都必须统一运行在企业既定的伦理红线与核心价值观约束之下。 Geeta Pyne 则从软件工程视角总结了 Agent 的分类体系: 1. **业务领域 Agent**:按照企业的业务域或功能分类法(Capability Taxonomy)划分,天然继承对应领域的数据权限与访问控制。 2. **技术与治理 Agent**:常驻运行的底层治理节点,专门负责可观测性(Observability)、审计、伦理校验和权力制衡,确保系统“不仅具备做某件事的技术能力,更符合做这件事的合规标准”。 --- ### [26:06](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1566s) 从系统到组织:人机协同与以人为本的组织转型 当讨论转向“企业如何在 Agent 落地过程中赋能员工”时,专家们一致驳斥了“完全取代人类”的激进论调: * **人机协同(Human-in-the-Loop)**:Tim McIntire 指出,在超过 90% 的企业业务流中,Agent 的目标绝不是踢开人类,而是通过提供更全面、精准的上下文信息,让员工更高效地做出决策。 * **剔除易错与重复劳动**:Matthew Shorts 进一步校准了这一逻辑:Agent 的真正使命是剥除人类在流程中引入的失误和错误。将员工从枯燥、重复且容易出错的任务中彻底解放出来,使他们能够将精力投入到更具创新性、更高价值的业务创造中,这也能极大提升员工对工作的热情与成就感。 * **全员转型与现场痛点自动化**:Jodi Blomberg 分享了 Cox Automotive 的现场调研经历——团队直接跟车陪同外勤一线人员,当面询问“你日常工作中最讨厌哪一部分?”,而那一部分往往就是技术团队最优先通过 Agent 实现自动化的痛点。她援引公司首席产品官(CPO)的话指出,Agent 落地绝非单纯的技术上线,而是一场“全公司的组织级转型”(Whole-Company Transformation),无法仅靠几场简单的内部午餐分享会(Brown Bag Session)轻松过关,必须从高层战略到底层执行双向推进。 ### [28:14](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1694s) 成本压力与劳动力替代:AI 是“助手”而非“替代者” 主持人抛出了一个尖锐的话题,直指来自董事会或 CEO 的实际压力:企业在部署智能体(Agent)时,究竟追求多大幅度的成本节约?这是否意味着直接缩减员工编制(FTE)?针对这一“触碰烫手山芋”的问题,Jodi Blomberg 率先作答。她透露,其所在团队设立的 AI 加速器在今年前六个月内就构建了 27 个概念验证(PoC),并挖掘出了约 2000 万美元的效率提升空间。但她明确指出,这些降本增效目前主要来自于削减外部供应商开支,而非解雇内部员工——例如取消外包内容生成的合同,或是停用负责手动读取 PDF 的离岸外包公司。先从这些低摩擦、低压力的外部环节切入,不仅能直接增厚企业利润,还能保护内部员工的积极性,为团队去开发真正能商业化收费的创新产品争取空间。 随后其他嘉宾补充指出,AI 智能体为企业带来了一种全新的“专业能力引入”模式。过去企业若缺乏某种高度垂直的专业技能,通常只能通过高薪雇佣全职员工或采购昂贵的第三方专业服务来弥补;而现在,企业可以通过智能体直接赋能现有员工,为其配备此前不具备的技能,从而在不增加编制、不裁撤团队的前提下实现业务能力的跃升。这种模式直接冲击的是第三方外包合同,实现了“把节省下来的每一分钱重新投回产品创新”的良性循环。 - **AI 加速器成效**:半年内构建 27 个 PoC,识别出约 2000 万美元的效率优化空间。 - **降本首选目标**:优先替代离岸 PDF 处理和外部内容生成等第三方外包合同。 - **组织能力重塑**:通过 AI 智能体直接补充内部员工技能盲区,无需扩充编制即可引入垂直专业能力。 --- ### [30:27](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1827s) 研发预算、快速试错与人机协同的心理机制 Samuel Newnam 探讨了企业在引入智能体工作流时的预算架构与心理预期。他强调,管理层必须意识到 AI 领域的研发(R&D)依然遵循严谨的科学探索规律,不能因为一切都在云端和算法模型中运行,就忽视了试错所需的时间与资金成本。企业一方面需要设立专属的探索预算,另一方面也必须建立严格的投资回报率(ROI)评估机制,确保团队能够“快速试错”(Fail Fast),而不是无休止地进行无效实验。 在人机交互层面,Samuel Newnam 幽默地调侃道:“下次跳槽谈判时,我要求的福利可能不是配一个行政助理,而是配一个专属 AI 智能体。”他指出,从零售、娱乐到企业日常运营,数字化身(Digital Human)与数字伴侣正在重构人机交互形态。这种变革带给员工的不仅是效率数字,更是心理上的“安全感”与“确定性”——通过 AI 的实时校验与辅助,员工可以消除工作中犯错的恐惧,提升交付质量与职业成就感,这种心态维度的价值往往是传统财务报表无法直接量化的。 ```mermaid flowchart TD accTitle: 智能体企业部署与价值闭环 subgraph Budget["研发与试错机制"] A["设立专属探索预算"] --> B["快速试错 (Fail Fast) 机制"] B --> C["ROI 与效率评估"] end subgraph Execution["智能体落地场景"] C --> D["削减第三方外包服务"] C --> E["赋能内部员工专业技能"] end subgraph Impact["双重业务价值"] D --> F["直接节约资金回流创新"] E --> G["提升员工交付质量与心理安全感"] end ``` --- ### [31:49](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1909s) 智能体规模化面临的架构趋势:端侧小模型、互操作标准与混合部署 当谈到支撑智能体大规模落地必须发生的技术创新时,嘉宾们提到了几个核心技术风向。首先是部署在边缘端的**小型语言模型(SLM)**,因其轻量、低延迟和响应迅速而备受关注;其次是**互操作性标准**的普及,业内正在摆脱过去打补丁式的割裂连接方式,积极拥抱如模型上下文协议(Model Context Protocol, MCP)以及 Google 相关的互联规范,以构建开放协同的智能体生态。 在算力与基础设施层面,**混合部署(Hybrid Deployment)**由于兼顾了极致的性价比与数据隐私要求,正从曾经复杂的“科研玩具”演进为可落地的企业级架构。企业既可以选择在本地数据中心构建全栈架构(例如依托 NVIDIA Dell AI 工厂及 NIM 微服务栈紧邻企业数据仓库运行),也可以采用“本地数据 + 云端向量化/算力”的分离架构。然而,混合部署的最大瓶颈不仅在于获取充足的 GPU 硬件配额,更在于**本地软件管理栈(Management Stack)**的运维复杂度——如果无法高效管理本地部署的软件堆栈,其性价比优势很快会被高昂的运维成本吞噬。 与算力并行的是**数据管理(Data Management)**的全面复兴。随着智能体以远超人类打字数百万倍的算力吞吐数据,过去被长期堆在 SharePoint 角落、版本混乱的“冷数据”必须被重新清洗与治理。预计到 2027 年全球将产生高达 300 ZB 的海量数据,如何在如此庞大的数据洪流中厘清数据资产价值并建立严格的访问与调度机制,是实现智能体规模化扩展的决定性前提。 - **端侧 SLM 与开放互联**:边缘小模型配合 MCP 等互操作标准,打破应用间的数据孤岛。 - **混合部署范式**: - *全本地部署*:本地数据仓库配合 NVIDIA NIM 软件栈与 AI 工厂硬件。 - *拆分架构*:核心敏感数据留存本地,向量化与模型推理算力上云。 - **数据治理新挑战**:从传统的“数据堆砌”转向智能体级的高频检索治理,应对 2027 年 300 Zettabytes 级别的全球数据规模。 --- ### [35:27](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=2127s) 现场问答:穿透行业炒作与获取一手真实信息 在现场提问环节,一位自称“极度怀疑论者”的观众提问:在充满营销夸大与夸张宣传的 AI 行业中,专家们究竟通过哪些渠道获取客观真实的信息,如何保持对技术落地可行性、成本与能耗的独立思考? Samuel Newnam 分享道,获取第一手真相的最有效途径其实非常朴素——就是与一线客户保持高频的直接沟通。他在每天密集的 Zoom 会议中倾听各类企业对智能体的不同定义、实际遇到的数据脏乱差问题与落地挫折;此外,开源社区交流、行业展台面对面讨论以及同行间的非公开交流,都远比那些由赞助商包装的播客或商业广告更加真实客观。当主持人打趣追问“你们现在还给 Gartner 付费买咨询报告吗”时,嘉宾笑着坦承行业内依然存在这种“付费参与”的商业机制,但真正有价值的技术认知早已来自于开源生态、一线实践以及智能体辅助的高效信息挖掘之中。 ### [37:04](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=2224s) 穿透营销迷雾:通过 AI 搜索与密集 Demo 保持技术敏锐度 在探讨如何紧跟日新月异的 AI 趋势时,嘉宾们分享了各自获取前沿信息与进行竞品调研的实用方法。利用像 Perplexity 这样的 AI 检索工具,可以直接对各类产品进行深入的竞品分析(Competitive Analysis),从而看清底层技术与真实能力的本质。这种方式能让技术团队快速看透厂商包装出来的营销话术,暴露出产品真正具备的“真实性”(Authenticity),让浮夸的宣传无所遁形。除了依赖 AI 搜索工具,多与行业内的人交流也是不可替代的信息源,例如收听《AI Daily》等行业知名播客以获取灵感。 与生态伙伴的实际交流和产品演示(Demo)同样是把握技术脉搏的关键。有嘉宾坦言自己的团队其实“苦不堪言”,因为他非常热衷于引入潜在合作伙伴安排产品 Demo。团队成员常常抱怨并翻白眼说:“我们已经有这个功能了,或者我们已经做了类似的东西。”但他总是坚持认为,外部伙伴可能在某些独特的维度上提出了团队从未考虑过的解法。除了积极约见合作伙伴看 Demo 之外,订阅《The Rundown》等行业快讯也是极好的习惯,它每天提供精炼的信息切片,让技术管理者在早上 9 点就能迅速补齐前一天傍晚到夜间数小时内 AI 领域发生的最新突发动态。 - **调研与检索工具**:借助 Perplexity 等新型 AI 检索产品直接透视竞品实力,剥离表层营销宣传。 - **Demo 驱动洞察**:顶住内部团队“已有类似方案”的吐槽,通过高频观看合作伙伴的产品演示挖掘盲区创新。 - **资讯追踪渠道**:日常收听《AI Daily》播客,并利用《The Rundown》晨间简报快速掌握过去数小时的行业突变。 --- ### [38:14](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=2294s) 过滤行业噪音:硬核白皮书、精选 Newsletter 与“场外求助”同行验证 针对更深层次的技术吸收,嘉宾们展现了不同的学习路径。有嘉宾给自己设定了“每周硬核阅读一篇技术白皮书(White Paper)”的挑战,并幽默地表示自己就是纯粹“喜欢里面的数学推导部分”。这一硬核习惯立即引发了现场其他嘉宾的打趣与调侃:“居然真有人读那些白皮书啊?”引来会心一笑的回应:“对,我们当中的一部分人确实会读,不过在一堆论文里挑选具体读哪一篇其实相当困难。” ```mermaid flowchart TD accTitle: 跟踪 AI 前沿与去伪存真的信息流架构 subgraph S1["信息输入源 (Information Sources)"] A["学术白皮书与数学论文<br/>(Weekly White Papers)"] B["每日行业快讯<br/>(The Rundown / The Turing Post)"] C["生态 Demo 与 AI 检索<br/>(Perplexity / Partner Demos)"] end subgraph S2["辨别与过滤 (Filter & Triage)"] D["梳理事实脉络<br/>(Piece together what is true)"] end subgraph S3["同行交叉验证 (Peer Validation)"] E["'求助场外好友' 机制<br/>(Phone a Friend)"] F["同行技术质询与去噪<br/>('Hey, that doesn't seem true')"] end A --> D B --> D C --> D D --> E E --> F ``` 除了深啃白皮书,日常收件箱里订阅的高质量通讯(如《The Turing Post》等 AI Newsletter)也是构建全局认知的重要拼图。面对铺天盖地真假难辨的技术炒作与突破新闻,嘉宾总结出了一套“拼图辨真伪”的务实策略:先通过每日快讯碎片拼凑出整体脉络,遇到存疑或看似不合理的技术宣称时,直接启动“场外求助热线(Phone a friend)”,向行业同行与专家好友发消息求证:“嘿,这说法看起来不太靠谱,你觉得呢?”通过紧密的同行网络完成最后一步的去伪存真。 ## Notable quotes > [03:55](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=235s) 如果你声称自己已经完全掌握了如何从成本和基础设施两个维度来规模化 Agent,那你可能多少有点‘自欺欺人’。 — Jodi Blomberg > [06:44](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=404s) 真正意义上的 Agentic 工作流必须具备三大核心特征:主要运行方式是自主的、执行过程是持续或近乎持续的,并且能够在无需人类实时介入的情况下提供计算智能。 — Tim McIntire > [12:02](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=722s) ChatGPT 并不是一个美化版的 Google 搜索引擎。 > [19:05](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1145s) 数据与数据泄露往往形影不离。 — Samuel Newnam > [22:48](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1368s) 与其争论是搞‘母 Agent’还是细分 Agent,企业更需要一个‘共享伦理/价值观 Agent’。无论底层的 Agent 工作流如何编排,都必须统一运行在企业既定的伦理红线与核心价值观约束之下。 — Jodi Blomberg > [26:06](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1566s) 在超过 90% 的企业业务流中,Agent 的目标绝不是踢开人类,而是通过提供更全面、精准的上下文信息,让员工更高效地做出决策。 — Tim McIntire > [26:06](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1566s) Agent 的真正使命是剥除人类在流程中引入的失误和错误。将员工从枯燥、重复且容易出错的任务中彻底解放出来。 — Matthew Shorts > [26:06](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1566s) Agent 落地绝非单纯的技术上线,而是一场‘全公司的组织级转型’,无法仅靠几场简单的内部午餐分享会轻松过关。 — Jodi Blomberg > [30:27](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=1827s) 下次跳槽谈判时,我要求的福利可能不是配一个行政助理,而是配一个专属 AI 智能体。 — Samuel Newnam > [38:14](https://www.youtube.com/watch?v=ORk6e_H9FWo&t=2294s) 嘿,这说法看起来不太靠谱,你觉得呢? — Samuel Newnam ## Mentioned Geeta Pyne, Jodi Blomberg, Matthew Shorts, Tim McIntire, Samuel Newnam, TIAA, Cox Automotive, Cox Communications, Hyland Software, Hammerspace, Waste Management, Charles Schwab, Teradata, Scripps Oceanography, Walmart, NVIDIA, Dell, Gartner, Google, Perplexity, ChatGPT, Zipkin, Model Context Protocol (MCP), NVIDIA NIM, SharePoint, AI Daily, The Rundown, The Turing Post ## Video description Samuel Newnam, Sr. Director of AI Solutions, Hammerspace Jodi Blomberg, VP, AI and Machine Learning, Cox Automotive Tim McIntire, EVP, Chief Technology Officer, Hyland Matthew Shorts, AVP, AI, IT Operations, and Public and Private Cloud, Cox Communications Geeta Pyne, Senior Managing Director and Chief Architect, TIAA Abstracts AI agents have rapidly evolved from experimental tools to transformative forces capable of delivering significant business value across enterprise functions. This panel will explore the critical infrastructure components—hardware, software, and human resources—that companies must deploy to effectively scale AI agents throughout their operations. Panelists will discuss essential digital tools and platforms that enable seamless agent integration, management, and optimization within complex enterprise ecosystems. Topics will include data requirements, compute resource allocation, and strategies for maintaining robust performance as agent complexity increases. Attendees will gain insights into best practices for building scalable, efficient, and adaptable AI infrastructures designed to unlock the full potential of enterprise-wide agent deployments. [Source](https://www.youtube.com/watch?v=ORk6e_H9FWo)

Source quotes

[3:55] Jodi Blomberg: 如果你声称自己已经完全掌握了如何从成本和基础设施两个维度来规模化 Agent,那你可能多少有点‘自欺欺人’。 [6:44] Tim McIntire: 真正意义上的 Agentic 工作流必须具备三大核心特征:主要运行方式是自主的、执行过程是持续或近乎持续的,并且能够在无需人类实时介入的情况下提供计算智能。 [12:02] ChatGPT 并不是一个美化版的 Google 搜索引擎。 [19:05] Samuel Newnam: 数据与数据泄露往往形影不离。 [22:48] Jodi Blomberg: 与其争论是搞‘母 Agent’还是细分 Agent,企业更需要一个‘共享伦理/价值观 Agent’。无论底层的 Agent 工作流如何编排,都必须统一运行在企业既定的伦理红线与核心价值观约束之下。 [26:06] Tim McIntire: 在超过 90% 的企业业务流中,Agent 的目标绝不是踢开人类,而是通过提供更全面、精准的上下文信息,让员工更高效地做出决策。 [26:06] Matthew Shorts: Agent 的真正使命是剥除人类在流程中引入的失误和错误。将员工从枯燥、重复且容易出错的任务中彻底解放出来。 [26:06] Jodi Blomberg: Agent 落地绝非单纯的技术上线,而是一场‘全公司的组织级转型’,无法仅靠几场简单的内部午餐分享会轻松过关。 [30:27] Samuel Newnam: 下次跳槽谈判时,我要求的福利可能不是配一个行政助理,而是配一个专属 AI 智能体。 [38:14] Samuel Newnam: 嘿,这说法看起来不太靠谱,你觉得呢?