Ai4
企业部署AI Agent须从员工最排斥的重复性痛点切入,并建立跨职能防护栏与全仿真回归测试闭环以实现财务损益落地。
AI-assisted summary of Leveraging AI Agents to Drive Value: Success Stories from Leading Organizations — original source. Check the original for full context.
Source published:
Detailed notes
## Background 该内容由行业峰会频道 Ai4 于 2025 年 8 月 26 日发布在 YouTube 平台。视频记录了一场由 Sound Ventures 投资人 Zach Gronfein 主持的圆桌研讨,汇聚了来自 Chime、万事达卡(Mastercard)、Lendflow 以及德勤(Deloitte)的企业高管与 AI 专家,旨在分享跨行业部署 AI Agent 创造降本增效与业务增长的真实落地案例与战略决策经验。
## TL;DR 圆桌深入探讨了企业如何告别仅有 30% 转化率的“AI 观光”POC 阶段,将 AI Agent 真正部署至生产环境并实现商业价值闭环。嘉宾们结合金融信贷程序化、Agent Pay 消费支付、强监管环境下的护栏构建及多 Agent 编排层演进,分享了各自的实战路径。会议提出了“自下而上工具普惠”与“自上而下财务损益(P&L)对齐”的双轨推进策略,强调优先从数据易得、低风险、高重复且员工反感的高频痛点切入。最后,专家们详细阐述了 Agent-to-Agent 回归仿真测试、业务深度归因度量,以及依托超级用户与 Prompt 闭环优化推动组织级采纳的落地方法论。
## Atmosphere & style 整场对谈务实、专业且极富实战锐气,嘉宾们毫不避讳当前企业 AI 落地中的数据缺陷、组织阻力与 CFO 归因质询等尖锐痛点,彻底摒弃了浮躁的技术炒作。四位来自不同领域的领袖与主持人配合默契,既有严密的工程架构与决策框架推演,又穿插着诸如“渴望 Agent 代回 Slack 消息”等切中职场真实负担的幽默互动。现场交流节奏紧凑、干货密集,在理性严谨的商业逻辑与对人类情感温度的敬畏之间达成了绝佳平衡,营造出极具启发性与实操指导价值的行业研讨氛围。
## Key takeaways - [03:01](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=181s) 企业从“AI 观光”转向生产环境面临严峻瓶颈,目前仅约 30% 的 POC 项目能最终投产,核心阻碍在于底层数据匮乏不可靠、缺乏成体系的采用率评估机制以及人机协同中员工自愿使用的门槛。 - [03:01](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=181s) 高价值 AI Agent 落地正从被动记录纪要转向主动驱动核心业务行动(如财富管理场景中根据对话自动提示推荐 529 计划),占企业 60% 至 80% 投入的核心流程能产生最高财务回报。 - [07:22](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=442s) 信贷等传统繁琐业务通过 AI Agent 转变为端到端“程序化”流程,不仅消除了人工等待断点、大幅缩短放款周期,更能以极低边际成本为长尾客户提供高质量服务并沉淀品牌信任。 - [09:47](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=587s) AI 的投资回报率(ROI)不仅体现在直接账面数字上,通过高质量交互带来的客户信任感、品牌归属感与情绪价值等非财务收益,对提升客户留存和达成长期北极星指标同样至关重要。 - [11:09](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=669s) 消费级流量正向 AI Agent 转移,Mastercard Agent Pay 通过在生态关键节点设置防护栏消除大模型非确定性风险,打通从 AI 意图发现到代客安全支付的无缝交易闭环。 - [14:38](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=878s) 在金融强监管环境下,企业应将 Agent 视作完整产品来打造,立项伊始即由数据、算法、风控与合规团队协同制定护栏,并同步推进组织变革管理与技能培训。 - [18:25](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=1105s) 打破单体式 IT 系统的二元交付定势,采取最小可行产品(MVP)敏捷迭代策略,逐步增加 Agent 自主性与复杂度,依托一线真实反馈持续调优以加速业务成果落地。 - [19:32](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=1172s) 构建严谨的工程化发布与仿真回归测试体系,通过“以 Agent 测试 Agent”的对抗模拟跑通海量历史场景,并在生产监控中结合人工质检将异常案例滚雪球式沉淀为新测试集。 - [21:08](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=1268s) 随着 Agent 自主操作能力成熟,周边安全工具链加速演进,包括运行时基于员工权限映射的数据访问治理(如 Witness AI)以及预发布红队对抗演练(如 Haze Labs)。 - [22:38](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=1358s) 推进企业 AI 战略需采取双轨制:自下而上推进工具民主化与草根资产共享,自上而下基于期望度、财务可行性(P&L)与技术可行性严苛筛选核心价值场景。 - [25:03](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=1503s) Chime 确立了以“用户价值、规模与重复性、风险承受度、数据底座质量”为核心的四维决策框架,并坚持投产后保留专职团队持续追踪反馈闭环而非一次性交付。 - [28:59](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=1739s) 企业在寻找首批落地切入点时应聚焦“易获取数据、低风险、高重复、员工极度反感”的任务以消除阻力;面对数据缺陷时,可创新性地将客服通话录音等已有资产转录重构为结构化知识库。 - [32:00](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=1920s) 业务流程自动化正在从单一任务 Agent 演进为多 Agent 协同体系,顶层编排层(Orchestrator)通过跨模型组合与实时上下文共享,将系统底层复杂度彻底从终端用户侧屏蔽。 - [34:02](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=2042s) AI 自动化存在明确边界,涉及高上下文、高接触度以及人类复杂情感共情的领域(如情绪困境中的客服或高个性化时尚消费决策),不应推行 100% 的全盘自动化。 - [38:09](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=2289s) 成效度量必须超越浅层的 MAU 统计,深入工作流追踪内容采纳率、改动幅度、单任务耗时缩短以及回复率和赢单率等业务指标,并在立项前置设计指标体系以应对财务归因质询。 - [40:09](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=2409s) 破解非技术员工的提示词工程瓶颈无需追求全员专家化,可从“茶水间吐槽”挖掘痛点,利用 LLM 进行元提示词生成,扶持“超级用户”带动组织扩散,并建立持续的仿真调优运维闭环。
## Detailed walkthrough ### [00:00](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=0s) 圆桌嘉宾介绍与企业级 AI 战略背景
会议主持人 Zach Gronfein 首先开场,对在漫长议程后依然留在现场的与会者表示感谢。他强调,本次圆桌邀请了四位从不同切入点在企业端和客户端落地 AI Agent(人工智能体)的顶尖从业者。Zach 首先介绍了自己及所在机构 Sound Ventures——这是一家由知名演员 Ashton Kutcher 和音乐经纪人 Guy Oseary 共同创立、管理规模超过 10 亿美元的风投基金,高度聚焦于 AI 应用层,不仅早期投资了 OpenAI 和 Anthropic 等底层基础模型公司,也深度布局了大量利用这些模型创造实际价值的应用层企业。
随后,各位圆桌嘉宾依次介绍了各自的业务版图与 AI 推进重点:
* **Barkha Saxena**:金融科技公司 Chime 的首席数据、AI 及分析官(CDO)。Chime 是一家以使命为导向的 FinTech 机构,致力于为美国普通大众提供日常金融服务与进步支持。Barkha 领导着支持会员价值交付的整体数据与 AI 战略,目前团队已在风控(Risk)、市场营销(Marketing)、工程研发(Engineering)以及客户支持(Support)等多个核心业务环节构建并部署了 AI Agent。 * **Federico Cohen Freue**:万事达卡(Mastercard)AI 与数据运营高级副总裁。他的团队主要负责 Mastercard 的企业级 AI 与数据战略,重点探索如何面向内部员工规模化部署 AI 工具、如何推进企业 AI 转型旅程、对员工进行系统化的 AI 技能培训,以及执行多项核心战略规划。 * **Jon Fry**:Lendflow 首席执行官。Lendflow 专注于构建嵌入式借贷(Embedded Lending)与 AI 自动化基础设施。Jon 在中小微企业(SMB)借贷领域拥有长达 15 年的连续创业经验,曾创办并运营获客引流、客服与入驻呼叫中心搭建,以及 SMB 借贷审批决策引擎等多家企业,这些实战经验直接为 Lendflow 的产品演进提供了核心洞察。 * **Jatin Dave**:德勤(Deloitte)AI 业务董事总经理。德勤作为全球规模最大的专业服务机构之一,其 AI 与工程团队致力于协助全球企业客户梳理并制定顶层 AI 战略、开发定制化的场景解决方案与技术平台,并全力推动企业内部的实际应用与长期运维。
---
[03:01](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=181s) 告别“AI 观光”:从 POC 到生产环境的真实转化与落地阻碍
针对当前企业界普遍存在的“AI 观光(AI Tourism)”现象——即企业短期内因高客单价和强意愿采购大量功能重叠的工具试水,随后逐步整合淘汰——主持人 Zach 向 Jatin Dave 发问:在真正从概念验证(POC)跨越到生产环境的过程中,究竟哪些 AI Agent 场景能够展现出真正的业务粘性?
Jatin 坦言,“AI 观光”一词非常贴切,现场很多企业负责人甚至直言“我已经做够了 POC,再也不想做一个新的 POC 了”。德勤的研究数据显示,**目前仅有约 30% 的 POC 项目能够最终进入生产环境**。更为严峻的是,当 Jatin 现场询问台下有多少人真正建立了“使用采用率(Adoption)衡量机制”时,举手者寥寥无几。
```mermaid flowchart TD accTitle: AI 从 POC 转化到核心业务落地的全流程与关键障碍 subgraph S1["概念验证与生产转化"] A["企业 POC 探索"] -->|"仅约 30% 转化率"| B["进入生产环境"] end subgraph S2["核心业务价值场景(占 60-80% 投入)"] B --> C["IT 编码与应用开发"] B --> D["客服与联络中心技能整合"] B --> E["财富管理:意图捕获与行动触发<br/>(如识别孙辈出生并自动推荐 529 计划)"] end subgraph S3["三大落地核心阻碍"] F["底层数据匮乏或不可靠"] G["缺乏采用率量化评估策略"] H["人机协同机制下员工采用纯属自愿"] end ```
在具备高粘性的场景分布上,Jatin 指出: * **IT 与软件研发**:代码编写与应用开发是目前成效最显著、影响最深远的领域。 * **传统通用职能**:客户服务、联络中心、销售与市场营销等。 * **企业核心业务流程(占 60% 至 80% 的工作重心)**:这是产生最高回报的领域。例如在财富管理(Wealth Management)场景中,财务顾问(FA)是带来营收的核心角色。过去 AI 只是类似 Teams 上的 Copilot 帮忙整理会议纪要,而如今高粘性的 Agent 能够“驱动具体行动”——当监听到客户在通话中提到“家里即将迎来孙辈”时,Agent 会自动将孙辈添加到家庭关系图谱中,并在下一次通话前主动提示财务顾问向客户推荐“529 大学教育储蓄计划”。 * **呼叫中心技能整合**:某财富管理机构借助 AI Agent 将联络中心坐席所需的技能类别精简整合至原先的三分之一,坐席得以全能化,大幅减少通话转接,为财务顾问及其终端客户提供了更快速、高质量的服务。
谈及阻碍落地与粘性的绊脚石,Jatin 归纳了三大核心挑战: * **数据基础脆弱**:撇开信息安全(InfoSec)团队的合规限制不谈,企业最致命的瓶颈是“缺乏数据或数据极其不可靠”;没有可靠数据,AI Agent 在实际业务中基本毫无用处。 * **衡量策略缺失**:极少有企业真正建立了成体系的业务成效衡量机制。 * **应用推广(Change Management / Adoption)不足**:目前多数工具仍保留 Human-in-the-loop(人在回路),界面上仅提供一个 AI 生成辅助按钮;如果终端员工选择不点击、依然习惯自行手动检索,企业投资的 AI 效益将完全归零。
---
[07:22](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=442s) Lendflow 的实践:将中小企业借贷流程“程序化”与重塑长尾客户体验
针对 Lendflow 如何运用语音 Agent(Voice Agents)协助中小微企业完成贷款申请、资料收集、日程预约及唤醒沉睡线索(Revive cold leads),Zach 向 Jon Fry 询问了这些落地对转化率及放款速度(Speed to funding)的实际提升。
Jon 解释,AI Agent 带来的本质变革在于**将过去高度依赖“人力资本(Human Capital)”驱动的繁琐借贷流程转变为端到端的“程序化(Programmatic)”流程**。在传统借贷模式下,业务推进极易因等待人工发起下一步操作而陷入停滞,这在高速增长和规模化扩张期尤为致命。
```mermaid flowchart LR accTitle: Lendflow 语音 Agent 与人机协作借贷流程 subgraph ClientStage["客户端全生命周期触达"] A["潜客/沉睡线索"] --> B["语音 Agent 自动化跟进"] B --> C["申请表单填写与资料收集"] C --> D["自动排期与推进放款"] end subgraph HumanStage["后台支撑体系"] E["人工团队(审核/QA/质检)"] F["持续数据反馈与模型迭代"] E <--> F end B -.-> E C -.-> E ```
将借贷各触点“程序化”后带来的核心价值体现在以下维度: * **显著提升处理速度与转化率**:消除了人工断点,确保申请在各个环节不会无故搁置或丢失,大幅缩短了从申请到最终放款的周期。 * **全流程人机协作闭环**:前端由 AI Agent 作为第一道防线保障 24/7 实时响应,后台配备专业人工团队负责审计、质量保证(QA)以及持续构建数据反馈回路,促使 Agent 随时间推移不断进化。 * **激活长尾客户,重塑品牌声誉**:在传统纯人工模式下,受限于服务产能与投资回报率(ROI),借贷机构往往被迫将精力倾斜给高利润的大客户,忽视金额较小的长尾线索。而 AI 极大地摊薄了边际服务成本,使机构能够为所有客户(无论规模大小)提供一致的“魔法般体验(Magical experience)”。 * **提升用户留存与复借意愿**:即便部分小微企业最终未获得授信,Agent 也在交互中给予了充分的聆听、解答与金融知识普及(Education),加上定期的自动化回访跟进,极大增强了用户粘性与未来回流借款的可能性。
[09:47](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=587s) 客户体验中的信任建立与非财务 ROI 的衡量
在金融与借贷等存在严重信息不对称的行业中,用户往往因为无法判断哪个服务商或产品最优,而不断横向比价和尝试。此时,唯一能够与用户建立信任纽带的就是真实的交互体验。如果企业能够通过技术持续与客户保持联系、普及专业知识并稳定输出价值,客户再次回访和转化的概率就会大幅提升。这种体验的改善不仅影响业务的多个终端触点,更直接拉动了底层核心指标。
针对投资回报率(ROI)的衡量,主持人指出人们习惯于紧盯量化财务指标,但通过 AI Agent 提升客户体验所带来的情绪价值、信任感与品牌归属感同样不可忽视。这些定性维度的收获虽然难以直接用数字标价,但对客户留存率和企业的长期健康发展至关重要。与会嘉宾进一步强调,部署技术或进行内部投资时,ROI 绝不仅限于直接的账面回报;只要达成了预设的核心成功指标、切实撬动了业务杠杆,即使短期内未在财务上回本,同样是一笔成功的投资。关键在于明确业务的“北极星指标”(North Star),并以此指导技术的落地。
---
[11:09](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=669s) 消费级 Agent 的支付闭环:Mastercard 与 Agent Pay
针对近期 Pinterest 首席执行官 Bill Ready 在财报电话会上提出的观点——“AI Agent 代替用户自主购物的时代仍遥不可及”,主持人向万事达卡(Mastercard)高级副总裁 Federico Cohen Freue 提出了探讨。万事达卡早在当年 4 月便推出了 Agent Pay 功能,允许 AI Agent 代表用户完成安全支付。
```mermaid flowchart LR accTitle: AI Agent 消费与支付闭环流程 subgraph S1["意图发现阶段"] A["用户向 Agent 提出需求<br/>(如按步态选跑鞋)"] --> B["消费级 LLM / Agent<br/>(ChatGPT / Claude / Gemini)"] end subgraph S2["支付与风控阶段"] B --> C["调用 Mastercard Agent Pay<br/>安全支付能力"] C --> D["内置防护栏与合规校验<br/>(消除非确定性风险)"] D --> E["无缝完成交易闭环"] end ```
Federico 指出,当前越来越多的互联网商品搜索与发现流量正在向消费级 Agent 转移,用户频繁使用 ChatGPT、Claude、Copilot 以及 Gemini 寻找心仪的商品。例如,用户根据自己的步态(Gate)和比赛类型向 Agent 咨询合适的跑鞋: - **断裂的体验闭环**:当用户选定商品后,自然的心理诉求是“直接帮我完成付款”,而不是被迫跳转到商家网站重新手动填写凭证和卡号。 - **无缝与信任**:万事达卡聚焦于解决 Agent 支付的互操作性与安全性,使 AI 交易达到与线下刷卡、手机触碰支付(Tap to Pay)同等级别的安全度和信任感。 - **化除非确定性(Non-determinism)**:Agent Pay 在生态系统的多个关键节点设置了防护栏(Guardrails),确保 Agent 仅在用户授权的明确边界内购买指定商品,消除大模型幻觉带来的交易偏差。
---
[14:38](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=878s) 金融强监管环境下的 Agent 护栏与落地:Chime 的全流程产品化策略
针对金融科技(Fintech)等强监管领域中 Agent 的安全与落地问题,Chime 首席数据官 Barkha Saxena 分享了 Chime 的实践路径。她指出,业内普遍存在实验很多但仅有约 30% 能真正投产上线的现象。Chime 正处于一个规模适中的“黄金平衡点”:既有足够的业务体量让 AI Agent 释放规模效应,又不会庞大到因组织冗余导致数据资产割裂、难以管控。
```mermaid flowchart TD accTitle: Chime 跨职能 AI Agent 研发模式 subgraph Squad["跨职能产品团队 (Cross-Functional Squad)"] D["数据团队 (Data Team)"] A["AI 算法团队 (AI Team)"] R["风控团队 (Risk Team)"] P["合规与政策团队 (Policy Team)"] end Squad --> MVP["定义衡量标准 & 确立护栏"] MVP --> Track1["构建合规 Agent 产品"] MVP --> Track2["组织变革管理 (Change Management)"] MVP --> Track3["员工与用户培训 (Training)"] Track1 & Track2 & Track3 --> Output["高采用率与业务价值交付"] ```
在资源分配上,Chime 严格区分黑客松式的自由探索与核心业务投资。作为一家以会员为中心(Member-obsessed)的公司,所有重大 AI 投入均从“能否为会员创造价值”出发(例如提升服务满意度、加速会员获取金融产品的流程): - **全流程跨职能团队介入**:将 Agent 视作完整的产品来打造。从立项第一天起,数据团队、AI 团队、风控团队(Risk Team)与政策法规团队(Policy Team)便协同设计,提前确定合规标准与量化评估体系。 - **双轨并行的落地保障**:在技术开发的同时,同步推进文化转型(Culture Change)与技能培训(Training)。若缺乏变革管理,系统上线后往往会面临无人使用的尴尬局面。
---
[18:25](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=1105s) 敏捷迭代与 MVP:避免单体式 Agent 系统的落地陷阱
与会嘉宾随后深入讨论了部署 AI Agent 时的交付策略。在传统的企业 IT 认知中,系统上线往往被看作一个非黑即白的“二元节点”(要么完全不上,要么全量部署)。但采用产品化视角部署 Agent 系统,必须打破这种单体式(Monolithic)开发的思维定势。
- **从最小可行产品(MVP)起步**:首先提炼出最核心的场景与能力边界交付给最终用户或内部员工,以较低的复杂度完成第一轮变更管理与习惯培养。 - **动态反馈与复杂度递增**:在后续迭代中逐步增加 Agent 的自主性和系统复杂性,将一线使用者(往往是企业内部员工)的真实反馈持续回流至模型调优中。 - **加速业务成果落地**:相比于闭门研发数月甚至数年、等待整个庞大系统“彻底就绪”再交付的做法,敏捷迭代能以更小试错成本让组织更快捕获实际业务收益。
[19:32](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=1172s) AI Agent 的发布流程与回归仿真测试体系
部署具有自主性(Agency)的 AI Agent 必须遵循与传统软件工程一样严谨的发布规范。开发团队不能跳过任何既定环节,必须严格执行代码审查(Code Review)、Agent 行为审查以及系统的质量保证(QA)测试。由于 Agent 具备自主决策能力,往往对提示词或逻辑的一个微小改动,就会产生意料之外的连锁反应,破坏系统在过去某些复杂场景下的正常表现。为了解决这一问题,企业必须构建全自动化的历史场景仿真体系。
以语音 AI(Voice AI)为例,团队可以通过“以 Agent 测试 Agent”的方式,让多个模拟 Agent 拨打电话给待上线的目标 Agent,对其在海量历史场景中的交互行为和最终结果进行多维度指标测量。而在系统正式推向生产环境后,监控机制依然在实时运转:监控 Agent 会持续分析通话记录与用户情绪(Sentiment),一旦捕捉到负面情绪或交互失败的异常案例,就会立即将案例转交人工介入进行二次 QA 排查。最关键的是,每一次人工纠偏和复盘产生的案例,都会被即时沉淀并追加到仿真测试集中。随着测试集不断滚雪球式扩充,每次迭代发布都需跑通全部历史用例,从而确保 Agent 在生产环境中的输出精度与可靠性随着时间推移达到极高水准。
```mermaid flowchart TD accTitle: AI Agent 仿真测试与持续迭代闭环 subgraph PreProd["测试与发布阶段"] A["修改 Agent 逻辑 / 提示词"] --> B["代码审查 & Agent 审查"] B --> C["仿真引擎:Agent-to-Agent 对抗模拟"] C --> D{"历史场景回归测试"} D -- "通过" --> E["发布至生产环境"] D -- "未通过" --> A end
subgraph Production["生产监控与反馈闭环"] E --> F["生产实时监控 (情绪分析 / 失败检测)"] F --> G["人工 QA 介入核查与纠偏"] G --> H["转化为新增仿真测试用例"] H --> C end ```
- **全流程工程化规范**:Agent 上线需经历与传统产品功能相同的 Code Review、Agent Review 及 QA 流水线,严禁随意热更新。 - **Agent 对打仿真机制**:利用自动化 Agent 模拟用户端发起呼叫或请求,成规模地对新 Agent 施加回归测试,防范单点逻辑变动引发未知场景溃败。 - **持续反馈与用例沉淀**:通过情绪监控标记异常通话,人工纠偏后立即将新案例固化进回归用例库,驱动系统准度持续提升。
---
[21:08](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=1268s) 运行时权限与红队测试:生态演进与冷启动困境
从投资人与市场观察者的视角来看,随着 AI Agent 真正代表用户执行自主操作的能力不断成熟,周边安全与测试工具链正在迅速崛起。例如 Witness AI 专注于运行时(Runtime)治理,确保企业员工在调用大模型或部署 Agent 时,Agent 所具备的数据访问权限严格受限于该员工在组织内的实际职权范围;而像 Haze Labs 等初创公司则深耕预发布(Pre-production)阶段,提供红队演练(Red Teaming)与对抗性测试(Adversarial Testing),在模型和 Agent 触达真实用户之前彻底扫除安全漏洞与逻辑缺陷。这也引发了企业在“自研还是采购”(Build vs. Buy)之间的深度权衡。
与此伴随的另一个核心痛点是企业的战略迷茫。在过去几年里,大量大型企业的 C-Suite 高管反复表达过类似的困惑:“我们深知公司必须拥有一套 AI 战略,但我们根本不知道这套战略到底该长什么样。”一年前这种焦虑围绕着大语言模型(LLM)展开,如今则全面转向了 AI Agent。面对“明知必须在组织内部某处落地、却不知从何下手”的局面,企业迫切需要找到最容易见效、门槛最低的切入点(Lowest-Hanging Fruit)。
- **运行时权限管控(Witness AI)**:基于员工角色与数据访问权限进行严格映射,防止 Agent 越权访问敏感企业数据。 - **预发布红队对抗(Haze Labs)**:在投入生产前通过对抗性测试与压力测试识别模型缺陷。 - **战略认知断层**:高管普遍具备拥抱 Agent 的紧迫感,但在落地场景选择与投入路径上存在显著的认知空白。
---
[22:38](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=1358s) 双轨推进策略:自下而上普惠与自上而下价值闭环
企业在探索 AI 与 Agent 落地时,应当采取价值驱动的“双轨制”(Two-Pronged Strategy)策略:
```mermaid flowchart LR accTitle: AI 战略落地的双轨推进模型 subgraph Track1["自下而上:AI 民主化与草根创新"] T1A["全员普及 ChatGPT / Claude 等工具"] --> T1B["提示词工程技能培训"] T1B --> T1C["共享 Claude Artifacts / Projects"] T1C --> T1D["将高频草根方案封装进标准工作流"] end
subgraph Track2["自上而下:价值导向与损益闭环"] T2A["三维评估框架"] --> T2B["用户期望度 (Desirability)"] T2A --> T2C["商业可行性 (Viability / P&L)"] T2A --> T2D["技术可行性 (Feasibility)"] T2B & T2C & T2D --> T2E["聚焦真正带来财务回报的核心用例"] end ```
第一条轨道是“自下而上的 AI 普惠化(Democratization)”,让全员都能使用类似 ChatGPT、Claude 或企业内部封装的大模型工具。然而,“工具建好了大家自然会用并产生价值”往往是一厢情愿。最大的现实挑战在于员工是否具备编写优质 Prompt 的能力——“任何人都能写 Prompt,但写出好 Prompt 绝非易事”。这不仅需要企业提供提示词工程培训(引导员工明确目标、给出精准指令),更需要建立资产共享机制。例如员工利用 Claude Artifacts 或 Claude Projects 开发出了高效模板,如何将其共享给团队?当某个自发创新的工具在基层获得广泛认可后,企业便应将其提炼并内嵌到标准化业务工作流中。
第二条轨道则是“自上而下(Tops-Down)的聚焦与价值筛选”。盲目挑选一个局部场景建一个 Agent 并插上“成功交付”的旗帜毫无意义,因为如果无法映射到损益表(P&L),就根本没有实际业务价值流转进来。企业必须基于三个核心维度对落地场景进行严苛评估: 1. **期望度(Desirability)**:客户是否真正渴望并喜爱这项功能? 2. **可行性(Viability)**:它能否为企业创造收入或显著降本,直接在财务损益表上体现影响? 3. **技术可实现性(Feasibility)**:现有技术与数据条件是否足以支撑稳定交付?
---
[25:03](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=1503s) Chime 实践:高阶决策框架与人机协同工作流重塑
作为内部提效与外部用户体验双向拥抱大模型的代表,数字银行 Chime 在评估与落地 AI Agent 时建立了一套极为务实的四维决策框架:
| 评估维度 | 核心考量与落地标准 | |:--- |:--- | | **1. 用户价值(Member Value)** | 必须明确创造实际价值,无论是直接交付面向客户(Member-facing)的新产品功能,还是赋能内部研发团队大幅提速、快速消化长期技术排期。 | | **2. 规模与重复性(Scale & Repetitiveness)** | 拒绝为单次偶发的大流量场景盲目立项,重点寻找高频次、高度重复的任务场景,确保自动化在长期运行中产生规模效益。 | | **3. 风险承受度(Risk Appetite)** | 根据业务敏感度实施差异化策略。例如密码重置等低风险任务由 Agent 独立闭环;而在高接触度(High-Touch)复杂服务中,Agent 则作为辅助工具赋能人工客服。 | | **4. 数据底座质量(Data Quality & Context)** | 数据是 Agent 智能与上下文的根本来源。“AI Agent 的聪明程度完全取决于输入数据的质量”。如果底层数据出错,将导致决策失误,直接伤害客户体验与信任。 |
在具体落地中,Chime 极为强调工作流的端到端重塑(Workflow Redesign)与人机协作。例如在客服支持场景中,技术团队与一线客服人员紧密并肩作战共同构建解决方案,消除员工的排斥感;在风控(Risk)流程中,技术团队与风险专家逐一梳理工作节点,明确哪些环节数据就绪且风险可控可交由 Agent 给出决策,并重新设计后续人工复核与处置流程。
产品上线只是真正挑战的开端。Chime 坚持在系统投产后维持专职团队,持续追踪线上表现并构建闭环反馈机制(Feedback Loop),不断利用真实业务数据进行迭代优化,而非在交付首个版本后就就地解散团队。这种对数据底座、业务风险和人机协同的深度敬畏,构成了企业长期释放 Agent 价值的坚实壁垒。
[28:59](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=1739s) 挑选落地场景的核心考量与数据创造力
主持人 Zach Gronfein 抛出一个针对现场观众的核心问题:企业内部如果想要确定第一批可以落地的 AI 智能体场景,应该问自己哪一个关键问题,才能把宝贵的精力、时间与资源集中在最刀刃的地方?
Barkha Saxena(Chime 首席数据官)首先指出,首要任务是寻找能够通过“自动化与重复性”获得规模化效益的场景,紧接着就是数据基础。她强调,根据自己的经验,许多概念验证(PoC)项目之所以无法投入生产环境,核心原因只有两个:**数据**和**企业文化**。
Jatin Dave(德勤 AI 董事总经理)针对数据问题补充道,虽然数据常被视为瓶颈,但很多时候可以通过创新方式“推断(infer)”或重构数据。他分享了一个生动的真实客户案例:该客户的客服团队原本抱怨说:“我们客服环境里的知识库根本没法用,因为所有的知识库文章都是一堆垃圾(a bunch of crap),从来没人维护。” 然而,该企业其实拥有大量经过验证的客服通话录音。通过将这些录音进行语音转录,他们成功提取并自动生成了高质量的标准知识库文章,进而顺利接入 AI 产品中。Jatin 指出,面对数据缺陷时,企业需要发挥创造力去构建正确的数据结构。
```mermaid flowchart LR accTitle: 从非结构化通话录音重构知识库流程 subgraph RawData["原始多模态数据"] A["高可靠客服通话录音"] end subgraph Transform["数据重构与知识提取"] B["语音转录文本 (Transcription)"] C["知识文章自动生成与校验"] end subgraph Deployment["AI 应用落地"] D["结构化知识库 (Knowledge Base)"] E["AI 客服 Agent / 生产系统"] end
A --> B B --> C C --> D D --> E ```
Federico Cohen Freue(万事达卡 AI 与数据运营高级副总裁)进一步总结了落地策略的两种路径: 1. **现成方案(Off-the-shelf)**:选择行业内已经非常成熟、讨论度极高的成熟场景(例如软件工程辅助编码、客服支持等),直接采购现成产品。 2. **内部切入的四大特征法**:如果选择在组织内部自行探索,只需寻找同时具备以下四个特征的任务或流程: - **易于获取数据**(Easy access to data) - **低风险**(Low risk,失败不会导致声誉受损或严重损失) - **高度可重复**(Repeatable) - **员工极度讨厌做**(People really dislike doing)
Federico 强调,挑出员工反感且难度不高的任务切入,能够极大地消除组织阻力并推动技术采纳。企业不需要一开始就重构庞大的理论框架,而是应凭借常识迈出第一步,在早期用例中摸索出自己特有的规模化路径、合规标准以及生产环境的可观测性(Observability)体系。
---
[32:00](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=1920s) 多 Agent 协同与编排层的下一代演进
讨论转向“下一代技术前沿与尚未完全实现的应用场景”。Jon Fry(Lendflow 首席执行官)从信贷借贷(Lending)业务出发,阐述了单一任务 Agent 向多 Agent 协同体系演进的必然趋势。
Jon 表示,企业往往是从低垂的果实(Low-hanging fruit)开始,自动化某项低价值、低效率的任务。但流程是连续的:一个 Agent 触发并完成任务后,需要通知下一个环节。在信贷场景中,一个完整的工作流可以拆解为多个专职 Agent: - **文档收集 Agent**:负责向用户索取必要贷款文件; - **分类与提取 Agent**:识别文件类型并结构化提取关键字段; - **数据丰富 Agent**:调用外部数据源对信息进行补充验证; - **计算与决策 Agent**:运行财务模型并执行信贷运算。
```mermaid flowchart TD accTitle: 借贷流程中的多 Agent 协同与编排架构 subgraph Orchestration["顶层编排抽象层 (Orchestrator Layer)"] ORCH["工作流编排与上下文共享中枢"] end
subgraph SubAgents["独立专业子 Agent 矩阵"] AG1["文档收集 Agent"] AG2["分类与数据提取 Agent"] AG3["外部数据丰富 Agent"] AG4["信贷计算与决策 Agent"] end
ORCH <--> AG1 ORCH <--> AG2 ORCH <--> AG3 ORCH <--> AG4
AG1 -->|"输出文件"| AG2 AG2 -->|"提取数据"| AG3 AG3 -->|"增强数据"| AG4 ```
Jon 指出,未来的魔法时刻在于建立在这些子 Agent 之上的**编排层(Orchestration Layer)**。每个基础模型都有其独特的优劣势,编排层能够将不同模型组合为一个有机整体,并在各 Agent 之间实时共享上下文与数据,将底层系统复杂度完全从终端用户(无论是客户还是内部员工)面前抽象剥离,实现极度高效的自动化。
---
[34:02](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=2042s) 人性温度与 AI 自动化的边界
Barkha Saxena 则从反向视角探讨了“AI 永远不应该或无法完全替代”的领域。结合此前在 Poshmark(社交电商平台)长达十年的工作经验,她强调,任何涉及**高上下文(High Context)、高接触度(High Touch)以及人类复杂情感**的领域,都不可能也不应该被完全自动化:
- **客户支持中的人性交互**:虽然部分客服流程可被自动化,但当用户产生情绪波动或面临复杂困境时,依然需要真实的真人对话与共情。 - **高度个性化的消费决策**:时尚与购物是极其个性化、带有强烈个人色彩的体验。消费者更希望自己做主,或是听取其信任的真人的建议,而非完全托付给算法。
Barkha 坦言,她衷心希望技术团队不要试图在这些带有情感色彩的领域推进 100% 的全盘自动化。
---
[35:31](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=2131s) 从会议代写邮件到智能 Slack 自动回复:解放琐事负担
针对 AI Agent 的理想形态,现场展开了一场幽默且切中痛点的讨论。嘉宾们普遍认同,Agent 的核心价值是代表人类去自主执行那些“大家讨厌的日常琐事”。
- **会议纪要与一键跟进**:Zach Gronfein 现场调查观众“有谁真正喜欢在开会时做笔记”,全场仅有一人举手。Zach 指出,目前的会议转录工具仅停留在输出文字记录层面;未来的 Agent 将能结合与对方历史沟通的完整上下文,在会议结束的瞬间自动起草好待办事项(Action Items)与跟进邮件,实现“一键发送”。 - **自动处理 Slack 消息的构想**:Barkha 开玩笑表示如果能有 Agent 每周自动帮她买牛奶她会很开心,但她最渴望的是能有 Agent 帮她自动回复所有 Slack 频道的未读消息。 - **上下文感知路由与真伪博弈**:针对 Barkha 的想法,Jon Fry 和其他嘉宾现场支招,指出这在技术上已经完全可行——只需要建立一个**分流路由层(Routing layer)**,让 Agent 监听所有公开和私聊频道,并针对不同身份(例如回复 CEO、回复团队成员还是对接产品部门)自动切换不同的语气和上下文。现场笑称,真正的博弈在于如何让回复逼真到别人察觉不出是 AI,但如果被同事识破了,也只能算作一场有趣的互动。
---
[37:55](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=2275s) 观众问答环节开启
随着全场讨论渐入高潮,主持人 Zach Gronfein 在会议最后阶段将话筒交给现场观众。来自 Ascent 公司的客户体验(CX)AI 负责人 Raheem 起身提问,探讨企业级落地的具体挑战。
[38:09](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=2289s) AI 落地成效度量:从表面活跃度到深层业务归因与产品思维
在评估企业级 AI 应用的成效时,单纯统计月活跃用户数(MAU)是最浅显的一步。真正的挑战在于深入交易与工作流内部进行精细化度量:在被支持的业务环节中,AI 的调用频率究竟有多高?其给出的答案质量如何?以生成会议纪要或销售邮件这类常见场景为例,当商务拓展(BizDev)代表发送邮件时,他们实际采用了多少 AI 原生生成的内容,又修改了多少?完成这项任务节省了多少时间?更关键的是,人工撰写的邮件与 AI 生成的邮件在客户回复率和转化率上是否存在显著差异?
```mermaid flowchart TD accTitle: AI 业务价值度量与归因链路 subgraph S1["浅层采纳度量"] A["平台月活 (MAU)"] --> B["AI 功能调用频次"] end subgraph S2["过程质量与效率度量"] B --> C["AI 内容采纳率 / 修改幅度"] C --> D["单任务耗时缩短"] end subgraph S3["深层业务与财务归因"] D --> E["业务转化提升\n(回复率 / 赢单率)"] E --> F["财务回报 (P&L 影响)"] end ```
这种度量虽然在技术上并不复杂,但在立项之初就需要大量严密的产品思维,以提前定义能够验证“产品是否足够好”的指标体系。企业常常在推行 AI 项目四到五个季度后遭遇严峻考验——CFO 会直接发问:“我们投入了大笔资金,财务损益表(P&L)上的实际收益在哪里?”此时,想将最终的销售额增长完全归因于 AI 是极为困难的,因为业绩增长可能源于同期市场营销活动的拉动或整体行业行情的向好。但企业可以通过前置的度量指标证明价值,例如证明“邮件回复率得到了显著改善”或“商机赢单率明显上升”。不幸的是,在许多企业中,成效度量往往是“事后诸葛亮”——大家往往在系统上线后为了应付 CFO 的质询才仓促开始设计指标。
- 采纳度与工作流渗透:不仅看平台整体 MAU,还要看具体业务交易中 AI 的渗透率。 - 人机协作精细指标:关注业务人员对 AI 生成草稿的采纳比例、改动幅度、任务处理时长对比。 - 业务转化对比:追踪纯人工撰写与 AI 生成内容的回复率(Response Rate)与转化赢单率(Win Rate)。 - CFO 归因挑战:销售增长难以剥离市场热度与营销活动影响,需依赖扎实的代理指标(Proxy Metrics)证明投资回报率。
---
[40:09](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=2409s) 破解重复性任务与提示词工程难题:自研 Prompt、超级用户与持续迭代机制
来自马萨诸塞州一家制药公司的微观数据科学团队负责人提出了一个普遍痛点:在尝试用 AI Agent 替代员工不愿意做的繁重、重复性工作时,究竟有没有“银弹”可以快速教育非技术员工掌握高质量的提示词工程(Prompt Engineering)?
```mermaid flowchart LR accTitle: 提示词工程闭环优化与生产部署流程 subgraph Init["输入与初稿"] A["业务痛点 / 原始想法"] --> B["LLM 辅助构建结构化 Prompt"] end subgraph Feedback["异常与仿真闭环"] B --> C["实际运行 / 捕获异常"] C --> D["问题归因 & 反馈修正"] D --> E["多场景仿真测试"] end subgraph Deploy["交付生产"] E --> F["更新部署至 Production"] end ```
对于这一难题,嘉宾们给出了结合组织机制与技术流程的复合解法:
1. **深入业务现场与“茶水间洞察”**:以产品思维和流程重塑视角切入,深入业务一线做发现工作(Discovery Work),分析数据流在何处停滞、哪些环节产生的异常(Exceptions)最多。同时,绝对不能忽视非正式的“茶水间闲聊(Water cooler talk)”——员工平时聚集在一起抱怨最多、公认最痛苦的流程节点,正是部署 Agent 的最佳突破口。 2. **利用大模型实现“以 AI 提示 AI”**:对于非专业开发者,无需强行钻研复杂的提示词技巧。一种行之有效的高效做法是让大模型为自己编写 Prompt——用户只需输入自己粗糙的原始想法,要求模型输出结构优良的提示词框架,再将结果直接复制回工具中,借助 LLM 自身的能力实现自我增强。 3. **推行组织级采纳项目与发掘“超级用户”**:在组织层面推进落地时,必须建立系统的采纳推进机制(Adoption Program)。以财务团队处理发票为例,员工可能需要面对格式混乱的发票或附带的繁杂表格,花两个小时手动复制粘贴到结构化表格中;如果他们从未亲眼见过 AI 的处理能力,就根本不会意识到自动化提取的可行性。通过展示“可能性的艺术(Art of the possible)”,并重点扶持团队中率先跑通流程的一到两名“超级用户(Super Users / Power Users)”,由他们将成功经验转化并在团队内分享推广,能带来远超自上而下说教的学习效果。 4. **建立端到端的 Prompt 持续迭代闭环**:提示词工程绝不仅限于写出第一版 Prompt,更关键的是后续的运维与优化机制。当线上出现错误时,系统需要能够识别具体问题所在、将错误场景反馈回模型、重新调整并生成新 Prompt、运行全量仿真以确保覆盖所有边界场景,最终将经验证的 Prompt 发布至生产环境。这种工程化迭代流程的价值远胜于最初单次编写的提示词。
- 痛点挖掘:从流程阻滞点、高频异常数据以及员工日常“茶水间吐槽”中锁定高价值用例。 - 提示词自我生成:非技术人员可直接委托 LLM 进行元提示词构建(Meta-prompting),快速获得结构化模板。 - 超级用户带动机制:无需全员成为技术专家,通过赋能少数先锋用户建立示范效应,加速组织级扩散。 - 闭环工程运维:涵盖“错误捕获 $\to$ Prompt 重构 $\to$ 场景仿真测试 $\to$ 生产上线”的完整生命周期管理。
## Notable quotes > [03:01](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=181s) 我已经做够了 POC,再也不想做一个新的 POC 了 — Jatin Dave
> [07:22](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=442s) 将过去高度依赖“人力资本”驱动的繁琐借贷流程转变为端到端的“程序化”流程 — Jon Fry
> [11:09](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=669s) AI Agent 代替用户自主购物的时代仍遥不可及 — Bill Ready
> [21:08](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=1268s) 我们深知公司必须拥有一套 AI 战略,但我们根本不知道这套战略到底该长什么样 — Zach Gronfein
> [22:38](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=1358s) 任何人都能写 Prompt,但写出好 Prompt 绝非易事 — Federico Cohen Freue
> [25:03](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=1503s) AI Agent 的聪明程度完全取决于输入数据的质量 — Barkha Saxena
> [28:59](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=1739s) 我们客服环境里的知识库根本没法用,因为所有的知识库文章都是一堆垃圾,从来没人维护 — Jatin Dave
> [38:09](https://www.youtube.com/watch?v=v-6Ewla4JmI&t=2289s) 我们投入了大笔资金,财务损益表(P&L)上的实际收益在哪里? — Jatin Dave
## Mentioned Zach Gronfein, Sound Ventures, Ashton Kutcher, Guy Oseary, OpenAI, Anthropic, Barkha Saxena, Chime, Federico Cohen Freue, Mastercard, Jon Fry, Lendflow, Jatin Dave, Deloitte, Pinterest, Bill Ready, ChatGPT, Claude, Gemini, Copilot, Agent Pay, Witness AI, Haze Labs, Claude Artifacts, Claude Projects, Poshmark, Slack, Ascent, Raheem
## Video description Zach Gronfein, Investor, Sound Ventures Barkha Saxena, Chief Data Officer, Chime Jon Fry, CEO, Lendflow, Inc. Jatin Dave, Managing Director, AI, Deloitte Federico Cohen Freue, Senior Vice President, AI & Data Operations, Mastercard
Abstracts
AI agents are already creating measurable business value across industries, from finance and healthcare to retail and manufacturing. In this panel, executives and AI leaders will share real-world success stories of AI agent deployments, detailing the tangible benefits they’ve achieved—including cost savings, increased efficiency, improved customer satisfaction, and new revenue streams. The discussion will highlight key lessons learned, common pitfalls, and the strategic decisions that led to successful implementations. Whether you're considering AI agents for your organization or looking to optimize existing deployments, this panel will offer invaluable insights from those leading the way.
[Source](https://www.youtube.com/watch?v=v-6Ewla4JmI)