Ai4
由于行业缺乏标准可观测性与上线回滚机制,企业部署AI智能体必须限定极窄任务并以人机混合成本为底线,否则黑盒失控将直接重创品牌声誉。
AI-assisted summary of AI Agents for Business Transformation: Unlocking New Possibilities — original source. Check the original for full context.
Source published:
Detailed notes
## Background 本内容由 YouTube 频道 Ai4 于 2025 年 8 月 29 日发布。该圆桌论坛聚焦 AI Agent 在企业业务转型中的落地实践,由来自 Alumni Ventures、Mastercard、Arab Bank 和 Deepgram 的高管共同探讨智能体如何自动化复杂任务、赋能决策、重构工作流以及应对规模化扩张、伦理护栏和人机协同治理等核心挑战。
## TL;DR 圆桌讨论围绕 AI Agent 从单纯的辅助工具向并肩作战的“数字同事”演进展开,嘉宾们结合 Arab Bank 的 RBGPT 实践与万事达卡、Deepgram 的产业观察,剖析了客服联络中心及企业内部流程重构的切入点。讨论重点强调了小步快跑、窄任务拆解以及企业级安全护栏的重要性,指出必须严密防范 Agent 越权访问或引发品牌声誉翻车。面对当前行业缺乏标准化可观测性框架(如“Agent 版 Datadog”)的痛点,专家们提出了结合对抗性测试、实时监控与人工接管降级的治理策略。最后,嘉宾展望了未来 12 个月自然语音与无感交互催生的“十亿开发者”时代,并指明企业应建立关注人机协同“综合混合成本”(Blended Cost)与真实业务价值的 ROI 评估模型。
## Atmosphere & style 现场氛围务实沉稳且极富前沿洞见,主持人循序渐进的引导与四位跨界专家的深度对话相得益彰,交织出严谨与幽默兼备的专业研讨风格。嘉宾们毫不避讳技术炒作泡沫,以咖啡店模型、现场手机铃声插曲和个人求职背景等生活化案例举重若轻地化解严肃的工程命题,同时在谈及品牌风险与安全红线时展现出顶级金融与基础设施机构的极度严谨。整场交流既充溢着对“十亿开发者”与无感交互未来的憧憬,又紧扣商业底线与可观测性痛点,带给听众一种兼具远见与落地实操感的清醒启发。
## Key takeaways - [01:38](https://www.youtube.com/watch?v=hXlfre607sQ&t=98s) AI Agent 的定位正在从单纯分担既有任务的替代工具,跃升为探索未知机会与全新业务模式的“数字同事”。 - [05:16](https://www.youtube.com/watch?v=hXlfre607sQ&t=316s) 客服与联络中心等高负荷、高流失率场景是语音 Agent 的首要切入点,企业需从内外部双重重视构业务操作系统。 - [06:55](https://www.youtube.com/watch?v=hXlfre607sQ&t=415s) 构建 Agent 的成功关键在于任务细分与边界收敛,企业应将宏观流程拆解为极窄的具象命题(如咖啡店沙盒模型)。 - [10:24](https://www.youtube.com/watch?v=hXlfre607sQ&t=624s) 人机共存的混合组织必须建立硬性安全护栏,杜绝 Agent 无边界搜寻未授权数据,并为未来的跨机构交互打牢基础。 - [12:43](https://www.youtube.com/watch?v=hXlfre607sQ&t=763s) 面向终端客户的部署应采取渐进式灰度发布与实时监控体系,杜绝通过社交媒体舆情才获知故障,并预设明确的人工降级与转接机制。 - [15:42](https://www.youtube.com/watch?v=hXlfre607sQ&t=942s) 企业严禁将人类尚未理顺或标准化的任务交付给 Agent,落地应秉持“不造成伤害(Do no harm)”的底线原则。 - [20:02](https://www.youtube.com/watch?v=hXlfre607sQ&t=1202s) 系统设计必须跳脱技术极客视角以适应普通大众的非标准化交互,同时需强化员工批判性思维,防止对 AI 产出盲目照单全收。 - [23:59](https://www.youtube.com/watch?v=hXlfre607sQ&t=1439s) AI Agent 领域当前严重缺乏标准化的可观测性工具(如智能体版 Datadog),端到端系统黑盒化使得故障排查与边缘危机处理极其困难。 - [26:40](https://www.youtube.com/watch?v=hXlfre607sQ&t=1600s) 企业需科学区分可完全数字化与必须人在回路(Human-in-the-loop)的环节,严谨度量真实效能以避免昂贵的盲目跟风。 - [29:47](https://www.youtube.com/watch?v=hXlfre607sQ&t=1787s) 智能体是企业品牌的数字化延伸,必须联合法务、隐私、安全等多职能团队建立统一的负责任设计原则与数据分级管控。 - [33:25](https://www.youtube.com/watch?v=hXlfre607sQ&t=2005s) 人机交互模态正逐步回归自然的语音交流,在可靠底层基础设施支撑下,技术将走向隐形并迎来“十亿开发者”时代。 - [36:17](https://www.youtube.com/watch?v=hXlfre607sQ&t=2177s) 未来智能体将深化超个性化服务并赋能边缘弱势群体,用户界面正从选择应用向意图驱动型调度演进,但仍面临 Deepfake 等安全挑战。 - [40:08](https://www.youtube.com/watch?v=hXlfre607sQ&t=2408s) 在前台部署 Agent 前必须引入观测型 AI 与对抗性测试(红队演练),并依托数据底座、员工赋能、流程重构与伙伴治理四大支柱筑牢防线。 - [43:08](https://www.youtube.com/watch?v=hXlfre607sQ&t=2588s) 商业落地的核心在于 ROI 测算,企业需结合硬件模型成本曲线与人机分工边界,评估整体方案的“综合混合成本(Blended Cost)”。
## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=hXlfre607sQ&t=4s) 开场介绍与嘉宾背景
论坛在拉斯维加斯的清晨拉开序幕。Alumni Ventures 的管理合伙人 Ray Wu 担任本次圆桌的主持人。他提到 Alumni Ventures 是全美最活跃的风险投资机构之一,并向大家介绍了现场来自不同领域的重磅嘉宾:
来自约旦阿拉伯银行(Arab Bank Jordan)的 AI 与高级数据分析主管 Eman Gammoh 特别提到,自己经过长途飞行从中东远道而来,同时她也是约旦中央银行(Central Bank of Jordan)AI 指导委员会的成员。紧接着,语音 AI 基础设施平台 Deepgram 的首席战略官(Chief Strategy Officer)Anub Dawar 介绍了自己的职责:主要负责在技术与业务上评估哪些大方向应该押注、哪些应该舍弃,并通过实验与指标衡量确保产品在市场上取得成功;其过往背景横跨数据、AI、存储及底层基础设施的产品与工程研发。最后,万事达卡(Mastercard)数据与 AI 会士(Fellow of Data & AI)JoAnn Stonier 作了自我介绍,她此前曾担任万事达卡的首任首席隐私官(Chief Privacy Officer)与首任首席数据官(Chief Data Officer),本身兼具律师背景,目前还在卡耐基梅隆大学(Carnegie Mellon University)与普拉特艺术学院(Pratt Institute)执教,并担任 Cantellus Group 的咨询顾问。
```mermaid flowchart LR accTitle: Panelists and Moderator subgraph Panelists["圆桌嘉宾阵容"] RW["Ray Wu<br/>(Alumni Ventures)"] EG["Eman Gammoh<br/>(Arab Bank)"] AD["Anub Dawar<br/>(Deepgram)"] JS["JoAnn Stonier<br/>(Mastercard)"] end ```
[01:38](https://www.youtube.com/watch?v=hXlfre607sQ&t=98s) AI Agent 的本质转变与阿拉伯银行的 RBGPT 实践
Ray Wu 将话题切入核心:当前各行各业都在加速将 AI 引入内部业务流程,企业在追求 AI 带来的影响时,关注的究竟是收入增长、成本节约、客户满意度,还是某些全新维度的价值?
Eman Gammoh 指出,AI Agent(AI 智能体)已经不再仅仅是一个概念,而是演化成了并肩作战的“数字同事”或团队成员。以往人们总是局限在“AI 能替我分担什么既有工作”,但智能体真正的变革力量在于创造人类从未设想过的成果,解锁未曾想象过的新机会。为此,阿拉伯银行在内部推行 AI 平民化(Democratization),赋予员工自主构建和定制专属 Agent 的能力,从而在提升生产力与效率的同时,将智能体进一步推广至内部运营的“流程智能体”(Process Agents)以及面向客户的服务方案中。
阿拉伯银行构建了一个名为 **RBGPT** 的 Agentic AI 模型平台。员工可以在该平台上定制个人专属 Agent,用以承接摘要提取、报告制作、数据分析、代码编写甚至是深度金融研究等任务。Eman 分享了一个生动的真实案例:在 RBGPT 新版本刚刚发布上线几分钟后,一名员工就直接发来消息反馈,说她刚刚构建了一个专属于自己的 Agent,用来处理一份长期以来每个月都让她非常头疼的极其复杂的业务文档,并兴奋地表示:“伙伴们,它运行得简直太完美了!”这种立竿见影的反馈印证了个性化智能体在微观工作流中的提效价值。然而,Eman 强调企业更大的 ROI(投资回报率)与深远意义,在于将单点助理扩展到由多智能体(Multi-agent)系统驱动的内部端到端流程与客户交互界面中。
- **数字同事视角**:AI Agent 的价值从单纯的“代劳工作”跃升至“探索未知可能与全新业务契机”。 - **RBGPT 平台落地**:覆盖自动化摘要、报告生成、数据分析、代码开发及金融分析调研。 - **演进路线**:从赋能个人的自主构建工具,逐步走向复杂多智能体协同运行的流程自动化。
[05:16](https://www.youtube.com/watch?v=hXlfre607sQ&t=316s) 双重视角:业务操作系统重塑与呼叫中心的真实痛点
Deepgram 的 Anub Dawar 针对 Eman 的发言表示完全赞同,并提出应从“对内”与“对外”两个维度切入分析:
对内来看,企业需要审视自身的“业务操作系统”(Business Operating System)——其中哪些部分可以实现 Agent 化?哪些部分必须保留人工操作?两者之间的协同交互界面又该如何设计?而在对外视角下,则要聚焦客户的核心诉求以及 Agent 的切入点。Deepgram 深耕语音 AI 领域,团队在市场上看到了既有成熟场景的巨大变革潜力,同时也看到了全新的蓝海机会。
Anub 以联络中心(Contact Center)与客户服务为例给出了具体数据:全行业大约有 1200 万至 1400 万名人工客服,每人每天需要接听 200 通左右的电话。更为严峻的是,该行业的人员流失率(Attrition Rate)高达 67%。高强度、重复性的劳动使得从业者迫切需要更好的辅助工具。利用语音 Agent 来化解这一群体的职业痛点,仅仅是释放生产力的一小步。从联络中心进一步向外延展,无论是蓝领工人、白领职员还是科研人员,都需要一种能与既有工作生态无缝互联的全新操作系统,消除繁琐阻碍,实现端到端的顺畅体验。
- **对内视角**:重构业务操作系统,划分 Agent 自动化板块与人类决策板块的协同边界。 - **对外视角**:深耕客服与呼叫中心等存量刚需,同时开拓未被满足的全新语音交互场景。 - **客服行业关键数据**:从业人员约 1200 万至 1400 万人,人均日处理近 200 通电话,人员流失率高达 67%。
[06:55](https://www.youtube.com/watch?v=hXlfre607sQ&t=415s) 任务切分、边界设定与咖啡店思维模型
万事达卡的 JoAnn Stonier 在接棒发言前向全场观众进行举手互动调查:现场大约三分之一的企业已经正式在业务中运行 AI Agent;另外三分之一的观众则表示正在积极考虑或准备引入给员工使用。
JoAnn 指出,万事达卡内部将智能体与 AI 应用的落地划分为三个清晰的桶(Three Buckets):**提升效率(Driving Efficiency)**、**改进产品与解决方案(Improving Products and Solutions)** 以及 **创造全新业务(Net New)**。当前效率提升已经在各职能部门开花结果,除了普遍讨论的客户服务外,法务部门与人力资源(HR)部门也在深入探索。但 JoAnn 强调,真正的瓶颈在于“知易行难”——企业必须对现有员工进行再培训,让他们学会如何构建与使用 Agent,这才是“理论落地于实践”(Where the rubber meets the road)的关键。
```mermaid flowchart TD accTitle: Mastercard Three Buckets Framework subgraph Framework["万事达卡 AI 价值落地三分类"] B1["1. 效率驱动<br/>(法务 / HR / 客服)"] B2["2. 改进产品与方案<br/>(现有功能延伸)"] B3["3. 创造全新业务<br/>(Net New 模式)"] end ```
结合在卡耐基梅隆大学与普拉特艺术学院的教学经验,JoAnn 分享了她训练学生构建 Agent 的方法论:核心在于“任务的纯粹与简单化”。企业在刚接触 Agent 时往往满脑子宏大概念,却缺乏构建准则(Rubric)与边界(Boundaries)。问题切分得越窄、越具象,构建出来的智能体就越成功。她以自己课上经常采用的“咖啡店(Coffee Shop)”沙盒项目为例:有的学生小组专门针对“意式浓缩咖啡机(Barista Machine)”的运行维护构建 Agent,有的专门针对“会员忠诚度计划(Loyalty Program)”,有的则专注在“订单流动与客流排队(Flow of Traffic / Orders)”。如果直接试图构建一个大而全的智能体,往往极易失败;唯有训练员工将复杂问题聚焦并切碎为狭窄命题,智能体才能稳定发挥效能,并为未来不同 Agent 之间的复杂交互与互联打牢基础。
- **三阶段价值划分**:驱动流程效率(法务/HR 等先行)、扩展现有方案、孵化全新模式。 - **技能重塑(Retraining)**:员工需要从头学习如何拆解简单任务并为特定场景构建 Agent。 - **咖啡店教学案例**:将宏观系统细拆为单一机器维护、会员积分运算、客流订单调度等极窄场景,任务越窄,Agent 成功率与落地稳定性越高。
[10:24](https://www.youtube.com/watch?v=hXlfre607sQ&t=624s) 智能体行为边界与企业级护栏设计
在探讨完业务落地的预期成效后,主持人 Ray Wu 将话题引向落地过程中的严峻挑战,邀请万事达卡(Mastercard)的 JoAnn Stonier 率先分享。JoAnn 指出,未来的企业组织形态正在发生根本性变革,组织将由人类员工和 AI 智能体共同组成。人类员工受《员工行为准则》(Code of Conduct)的约束,明确知晓何为合规、何为出界;但 AI 智能体却并非天生具备这种边界感。对于万事达卡以及在场的任何一家企业而言,信息安全都是底线,"智能体除非被明确禁止,否则它根本不知道自己不该去查看 CEO 的机密文件"。
企业在构建智能体时必须做出清晰的顶层设计决策:是允许智能体在多轮迭代中保留历史数据记忆,还是要求其在每次任务中完全重新迭代?JoAnn 警告,如果缺乏通盘考虑,极易引发意料之外的严重后果。在传统的安全防护中,企业往往通过信息模糊化或隐藏路径来防范风险,但如果智能体没有被设置明确的搜寻边界,它就会为了达成目标去主动挖掘任何它认为需要的数据。因此,企业必须建立强有力且标准化的护栏机制(Guardrail Routine),使所有智能体的构建保持高度一致性。这种标准化的内部护栏至关重要,因为当未来进入智能体与第三方智能体跨机构交互(Agent-to-Agent)的阶段时,如果企业自身都没有理清边界规则,就根本无法在外部合作中进行有效的风险把控与谈判。
```mermaid flowchart TD accTitle: 智能体边界与护栏管理机制 subgraph S1["组织规范与准则"] A["人类员工行为准则"] B["AI 智能体行为护栏"] end subgraph S2["核心安全决策"] C["数据访问权限控制<br/>(防范越权读取机密)"] D["上下文记忆策略<br/>(保留迭代 vs 每次清空)"] end subgraph S3["未来扩展"] E["跨机构智能体交互<br/>(Agent-to-Agent 协作谈判)"] end S1 --> S2 --> S3 ```
- **人类与智能体混合组织**:企业正演进为人机并存的组织形态,必须为智能体建立类似人类员工行为守则的明确规范。 - **防止无边界数据搜寻**:传统的隐匿式安全手段对智能体无效,必须通过硬性护栏阻止其擅自挖掘未授权数据。 - **面向未来的互操作性**:内部护栏的标准化是未来实现跨企业、跨机构智能体安全交互的前提。
---
[12:43](https://www.youtube.com/watch?v=hXlfre607sQ&t=763s) 面向客户的部署风险、监控与回滚机制
阿拉伯银行(Arab Bank)的 Eman Gammoh 接过话茬,进一步剖析了内部试点与外部上线的风险差异。企业通常从提升员工内部效率切入,这类应用处于"舒适区",即便出现偏差也在内部可控范围内。然而,一旦将方案推向直接面向终端客户的界面,风险性质便发生质变——在正式点击上线按钮的那一刻起,就没有任何回头路。一旦出现失误,将直接重创银行的品牌声誉与市场地位。
面对这种压力,Eman 强调了渐进式推进与兜底回滚机制(Rollback Mechanism)的重要性。企业绝不能在第一天就贸然推出全量解决方案,而应逐步迭代放量。更关键的是,企业绝不能"坐在那里等社交媒体爆料翻车了,才意识到系统出事了",必须配备严密的实时可观测性与监控工具。此外,必须提前设计清晰的人工接管与降级路径:当虚拟智能体突然无法回答客户疑问时,系统该把电话转接给初级客服还是直接升级给资深专家,以在第一时间稳住局面、控制事态。Ray Wu 对此高度认同,并从风险投资的角度补充道,从 B2C 转向 B2B 企业级市场时,投资机构评估的核心正是安全合规、可观测性以及与现有业务工作流的深度融合能力,而非仅仅提供一个孤立的对话框。
- **阶段化部署**:严禁首日全量上线,采取渐进式灰度发布以验证稳定性。 - **主动监控替代舆情预警**:建立全链路实时监控工具,杜绝通过社交媒体负面舆论获知系统故障。 - **明确升级与转接链路**:预先设定智能体无法解答时的降级策略,确保无缝转接至对应层级的人工坐席。
---
[15:42](https://www.youtube.com/watch?v=hXlfre607sQ&t=942s) 人机混合工作流划分与客服体验的根本性重塑
在探讨混合工作流中人机分工的具体边界时,Deepgram 的 Kris Efland 引用了团队工程师的一句准则:"你绝不能把一项连人类都还没被训练得非常好的任务交给智能体。"如果企业自身尚未具备成熟的业务专长、清晰的思维链条、严密的工作流逻辑以及完备的优缺点与防护预案,那么在生产环境中就绝不应该贸然接入智能体。
谈及具体场景,Kris 以联络中心(Contact Center)为例。传统客服行业虽令人头疼,但其长年累月构建的交互式语音应答系统(IVR 树)却是一座宝库,精准沉淀了客户最高频的呼叫诉求。这使得团队可以清晰梳理低、中、高复杂度的任务类型,评估哪些环节适合单步(One-shot)、两步(Two-shot)或多步智能体处理,并精确定位人工升级点。在落地路径上,企业主要分化为两派:一派是保守型替换,仅用智能体取代部分原有 IVR 节点,这虽未颠覆客户体验,但稳妥地将智能体引入了生态;另一派则是彻底重构工作流。Kris 分享了亲身经历:他曾为了给上大学的儿子办理一张信用卡附属卡拨打人工客服,耗时整整 18 分钟回答各类繁琐问题;而当他将该流程重构为智能体交互后,全过程仅需 2 分钟。最后,他总结了智能体落地的首要铁律:"首先,不造成伤害(Do no harm)",并通过严密指标衡量系统在成本和体验上均达到持平或超越基线。
```mermaid flowchart LR accTitle: 联络中心智能体接入与分流逻辑 subgraph Input["任务评估与分类"] A["解析既有 IVR 知识树"] --> B{"复杂度与步骤评估"} end subgraph Execution["智能体分级处理"] B -->|"低复杂度 / 1-2 步"| C["自动化智能体闭环"] B -->|"中高复杂度 / 多步"| D["多轮智能体协同"] end subgraph Escalation["兜底与人工接管"] D -->|"遇到异常 / 超出边界"| E["精准路由至人工专家"] end ```
- **任务交付先决条件**:人类尚未完全理顺和标准化的流程,严禁直接部署智能体到生产环境。 - **基于成熟知识树切入**:借助 IVR 等既有业务沉淀划分单步与多步智能体任务。 - **双重重塑路径**:局部节点替换确保平稳过渡,端到端流程重塑实现指数级效率跃升(如 18 分钟缩短至 2 分钟)。 - **底线原则**:秉持"不造成伤害"原则,确保新系统在成本与体验维度上优于传统人工方案。
---
[19:18](https://www.youtube.com/watch?v=hXlfre607sQ&t=1158s) 摆脱极客视角:面向真实大众的智能体交互设计
JoAnn Stonier 对上述观点表示赞同,并结合实际观察提出了一个关键认知偏差:AI 系统的设计者往往属于社会的"极客群体(Geeky side)"。技术人员通常以独特的逻辑提问,与 AI 的交互模式也与普通大众截然不同。
然而,智能体最终是要走向真实世界、面向全人类提供服务的。设计者不能假设普通用户具备技术人员的提示词素养或容错认知,必须跳出技术精英的思维定势,真正针对普通大众的行为习惯与心理预期来打磨人机协同与交互体验。
- **认知偏差警示**:避免用技术极客的交互习惯去代表普通大众的真实诉求。 - **面向大众设计**:智能体的交互逻辑必须包容非技术用户的沟通习惯与心智模型。
[20:02](https://www.youtube.com/watch?v=hXlfre607sQ&t=1202s) 人机交互的复杂性与员工批判性思维培养
在探讨咖啡师机器维护与故障排查的交互场景时,JoAnn Stonier 分享了团队在原型训练过程中的一次生动实验。起初,测试团队向智能体提问时给出的回答过于标准和精准,JoAnn 便引导他们:“你们能不能像真实咖啡店里的店员那样回答?比如只随口说个‘好的’,或者故意给一些模糊不清的信息,看看智能体会发生什么反应。”她指出,如果不去深入思考这些更加混乱、非标准化的真实人机交互,那就是在自我设限。业界脑海中往往固守着一种刻板范式——即“智能体负责执行,人类在旁监督和控制”;但真实的未来交互会像我们日常使用智能设备一样无缝融合。
面对这种日常化的共存,核心挑战在于:当智能体出错时,我们该如何审讯(interrogate)并有效监督它们?现场甚至响起了插曲般的手机铃声,JoAnn 风趣地调侃了一句“太贴心了”,随后进一步引述了教师工会领袖兰迪·温加顿(Randi Weingarten)在前一天主题演讲中的忧虑——教育界担心学生丧失深度思考的能力。同样,在企业部署智能体后,管理者必须确保员工依然保持批判性思考,而不是对 AI 给出的所有结果照单全收。企业需要保证品牌体验与交付质量的完美,产出真正卓越的创新解决方案,而不是退化成千篇一律、如同“平淡无奇且缺乏美感的 AI 生成艺术”般的基准产物。设计未来的交互体验远比单纯的被动监管更为关键。
```mermaid flowchart TD accTitle: Human-Agent Interaction and Critical Thinking Loop subgraph Input["真实业务交互环境"] A["非结构化/模糊的人类输入"] --> B["AI 智能体推理与执行"] end subgraph Risk["潜在风险与退化"] B --> C{"输出是否出错或平庸?"} C -- "平庸输出" --> D["AI 生成结果扁平化/缺乏创新"] C -- "逻辑错误" --> E["黑盒误导业务决策"] end subgraph HumanLoop["批判性设计与干预"] D & E --> F["人类员工批判性审讯 (Interrogate)"] F --> G["主动干预与持续监督"] G --> H["保障品牌体验与高质量交付"] H --> A end ```
---
[22:34](https://www.youtube.com/watch?v=hXlfre607sQ&t=1354s) 幻觉根源与业务视角的反思
Eman Gammoh 顺着话题指出,在思考“该做什么”的同时,从业者往往也在不知不觉中被技术本身的思维模式所操纵,因此有必要退后一步,反思自身的思考逻辑。他援引了当天上午杰弗里·辛顿(Geoffrey Hinton)的观点:“模型之所以会产生幻觉,是因为人类本身也会产生幻觉。”
这意味着作为领域的探索者或专家,人们在向模型输入提示与知识时,必须时常自我审视:这种构建方式究竟是否正确?这是在单纯从技术视角炫技,还是真正立足于商业与业务视角的刚需?只有在实践中不断摸索,团队才能在未来学会如何更好地控制智能体并实现更优的工程与业务闭环。
---
[23:16](https://www.youtube.com/watch?v=hXlfre607sQ&t=1396s) 智能体评估体系与自动驾驶分级类比
主持人 Ray Wu 将讨论引向了核心量化议题:既然业界普遍承认智能体在特定场景下能提高效率,那么从度量(Measurement)的角度来看,企业当前究竟处于什么阶段?Ray 提出了一个类似于自动驾驶的成熟度分级框架:
- **Level 1(辅助阶段)**:几乎所有操作和决策仍由人类主导,AI 仅作为辅助工具(Assist)。 - **Level 5(完全自主阶段)**:智能体与机器人系统全面接管工作流与决策。
Ray 抛出疑问:以当今最前沿的行业现状来看,智能体系统的整体能力与评估体系到底处于该坐标轴的哪个位置?随后他邀请 Kris Efland 率先从技术落地与工程观测的角度进行剖析。
---
[23:59](https://www.youtube.com/watch?v=hXlfre607sQ&t=1439s) 缺乏“Agent版Datadog”:语音智能体的可观测性与意外风险
Kris Efland 直言,当前所有在生产环境中实际部署智能体的客户,几乎全部都在被迫自行搭建内部度量系统。核心症结在于:**智能体领域至今还没有诞生属于自己的“Datadog”,整个行业极度缺乏标准化的智能体可观测性(Observability)框架。** 传统软件赖以生存的基础指标(Metrics)、事件(Events)、日志(Logs)与链路追踪(Traces),在多步骤智能体面前尚未形成成熟的标准底座。
```mermaid flowchart LR accTitle: Speech-to-Speech Voice Agent Observability Pipeline subgraph Pipeline["语音智能体执行链路"] A["1. 语音识别与倾听 (ASR)"] --> B["2. 知识上下文检索 (RAG)"] B --> C["3. 推理与规则匹配 (Reasoning)"] C --> D["4. 语音合成与表达 (TTS)"] end subgraph BlackBox["可观测性黑洞 (当前痛点)"] Pipeline -.-> E["端到端黑盒:无法精确定位哪一环出错"] end subgraph Observability["必备度量体系"] E --> F["业务级监控:排队时长 / NPS / 成本"] E --> G["安全与合规:自残/危机言论检测与升级"] end ```
Kris 以客服场景中的端到端语音转语音(Speech-to-Speech)智能体为例,详细拆解了黑盒系统的可观测性困境:如果客户在通话结束后反馈体验极差,工程师根本无法追溯故障源头: - 智能体是否准确听清并理解了用户的真实表达? - 语音提取的信息是否被高效、准确地传递给了中央推理决策系统? - 业务知识与上下文数据的检索(Fetch)是否完整且适宜? - 规则匹配与逻辑分析是否在合规范围内正确执行? - 智能体最终向用户表达的语音内容与语气是否恰当?
在纯粹的端到端黑盒语音模型中,上述中间态的可见性全部丢失。除了互联网巨头与社交平台所沉淀的通用业务度量基线外,垂直行业(如联络中心或医药场景)还需监控四大基础指标:平均等待时长(Hold Time)、问题/处方成功处理率、净推荐值(NPS)以及单次对话的综合推理成本。
更严峻的挑战来自于意料之外的极端边缘场景:若用户拨打金融客服热线,却开始倾诉个人不幸,甚至透露出可能伤害自己或他人的自残倾向,语音智能体该如何应对?这种偶发却致命的次生影响,必须被全面度量,并建立明确的组织内部升级与风险隔离机制。
---
[26:40](https://www.youtube.com/watch?v=hXlfre607sQ&t=1600s) 人在回路的顶层设计:区分效率提升与盲目跟风
针对危机处理与异常状况,JoAnn Stonier 与其他嘉宾补充道,关键在于建立即时的**人类介入升级机制**。这引出了一条本质问题:在整个服务链路中,哪些节点机器是更优解,而哪些节点人类才是不可替代的解决方案?
- **可数字化(Digitable) vs. 需人类介入(Human-in-the-loop)**:能够完全被数字化和规则化的环节适合交给智能体;而那些涉及复杂情感、非数字化感知或高风险决策的场景(例如复杂的医疗诊断与模式匹配失效时),必须在系统设计之初就主动将人类置于回路之中,而不仅仅是事后兜底。 - **避免为了创新而创新**:构建智能体的成本并不低廉。企业必须严格度量智能体是否真正带来了效率跃升(Efficiency Lift)、业务创新,或收集了用于后续迭代的核心数据资产;如果无法证明其真实效能,那充其量只是一种昂贵的盲目跟风。
---
[27:53](https://www.youtube.com/watch?v=hXlfre607sQ&t=1673s) 银行维度的业务价值度量与多智能体管控
从银行与金融机构的落地实践出发,Eman Gammoh 强调度量是一件极为棘手的事情,最容易犯的错误就是“只见树木,不见森林”——团队往往过早陷入单一用例的技术细节指标中,而忽略了全局图景。
他指出,银行必须首先明确该方案旨在创造何种具体的商业价值(Business Value)。只有以终为始,才能清晰界定某项智能体研发究竟是在追逐市场炒作泡沫,还是在创造实质收益。在看清顶层商业全貌后,企业才能科学规划需要部署多少个细分智能体,并针对每一个子智能体建立精准的控制边界、度量机制与协同治理方案。
---
[28:45](https://www.youtube.com/watch?v=hXlfre607sQ&t=1725s) 灰色地带的伦理控制与跨界“设计思维”的回归
Ray Wu 总结道,真实的人类社会从来都不是非黑即白的,而是充满了灰色地带。人类在社会与文化框架中所做出的各种微妙决策,很难被简单编码。面对这种复杂性,该如何从伦理与规则上约束智能体,确保其行为始终处于正确轨道?
JoAnn Stonier 回应时再次将核心落脚点归结为**顶层设计(Design)**。她轻松地分享起自己的个人经历: - 她的履历十分多元跨界,其中甚至包含一个曾被许多人视为“奇怪多余配件”的设计学学位。 - 当年去攻读设计学位源于“9·11”事件后重拾未竟梦想的曲折故事。 - 然而在当下这个充满颠覆与重构的 AI 时代,她庆幸自己拥有这份设计学训练,因为它赋予了跳出传统技术框架、以全新维度思考人机共生系统的底层思维方式。
[29:47](https://www.youtube.com/watch?v=hXlfre607sQ&t=1787s) 智能体设计原则与企业负责任治理
万事达卡(Mastercard)数据与 AI 院士 JoAnn Stonier 指出,企业必须深入思考该如何设计 AI 智能体,以及如何让企业的核心价值观与原则在这些智能体上体现出来。万事达卡内部拥有针对数据与 AI 的行为准则与设计原则,但当智能体开始接手以往由人类员工承担的工作时,企业必须建立全新的“智能体设计原则”(Agentic Design Principles),以界定这些智能体的行为模式以及它们将如何代表企业品牌。她认为,讨论这一议题时不必局限于抽象的“伦理”(Ethics,因为伦理在世界各地和不同社会文化中各有差异),更核心的是“负责任的开发实践”(Responsible Development)。
```mermaid flowchart TD accTitle: 智能体治理与负责任设计框架 subgraph Governance["多方治理委员会 (跨职能协作)"] G1["技术与数据团队"] G2["安全合规团队"] G3["隐私保护团队"] G4["知识产权法律顾问"] end
subgraph DataClassification["数据权限与分级管控"] D1["公开数据 (Public)"] D2["受限数据 (Restricted)"] D3["机密数据 (Confidential)"] D4["高度机密 (Highly Confidential)"] end
subgraph Execution["智能体设计与护栏落地"] E1["品牌价值与行为准则"] E2["统一安全护栏 (Guardrails)"] E3["人机协同混合劳动力"] end
Governance --> DataClassification DataClassification --> Execution ```
JoAnn 强调,安全是万事达卡的“第一要务”(Job One),任何事情都必须以安全、隐私和卓越的客户体验为基石。万事达卡虽是一家 B2B 企业,但本质上也是 B2B2C 业务,消费者对其品牌和“无价”(Priceless)理念有着天然的信任。如果智能体的表现无法延续企业一贯秉持的可靠作风,客户便不会愿意采用新产品。因此,企业需要建立一套标准化的护栏流程(Guardrail Routines),让智能体在一致的规则下运行,并使员工清晰理解这些要求,确保全新混合劳动力(Hybrid Workforce)的目标一致。这背后的治理模式必须涵盖安全、隐私以及负责知识产权的法务团队,明确数据来源、使用权限与数据分级(公开、受限、机密、高度机密),形成一套可供全员遵循并代码化进智能体系统的“设计操作指南”(Design Playbook)。
- **品牌延伸**:智能体直接对外交互,是企业品牌与价值观的数字化具象,其行为规范必须与员工守则完全对齐。 - **治理广度**:AI 治理不仅是数据和技术人员的责任,必须将法务、合规、安全与隐私团队纳入核心决策圈。 - **数据合规**:智能体访问数据前,必须明确数据的使用目的、授权范围以及对敏感级别的数据隔离。
---
[33:25](https://www.youtube.com/watch?v=hXlfre607sQ&t=2005s) 12 个月展望:无感交互与十亿开发者的时代
主持人 Ray Wu 引导大家展望未来 1 至 5 年内最令人期待的智能体技术与应用场景。Deepgram 工程副总裁 Kris Efland 直言,当下的指数级发展速度让行业内最前沿的从业者都难以预测 3 年后的格局,因此他将视角聚焦在接下来的 12 个月。他认为,只要建立起 JoAnn 提到的严格访问控制层和设计规范,人们与数字世界的交互方式将迎来颠覆性改变,技术将变得“隐形”(Invisible)且无缝融入生活。
Kris 以人机交互模态的演进为例解释:人类自古以来习惯用声音交流,后来为了与计算机打交道,才通过受教育学会了文字输入和文档编写,而书面语言与口头交流存在巨大差异。随着语音等自然模态的成熟,人机交互将回归直觉。他吐槽了当下的反人性操作——当人在 Uber 后座想要发一封邮件时,必须掏出手机、刷脸解锁、打开 Gmail、在微小的虚拟键盘上局促地打字,这虽是目前最成熟的方案,体验却十分糟糕。在未来理想状态下,人人都可以通过自然对话直接构建工具,迎来“十亿开发者”(Billion-Plus Developers)的时代,每个人都将成为构建者。
- **交互回归本质**:人类从适应计算机的键盘输入,转向让计算机理解人类最自然的语音交互。 - **十亿级构建者**:在负责任、可靠的底层基础设施(Substrate)保障下,任何人都能根据需求随手创建专属工具。 - **无感化体验**:技术退居幕后,跨应用与跨界面的繁琐操作被智能代理全面简化。
---
[36:17](https://www.youtube.com/watch?v=hXlfre607sQ&t=2177s) 超个性化、社会普惠与风控竞合
JoAnn 赞同 3 年预测在当前语境下相当于过去的 10 年跨度,并指出未来一年将迎来极高速度的采用率与“超个性化”(Hyper-Personalization)。然而,这一进程也面临明显的“减速带”(Speed Bump)——安全威胁,尤其是 Deepfake(深度伪造)带来的技术军备竞赛,如何在推进创新的同时筑牢防线是关键挑战。除商业应用外,JoAnn 尤为看好智能体在社会普惠方面的潜力,它能够将边缘化群体(如阿尔茨海默病患者、认知障碍老人、残障人士以及需要专属课业辅导的儿童)纳入科技赋能的保护伞下。
阿拉伯银行(Arab Bank)的 Eman Gammoh 对此深表赞同,强调金融领域的超个性化应用将彻底改变客户体验。当 AI 金融助理深度融合银行的品牌信誉与合规伦理后,不仅能协助员工展业,还能指导客户实现财务增长。此外,她还特别提到了视觉 AI(Vision AI)在医疗领域的长远演进,有望攻克困扰人类已久的多种疑难病症。主持人 Ray Wu 总结了嘉宾们提到的核心关键词:体验、速度、普及、包容性与效率,并从风投视角呼应了 Uber 的案例——用户核心诉求只是从 A 点到达 B 点,根本无需关心打开哪款软件;未来智能体底层架构将直接根据意图调度 Uber 或 Lyft 等性价比最高的服务来解决问题。
- **超个性化落地**:智能体精准理解个人需求,在财富管理、个人健康及日常事务中提供量身定制的服务。 - **科技向善与包容性**:为老年人、认知障碍群体及青少年提供实时陪伴、照护与个性化辅导。 - **安全与 Deepfake 挑战**:新型对抗威胁成为智能体普及的关键阻碍,安全防范必须与业务创新同步演进。 - **意图驱动架构**:用户界面将从“选择 App”转向“提出目标”,智能体在底层自主比价、编排并交付最优结果。
[39:20](https://www.youtube.com/watch?v=hXlfre607sQ&t=2360s) 智能化架构的新范式与观众问答开启
随着大语言模型打破了传统信息获取与方案构建的壁垒(如同当年搜索引擎重塑信息检索一样),企业不再局限于非常狭窄的垂直应用场景中。现代技术架构中正融入一层全新的“智能层”,为业务系统引入了全新的维度与架构可能性。主持人 Ray Wu 随即转向现场观众,开启问答环节,邀请现场与会者就 AI Agent 的实际落地与挑战进行提问。
[40:08](https://www.youtube.com/watch?v=hXlfre607sQ&t=2408s) Agent 失控风险与品牌声誉防线:观测、红队对抗与监管护栏
现场观众提出疑问:当企业将 AI Agent 部署到前台时,如果 Agent 出现沟通失误或表达不当,企业该如何应对由此带来的品牌形象受损风险?嘉宾们一致认同这种担忧不仅合理,而且必须在上线前做好全面防备。企业绝不能在未做好万全准备前就将 Agent “释放”到真实世界中。在正式发布之前,必须部署“观测型 AI”(Observational AI)对 Agent 的行为进行持续监测,在实验室环境里穷举测试各种边缘场景,找出系统薄弱点。正如嘉宾所指出的,Agent 一旦上线,出现问题就无法像传统发布一样简单回滚,往往只能“直接下线”(take them down),因此绝不能让 Agent 在野外(in the wild)出现未预期的错误。
此外,嘉宾强调了“对抗性训练与测试”(Adversarial Training and Testing)的必要性——这不仅仅是测试 Agent 能否正常代表品牌,还要测试当外部恶意用户刻意诱导、欺骗 Agent 破坏品牌形象或偏离预设目标时,Agent 是否依然能够坚守品牌准则与安全边界。
来自 Arab Bank 的 Eman Gammoh 从银行业实践及监管层面补充了治理思路。作为约旦央行指导委员会的成员,她提到约旦在国家层面刚发布了相关监管治理框架。要确保推向客户的 AI 方案具备严密的安全与合规性,必须建立多维度的控制护栏(Guardrails):
```mermaid flowchart TD accTitle: AI Agent 治理与风控四大支柱 subgraph Governance["AI Agent 治理与控制护栏"] A["数据底座建设<br/>Data Foundation"] B["员工技能提升与重塑<br/>Upskilling & Reskilling"] C["业务流程重构与安全加固<br/>Process Revamp & Security"] D["第三方战略合作伙伴治理<br/>Strategic Partnerships"] end Governance --> E["安全、合规的客户级 AI 解决方案"] ```
- **数据底座(Data Foundation)**:持续加大对底层数据质量与治理的投入。 - **人员赋能(Upskilling & Reskilling)**:对企业内部员工进行 AI 技能升级与重新培训。 - **流程重塑(Process Revamp)**:重构并加固内部操作流程,确保全流程安全受控。 - **战略合作管理(Strategic Partnerships)**:无论是自研方案还是与第三方供应商合作,都要落实一致的安全评估与监管标准。
[43:08](https://www.youtube.com/watch?v=hXlfre607sQ&t=2588s) 成本度量模型与人机协同的综合效益(Blended Cost)
现场观众进一步提问:除了功能层面的监控指标外,针对成本管理与敏捷设计的度量指标该如何设定?
Kris Efland 阐述道,商业落地的核心在于 ROI,“如果构建出一个非常出色的 Agent,但成本是传统联络中心的 10 倍,那就根本不会有人采纳”。因此,企业在前期必须开展严密的成本效益评估与规模化测算。评估主要包含两个维度:
1. **现状与未来成本曲线推演**:结合过去 3 年的技术演进趋势,向前预测未来 12 到 24 个月的成本变化曲线。行业基本假设是 GPU 算力成本会持续小幅下降,同时模型在变得更小、更高效的同时性能反而更强。 2. **混合成本(Blended Cost)与人机协作接口**:目前已有客户在生产环境中部署了语音 Agent,其单点成本甚至低于某些离岸低成本联络中心的人工坐席。然而,Agent 无法 100% 替代人类所做的一切复杂工作。因此,企业必须重新定义 Agent 与人类员工之间的交互接口与协作边界,并基于人机协同模式计算“综合混合成本”(Blended Cost),以验证整体方案的商业可行性与投资回报。
在成本与落地效益的深入探讨中,本场专题研讨会圆满结束。
## Notable quotes > [01:38](https://www.youtube.com/watch?v=hXlfre607sQ&t=98s) 伙伴们,它运行得简直太完美了! — Eman Gammoh
> [10:24](https://www.youtube.com/watch?v=hXlfre607sQ&t=624s) 智能体除非被明确禁止,否则它根本不知道自己不该去查看 CEO 的机密文件。 — JoAnn Stonier
> [12:43](https://www.youtube.com/watch?v=hXlfre607sQ&t=763s) 坐在那里等社交媒体爆料翻车了,才意识到系统出事了 — Eman Gammoh
> [15:42](https://www.youtube.com/watch?v=hXlfre607sQ&t=942s) 你绝不能把一项连人类都还没被训练得非常好的任务交给智能体。 — Kris Efland
> [15:42](https://www.youtube.com/watch?v=hXlfre607sQ&t=942s) 首先,不造成伤害(Do no harm) — Kris Efland
> [20:02](https://www.youtube.com/watch?v=hXlfre607sQ&t=1202s) 你们能不能像真实咖啡店里的店员那样回答?比如只随口说个‘好的’,或者故意给一些模糊不清的信息,看看智能体会发生什么反应。 — JoAnn Stonier
> [22:34](https://www.youtube.com/watch?v=hXlfre607sQ&t=1354s) 模型之所以会产生幻觉,是因为人类本身也会产生幻觉。 — Eman Gammoh
> [23:59](https://www.youtube.com/watch?v=hXlfre607sQ&t=1439s) 智能体领域至今还没有诞生属于自己的“Datadog”,整个行业极度缺乏标准化的智能体可观测性(Observability)框架。 — Kris Efland
> [33:25](https://www.youtube.com/watch?v=hXlfre607sQ&t=2005s) 十亿开发者(Billion-Plus Developers) — Kris Efland
> [43:08](https://www.youtube.com/watch?v=hXlfre607sQ&t=2588s) 如果构建出一个非常出色的 Agent,但成本是传统联络中心的 10 倍,那就根本不会有人采纳 — Kris Efland
## Mentioned Ray Wu, JoAnn Stonier, Eman Gammoh, Kris Efland, Anub Dawar, Alumni Ventures, Mastercard, Arab Bank, Deepgram, WOW.AI, Central Bank of Jordan, Carnegie Mellon University, Pratt Institute, Cantellus Group, RBGPT, Geoffrey Hinton, Randi Weingarten, Datadog, Uber, Lyft, Gmail
## Video description Ray Wu, Managing Partner, Alumni Ventures JoAnn Stonier, Fellow of Data & AI, Mastercard Eman Gammoh, Head of AI and Advanced Data Analytics, Arab Bank Rick Latona, CEO, WOW.AI Kris Efland, VP of Engineering, Deepgram
Abstracts
This panel will explore how AI agents are transforming business operations by automating complex tasks, enhancing decision-making, and creating new efficiencies. Executives from diverse industries will share insights on how they’ve integrated AI agents into their workflows and the tangible benefits they’ve seen, from cost reduction to improved customer experiences. The panel will also address the challenges of adopting AI agents, including scaling, ethical considerations, and maintaining human oversight. Join this discussion to learn how AI agents can unlock new opportunities for innovation and growth within your organization.
[Source](https://www.youtube.com/watch?v=hXlfre607sQ)