Ai4
企业唯有通过动态版本控制与KPI量化模型拆解验证成本,才能准确核算AI Agent的真实财务回报与生产力提升。
AI-assisted summary of Measuring the Business Value of Agents With Pay-I, Inc — original source. Check the original for full context.
Source published:
Detailed notes
## Background 本文来源于 YouTube 频道 Ai4 于 2025 年 8 月 26 日发布的演讲视频,标题为《Measuring the Business Value of Agents With Pay-I, Inc》。视频页面简介指出,演讲者 Pay-I, Inc. 的 CEO David Tepper 探讨了在企业跨越概念验证(POC)阶段后,如何量化 AI Agent 的真实成本与 ROI,建立量化业务价值指标并在项目上线前预测毛利率。
## TL;DR 演讲者 David Tepper 首先将 Agent 划分为工作流(Workflow)、流水线(Pipeline)与自主智能体(Dynamic Agent)三种架构形态,并指出了直接计算 LLM 成本与延迟的极高复杂性。随后,他提出了评估 Agent 商业价值的三大核心维度——财务价值、时间节省与生产率提升,并给出了具体的时间计算公式与生产力判定法则。最后,他强调企业应通过按用例拆分、严格版本控制以及量化 KPI 来精准测量 AI 投资回报率,并介绍了 Pay-I 平台及其与 AWS 合作的 VALUE 计划。
## Atmosphere & style 演讲氛围专业且兼具幽默感,David Tepper 凭借其在微软多年的丰富履历与行业洞察,以轻松自如的台风娓娓道来。面对极其复杂的 Token 计费与算法架构,他善于用自嘲(如谈及 AI 复杂度导致脱发)和直白的金句化繁为简,展现出资深技术专家与创业者的严谨逻辑与敏锐商业嗅觉。整体叙事节奏紧凑,既有硬核的方法论推导,又有接地气的企业落地经验分享,给听众带来极高的信息密度与实用启发。
## Key takeaways - [00:04](https://www.youtube.com/watch?v=0mbItBdqlko&t=4s) 演讲者 David Tepper 拥有超过 15 年的 AI 领域经验,曾任微软高管管理覆盖 4.5 万 Azure 员工的 GenAI 平台,后创立 Pay-I 专注于量化 AI Agent 的真实商业价值与 ROI。 - [01:28](https://www.youtube.com/watch?v=0mbItBdqlko&t=88s) 行业中 Agent 概念被过度滥用,其技术形态应严谨划分为三种:工作流(Workflow)、管线(Pipeline)与自主智能体(Dynamic Agent)。 - [02:48](https://www.youtube.com/watch?v=0mbItBdqlko&t=168s) 商业价值可归纳为三大核心量化维度:财务价值(直接收益/成本节省)、时间节省(任务缩短)与生产率提升(单位产出增加)。 - [04:21](https://www.youtube.com/watch?v=0mbItBdqlko&t=261s) 大模型成本体系极其复杂,涉及不同的 Tokenizer、多模态不透明计费、SDK/Snapshot 差异以及 Agent 动态多轮调用带来的不确定性,使得计算真实单次任务开销极其困难。 - [07:25](https://www.youtube.com/watch?v=0mbItBdqlko&t=445s) 衡量时间节省的前提是拆解 GenAI 的各种延迟指标,包括首 Token 时间(TTFT)、Token 间延迟、首完成 Token 时间及每秒输出 Token 数(OTPS)。 - [09:27](https://www.youtube.com/watch?v=0mbItBdqlko&t=567s) 推行 Agent 评估的三步法:首先按“用例(Use Cases)与业务成果”拆分,其次建立严密的“版本控制(Versioning)”,最后使用布尔值、数值、百分比及李克特量表这四大标准化 KPI 进行量化。 - [13:19](https://www.youtube.com/watch?v=0mbItBdqlko&t=799s) 提出了时间节省计算模型,通过组合“任务满意度二进制变量”、“人工常规耗时”与“智能体耗时”来精确评估累计节省的时间,揭示虚假繁荣。 - [14:53](https://www.youtube.com/watch?v=0mbItBdqlko&t=893s) 生产力提升的核心黄金法则:只有当智能体“成功完成任务的概率”大于“人工验证耗时除以人工亲自执行耗时”时,Agent 才真正提高了生产力。 - [16:15](https://www.youtube.com/watch?v=0mbItBdqlko&t=975s) Pay-I 作为首个被 FinOps 基金会认定的 GenAI FinOps 解决方案,提供实时支出保护与跨版本数据采集功能,并与 AWS 联合推出了 VALUE 计划帮助企业落地 AI ROI 评估。 - [18:05](https://www.youtube.com/watch?v=0mbItBdqlko&t=1085s) 财务价值、时间节省与生产率三大维度没有固定的优先级,企业应根据具体用例的目标(如开源、节流或提效)灵活组合测量。
## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=0mbItBdqlko&t=4s) 演讲开场与个人背景
演讲者 David Tepper(Pay-I 公司 CEO)拉开了关于“评估 AI Agent 商业价值”的演讲序幕。在因临时更换场地而进行简短的暖场交流后,他概述了本次演讲的四大核心议题:介绍个人背景、定义 AI Agent(智能体)、阐释商业价值,以及如何将两者结合进行量化测量与案例分析。
``` David Tepper 的职业履历 ──────────────────────────────────────────────────────────── [微软 19 年履历] ──► 负责 Azure 4.5 万员工的 GenAI 内部平台 拒绝微软 CTO 团队的高管要约(全公司 GenAI) 离职创业成立 Pay-I, Inc. ──────────────────────────────────────────────────────────── [行业影响力] ──► 微软内部 GenAI 战略主讲人 向 Fortune 500 企业及美国国会演讲 向联合国(UN)汇报 GenAI 对发展中国家的影响 ```
David Tepper 拥有深厚的生成式 AI(GenAI)技术背景。他自 2009 年起便深耕该领域,早在 2011 年就获得了首项相关专利。在微软任职的 19 年间,他曾领导内部软件平台,服务 Azure 全球 4.5 万名员工使用生成式 AI 技术。为了创立 Pay-I,他甚至拒绝了直接向微软 CTO 汇报、统筹全公司内部 AI 应用程序的要约。在微软期间,他不仅向公司高层规划 GenAI 的战略布局,还代表微软面向《财富》500 强企业、知名高校及美国国会发表演讲;半年前,他还在联合国发表演讲,探讨生成式 AI 对发展中国家的深远影响。他开玩笑说,生成式 AI 曾经是一个极度小众的领域,而如今技术迎来爆发式增长,他选择脱离大企业的束缚,踏上创业之旅,甚至打趣道由于该领域过于复杂,自己“在探索过程中头发都掉光了”。
- 演讲者曾于 2011 年获得个人首项 AI 专利。 - 曾在微软内部管理覆盖 45,000 名 Azure 员工的生成式 AI 平台。 - 约半年前受邀在联合国发表演讲,探讨生成式 AI 对发展中国家的影响。
---
[01:28](https://www.youtube.com/watch?v=0mbItBdqlko&t=88s) 定义 AI Agent 的三种技术形态
针对当前行业中 Agent 概念被过度滥用(Overloaded)的现象,David Tepper 幽默地调侃道:“如今似乎连讲台都能被称为 Agent,甚至台下的观众也人人都是 Agent。”为了建立严谨的分析框架,他将广义上的 Agent 划分为三种截然不同的技术架构形态:
``` +-----------------------------------------------------------------+ | Agent 的三种技术架构形态 | +-----------------------------------------------------------------+ | 1. Workflow (工作流): 传统代码调用 LLM,非结构化转结构化 | | 2. Pipeline (流水线): 预设固定步骤,如 RAG 聊天机器人/数据处理| | 3. Dynamic Agent: 运行时自主决策,多工具调用,执行路径不确定| +-----------------------------------------------------------------+ ```
1. **Workflow(工作流):** 本质上是传统的软件程序,仅在某些节点将大语言模型(LLM)作为组件调用。最常见的应用场景是将非结构化数据转化为结构化数据,以便后续的传统代码进行处理。 2. **Pipeline(流水线):** 由预先设定好的步骤组成,LLM 参与其中。典型的例子是具备检索增强生成(RAG)功能的聊天机器人或数据处理流水线。这种形态不具备真正的“自主性”,因为它并不自行做出决策,而是始终严格执行预设的流程。 3. **Dynamic Agent(动态智能体):** 这才是真正具备 Agentic 特性的系统。它能够在运行时(Runtime)根据实时情况自主做出决策、灵活调用多种工具,且执行的时间长短和路径是非确定性(Non-deterministic)的。
David Tepper 强调,无论企业目前采用的是上述哪一种技术形态,本次演讲所介绍的商业价值测量技术与评估方法都是完全通用且适用的。
- **Workflow:** 核心功能在于非结构化数据向结构化数据的转化。 - **Pipeline:** 典型应用包括 RAG 聊天机器人与自动化数据处理流。 - **Dynamic Agent:** 核心特征在于运行时自主决策与非确定性执行路径。
---
[02:48](https://www.youtube.com/watch?v=0mbItBdqlko&t=168s) 商业价值的三大可量化维度
在厘清 Agent 的定义后,话题转向了“商业价值”的界定。David Tepper 指出,商业价值在不同行业中的感知截然不同——例如养老护理行业的价值可能体### 演讲背景与演讲者背景介绍
Pay-I, Inc. 的 CEO David Tepper 在本次演讲中聚焦于“衡量 AI Agent 的商业价值”。随着各大企业跨越概念验证(POC)阶段并进入生产部署,如何量化 AI 智能体(Agent)的真实投资回报率(ROI)、单次任务成本以及对业务增长的贡献,已成为企业高层和董事会最关注的焦点问题。
演讲者 David Tepper 拥有极其深厚的 AI 行业履历: - 他自 2009 年起便深耕生成式 AI(GenAI)领域,并在 2011 年获得了个人首项相关专利。 - 在微软(Microsoft)效力约 19 年间,他领导构建了 Azure 内部供 45,000 名员工使用 GenAI 的软件平台,并曾多次代表微软向 Fortune 500 强企业高管、顶尖大学、美国国会乃至联合国(讲解 GenAI 对发展中国家的影响)进行专题汇报。 - 为创立 Pay-I,他放弃了直接向微软 CTO 汇报并统领微软全公司内部 AI 工作的机会。他调侃道,AI 领域极其复杂,自己在这个过程中“甚至脱光了头发”。
---
- **演讲者姓名与职位**:David Tepper,Pay-I, Inc. CEO。 - **履历要点**:微软 19 年老兵;曾管理 Azure 内部 4.5 万人的 GenAI 平台;放弃向微软 CTO 汇报的职位出来创业。 - **演讲核心目标**:帮助企业量化 Agent 系统的真实价值、对齐衡量指标并在上线前预测毛利率。
---
[01:28](https://www.youtube.com/watch?v=0mbItBdqlko&t=88s) 重新定义 AI Agent:三大演进形态
“Agent”在当下的科技界已成为一个高度泛化的词汇(Overloaded term),几乎所有软件项目都在争相贴上“Agentic”的标签。为了建立清晰的讨论基准,David 将广义上的 Agent 明确划分为以下三种形态,并强调本演讲所讲的价值衡量方法论全面适用于这三种类型:
``` +------------------------------------------------------------------+ | 三种 Agent 技术形态 | +------------------------------------------------------------------+ | 1. 工作流 (Workflow) | | 传统软件 + LLM 节点 -> 用于非结构化数据转结构化数据 | +------------------------------------------------------------------+ | 2. 管线 (Pipeline) | | 预设多步流程 (如 RAG / 问答 Bot) -> 路径确定,无自主决策 | +------------------------------------------------------------------+ | 3. 智能体 (Agentic) | | 运行时自主决策 + 工具调用 -> 执行路径与耗时非确定性 (Non-deterministic) | +------------------------------------------------------------------+ ```
1. **工作流(Workflow)**:传统软件在特定环节调用大语言模型(LLM),最常见的应用场景是将非结构化数据转化为结构化数据,以便后续的代码进行处理。 2. **管线(Pipeline)**:预设固定的多步骤流程,LLM 作为其中的一部分。例如典型的 RAG(检索增强生成)聊天机器人。这类系统不具备自主决策能力,每次执行都遵循严格相同的步骤。 3. **自主智能体(Agentic)**:在运行时根据目标自主决策并动态选择调用不同的工具,其执行路径和耗时长短均具有非确定性(Non-deterministic)。
---
[02:48](https://www.youtube.com/watch?v=0mbItBdqlko&t=168s) 商业价值的三大可量化维度
不同行业对“商业价值”的感知可能大相径庭(如养老服务可能看重情感抚慰),但要建立通用的通用衡量体系,就必须聚焦于可量化的指标。Pay-I 在访谈了数百家 Enterprise 企业(多来自 CIO 办公室)后,总结出商业价值的三大核心归宿:
- **财务价值(Financial Value)**:以直接货币计量的收益,包括开辟新营收或实现成本节省(如自动化替代人工)。 - **时间节省(Time Savings)**:将原本需要数分钟或数小时的任务缩短至几秒钟,显著提升执行效率。 - **生产率提升(Productivity)**:单位时间内的产出数量(例如:客服人员或系统每天能够处理的工单数量)。
---
[04:21](https://www.youtube.com/watch?v=0mbItBdqlko&t=261s) 计算 ROI 的巨坑:极其复杂的 LLM 成本体系
计算 ROI 的基本公式极度简单($\text{ROI} = \frac{\text{净利润}}{\text{成本}}$),但对于 AI Agent 而言,理解与计算“成本”却极其复杂,远非简单地将两款售价相同的模型视为同等成本。
``` +------------------------------------------------------------------+ | LLM / Agent 成本的不确定性 | +------------------------------------------------------------------+ | [不同 Tokenizer] ----> 相同文本生成不同数量 Token | | [多模态输入 (Vision)] -> 隐藏计算公式 (不透明的 Token 扣减) | | [不同 SDK / Snapshot] -> 同一模型调用价格存在差异 | | [Agent 动态多轮调用] -> 每次推理耗时、Tool 调用与 Token 消耗完全不同 | +------------------------------------------------------------------+ ```
大模型成本核算之所以极其棘手,主要原因包括: 1. **Tokenizer 与计费模式差异**:不同模型使用的 Tokenizer 不同,甚至有些模型不按 Token 计费。将系统从 Model A 切换到 Model B 时,无法事先简单预判成本是上升还是下降。 2. **多模态(Vision)计费不透明**:以 OpenAI GPT-4o 的视觉计费为例,其后台图像转换公式经常在不通知用户的情况下变更,且返回的账单仅显示“消耗了 X 个 Token”,完全不拆分图像与文本的占比。 3. **SDK 与版本快照差异**:同一个模型通过不同的 SDK 调用,价格可能完全不同;不同的 Snapshot 版本计费也有差异。 4. **预留实例(Reserved Instances)复杂度**:在 OpenAI 购买预留实例后,要计算单次 API 调用的真实成本,甚至需要建立多维数学模型。David 调侃道,OpenAI 官网上曾写着“将在 2023 年 Q2 推出成本追踪系统”,结果严重拖延至今。 5. **Agent 单次请求 vs 整体工作流**:单次模型调用的成本不等于 Agent 的成本。一个 Agent 在完成一项任务时会发起一系列连续调用,由于推理深度、工具调用次数和 Token 量的波动,每一次任务的实际开销都不尽相同。
- **案例/名言**:David 提到他有一份长达 80 页的 PPT,专门用来讲解如何计算 GPT-4o 的真实调用成本;他同时提醒听众可以私下来找他听关于 Grok 利用 Token 计算成本的奇葩趣味故事。
---
[07:25](https://www.youtube.com/watch?v=0mbItBdqlko&t=445s) GenAI 延迟的多种形态及其对时间节省的影响
衡量“时间节省”的前提是准确度量 Agent 系统的延迟。与传统软件单一的“端到端延迟(End-to-End Latency)”不同,GenAI 引入了多种必须拆解评估的延迟指标:
- **首 Token 时间(Time to First Token, TTFT)**:在流式输出(Streaming)系统中,用户多久能看到 Agent 开始响应。这直接决定了交互的“敏捷感”。 - **Token 间延迟(Inter-token Latency)**:流式输出过程中每个 Token 之间的间隔,通常比 TTFT 快得多。 - **首完成 Token 时间(Time to First Completion Token)**:在推理模型(Reasoning Models)中,模型在开始给出最终解答前“思考”了多久。 - **每秒输出 Token 数(Output Tokens Per Second, OTPS)**:模型生成文本的速度。特别需要注意的是,某些大上下文模型(如拥有百万 Context Window 的 Google Gemini)随着输入上下文的增长,后续生成的 Token 处理速度会急剧下降并出现卡顿。
> **关于推理模型的有趣事实**:很多数据表明,模型在返回第一个 Token 之前,实际上就已经在内部算出了答案,后续的流式输出只是在向用户进行解释。就如同求解一个多入口多出口的迷宫,模型必须先在内部把整条最佳路径跑通(Solve the maze),然后才能开始输出第一步。
---
[09:27](https://www.youtube.com/watch?v=0mbItBdqlko&t=567s) 落地三步法:用 KPI 和版本控制破解测量难题
针对 Agent 准确率不一、可能需要人工复核(Human-in-the-loop)而影响实际生产率的难题,David 提出了将复杂问题拆解测量的标准流程:
#### 第一步:按用例(Use Cases)拆分 Agent 不要关注底层用了什么技术(是 Workflow 还是 True Agent),只关注**最终交付的业务成果(Outcome)**(如:文档摘要、预订行程、处理工单等)。从成果视角评估:完成该用例花了多久?花了多少钱?成功质量如何?
#### 第二步:引入严密的版本控制(Versioning) GenAI 系统极其敏感——修改提示词(Prompt)、更换模型、更新知识库数据或后端代码,都会彻底改变 Agent 的性能 profile。甚至工程师在提示词里多加一个逗号,都可能直接改变产品的毛利率、推理耗时和回答准确率。因此,**所有 KPI 必须与 Agent 的特定版本绑定**。
#### 第三步:选择恰当的量化 KPI 常见且高频的企业级用例(如客户服务、文档抽取等)对应的 KPI 最终可以被归纳为四大标准化数据类型:
| 动态数据类型 | 说明与典型示例 | |:--- |:--- | | **布尔值 (Boolean)** | 是/否,True/False(如:任务是否一次性成功成功执行) | | **数值 (Numbers)** | 标量数值(如:处理该任务消耗的平均成本、总耗时秒数) | | **百分比 (Percentages)** | 比例或率(如:人工接管率、准确率、自动化覆盖率) | | **李克特量表 (Likert Scale)** | 分级打分(如:1-5 星级满意度、1-10 分用户评价) |
David 指出,这四种类型几乎涵盖了目前生产环境中 99% 以上的 KPI 量化评估需求。将收集到的 Agent 运行数据与这些 KPI 结合,企业才能真正告别“感觉良好”的盲目时代,精准评估出 AI Agent 的真实商业价值。
---
- **用例与工具的区分**:Copilot 或 Agent 本身只是“工具(Tools)”,并非“用例(Use Cases)”,因为工具不直接等于业务结果。 - **KPI 的本质**:“ROI 本身不是 KPI,KPI 是用来计算出 ROI 的数据过程”;“满意感觉(Feeling)不是 KPI”。<FollowUp label="想了解演讲的后半部分内容(如具体的 Pay-I 客户案例或 Margin 预测方法)吗?" query="请继续提供该视频后半部分的详细讲解与逐段总结。"/>
[13:19](https://www.youtube.com/watch?v=0mbItBdqlko&t=799s) 评估 AI 智能体的财务价值与时间节省模型
David Tepper 首先将分析带回基础的投资回报率(ROI)计算公式。他指出,计算公式的分子通常代表收益(如成本节约、增加营收,甚至是裁员带来的开支减少),而分母则对应投入成本。通过将具体的业务逻辑转化为对关键绩效指标(KPIs,如点击率、转化率等)的量化测量,企业能够准确填入这些数据并算出明确的利润与 ROI。
接着,Tepper 引入了一个更为精确的“时间节省计算公式”。该公式看似复杂,其实结构清晰:
``` ┌────────────────────────────────────────────────────────┐ │ 时间节省总量 = Σ [ s × (n - a) ] │ ├────────────────────────────────────────────────────────┤ │ 其中: │ │ • s: 任务是否满意的指示变量 (1 代表成功,0 代表失败) │ │ • n: 人工完成该任务所需的常规时间 │ │ • a: 智能体完成该任务所需的时间 │ │ • Σ: 针对所有处理任务(如所有文档)的求和 │ └────────────────────────────────────────────────────────┘ ```
这个简单公式能非常敏锐地揭示智能体的真实表现:它不仅能识别出那些表现出色、节省大量时间的智能体,也能暴露完全失败并白白浪费时间的智能体。更重要的是,它能揭示出最隐蔽的“虚假繁荣”情况——即智能体虽然成功完成了任务,但实际节省的时间远低于预期。以文档摘要为例,通过评估输出的质量评级(决定 $s$ 值)以及文档的规模大小(决定 $n$ 与 $a$),企业便能跨所有文档精准计算出累计节省的时间。
- **ROI 分子构建**:包含节约成本、新增收入或人员结构调整带来的直接财务收益。 - **时间节省模型参数**:$s$ 为满意度二进制变量(0 或 1),$n$ 为人工基线耗时,$a$ 为智能体实际耗时。
[14:53](https://www.youtube.com/watch?v=0mbItBdqlko&t=893s) 生产力提升的核心法则与智能体分类总结
在谈及更为复杂的生产力评估时,由于演讲时间所限,Tepper 决定跳过繁琐推导,直接给出关于生产力最核心的“金句法则”(sound bite)。他强调,如果大家今天只能记住关于生产力的一件事,那就是这个核心不等式:**只有当 AI 智能体“成功完成任务的概率”,大于“人类验证该任务所需的时间除以人类亲自做该任务所需的时间”时,智能体才真正提高了用户的生产力。**
他将这一核心结论反复重述,强调验证成本在衡量 AI 价值时的决定性作用。随后,Tepper 对整场演讲的核心框架进行了系统性梳理,重新提炼了三大要点:
1. **智能体的三级形态**: - **基础工作流**:传统软件直接调用 LLM。 - **预设管道**:按照预先确定的步骤运行,并在特定节点嵌入 LLM。 - **自主智能体(Agentic)**:具备自主决策能力,能够主动使用 MCP(Model Context Protocol)服务器及各类外部工具。 2. **业务价值的三大维度**:包括价值创造(财务收益)、时间节省与生产力提升。 3. **量化评估方法论**:将智能体拆解为由成果驱动的用例,对成果进行精确测量,并运用量化 KPI 综合计算最终的业务价值。
- **生产力黄金法则**:$P(\text{成功}) > \frac{T_{\text{验证}}}{T_{\text{执行}}}$(智能体成功概率必须超过“验证耗时/亲自执行耗时”的比例)。 - **工具与协议支持**:自主智能体依靠 MCP 服务器和外部工具链实现复杂决策。
[16:15](https://www.youtube.com/watch?v=0mbItBdqlko&t=975s) Pay-I 平台架构、FinOps 治理与 AWS 官方合作
Tepper 指出,理论公式只是第一步,实际落地需要一套能够自动化收集数据、跨不同版本汇总分析的完整系统,同时还需考虑失败率管理和容量规划等日常部署中的现实挑战。这正是 Pay-I 公司的核心价值所在。Pay-I 最近被《福布斯》(Forbes)报道为管理生成式 AI ROI 的首选平台,并被 FinOps 基金会认定为目前唯一的生成式 AI FinOps 解决方案。公司不仅研发工具,还在开创一套完整的行业标准实践。
除了评估业务价值外,Pay-I 平台还提供财务治理和实时支出保护功能,防止智能体出现“发疯”(go bananas)导致成本异常飙升的情况。Tepper 在现场宣布了一项重大合作:**Pay-I 已与 AWS 达成官方战略合作**,共同推出名为“VALUE”的专项计划(其简称类似《复仇者联盟》中的神盾局 S.H.I.E.L.D.)。通过该计划,AWS 团队将全程协助企业进行生成式 AI 的价值实现,涵盖用例定义、KPI 识别、利用 Pay-I 筛选具备真实 ROI 的项目以及后续优化。这能帮助企业在 LinkedIn 上发布智能体成果时,摆脱虚浮的炒作,具备足够的底气与信心。
- **行业认可**:获得 Forbes 报道以及 FinOps Foundation 唯一认证的 GenAI FinOps 解决方案。 - **核心功能**:实时支出保护(防止成本暴涨)、跨版本数据采集、失败率与容量规划。 - **AWS VALUE 计划**:联合 AWS 团队提供从用例拆解、KPI 确定到利用 Pay-I 验证 ROI 的全流程服务。 - **展位信息**:Pay-I 在大会现场设置了第 246 号展位(Booth 246)提供演示。
[18:05](https://www.youtube.com/watch?v=0mbItBdqlko&t=1085s) 问答环节:聚焦 ROI 与三大价值维度的优先级选择
在演讲最后的问答环节,Tepper 回答了现场观众提出的两个核心问题:
1. **关于定位(专注于 ROI 还是部署)**:Tepper 明确表示 Pay-I 的核心焦点是 **ROI**。市面上所有人都在推销或构建各种智能体,但 Pay-I 关注的是哪些智能体能够为企业带来切实的业务回报。 2. **价值维度的优先级选择**:观众问及在财务价值、时间节省和生产力这三种价值衡量方式之间应如何排序。Tepper 解释称,这完全取决于具体的用例和企业的目标——如果是为了直接赚钱,就优先看财务价值;如果是为了提升效率,则侧重时间节省。但在实际操作中,企业不仅可以而且**应该同时测量这三个维度**。当客户询问“使用 ChatGPT 到底能为公司带来什么价值”时,关键在于企业自身如何定义“价值”。这极其依赖具体业务场景,并不存在一劳永逸的“万灵药”(silver bullet)。
- **业务焦点**:不提供智能体构建,专注衡量智能体的真实业务回报(ROI)。 - **优先级原则**:无通用套路,需根据用例目标(开源、节流或提效)灵活组合测量财务、时间与生产力三大指标。
## Notable quotes > [01:28](https://www.youtube.com/watch?v=0mbItBdqlko&t=88s) 如今似乎连讲台都能被称为 Agent,甚至台下的观众也人人都是 Agent。 — David Tepper
> [00:04](https://www.youtube.com/watch?v=0mbItBdqlko&t=4s) 我在探索过程中头发都掉光了。 — David Tepper
> [09:27](https://www.youtube.com/watch?v=0mbItBdqlko&t=567s) ROI 本身不是 KPI,KPI 是用来计算出 ROI 的数据过程。 — David Tepper
> [09:27](https://www.youtube.com/watch?v=0mbItBdqlko&t=567s) 满意感觉(Feeling)不是 KPI。 — David Tepper
> [14:53](https://www.youtube.com/watch?v=0mbItBdqlko&t=893s) 只有当 AI 智能体‘成功完成任务的概率’,大于‘人类验证该任务所需的时间除以人类亲自做该任务所需的时间’时,智能体才真正提高了用户的生产力。 — David Tepper
> [04:21](https://www.youtube.com/watch?v=0mbItBdqlko&t=261s) 将系统从 Model A 切换到 Model B 时,无法事先简单预判成本是上升还是下降。 — David Tepper
> [09:27](https://www.youtube.com/watch?v=0mbItBdqlko&t=567s) 修改提示词(Prompt)、更换模型、更新知识库数据或后端代码,都会彻底改变 Agent 的性能 profile。 — David Tepper
> [09:27](https://www.youtube.com/watch?v=0mbItBdqlko&t=567s) 甚至工程师在提示词里多加一个逗号,都可能直接改变产品的毛利率、推理耗时和回答准确率。 — David Tepper
> [16:15](https://www.youtube.com/watch?v=0mbItBdqlko&t=975s) 防止智能体出现‘发疯’(go bananas)导致成本异常飙升的情况。 — David Tepper
> [18:05](https://www.youtube.com/watch?v=0mbItBdqlko&t=1085s) 当客户询问‘使用 ChatGPT 到底能为公司带来什么价值’时,关键在于企业自身如何定义‘价值’。 — David Tepper
## Mentioned David Tepper, Pay-I, Inc., Microsoft, Azure, United Nations, Fortune 500, OpenAI, GPT-4o, Grok, Google Gemini, AWS, VALUE Initiative, FinOps Foundation, Forbes, Model Context Protocol (MCP), ChatGPT, RAG
## Video description David Tepper, CEO, Pay-I, Inc.
Abstracts
The new world of software promises to be teeming with agents and AI powered tools… but how will that impact your business? You've built the POCs and seen the demos, but scaling to production demands answers: What is the real cost per outcome? Which use cases deliver provable ROI? As enterprises race to deploy AI agents and chatbots, boards are demanding quantifiable business value metrics. The hype era of “trust me, it’s working” is ending, and in its place you’ll need the tools to manage the workforce of tomorrow. I’ve been working on AI solutions for the largest companies in the world since 2009, and in this talk I’ll show you how Pay-i is helping companies quantify the real value of every agentic workflow, align teams around the new metrics that drive business growth, and forecast margins before shipping.
[Source](https://www.youtube.com/watch?v=0mbItBdqlko)