Ai4
生成式AI颠覆了传统模型推理无需显卡的规律,持续占用的GPU负载使云端API开销随规模激增,促使企业重回自建算力与小模型混合架构以锁定长期成本。
AI-assisted summary of Scaling GenAI: From Pilot to Production-Ready Infrastructure With PNC — original source. Check the original for full context.
Source published:
Detailed notes
## Background 本内容由 Ai4 频道于 2025 年 8 月 24 日在 YouTube 平台发布,主讲人为 PNC 银行人工智能负责人 Matthew Berezo。视频围绕企业级生成式 AI 如何从原型试点跨越至生产就绪架构展开,深入剖析了 GPU 算力规划、架构权衡、成本控制与负责任 AI 治理等核心议题。
## TL;DR 演讲系统梳理了企业规模化落地 GenAI 的关键路径与五大核心议题。Berezo 深入对比了大语言模型(LLM)与小语言模型(SLM)在延迟、有效性与成本上的博弈,并提出了基于数据接地程度的四种部署模式与自研/采购决策树。同时,针对生产环境 GPU 算力规划、NIST 七大可观测性风险治理,以及结合 MCP 与 A2A 协议的现代智能体(Agentic)架构演进,给出了扎根业务价值与人机协同的落地框架。
## Atmosphere & style 整场演讲呈现出典型金融级工程专家的严谨与务实底色,叙事条理极强且紧贴企业真实痛点。主讲人语调沉稳自信、逻辑层层递进,既有对技术概念的清晰拆解,也不乏对行业算力军备竞赛的幽默洞察。整体给人的观感像是一场毫无浮夸营销、干货密度极高且直击生产现实的企业级 AI 架构实战指南。
## Key takeaways - [00:04](https://www.youtube.com/watch?v=DOIIw4JOqc0&t=4s) 企业级 GenAI 落地需要统筹考虑可扩展性、算力基础设施就绪度、系统可观测性与合规风险、智能体架构演进以及原则路线图五大核心议题。 - [02:21](https://www.youtube.com/watch?v=DOIIw4JOqc0&t=141s) 大语言模型(LLM)虽具备高通用性,但在企业级落地中面临高延迟、缺乏专有语料导致幻觉以及长上下文/API 计费高昂三大痛点。 - [02:21](https://www.youtube.com/watch?v=DOIIw4JOqc0&t=141s) 小语言模型(SLM)具备响应延迟低、易于使用私有语料微调且本地算力开销小等反转优势,构建企业 MVP 不必盲目追求最大最复杂的模型。 - [06:13](https://www.youtube.com/watch?v=DOIIw4JOqc0&t=373s) 依据数据接地程度,GenAI 可划分为零数据接地、轻量即时数据、大规模 RAG 和复合智能体四种模式,通用场景倾向采购成熟 SaaS,核心私有数据链路宜坚决自研。 - [09:11](https://www.youtube.com/watch?v=DOIIw4JOqc0&t=551s) API 模式胜在产品上市时间快但调用成本不可控;本地私有化部署前期硬件投入巨大,但 3 年 TCO 测算可比商业 API 节省 30% 至 50%,企业主流形态多为混合架构。 - [10:54](https://www.youtube.com/watch?v=DOIIw4JOqc0&t=654s) 生成式 AI 颠覆了传统深度学习“仅训练依赖 GPU、推理可在 CPU 运行”的范式,其生产环境推理仍高度依赖高性能 GPU 持续支撑。 - [12:50](https://www.youtube.com/watch?v=DOIIw4JOqc0&t=770s) 企业必须基于 NIST 框架建立对提示词注入、幻觉、数据泄露、有害内容、偏见、知识产权风险和数据质量七大维度的全生命周期可观测与实时拦截治理。 - [16:06](https://www.youtube.com/watch?v=DOIIw4JOqc0&t=966s) 智能体系统(Agentic Systems)需要具备编排大脑与状态管理能力,并需引入异步调用或约束机制防止模型陷入死循环。 - [16:06](https://www.youtube.com/watch?v=DOIIw4JOqc0&t=966s) A2A(Agent-to-Agent)协议与 MCP(Model Context Protocol)标准化协议为企业跨智能体协作及标准化工具/上下文接入提供了通用接口。 - [18:43](https://www.youtube.com/watch?v=DOIIw4JOqc0&t=1123s) GenAI 落地必须以业务价值为导向从小处切入快跑迭代,同步建立清晰治理框架以防 Agent 蔓延失控,并依托人机协同(Human-in-the-loop)释放长期红利。
## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=DOIIw4JOqc0&t=4s) 演讲开场与企业级 GenAI 落地五大议题概览
PNC 银行人工智能负责人 Matt Berezo 向与会者致意,并直奔主题:如何在企业级层面将生成式人工智能(GenAI)从前期的概念验证(Pilot)阶段扩展至生产就绪(Production-Ready)的基础设施。对于任何踏上 GenAI 旅程的企业而言,这都不是一个简单的技术尝鲜,而是面临着极其沉重的决策负担与架构权衡。为此,Berezo 梳理了一份清晰明了的五步议程,涵盖了企业在规模化扩展中必须直面的核心命题:
议程的第一部分聚焦于“可扩展性(Scalability)”,也就是当前业界讨论最激烈的大命题——到底应该选择云端 API 模式,还是自建本地机房(On-prem)部署?同时,这也牵涉到大语言模型(LLM)与小语言模型(SLM)之间的多维度权衡。第二部分顺理成章地切入“基础设施就绪度(Infrastructure Readiness)”,重点剖析 GPU 算力容量、成本开销与资源可用性;尽管本地部署具备巨大的潜在收益,但企业必须回答一系列实质性问题:算力底座现存多少、未来需要多少、采购成本几何,以及如何保障研发与生产环境之间的 GPU 调度顺畅。第三部分转向高度监管行业尤为敏感的“可观测性与监控(Observability)”,强调 GenAI 不仅是令人惊艳的软件技术,更关乎在全流程中识别、监控和缓解模型风险。第四部分则是当下火爆的“智能体系统(Agentic Systems)”,特别是随着智能体间协议(Agent-to-Agent Protocol)和模型上下文协议(Model Context Protocol / MCP)等标准的演进,智能体架构正迎来爆发。最后,演讲将汇总出一套核心原则路线图,帮助企业建立一套从构想到落地的结构化框架。
- **核心演讲者**:Matt Berezo,PNC 银行人工智能负责人(Head of AI at PNC Bank)。 - **五大议题脉络**: 1. 可扩展性与大/小模型架构选型(Scalability: Cloud vs. On-prem, LLM vs. SLM) 2. 算力基础设施就绪度(Infrastructure Readiness: GPU capacity, cost, availability) 3. 系统可观测性与合规风险缓解(Observability, risk mitigation) 4. 智能体架构演进(Agentic systems, MCP, Agent-to-Agent protocols) 5. 从构想到生产的原则性路线图(Core principle roadmap)
---
[02:21](https://www.youtube.com/watch?v=DOIIw4JOqc0&t=141s) 扩展性权衡:大语言模型(LLM)与小语言模型(SLM)的较量
在深入技术细节前,Berezo 指出他倾向于采用“完全独立、穷尽无遗漏”(MECE,Mutually Exclusive, Collectively Exhaustive)的思维框架来进行技术评估。不过他也坦言,在 GenAI 领域做到绝对 MECE 极其困难,因为大语言模型天生具备极强的“通用性(Generalizability)”,不同概念间难免存在交叉重叠。从大模型与小模型的选型来看,以 ChatGPT、Meta Llama 系列或 Perplexity 为代表的 LLM 固然能力卓越、通用性强且基准准确率高,但这背后隐藏着企业级落地不可忽视的三大痛点:延迟(Latency)、有效性(Efficacy)和成本(Cost)。
```mermaid flowchart TD accTitle: LLM与SLM的多维对比架构 accDescr: 对比大语言模型和小语言模型在延迟、有效性及成本上的权衡
subgraph LLM["大语言模型 (LLM)"] L1["大计算实例 / 延迟偏高"] L2["预训练语料黑盒 / 内部专有名词易幻觉"] L3["长上下文 Token 计费或巨额机房基建"] end
subgraph SLM["小语言模型 (SLM)"] S1["轻量级计算 / 极低延迟响应"] S2["针对专有语料高效微调 / 业务有效性高"] S3["私有化部署算力开销小 / 经济效益优"] end
LLM --- vs{{"架构与场景权衡"}} --- SLM ```
在延迟方面,LLM 庞大的参数体量决定了它是一个极其消耗算力的庞然大物,计算负载越重,实时交互中观测到的延迟就越高。在模型有效性方面,市面上的公有大模型基本都训练在外界无法获知的公开海量语料上,这导致它们在缺乏企业上下文时极易出现幻觉。Berezo 举例道:“如果我在 PNC 内部开会,有人随口报出一个冷门的行内缩写词,我如果直接丢给 ChatGPT 去查,它很可能无法给出正确的业务含义,因为模型根本没有我们的语料背景。”而在成本维度上,厂商们常常以“祝贺你,上下文窗口又翻倍了,每个人都能塞进更长的 Prompt”为卖点,虽然长上下文窗口让用户能从以前塞一本书扩展到现在塞两本书,但一旦采用云端 API,企业每多发一个 Token 或字符都在按量付费;即使是在本地部署千万级 Token 上下文的模型,也必须为此承担极其昂贵的基础设施硬件开支。
相比之下,小语言模型(SLM)展现出了独特的反转优势。由于计算实例小,SLM 的响应延迟更低;企业可以非常经济高效地利用内部专有语料对其进行针对性微调(Fine-tuning),在特定业务场景下获得远超通用大模型的精准度和有效性。同时,SLM 通常不依赖外部收费 API,对本地计算资源的占用也相对温和。Berezo 强调,构建满意的最小可行产品(MVP)并不意味着“任何时候都要上最大、最复杂的模型”,在延迟、成本与有效性之间寻找最佳平衡点,保持架构的敏捷性,才是企业工程化的正道。
- **LLM 的三大落地阻碍**: - **延迟(Latency)**:高参数量带来高推理耗时。 - **有效性与幻觉(Efficacy & Hallucinations)**:缺乏专有上下文支撑,处理企业内部缩写或专有术语时表现欠佳。 - **单位经济学成本(Unit Economics & Cost)**:长上下文窗口虽好,但 API 模式下按 Token 计费激增;本地部署则面临极高算力基建摊销。 - **SLM 的战略价值**:计算体量轻便、延迟低、微调成本可控、场景化精准度高,尤其适合作为智能体子模块灵活嵌入。
---
[06:13](https://www.youtube.com/watch?v=DOIIw4JOqc0&t=373s) 自研还是采购?基于数据接地程度的四种部署模式
在权衡自研(Build)还是外采(Buy)时,核心判断标准归结为一点:“该方案需要注入什么样的数据?”基于数据接地的程度,Berezo 梳理了四种 GenAI 部署分类模式。这套模式不仅易于技术人员理解,也让非技术人员能够清晰厘清各个方案对应的风险画像与研发路径。
```mermaid flowchart LR accTitle: GenAI 方案的四类数据依赖分类 accDescr: 展示从无上下文到复杂智能体架构的四种落地分类
D1["模式 1: 无需专有数据<br/>(基础通识问答)"] D2["模式 2: 少量即时数据<br/>(Prompt上下文比对)"] D3["模式 3: 海量专有数据<br/>(向量数据库与RAG)"] D4["模式 4: 复合复杂系统<br/>(智能体/Agentic)"]
D1 --> D2 --> D3 --> D4 ```
第一类是最简单的**无专有数据依赖方案**,模型无需任何额外上下文即可给出令人满意的回答。例如在银行业务中提问“请用通俗语言解释什么是利率”,通用大模型凭借现存知识库即可完美解答。第二类是**轻量级数据依赖方案**,需要一定上下文辅助,但数据量远未达到需要引入向量数据库的程度。典型场景如“将一份招聘要求与两份候选人简历输入给大模型,让其评估哪位候选人更匹配”,直接利用 Prompt 注入少量上下文即可完成。第三类是**海量专有数据依赖方案**,面对庞大的企业内部知识库,必须对文档进行向量化切块并存入向量数据库,以便在用户提问时进行高效的相似度检索并召回精准上下文,即典型的检索增强生成(RAG)。第四类则是前述三者的任意组合与复杂化延伸,即高度自动化的**智能体架构(Agentic)**。
通过这四种模式,团队可以快速进行自研或采购的“压力测试(Pressure Test)”: - **采购场景**:如果需求仅仅是一个通用型 Q&A 问答机器人(模式 1),企业完全没有必要自建并承担繁琐的后续维护,直接购买成熟的成熟供应商产品性价比最高。 - **自研场景**:如果需求涉及检索企业内部高敏感的核心专有资产(模式 3),而外部供应商要么不支持向量库集成,要么无法承载行内海量知识库的并发与规模,企业就需要坚决自建定制化的 RAG 系统。
最后,这一切又与托管策略紧密相连:究竟是选择将系统架设在本地数据中心(On-prem),还是直接调用公有云厂商的托管 API,构成了企业落地架构设计最底层的分水岭。
- **四类部署模式(Deployment Patterns)**: 1. **零数据接地**:通用通识推理(如基础金融术语科普)。 2. **轻量即时数据**:单次 Prompt 注入短文档(如简历与职位描述横向比对)。 3. **大规模数据 RAG**:向量化入库、语义搜索与上下文精准拼接。 4. **复合智能体(Agentic)**:动态组合多数据源与自动化行动链条。 - **决策经验法则**:通用能力买成熟 SaaS,核心私有数据与特定检索链路自研定制。
[09:11](https://www.youtube.com/watch?v=DOIIw4JOqc0&t=551s) 算力基建抉择:API 与本地部署的成本博弈及 GPU 需求
生成式 AI 从本质上来看是一场“花钱入局的游戏”("pay-to-play game")——企业要么花钱调用商业 API,要么花钱自建基础设施摆脱对 API 的依赖,两者各有优劣。采用 API 模式最大的优势在于上市时间快,能够迅速拿到业务成果(Quick win);但长期来看,不可控的调用量会导致变动成本剧增,最终让企业面临在研发或部署阶段完全未曾预料到的高额账单。相比之下,本地化部署(On-Premises)能提供更强的成本控制力和算力一致性,但其前期硬件投入巨大且集群搭建极其复杂。
随着芯片股的持续飙升,硬件算力已成为推动生成式 AI 落地的核心催化剂。回顾自身的经历,演讲者提到自己在 2015 年 10 月初次接触 GPU 并进行深度学习建模时,就已经深知英伟达(NVIDIA)的存在,甚至调侃道:“真希望我当时就知道现在会发生什么,那样我就能抓住机会了。”现代大语言模型(LLM)不仅体积庞大,而且对 GPU 显存有着严苛的要求,无论是研发还是生产阶段,都需要依赖边缘节点或 GPU 节点集群来承载高并发负载。
- **主流硬件选择**:在企业级硬件选型中,NVIDIA A100 与 H100 GPU 往往是满足大模型吞吐与低延迟标准的主力设备。 - **模型量化(Quantization)路径**:通过模型量化技术对权重进行有效压缩,使模型体积缩小,是降低生产环境 GPU 显存需求与硬件开销的可行路径。
---
[10:54](https://www.youtube.com/watch?v=DOIIw4JOqc0&t=654s) 研发与生产环境的 GPU 架构:从传统深度学习到大模型的范式转移
构建稳健的算力基础设施不仅关乎生产环境,对研发(R&D)阶段同样生死攸关。在许多企业的开发场景中,常会出现多名工程师处于同一环境中互相争夺算力资源的现象,这会导致快速原型设计与模型迭代陷入停滞。因此,研发端必须配备充足的 GPU 资源以保障敏捷试错。
```mermaid flowchart TD accTitle: 传统深度学习与生成式 AI 算力架构对比 subgraph DL["传统深度学习架构 (Deep Learning)"] DL_Train["训练阶段 (Training)<br/>重度依赖 GPU 集群"] --> DL_Freeze["模型冻结与优化<br/>(Freeze & Export)"] DL_Freeze --> DL_Infer["推理阶段 (Inference)<br/>可在常规 CPU / 无 GPU 环境运行"] end subgraph GenAI["生成式 AI 架构 (Generative AI)"] GAI_Dev["研发与实验阶段 (R&D)<br/>高并发开发争夺 GPU 资源"] --> GAI_Prod["生产部署阶段 (Production)<br/>大流量高频调用持续锁定 GPU"] end ```
更核心的范式转变体现在生产端。在传统的深度学习架构下,企业通常只需要在模型训练阶段调用 GPU;一旦模型训练完成并被“冻结”(Frozen),推理阶段往往可以脱离 GPU,直接在常规 CPU 甚至无显卡环境中低成本运行。然而生成式 AI 完全打破了这一规律——其生产推理必须持续依赖高性能 GPU 支撑。一旦业务取得成功,高使用率与海量请求将接踵而至,企业必须提前精确规划算力容量。
- **前期采购与长期 TCO 对比**:以一台搭载 8 张 H100 的服务器为例,落地采购成本预估高达 80 万美元($800k);但在 3 年的时间跨度内,部分分析师测算本地私有化部署相比直接调用商业 API 可实现 30% 到 50% 的成本节省。 - **企业主流部署形态**:目前市场上成熟企业的实际策略并非非黑即白,而是广泛采用本地自建与公有云 API 相融合的混合架构(Hybrid Approach)。
---
[12:50](https://www.youtube.com/watch?v=DOIIw4JOqc0&t=770s) 大模型可观测性与 NIST 七大核心风险治理
在企业级部署中,系统必须建立全面的可观测性(Observability)。基于美国国家标准与技术研究院(NIST)的框架,生成式 AI 的七大核心风险必须做到“可观测、可衡量、可采取行动”("observable, measurable, and actionable"):
1. **提示词注入(Prompt Injection)**:以 2022 年 Reddit 社区发起的“DAN”(Do Anything Now,立即去做任何事)越狱倡议为例,用户诱导 ChatGPT 突破安全合规限制并输出违规甚至有害内容。尽管各大模型厂商持续进行安全加固,该风险仍需持续监控。 2. **幻觉(Hallucinations)**:作为生成式 AI 面临的“核心难点”("the long pole in the tent"),大模型由于缺乏确定性且非传统的监督学习模型,必然会出现低质或事实错误。治理上通常将“大模型作为裁判”(LLM-as-a-judge)的评估机制与传统统计学度量方法解耦并存。 3. **数据泄露与隐私(Data Leakage and Privacy)**:需全面审查用户输入是否携带敏感信息、系统输出是否包含敏感数据,以及底层 RAG 知识检索是否依赖敏感源并做好风险阻断。 4. **有害与违规内容(Harmful and Non-compliant Content)**:与提示词注入紧密相关,防止系统在交互中输出违反合规底线的非期望内容。 5. **内生与偶发偏见(Bias)**:由于预训练数据在筛选设计上不可避免带有倾向性,存在“输入偏见直接引发输出偏见”的因果链,必须双向检测出入端的数据分布与公平性。 6. **知识产权与版权风险(IP and Copyright Risk)**:系统是否未经授权使用了归属于第三方的受保护知识产权。 7. **数据质量(Data Quality)**:对于需要数据基底(Data Grounding)的场景,确保用于检索增强的数据具备权威性、时效性与完整性。
自 2022 年以来,业内围绕上述七大维度构建了大量的度量体系。现代企业系统应将这些评估指标深度嵌入运行时,不仅用于观察长期趋势和用户行为变化,更要在检测到恶意或违规请求时进行毫秒级实时拦截。
---
[16:06](https://www.youtube.com/watch?v=DOIIw4JOqc0&t=966s) 智能体架构演进:从状态编排、控制回路到 A2A 与 MCP 标准
相比单轮问答(Single-turn Q&A)只做简单的“响应”,AI 智能体(Agent)具备目标导向和自主采取行动的特性,能够“达成任务”(Accomplish)。复杂的智能体系统往往需要经历 5 轮、10 轮乃至 20 轮交互才能推导出最终解决方案,这就对底层架构提出了全新的工程要求:
```mermaid flowchart LR accTitle: 智能体编排系统与生态协议交互 subgraph AgentSystem["智能体编排核心 (Agentic Orchestration)"] Brain["编排大脑 (Brain)<br/>状态管理与工作内存"] State["上下文状态 (State)<br/>对话历史 / 中间结论 / 工具返回值"] Brain <--> State end subgraph Protocols["标准化协议与扩展 (Protocols & Tooling)"] MCP["MCP 协议<br/>(Model Context Protocol)"] Tools["工具库与数据源<br/>数据库 / Web 服务 / 代码 / ML 模型"] A2A["A2A 协议<br/>(Agent-to-Agent 通信)"] OtherAgent["外部多智能体集群"] MCP --> Tools A2A <--> OtherAgent end AgentSystem --> MCP AgentSystem --> A2A ```
- **编排大脑与状态管理**:智能体系统必须内嵌一个保持上下文状态的编排大脑,负责追踪完整的会话历史、中间推导结论、已调用的工具记录以及向终端用户的反馈。 - **工具赋能与死循环控制**:智能体需要连接数据库、Web API、代码执行沙箱及其它机器学习模型。为防止智能体陷入死循环或在特定环节耗费过多时间(例如因“必须查出答案”的指令而向数据库盲目轮询 100 次),工程上需引入异步调用机制、设定精准的约束性 Prompt,或通过赋予明确的职责与角色设定将其限制在预定业务边界内。 - **多智能体互联协议(A2A & MCP)**:随着企业内部智能体数量的增加,孤立的系统需要实现跨智能体协作。**A2A**(Agent-to-Agent)协议提供了通用的握手与交互标准,避免了传统模式下高昂的定制开发成本;而 **MCP**(Model Context Protocol)则为智能体连接上下文与工具建立了标准化接口,使数据无需硬编码直连,而是通过标准上下文提供者平滑接入。
[18:43](https://www.youtube.com/watch?v=DOIIw4JOqc0&t=1123s) 生成式 AI 与智能体落地的核心原则框架与实施总结
在演讲的总结部分,演讲者提炼了一套用于指导生成式 AI(GenAI)与智能体系统(Agentic Solutions)落地的核心原则框架。首要原则是**聚焦业务价值的实现**。企业在启动第一个 Agentic 或 GenAI 解决方案时,必须将其牢固扎根于清晰明确的业务需求之上,并设定可量化的成功指标。企业完全可以从小处着手,正如俗话所说,“一口吃不成胖子”(Eating the elephant as a whole is not the point),必须一块一块地拆解推进,这样才能在快速取得阶段性胜利的同时持续积累经验、复盘学习。
在技术路径的选择上,企业需要审慎权衡**自建与采购(Build vs. Buy)**。在实际落地中,绝大多数企业最终会采用混合架构(Hybrid Solutions)。直接采用第三方 API 方案能大幅缩短产品上市时间(Time to Market),但调用成本波动较大;而本地化部署(On-prem)虽然前期搭建与调试难度更高,但从长期来看更具成本效益。对于选择本地部署的企业,必须及早规划并锁定 GPU 算力容量,使其与业务的增长曲线紧密对齐。
```mermaid flowchart TD accTitle: GenAI 落地核心原则框架 subgraph Value["1. 业务价值导向"] V1["锚定明确业务需求"] V2["设定可量化成功指标"] V3["从小处切入与小步快跑"] V1 --> V2 --> V3 end
subgraph Architecture["2. 架构与算力决策"] A1["审慎权衡 Build vs Buy"] A2["API 方案: 敏捷上线 vs 成本波动"] A3["On-prem 方案: 建设难度高 vs 长期成本优"] A4["及早规划与匹配 GPU 算力"] A1 --> A2 & A3 A3 --> A4 end
subgraph Governance["3. 治理与组织协同"] G1["建立清晰可执行的治理框架"] G2["防范长期 Agent 失控蔓延"] G3["打造全员采纳文化"] G4["坚持 Human-in-the-loop 协同迭代"] G1 --> G2 G3 --> G4 end
Value --> Architecture --> Governance ```
最后,演讲者强调了**系统治理与组织文化**的重要性。企业必须建立清晰、易于沟通且可落地的治理框架,这对于长远的前瞻性规划至关重要,能有效防止 Agent 随着业务扩展而变得失控与难以维护。与此同时,必须在组织内部自上而下建立拥抱 AI 的采纳文化(Culture of Adoption),覆盖从技术人员到非技术人员的各个层级。在系统构建与运行过程中,始终要保持“人机协同”(Human-in-the-loop),通过人类与系统的持续共同迭代,最大限度地释放 Agentic 系统的潜力与价值。
- **业务价值锚定**:优先解决有明确痛点、指标可衡量的场景,以“切片化”路径逐步验证与扩张。 - **混合架构权衡**:API 方案胜在交付速度,本地化方案胜在长期持有成本;本地部署务必前置规划 GPU 算力池。 - **治理体系先行**:制定可执行的治理标准,避免未来多 Agent 并行时出现管理混乱与安全盲区。 - **全员协同与人机在环**:无论技术背景深浅,全员参与协同迭代是榨取 Agentic 架构最大红利的关键所在。
## Notable quotes > [02:21](https://www.youtube.com/watch?v=DOIIw4JOqc0&t=141s) 如果我在 PNC 内部开会,有人随口报出一个冷门的行内缩写词,我如果直接丢给 ChatGPT 去查,它很可能无法给出正确的业务含义,因为模型根本没有我们的语料背景。 — Matt Berezo
> [02:21](https://www.youtube.com/watch?v=DOIIw4JOqc0&t=141s) 祝贺你,上下文窗口又翻倍了,每个人都能塞进更长的 Prompt — Matt Berezo
> [09:11](https://www.youtube.com/watch?v=DOIIw4JOqc0&t=551s) pay-to-play game — Matt Berezo
> [09:11](https://www.youtube.com/watch?v=DOIIw4JOqc0&t=551s) 真希望我当时就知道现在会发生什么,那样我就能抓住机会了。 — Matt Berezo
> [12:50](https://www.youtube.com/watch?v=DOIIw4JOqc0&t=770s) observable, measurable, and actionable — Matt Berezo
> [12:50](https://www.youtube.com/watch?v=DOIIw4JOqc0&t=770s) the long pole in the tent — Matt Berezo
> [18:43](https://www.youtube.com/watch?v=DOIIw4JOqc0&t=1123s) Eating the elephant as a whole is not the point — Matt Berezo
## Mentioned Matt Berezo, PNC Bank, Ai4, ChatGPT, Meta Llama, Perplexity, NVIDIA, NVIDIA A100, NVIDIA H100, NIST, DAN (Do Anything Now), Reddit, MCP (Model Context Protocol), A2A Protocol (Agent-to-Agent)
## Video description Matthew Berezo, Head of AI, PNC
Abstracts
What happens when your GenAI pilot becomes a core business function overnight?
As organizations rush to productionize generative AI (GenAI), they're discovering that traditional AI infrastructure patterns don't necessarily scale under the weight of large models, real-time latency demands, and responsible AI constraints.
In this session, we'll explore the realities of scaling GenAI in enterprise environments, including GPU planning, architectural trade-offs, and overall strategy.
Attendees will leave with: - A clear mental model for GenAI infrastructure stacks and scalability levers. - Practical insights into cost control, model deployment, and monitoring strategies.
Why attend? Whether you're architecting your first GenAI application or evolving your current stack, this talk delivers actionable guidance grounded in real-world enterprise experience - helping you avoid common pitfalls and design for scale from day one.
[Source](https://www.youtube.com/watch?v=DOIIw4JOqc0)