谷歌携手Booking推企业级Agent架构 设四大支柱破落地瓶颈

From prototype to production: 45 minutes to a reliable Gemini Enterprise Agent Platform agent — Google Cloud Tech

Google Cloud Tech

大模型智能体迈向生产级不仅取决于原型生成速度,更关键在于利用轨迹评测、Agent网关治理、IAM独立身份及内置可观测性解决非确定性带来的安全与合规风险。

AI-assisted summary of From prototype to production: 45 minutes to a reliable Gemini Enterprise Agent Platform agent — original source. Check the original for full context.

Source published:

Key ideas

  • Booking.com 依托每秒 50 万次请求传统机器学习系统的高并发积累,完成了从单一封装应用到统一网关、再到全生命周期治理生产级智能体平台的演进。 (3:37)
  • 针对大模型非确定性行为,评估体系已从单一输出检查扩展到轨迹评估,通过精确匹配、有序匹配与无序匹配三种规则量化工具调用的合规度。 (16:11)
  • 生产级智能体采用部署期独立 IAM 身份与 Model Armor 护栏防御,有效阻断提示词注入、越狱攻击与敏感数据渗漏,并提供不可否认的审计链。 (27:57)
  • 结合 Gemini Cloud Assist、Application Design Center (ADC) 与 OpenTelemetry 遥测扩展,团队将复杂的云架构配置与开箱即可用的可观测性构建压缩至约半小时内完成。 (20:05)

Detailed notes

## Background 该内容由 Google Cloud Tech 频道于 2026 年 6 月 25 日在 YouTube 发布。页面说明将其定义为一场针对 Gemini Enterprise Agent Platform 的高阶实战课,旨在指导开发者如何将基础的 AI Agent 从原型阶段成功转型为安全、可靠且可扩展的企业级工具。

## TL;DR 本次演讲由 Booking.com 的实践经验出发,系统化地拆解了企业级 AI 智能体平台的构建路径。讲者重点介绍了从上线前评测(如轨迹评估)、模型安全防护(Model Armor)、身份治理(Agent Registry 与 Gateway)到全链路可观测性(OpenTelemetry 与 BigQuery)的四大技术支柱。通过演示 Gemini Cloud Assist 和黄金模板(Golden Template)等工具,展示了如何大幅降低开发者的认知负担,并实现 AI 应用从原型到大规模生产的快速部署。

## Atmosphere & style 整场演讲风格严谨且极具技术干货,摒弃了空洞的叙事,直接切入生产环境的核心痛点。讲者们的互动沉稳专业,将枯燥的架构治理与复杂的安全策略转化为逻辑清晰的演示过程,营造出一种“工程师对工程师”的坦诚交流氛围。观众能够深刻感受到将前沿 AI 技术转化为业务生产力时的工程挑战,既有挑战现实的严肃感,又伴随着技术赋能带来的掌控感。

## Bulletin - [03:37](https://www.youtube.com/watch?v=fkCTifAqVGg&t=217s) Booking.com 依托每秒 50 万次请求传统机器学习系统的高并发积累,完成了从单一封装应用到统一网关、再到全生命周期治理生产级智能体平台的演进。 - [16:11](https://www.youtube.com/watch?v=fkCTifAqVGg&t=971s) 针对大模型非确定性行为,评估体系已从单一输出检查扩展到轨迹评估,通过精确匹配、有序匹配与无序匹配三种规则量化工具调用的合规度。 - [27:57](https://www.youtube.com/watch?v=fkCTifAqVGg&t=1677s) 生产级智能体采用部署期独立 IAM 身份与 Model Armor 护栏防御,有效阻断提示词注入、越狱攻击与敏感数据渗漏,并提供不可否认的审计链。 - [20:05](https://www.youtube.com/watch?v=fkCTifAqVGg&t=1205s) 结合 Gemini Cloud Assist、Application Design Center (ADC) 与 OpenTelemetry 遥测扩展,团队将复杂的云架构配置与开箱即可用的可观测性构建压缩至约半小时内完成。

## Key takeaways - [03:37](https://www.youtube.com/watch?v=fkCTifAqVGg&t=217s) Booking.com 具备长达十余年的预测性机器学习生产经验,底层模型常年承载 500,000 RPS 高并发与 P99.9 50 毫秒低延迟考验。 - [03:37](https://www.youtube.com/watch?v=fkCTifAqVGg&t=217s) 生成式 AI 技术栈经历四个阶段重构:从简单包装层到多供应商支持,再到通过统一网关(Single Gateway)实现集中式治理与监控。 - [05:47](https://www.youtube.com/watch?v=fkCTifAqVGg&t=347s) Gemini 落地场景覆盖旅客端行程规划(整合地图与搜索接地)、开发者助手 BigBot、房东端痛点信号抽取以及社交短视频直接转可预订行程的多模态应用。 - [08:45](https://www.youtube.com/watch?v=fkCTifAqVGg&t=525s) 模型服务层级并非一成不变,团队在高并发交互中弃用默认按需模式,转向预置吞吐量(Provisioned Throughput)与优先处理策略以保障稳定 SLA。 - [11:13](https://www.youtube.com/watch?v=fkCTifAqVGg&t=673s) 构建高可靠生产级智能体必须立足于四大支柱:上线前评测、代码极速上云、运行时身份与安全防护、全链路可观测性与审计。 - [13:35](https://www.youtube.com/watch?v=fkCTifAqVGg&t=815s) 智能体评估不仅依赖输出层面的 LLM as Judge,还引入轨迹评估(Trajectory Evaluation)以深入核验工具调用链路与上下文参数。 - [16:11](https://www.youtube.com/watch?v=fkCTifAqVGg&t=971s) 轨迹评估设立了三种层级的匹配机制:严格比对黄金测试集的精确匹配、允许适当迂回的有序匹配,以及仅校验工具覆盖的无序匹配。 - [20:05](https://www.youtube.com/watch?v=fkCTifAqVGg&t=1205s) Gemini Cloud Assist 充当云架构 AI 规划师,能够解析代码库与意图并自动生成合规架构建议(如带有向量扩展与私有网络的 Cloud SQL 数据库)。 - [25:52](https://www.youtube.com/watch?v=fkCTifAqVGg&t=1552s) 借助 Agent Registry(代理注册中心)与 Agent Gateway(治理网关),企业可以构建统一的发现机制并精细限制跨代理的互操作权限。 - [27:57](https://www.youtube.com/watch?v=fkCTifAqVGg&t=1677s) 部署时赋予每个代理独立的 IAM 身份,确保所有系统操作都能精确溯源到特定代理及对应版本,形成完整的审计证据链。 - [30:05](https://www.youtube.com/watch?v=fkCTifAqVGg&t=1805s) Model Armor 部署于用户与模型之间充当安全防线,成功拦截敏感数据渗漏、提示词注入、越狱及系统指令泄露等多重威胁。 - [33:37](https://www.youtube.com/watch?v=fkCTifAqVGg&t=2017s) 可观测性应当通过 SDK 与平台工具实现原生内置,打破“Day 2 补救”的工程困境,将分散的云资源整合为统一的应用级视图。 - [36:06](https://www.youtube.com/watch?v=fkCTifAqVGg&t=2166s) 通过支持和扩展 OpenTelemetry 开源标准,团队打通了跨供应商的遥测管道,能够有效捕捉并诊断生成式 AI 特有的模型与 Token 信号。 - [38:00](https://www.youtube.com/watch?v=fkCTifAqVGg&t=2280s) 借助 SDK 与 BigQuery 的原生集成,多轮对话及其元数据可自动存入结构化数据库,便于企业通过数据分析量化业务价值并追踪不良交互。 - [42:02](https://www.youtube.com/watch?v=fkCTifAqVGg&t=2522s) 平台工程团队通过 Application Design Center (ADC) 输出黄金模板(Golden Templates),确保组织内成百上千个智能体在发布时天然合规。

## Detailed walkthrough ### [00:13](https://www.youtube.com/watch?v=fkCTifAqVGg&t=13s) 合作背景与 Booking.com 的全球规模

Booking.com 的 AI 平台工程经理 Alibek Datbayev 开场介绍了本次演讲的主题:如何将一个智能体(Agent)从原型阶段打造成高可靠的生产级系统。他特别指出,Booking.com 与 Google 之间保持着长久且深入的合作关系,这并非一个临时项目,用 Alibek Datbayev 的原话来说:“It's a battle tested partnership that is built on deep trust and technology that actually delivers.” 在效果营销合作之外,团队正在深度借助 Gemini 和 Vertex AI 的能力构建生成式 AI 用例,以实现更智能、更自动化的客户体验。

随后,Alibek 向现场观众分享了 Booking.com 的企业使命——“让每个人都能更轻松地体验世界”(make it easier for everyone to experience the world)。为了生动展现这一理念,他与现场观众进行了互动,询问有多少人是跨国旅行来到 Google Cloud Next 现场的。在看到全场几乎所有人都举起手后,他又询问有多少人曾使用 Booking.com 应用来规划行程,台下热烈的响应印证了其业务的普及度。接着,他列举了一组数据来展示 Booking.com 底层引擎的庞大体量:

- 自 2010 年以来,平台已促成超过 68 亿人次的旅客入住各类住宿设施。 - 业务网络覆盖全球 175,000 个目的地。 - 在全球 70 个国家和地区设立了 140 处办事处,位于荷兰阿姆斯特丹的总部拥有数千名员工。 - 业务已从单一的酒店预订扩展为一个涵盖住宿、交通、景点等多垂直领域的综合生态系统。

---

[03:37](https://www.youtube.com/watch?v=fkCTifAqVGg&t=217s) Booking.com 的 AI 平台演进历程

Booking.com 并非 AI 领域的新手。Alibek 强调,公司运行预测性机器学习(Predictive ML)模型已有十多年历史。在生产环境中,数百个传统模型常年支撑着极高并发的流量考验:平均请求量高达每秒约 50 万次(500,000 RPS),而 P99.9 的端到端延迟严格控制在 50 毫秒左右。然而,生成式 AI 的到来推动了基础设施的全面重构。

```mermaid flowchart LR accTitle: Booking.com AI 架构演进阶段 accDescr: 展示从2023年简单包装器到2024年多模型网关再到如今全生命周期治理生态的演进过程

subgraph Phase0["2023 探索期"] A["简单 Wrapper 应用<br/>初步试水 LLM"] end

subgraph Phase1["2024 初演进"] B["多供应商与自研模型<br/>重构核心技术栈"] end

subgraph Phase2["统一网关层"] C["Single Gateway<br/>内置治理与监控"] end

subgraph Phase3["成熟 AI 生态"] D["生产级 Agent 平台<br/>评测/护栏/全生命周期"] end

A --> B B --> C C --> D ```

Alibek 回顾了生成式 AI 基础设施的四个演进阶段:在 2023 年 ChatGPT 引爆行业关注的“阶段 0”,团队构建了一个非常简单的 Wrapper 应用试水;到了 2024 年初,核心技术栈经历重构,接入了自研模型并演化为多供应商环境;随后,最具决定性的一步是引入了统一网关(Single Gateway),让内部开发者既能自由调用任意模型,又获得了开箱即用的内置治理与用量监控机制;如今,团队已经建成了涵盖高级评估、安全护栏以及生产就绪智能体能力的端到端 AI 生态。

---

[05:47](https://www.youtube.com/watch?v=fkCTifAqVGg&t=347s) 落地实战:Gemini 驱动的四大核心业务场景

Booking.com AI 平台的软件工程师 Maria-Irène Călinoiu 接过话筒,展示了团队基于 Google Gemini 模型落地的四个典型应用场景,涵盖了从旅客端、房东端到内部研发效能的各个维度:

首先是首个面向旅客的智能体概念验证(PoC)项目——“Know before you go”(行前已知)。旅行在出发前令人兴奋,但规划过程往往繁琐耗时。该项目旨在填补“完成预订”到“真正启程”之间的信息断层。借助底层集成的 Google Maps 与 Google 搜索接地(Search Grounding),该系统能结合旅客出行团队的人数、兴趣与时间约束生成定制行程,甚至直接规划从机场到酒店的接驳路线。Maria-Irène 指出,这清晰展现了推理能力与外部实时知识相结合所带来的流畅体验。

其次是内部开发者生产力工具“BigBot”。这是一个内部数据资产注册表聊天机器人。面对大型企业庞杂的信息资产,员工可以直接向 BigBot 询问平台信息、检索数据资产,甚至通过自然语言指令直接自动创建底层工作流。第三个场景是面向房东平台的“Partner Analytics”(合作伙伴分析)。团队不仅用大语言模型生成文本,更将其作为高价值的“信号抽取器”:模型会自动聚合旅客的海量评论与留言,聚类提取出常见痛点(例如游泳池维护问题或早餐品类不足),帮助合作伙伴精准改进运营。

第四个场景是关于多模态理解的“Reels to Reality”(从视频到现实)。许多用户的度假灵感并不来自具体的搜索关键词,而是来自社交媒体上的短视频。Gemini 具备直接解析短视频与 YouTube URL 的原生多模态能力,可以将视觉灵感直接转化为 Booking.com 应用中的真实可预订行程。

---

[08:45](https://www.youtube.com/watch?v=fkCTifAqVGg&t=525s) 模型服务考量与平台赋能经验

在分享这些落地场景的同时,Maria-Irène 坦言团队经历了大量试错,并总结出了两条关键工程认知。第一项核心教训围绕大模型的服务层级(Serving Tiers)展开:“Essentially, one size does not fit all when it comes to serving tiers.” 很多开发者习惯于 Vertex AI 默认的按需计费模式(On-demand Serving),但在“Know before you go”项目上线初期,团队很快发现默认模式的延迟和吞吐量无法满足高并发下的即时响应诉求。随后团队切换到了预置吞吐量(Provisioned Throughput),通过预留每分钟 Token 上限(TPM)来锁定计算资源;而对于“Reels to Reality”这种重度依赖视频解析的多模态场景,团队又进一步采用了优先处理(Priority Processing)策略,确保业务服务策略与生产环境的实际负载需求相匹配。

第二项教训在于平台团队的定位与组织赋能。作为中央 AI 平台团队,他们并不直接承担业务端智能体的端到端研发,而是提供自助式平台和技术支持。Maria-Irène 直言,只搭建平台工具链只完成了团队工作的一半,另一半则是帮助内部开发者厘清工具的使用场景与最佳实践。为此,团队长期输出定制化文档、举办黑客马拉松,并提供供应商特定的深度资料,以加速项目从实验走向生产。在总结这段历程时,Maria-Irène 强调:“booking.com has been moving from isolated experiments to a governed multi-provider production ready AI ecosystem.”

---

[11:13](https://www.youtube.com/watch?v=fkCTifAqVGg&t=673s) 面向生产环境的 Google Cloud 智能体四大支柱

随后演讲交接给 Google 团队的工程师。演讲者指出,如今构建一个简单的智能体 Demo 并不困难,但在迈向真实生产环境时,工程团队普遍会遭遇一系列严峻的现实问题:如何保证智能体的输出质量达到企业级标准?随着智能体数量呈爆发式增长,如何统一治理底层调用的海量工具?又该如何在复杂的生产环境中保证智能体执行动作时的安全性?

为了解决这些痛点,演讲者抛出了接下来将深度拆解的四大技术支柱: 1. **上线前评测(Pre-production Evaluation)**:在投入生产之前,利用多种系统化评估技术全面量化智能体的准确度与稳定性。 2. **代码极速上云(Code to Cloud)**:打破原型与云端环境的壁垒,建立快速、自动化的部署通道。 3. **部署期智能体身份与安全机制(Agent Identity & Security)**:为运行时智能体赋予细粒度身份凭证,并在生产调用链路中实施严格的安全隔离与防御护栏。 4. **实时可观测性与审计(Observability & Auditability)**:在智能体运行期间提供全链路 Trace、监控与日志审计,使突发故障的排查与复盘高效透明。

### [12:25](https://www.youtube.com/watch?v=fkCTifAqVGg&t=745s) 项目简介与示例架构 演讲者 Naz Bayrak 和 Manasa Kandula 介绍了本次演示的背景。Naz 是一名 AI 专家,Manasa 是一名应用现代化专家,两人均驻扎在 Google 阿姆斯特丹办公室。他们展示了一个以“伦敦旅行礼宾”(London Travel Concierge)为核心的示例演示,该案例灵感来源于 Booking.com 的同事。该系统包含三个主要代理:主代理负责与用户互动并提供行程建议,通过与“票务代理”(Ticket Agent)和“活动代理”(Activities Agent)协作来完成任务。此外,系统还集成了两个 MCP(Model Context Protocol)服务器:一个用于获取不可预测的天气信息,另一个用于访问存储在 Google Cloud SQL 中的专有伦敦数据,从而确保向终端用户提供精确的推荐。整个架构还集成了 Agent Engine 和 Model Armor 等工具。

### [13:35](https://www.youtube.com/watch?v=fkCTifAqVGg&t=815s) 智能体评估的挑战与方法 Naz 解释说,由于智能体(Agents)本质上是“非确定性”的,这为评估系统带来了巨大挑战。评估方法主要分为两类: * **响应评估 (Response Evaluation)**:仅关注智能体的最终输出,类似于传统 AI 模型的评估方式。 * **轨迹评估 (Trajectory Evaluation)**:这是智能体特有的评估维度,深入查看智能体的内部运作,包括调用了哪些工具、使用的参数以及协作的代理。

针对评估方法,Naz 总结了演进过程:“我们现在采用的方法是使用 LLM 作为判断者(LLM as Judge),这是一种在行业中被广泛采用的技术,即利用一个辅助的 LLM 来评估第一个 LLM 的输出。”虽然这比传统的人工评估更具扩展性、高效且一致,但在代码现代化等复杂场景下表现有限,且受限于 LLM 本身的推理能力。此外,实践者还可以引入诸如幻觉、扎根性(groundedness)和连贯性(coherence)得分等自动化指标,并结合自定义指标进行综合评估。

### [16:11](https://www.youtube.com/watch?v=fkCTifAqVGg&t=971s) 轨迹评估指标的类型 Naz 重点讲解了在 SDK 中进行轨迹评估的三种核心指标: * **精确匹配 (Exact Match)**:这是最严苛的标准。你拥有一套“黄金测试集”(Golden Test Sets),规定了最理想的执行路径,包括工具调用、输入参数及调用顺序。在这种模式下,内部运作必须丝毫不差。 * **有序匹配 (In Order Match)**:由于智能体是非确定性的,它可能在执行过程中产生多余的工具调用(例如意外触发 Google 搜索)。只要最终结果正确且核心步骤顺序一致,这种“迂回”是可以接受的。 * **无序匹配 (Any Order Match)**:如果工具调用的顺序不重要,只要调用了正确的工具,即便路径不同也能通过,适用于如推荐伦敦旅游景点等对逻辑执行顺序要求不高的场景。

Naz 强调:“优势在于自动化指标非常具有可扩展性且是客观的,但没有哪种方法是完美的,特别是当涉及到创造性或使用错误的指标衡量用例时,测量难度会增加。”

### [18:32](https://www.youtube.com/watch?v=fkCTifAqVGg&t=1112s) SDK 演示:从配置到评估结果 在演示环节,Naz 展示了如何通过 SDK 加载智能体配置,其中包含了轨迹评估、幻觉检测及安全性等指标。数据录入方面,他通过与代理的多次对话,将满意的结果保存为 JSON 格式的“黄金测试集”。系统会重新运行这些提示词(Prompts),并将生成的实际结果与黄金标准进行比对。最终,所有指标结果都会以细粒度形式存储在 BigQuery 中,右侧面板显示了整个对话的聚合指标,帮助开发者判断智能体是否已达到生产标准。

### [20:05](https://www.youtube.com/watch?v=fkCTifAqVGg&t=1205s) 开发效率与 Gemini Cloud Assist Manasa 接手演示,重点探讨了如何提升开发者速度并降低从原型迁移到生产环境的认知负担。她指出,虽然代码辅助工具让本地开发变得容易,但将其部署到安全的云架构中仍面临挑战。为此,Google 推出了 **Gemini Cloud Assist**,将其定位为“Google Cloud 的 AI 架构师”。

Gemini Cloud Assist 能够分析代码库和开发者的意图,自动建议符合云原生最佳实践的架构。例如,在伦敦礼宾应用的案例中,它会建议使用带有向量扩展的 Cloud SQL PostgreSQL 数据库,并自动建议将其配置为私有实例以增强安全性。

* **Application Design Center (ADC)**:这是一个存储和部署架构模板的中心。 * **协同工作**:开发者可以将 Gemini Cloud Assist 与 ADC 结合使用,不仅能获取架构建议,还能从第一天起就获得开箱即用的监控指标。 * **用户路径**:开发者利用 Gemini CLI 生成代码,随后由 Cloud Assist 和 ADC 服务器分析架构,并在遇到问题时利用 MCP 工具进行故障排除。

在演示的最后,Manasa 展示了在 IDE 中检查 MCP 服务器(ADC 和 Gemini Cloud Assist)的安装情况,为后续的架构分析做好准备。

### [23:15](https://www.youtube.com/watch?v=fkCTifAqVGg&t=1395s) 自动化架构设计与云部署流程 演示过程展示了如何通过简单的指令让代理(Agent)自主解析代码库并生成云架构。演讲者解释说,代理首先通过其代码基搜索并识别组件及其关联,接着调用“Gemini Cloud Assist MCP”工具将理解的内容转化为具体的架构方案。随后,系统自动将 Terraform 模板下载到代码库,并同步部署到 Application Development Center (ADC)。

在批准设计后,代理会自动处理部署过程。虽然演示中通过快进跳过了 10 到 15 分钟的等待时间,但系统会实时检查部署状态及潜在问题。部署完成后,用户可以通过 Cloud Build 查看部署日志,并获取负载均衡器 IP 地址以验证应用功能。演讲者指出,这种从本地开发到生产云部署的过程,传统方式下通常需要开发者耗费多日来手动配置组件、确保安全实践和完成连接,而利用这些工具则可在约半小时内完成。

### [25:52](https://www.youtube.com/watch?v=fkCTifAqVGg&t=1552s) 代理注册中心与治理网关 随着环境中代理和 MCP 服务器数量的增加,如何有效管理资源及避免重复造轮子成为了关键问题。演讲者介绍了“Agent Registry”(代理注册中心),它作为代理生态系统的“单一事实来源”,帮助企业进行组织内的资源发现,防止工程上的重复劳动。

此外,为了解决代理之间的无序通信,团队引入了“Agent Gateway”(代理网关)。网关充当治理层,能够精细化控制代理间的权限,例如,允许“旅游应用”调用“订票代理”,同时严禁其访问“内部 HR 代理”。这种架构将治理负担从开发者层面提升到了平台层面。

* **Agent Registry**: 集中存放 MCP 服务器与代理,促进跨团队发现与资源复用。 * **Agent Gateway**: 实现安全治理,限制代理间的互操作性。

### [27:57](https://www.youtube.com/watch?v=fkCTifAqVGg&t=1677s) 身份认证与运行安全 在生产环境的安全性方面,演讲者重点介绍了新推出的身份认证方案。该方案赋予每个代理在部署时唯一的 IAM(身份与访问管理)身份,且无需开发者手动管理。

“我们希望通过这种方式,当某些事情出错并且您回顾日志时,您看到的不仅仅是一个访问该代理的服务,您将看到确切是哪个代理、哪个版本进行了该操作。”—— Naz Bayrak 提到,这种机制为审计提供了不可否认的证据链(Irrefutable audit trail)。

### [30:05](https://www.youtube.com/watch?v=fkCTifAqVGg&t=1805s) Model Armor:拦截 AI 应用威胁 为了防范生成式 AI 应用的常见风险(如 PII 信息泄露、品牌名誉受损、偏差信息或不符合品牌基调的内容),团队引入了 **Model Armor**。它部署在用户与大语言模型(LLM)之间,作为一道防线。

在现场演示中,Model Armor 成功拦截了多种恶意攻击尝试,包括: * **数据渗漏**: 试图提取用户的信用卡信息。 * **提示词注入 (Prompt Injection)**。 * **越狱尝试 (Jailbreak)**。 * **系统指令泄露**: 试图获取代理底层的系统 prompt。 * **恶意链接检测**。

### [33:37](https://www.youtube.com/watch?v=fkCTifAqVGg&t=2017s) 可观测性:从“事后补救”转向“内置设计” Manasa 指出, observability(可观测性)通常被视为“第二天(Day 2)”的任务,因为它需要开发者进行繁琐的代内插桩,且平台工程师需要从云端提取信号并构建仪表板,这往往导致它在项目初期被搁置。

“ observability 通常被称为第二天操作,主要原因在于它并不简单。”—— Manasa Kandula 强调了传统可观测性建设中由于代码插桩和跨系统整合带来的工程负担。团队目前的解决方案是通过结合 Google Cloud SDK 和相关工具,在流程初期就将可观测性集成在内,而非作为后续的补丁。

```mermaid flowchart LR subgraph Governance ["治理与发现"] A["Agent Registry"] --> B["Agent Gateway"] end subgraph Security ["生产安全"] C["IAM Identity"] --> D["Model Armor"] end subgraph Observability ["可观测性"] E["SDK Instrumentation"] --> F["Cloud Build Logs"] end accTitle: Agent Platform Architecture accDescr: 展示了代理平台中治理、安全和可观测性的核心组成模块。 ```

### [34:54](https://www.youtube.com/watch?v=fkCTifAqVGg&t=2094s) 利用 Application Development Center (ADC) 实现可观测性 演讲者深入探讨了如何利用 Application Development Center (ADC) 实现“开箱即用”的应用程序可观测性。通过点击一个按钮,他们能够将原本分散在云项目各处的资源(如 PostgreSQL 数据库、Cloud Run 实例等)关联起来,使平台仪表盘不再只显示独立资源的信号,而是将它们整合为一个统一的应用整体进行运营。

除了基础的应用监控,他们还展示了专门的“Agent App”仪表盘,这为 AI 应用开发者提供了关键的领域指标,例如大模型的 Token 使用计数和特定模型的延迟分析。

### [36:06](https://www.youtube.com/watch?v=fkCTifAqVGg&t=2166s) 通过 OpenTelemetry 实现代理诊断 为了处理生产中的故障排查,演讲者强调了对 OpenTelemetry 的支持。他们指出,OpenTelemetry 是一个由全球多个供应商共同支持的开源标准,旨在构建与供应商无关的遥测管道。通过与开源社区的合作,Google Cloud 扩展了该协议,使其能够包含来自生成式 AI(GenAI)源的信号。

* **关键点**:传统的遥测信号仅适用于常规应用程序,但对于 GenAI 应用,必须捕捉模型层面的额外信息。 * **观点引用**:“OpenTelemetry 是一个开放的标准,被全球多个供应商所使用,它旨在帮助你构建与供应商无关的遥测管道。”——演讲者

### [38:00](https://www.youtube.com/watch?v=fkCTifAqVGg&t=2280s) 利用 BigQuery 进行业务价值分析 为了量化代理对最终用户的价值,演讲者介绍了集成在 Application Development Kit (SDK) 中的 BigQuery 分析插件。该插件能够抓取每一轮用户与代理的对话数据及其元数据,并将其存储在 BigQuery 结构化数据库中。

在演示中,演讲者展示了如何通过 SQL 查询分析用户的交互数据。通过将对话数据导出至 Google Sheet,他们能够直观地看到用户反馈的评级(1到5分),从而快速识别出哪些是高质量的对话,哪些是用户感到沮丧的失败交互。这种方法使得企业能够通过数据驱动的方式优化模型表现和业务逻辑。

### [39:57](https://www.youtube.com/watch?v=fkCTifAqVGg&t=2397s) 演示:追踪与元数据分析 演讲者展示了一个完整的用户请求 Trace(追踪),详细说明了从用户发出指令到获取回答的每一步耗时。

* **技术细节**:演示中使用的模型为 Gemini 2.5 Flash,温度参数(Temperature)设置为 0.01。 * **资源监测**:在特定的一次对话中,Token 使用量达到了 3,658 个。 * **诊断逻辑**:通过 Trace 视图,开发者可以清晰地看到 LLM 何时调用了特定的搜索工具,以及返回数据如何被重新整合回 AI 模型中。

### [42:02](https://www.youtube.com/watch?v=fkCTifAqVGg&t=2522s) 通过模板化实现代理规模化部署 面对从开发一个代理到扩展至成百上千个代理的挑战,演讲者提出了“平台工程”的视角。他们建议通过 ADC 构建“黄金模板(Golden Template)”,即由平台团队为组织内的所有代理应用预先定义好安全准则、治理策略和防护栏(Guardrails)。

* **核心逻辑**:开发者通过模板创建应用,确保所有部署的代理天然符合企业的合规性要求,从而避免手动重复执行繁琐的配置步骤。 * **观点引用**:“在组织内部手动进行监管是非常困难的。”——演讲者

### [43:30](https://www.youtube.com/watch?v=fkCTifAqVGg&t=2610s) 课程总结 最后,演讲者对全场内容进行了回顾,总结了将 Gemini 代理投入生产的四个核心阶段: 1. **评估**:通过响应评估和轨迹评估(Trajectory Evaluation)确保质量。 2. **代码交付**:利用高效工具和统一的工具/代理注册表。 3. **安全性与治理**:在部署时配置 IAM,并处理常见的安全威胁。 4. **可观测性与审计**:利用 OpenTelemetry 和 BigQuery 进行深度分析,并利用模板化实现大规模的企业级部署。

## Notable quotes > [08:45](https://www.youtube.com/watch?v=fkCTifAqVGg&t=525s) Essentially, one size does not fit all when it comes to serving tiers. — Maria-Irène Călinoiu

> [16:11](https://www.youtube.com/watch?v=fkCTifAqVGg&t=971s) 自动化指标非常具有可扩展性且是客观的,但没有哪种方法是完美的,特别是当涉及到创造性或使用错误的指标衡量用例时,测量难度会增加。 — Naz Bayrak

> [27:57](https://www.youtube.com/watch?v=fkCTifAqVGg&t=1677s) 当某些事情出错并且您回顾日志时,您看到的不仅仅是一个访问该代理的服务,您将看到确切是哪个代理、哪个版本进行了该操作。 — Naz Bayrak

> [33:37](https://www.youtube.com/watch?v=fkCTifAqVGg&t=2017s) observability 通常被称为第二天操作,主要原因在于它并不简单。 — Manasa Kandula

## Mentioned Booking.com, Google, Google Cloud, Gemini, Vertex AI, Alibek Datbayev, Maria-Irène Călinoiu, Naz Bayrak, Manasa Kandula, Know before you go, BigBot, Partner Analytics, Reels to Reality, Google Maps, Google Search Grounding, Model Context Protocol, Google Cloud SQL, Agent Engine, Model Armor, Gemini Cloud Assist, Application Design Center, Application Development Center, Agent Registry, Agent Gateway, Cloud Build, OpenTelemetry, BigQuery, Cloud Run, Gemini 2.5 Flash, Terraform

## Video description Simple agents are easy. Reliable agents are hard. Join us for a high-velocity master class on the production-first approach to Gemini Enterprise Agent Platform. We’re breaking down the complex transition from a basic prompt to a hardened enterprise tool. First, connect your agent by using Model Context Protocol (MCP) servers for secure data context. Next, protect it by implementing enterprise-grade security guardrails. Then, inspect it by setting up observability to monitor agent behavior in real time. And finally, perfect it by running automated evaluations to ensure accuracy at scale. In this session, expect no fluff – just the architecture you need to ship with confidence.

Watch more Google Cloud Next 2026 Sessions → https://goo.gle/gcloud-next-2026 Subscribe to Google Cloud Tech → https://goo.gle/GoogleCloudTech

Speakers: Alibek Datbayev, Manasa Kandula, Naz Bayrak, Maria-Irène Călinoiu

BRK2-014 #GoogleCloudNext

[Source](https://www.youtube.com/watch?v=fkCTifAqVGg)

中文简报

Booking.com与谷歌发布Gemini智能体企业级架构 规模化扩展企业AI智能体,需以自动化轨迹评估、临时机器身份及标准化部署模板取代人工提示词工程。 Booking.com与谷歌的工程师阐述了将自主生成式AI智能体从本地原型推进至经过强化的企业级云端部署所需的架构转型。结合Booking.com的高吞吐量旅游平台以及一个多智能体伦敦礼宾示例应用,演讲者详细剖析了四大基石:多轮响应与轨迹评估、借助Application Design Center(ADC)和Gemini Cloud Assist加速云端部署、通过临时智能体身份与Model Armor代理构筑的运行时安全,以及由OpenTelemetry和BigQuery分析驱动的Day-0可观测性。本次分享展示了平台级治理、智能体网关及黄金架构模板如何助力企业在不加重人工工程负担的前提下,安全地规模化扩展协作型AI智能体。 Booking.com将其生成式AI技术栈从2023年基础的简单封装演化为企业级网关与生产级智能体平台,可大规模处理跨垂直领域的旅游工作流。 (2:30) 智能体评估必须同时兼顾最终响应与内部执行轨迹,并对照黄金测试数据集开展精确匹配、按序匹配或无序匹配。 (13:35) Application Design Center(ADC)与Gemini Cloud Assist可在约30分钟内将本地智能体代码库转化为Terraform模板和云架构。 (23:15) Model Armor充当部署在最终用户与大语言模型之间的内联威胁过滤器,无需脆弱的提示词工程即可防止PII泄露、提示词注入与系统提示词窃取。 (30:06) OpenTelemetry已针对生成式AI特性扩展专属信号,用于捕获模型元数据、Token消耗及多轮工具调用轨迹,并结合BigQuery实现对话级分析。 (35:57)

精炼阅读摘要

Booking.com与Google Cloud技术专家指出,企业级生成式AI智能体从概念验证迈向生产环境的关键,在于建立涵盖双重评估、自动化云部署、细粒度运行时安全防护以及全生命周期可观测性的工程化治理体系。 规模化旅行业务的生成式AI演进 (2:30) Booking.com平台覆盖70个国家的17.5万个目的地,自2010年以来促成了超过68亿人次的旅客入住。其生产环境包含数百个机器学习模型,每秒处理约50万次请求,P999延迟目标控制在50毫秒左右。自2023年行业出现生成式AI拐点以来,该团队经历了从最初简单调用外部API的封装应用,演进至多供应商模型并存,最终通过统一API网关实现成本归属、用量监控与合规治理的完整技术栈升级。 在业务应用层面,团队基于Gemini模型落地了多个代表性场景:客户侧的“Know Before You Go”结合Google Maps与Search实现行前定制行程;面向内部开发者的BigBot加速代码库与数据资产检索;面向合作伙伴的分析工具对海量评论提取结构化缺陷信号以辅助维修决策;多模态的“Reels to Reality”则能直接解析社交视频URL并生成可预订行程。在模型服务策略上,团队根据业务要求将对话场景迁移至预置吞吐量以保障每分钟固定Token额度,并对多模态大流量启用优先级处理,以匹配具体的生产服务等级。 从响应质量到轨迹验证的评测体系 (13:35) 与传统机器学习模型相比,自主多智能体系统具有明显的非确定性,评测必须兼顾最终输出与执行路径。Google专家指出,评估架构划分为响应评测与轨迹评测两部分:响应评测将智能体视为黑盒,利用幻觉率、扎根度及上下文连贯性等指标审视输出;轨迹评测则白盒审查智能体内部的推理路径,检查调用的具体工具、参数输入及协作次序,并与黄金数据集对比验证业务逻辑的真实执行情况。 在轨迹指标匹配机制中,架构师可根据业务容错需求配置三种模式:精确匹配要求调用的工具、参数以及调用顺序与黄金标准完全一致,适用于严禁出错的票务交易;按序匹配允许智能体在关键节点之间执行额外的搜索或旁路工具,只要核心步骤依序达成即可通过;任意顺序匹配则仅验证必备工具是否全部被触发,不限定执行次序,主要用于探索性推荐场景。评测数据与多轮对话执行指标可自动同步至BigQuery,为生产准入提供量化审计支撑。 代码转云端部署与企业服务治理 (20:05) 将本地原型转化为云端受控架构往往面临较高的认知负载。通过Gemini Cloud Assist与Application Design Center(ADC)配合Model Context Protocol(MCP)服务器,开发者可通过自然语言指令解析本地代码库,自动生成包含私有Cloud SQL与PostgreSQL向量扩展的Terraform模板,并直接在ADC画布上可视化资源依赖。在演示中,原本耗费数日的云端资源匹配、安全基线应用与Cloud Build流水线配置在半小时内即完成,并成功输出了外部负载均衡IP。 随着企业内部智能体数量增加,组织需要设立智能体注册表与智能体网关。智能体注册表作为全公司范围内的服务与MCP工具目录,能避免团队重复造轮子;智能体网关则在基础设施层实施边界访问控制,阻断未授权的横向通信,例如严格禁止面向C端的伦敦导游智能体直接穿透至内部人力资源系统,避免了将鉴权逻辑散落并手写在各个应用代码中的安全风险。 运行时身份凭证与Model Armor威胁防御 (27:58) 生产环境中的智能体安全性依托于细粒度身份体系与实时威胁拦截。传统模式下开发者常为模型配置宽泛且长生命周期的服务账号,导致安全事件发生后难以归因具体实例。新引入的智能体身份机制在部署与运行时动态分配遵循最小权限原则的IAM凭证,该凭证在工作负载停止时立即销毁,并为每一次后端调用生成带有智能体名称、构建版本与执行上下文的不可篡改审计追踪。 面对直接攻击与提示词劫持,系统引入了驻留在用户与底层大模型之间的Model Armor安全代理层。该代理直接在线路传输层阻断个人身份信息(PII)泄露、提示词注入、越狱攻击、系统指令套取以及恶意URL注入,取代了脆弱且冗长的系统防守提示词。在现场对抗测试中,攻击者尝试导出信用卡数据或套取核心指引均被防御层拦截并屏蔽,而合法的常规旅游业务交互则能顺畅放行。 OpenTelemetry追踪与BigQuery业务洞察 (33:38) 生产系统的可观测性不能滞后至部署后再做补救,平台通过SDK原生集成了系统级与AI专用的零日遥测数据。结合行业通用的OpenTelemetry标准,Google Cloud对开源协议进行了扩展,使其支持记录大模型元数据、工具调用链与执行耗时分布。Trace Explorer可完整呈现包含模型请求、外部数据库工具调用及最终结果输出的单次对话瀑布流,明确展示底层Gemini模型的Token消耗与参数配置。 在业务层面,通过Agent Development Kit(ADK)提供的BigQuery插件,系统能够将多轮对话中的全部用户提问、回复负载与元数据持续写入结构化数据表。运营团队可通过标准SQL进行自动化情感分析,区分高满意度评价与低分流失案例,同时针对不同类型的交互流程统计每日Token消耗走势,以指导提示词链条精简并控制推理成本。借助ADC的统一黄金模板,企业能将上述安全、权限与遥测规范固化为标准化交付物,实现多团队规模化复制。 本场分享展示了Booking.com与Google Cloud将多智能体系统工业化运行的实践路径,强调高可靠落地依赖于自动化轨迹评估、基础设施级安全阻断与开箱即用的遥测分析;但对于不同复杂度的业务流如何动态平衡严苛评估标准与模型自身创造力,仍有待工程团队在实际场景中进一步探索与校准。

Detailed notes — zh

## Background 该内容由 Google Cloud Tech 频道于 2026 年 6 月 25 日在 YouTube 发布。页面说明将其定义为一场针对 Gemini Enterprise Agent Platform 的高阶实战课,旨在指导开发者如何将基础的 AI Agent 从原型阶段成功转型为安全、可靠且可扩展的企业级工具。 ## TL;DR 本次演讲由 Booking.com 的实践经验出发,系统化地拆解了企业级 AI 智能体平台的构建路径。讲者重点介绍了从上线前评测(如轨迹评估)、模型安全防护(Model Armor)、身份治理(Agent Registry 与 Gateway)到全链路可观测性(OpenTelemetry 与 BigQuery)的四大技术支柱。通过演示 Gemini Cloud Assist 和黄金模板(Golden Template)等工具,展示了如何大幅降低开发者的认知负担,并实现 AI 应用从原型到大规模生产的快速部署。 ## Atmosphere & style 整场演讲风格严谨且极具技术干货,摒弃了空洞的叙事,直接切入生产环境的核心痛点。讲者们的互动沉稳专业,将枯燥的架构治理与复杂的安全策略转化为逻辑清晰的演示过程,营造出一种“工程师对工程师”的坦诚交流氛围。观众能够深刻感受到将前沿 AI 技术转化为业务生产力时的工程挑战,既有挑战现实的严肃感,又伴随着技术赋能带来的掌控感。 ## Bulletin - [03:37](https://www.youtube.com/watch?v=fkCTifAqVGg&t=217s) Booking.com 依托每秒 50 万次请求传统机器学习系统的高并发积累,完成了从单一封装应用到统一网关、再到全生命周期治理生产级智能体平台的演进。 - [16:11](https://www.youtube.com/watch?v=fkCTifAqVGg&t=971s) 针对大模型非确定性行为,评估体系已从单一输出检查扩展到轨迹评估,通过精确匹配、有序匹配与无序匹配三种规则量化工具调用的合规度。 - [27:57](https://www.youtube.com/watch?v=fkCTifAqVGg&t=1677s) 生产级智能体采用部署期独立 IAM 身份与 Model Armor 护栏防御,有效阻断提示词注入、越狱攻击与敏感数据渗漏,并提供不可否认的审计链。 - [20:05](https://www.youtube.com/watch?v=fkCTifAqVGg&t=1205s) 结合 Gemini Cloud Assist、Application Design Center (ADC) 与 OpenTelemetry 遥测扩展,团队将复杂的云架构配置与开箱即可用的可观测性构建压缩至约半小时内完成。 ## Key takeaways - [03:37](https://www.youtube.com/watch?v=fkCTifAqVGg&t=217s) Booking.com 具备长达十余年的预测性机器学习生产经验,底层模型常年承载 500,000 RPS 高并发与 P99.9 50 毫秒低延迟考验。 - [03:37](https://www.youtube.com/watch?v=fkCTifAqVGg&t=217s) 生成式 AI 技术栈经历四个阶段重构:从简单包装层到多供应商支持,再到通过统一网关(Single Gateway)实现集中式治理与监控。 - [05:47](https://www.youtube.com/watch?v=fkCTifAqVGg&t=347s) Gemini 落地场景覆盖旅客端行程规划(整合地图与搜索接地)、开发者助手 BigBot、房东端痛点信号抽取以及社交短视频直接转可预订行程的多模态应用。 - [08:45](https://www.youtube.com/watch?v=fkCTifAqVGg&t=525s) 模型服务层级并非一成不变,团队在高并发交互中弃用默认按需模式,转向预置吞吐量(Provisioned Throughput)与优先处理策略以保障稳定 SLA。 - [11:13](https://www.youtube.com/watch?v=fkCTifAqVGg&t=673s) 构建高可靠生产级智能体必须立足于四大支柱:上线前评测、代码极速上云、运行时身份与安全防护、全链路可观测性与审计。 - [13:35](https://www.youtube.com/watch?v=fkCTifAqVGg&t=815s) 智能体评估不仅依赖输出层面的 LLM as Judge,还引入轨迹评估(Trajectory Evaluation)以深入核验工具调用链路与上下文参数。 - [16:11](https://www.youtube.com/watch?v=fkCTifAqVGg&t=971s) 轨迹评估设立了三种层级的匹配机制:严格比对黄金测试集的精确匹配、允许适当迂回的有序匹配,以及仅校验工具覆盖的无序匹配。 - [20:05](https://www.youtube.com/watch?v=fkCTifAqVGg&t=1205s) Gemini Cloud Assist 充当云架构 AI 规划师,能够解析代码库与意图并自动生成合规架构建议(如带有向量扩展与私有网络的 Cloud SQL 数据库)。 - [25:52](https://www.youtube.com/watch?v=fkCTifAqVGg&t=1552s) 借助 Agent Registry(代理注册中心)与 Agent Gateway(治理网关),企业可以构建统一的发现机制并精细限制跨代理的互操作权限。 - [27:57](https://www.youtube.com/watch?v=fkCTifAqVGg&t=1677s) 部署时赋予每个代理独立的 IAM 身份,确保所有系统操作都能精确溯源到特定代理及对应版本,形成完整的审计证据链。 - [30:05](https://www.youtube.com/watch?v=fkCTifAqVGg&t=1805s) Model Armor 部署于用户与模型之间充当安全防线,成功拦截敏感数据渗漏、提示词注入、越狱及系统指令泄露等多重威胁。 - [33:37](https://www.youtube.com/watch?v=fkCTifAqVGg&t=2017s) 可观测性应当通过 SDK 与平台工具实现原生内置,打破“Day 2 补救”的工程困境,将分散的云资源整合为统一的应用级视图。 - [36:06](https://www.youtube.com/watch?v=fkCTifAqVGg&t=2166s) 通过支持和扩展 OpenTelemetry 开源标准,团队打通了跨供应商的遥测管道,能够有效捕捉并诊断生成式 AI 特有的模型与 Token 信号。 - [38:00](https://www.youtube.com/watch?v=fkCTifAqVGg&t=2280s) 借助 SDK 与 BigQuery 的原生集成,多轮对话及其元数据可自动存入结构化数据库,便于企业通过数据分析量化业务价值并追踪不良交互。 - [42:02](https://www.youtube.com/watch?v=fkCTifAqVGg&t=2522s) 平台工程团队通过 Application Design Center (ADC) 输出黄金模板(Golden Templates),确保组织内成百上千个智能体在发布时天然合规。 ## Detailed walkthrough ### [00:13](https://www.youtube.com/watch?v=fkCTifAqVGg&t=13s) 合作背景与 Booking.com 的全球规模 Booking.com 的 AI 平台工程经理 Alibek Datbayev 开场介绍了本次演讲的主题:如何将一个智能体(Agent)从原型阶段打造成高可靠的生产级系统。他特别指出,Booking.com 与 Google 之间保持着长久且深入的合作关系,这并非一个临时项目,用 Alibek Datbayev 的原话来说:“It's a battle tested partnership that is built on deep trust and technology that actually delivers.” 在效果营销合作之外,团队正在深度借助 Gemini 和 Vertex AI 的能力构建生成式 AI 用例,以实现更智能、更自动化的客户体验。 随后,Alibek 向现场观众分享了 Booking.com 的企业使命——“让每个人都能更轻松地体验世界”(make it easier for everyone to experience the world)。为了生动展现这一理念,他与现场观众进行了互动,询问有多少人是跨国旅行来到 Google Cloud Next 现场的。在看到全场几乎所有人都举起手后,他又询问有多少人曾使用 Booking.com 应用来规划行程,台下热烈的响应印证了其业务的普及度。接着,他列举了一组数据来展示 Booking.com 底层引擎的庞大体量: - 自 2010 年以来,平台已促成超过 68 亿人次的旅客入住各类住宿设施。 - 业务网络覆盖全球 175,000 个目的地。 - 在全球 70 个国家和地区设立了 140 处办事处,位于荷兰阿姆斯特丹的总部拥有数千名员工。 - 业务已从单一的酒店预订扩展为一个涵盖住宿、交通、景点等多垂直领域的综合生态系统。 --- ### [03:37](https://www.youtube.com/watch?v=fkCTifAqVGg&t=217s) Booking.com 的 AI 平台演进历程 Booking.com 并非 AI 领域的新手。Alibek 强调,公司运行预测性机器学习(Predictive ML)模型已有十多年历史。在生产环境中,数百个传统模型常年支撑着极高并发的流量考验:平均请求量高达每秒约 50 万次(500,000 RPS),而 P99.9 的端到端延迟严格控制在 50 毫秒左右。然而,生成式 AI 的到来推动了基础设施的全面重构。 ```mermaid flowchart LR accTitle: Booking.com AI 架构演进阶段 accDescr: 展示从2023年简单包装器到2024年多模型网关再到如今全生命周期治理生态的演进过程 subgraph Phase0["2023 探索期"] A["简单 Wrapper 应用<br/>初步试水 LLM"] end subgraph Phase1["2024 初演进"] B["多供应商与自研模型<br/>重构核心技术栈"] end subgraph Phase2["统一网关层"] C["Single Gateway<br/>内置治理与监控"] end subgraph Phase3["成熟 AI 生态"] D["生产级 Agent 平台<br/>评测/护栏/全生命周期"] end A --> B B --> C C --> D ``` Alibek 回顾了生成式 AI 基础设施的四个演进阶段:在 2023 年 ChatGPT 引爆行业关注的“阶段 0”,团队构建了一个非常简单的 Wrapper 应用试水;到了 2024 年初,核心技术栈经历重构,接入了自研模型并演化为多供应商环境;随后,最具决定性的一步是引入了统一网关(Single Gateway),让内部开发者既能自由调用任意模型,又获得了开箱即用的内置治理与用量监控机制;如今,团队已经建成了涵盖高级评估、安全护栏以及生产就绪智能体能力的端到端 AI 生态。 --- ### [05:47](https://www.youtube.com/watch?v=fkCTifAqVGg&t=347s) 落地实战:Gemini 驱动的四大核心业务场景 Booking.com AI 平台的软件工程师 Maria-Irène Călinoiu 接过话筒,展示了团队基于 Google Gemini 模型落地的四个典型应用场景,涵盖了从旅客端、房东端到内部研发效能的各个维度: 首先是首个面向旅客的智能体概念验证(PoC)项目——“Know before you go”(行前已知)。旅行在出发前令人兴奋,但规划过程往往繁琐耗时。该项目旨在填补“完成预订”到“真正启程”之间的信息断层。借助底层集成的 Google Maps 与 Google 搜索接地(Search Grounding),该系统能结合旅客出行团队的人数、兴趣与时间约束生成定制行程,甚至直接规划从机场到酒店的接驳路线。Maria-Irène 指出,这清晰展现了推理能力与外部实时知识相结合所带来的流畅体验。 其次是内部开发者生产力工具“BigBot”。这是一个内部数据资产注册表聊天机器人。面对大型企业庞杂的信息资产,员工可以直接向 BigBot 询问平台信息、检索数据资产,甚至通过自然语言指令直接自动创建底层工作流。第三个场景是面向房东平台的“Partner Analytics”(合作伙伴分析)。团队不仅用大语言模型生成文本,更将其作为高价值的“信号抽取器”:模型会自动聚合旅客的海量评论与留言,聚类提取出常见痛点(例如游泳池维护问题或早餐品类不足),帮助合作伙伴精准改进运营。 第四个场景是关于多模态理解的“Reels to Reality”(从视频到现实)。许多用户的度假灵感并不来自具体的搜索关键词,而是来自社交媒体上的短视频。Gemini 具备直接解析短视频与 YouTube URL 的原生多模态能力,可以将视觉灵感直接转化为 Booking.com 应用中的真实可预订行程。 --- ### [08:45](https://www.youtube.com/watch?v=fkCTifAqVGg&t=525s) 模型服务考量与平台赋能经验 在分享这些落地场景的同时,Maria-Irène 坦言团队经历了大量试错,并总结出了两条关键工程认知。第一项核心教训围绕大模型的服务层级(Serving Tiers)展开:“Essentially, one size does not fit all when it comes to serving tiers.” 很多开发者习惯于 Vertex AI 默认的按需计费模式(On-demand Serving),但在“Know before you go”项目上线初期,团队很快发现默认模式的延迟和吞吐量无法满足高并发下的即时响应诉求。随后团队切换到了预置吞吐量(Provisioned Throughput),通过预留每分钟 Token 上限(TPM)来锁定计算资源;而对于“Reels to Reality”这种重度依赖视频解析的多模态场景,团队又进一步采用了优先处理(Priority Processing)策略,确保业务服务策略与生产环境的实际负载需求相匹配。 第二项教训在于平台团队的定位与组织赋能。作为中央 AI 平台团队,他们并不直接承担业务端智能体的端到端研发,而是提供自助式平台和技术支持。Maria-Irène 直言,只搭建平台工具链只完成了团队工作的一半,另一半则是帮助内部开发者厘清工具的使用场景与最佳实践。为此,团队长期输出定制化文档、举办黑客马拉松,并提供供应商特定的深度资料,以加速项目从实验走向生产。在总结这段历程时,Maria-Irène 强调:“booking.com has been moving from isolated experiments to a governed multi-provider production ready AI ecosystem.” --- ### [11:13](https://www.youtube.com/watch?v=fkCTifAqVGg&t=673s) 面向生产环境的 Google Cloud 智能体四大支柱 随后演讲交接给 Google 团队的工程师。演讲者指出,如今构建一个简单的智能体 Demo 并不困难,但在迈向真实生产环境时,工程团队普遍会遭遇一系列严峻的现实问题:如何保证智能体的输出质量达到企业级标准?随着智能体数量呈爆发式增长,如何统一治理底层调用的海量工具?又该如何在复杂的生产环境中保证智能体执行动作时的安全性? 为了解决这些痛点,演讲者抛出了接下来将深度拆解的四大技术支柱: 1. **上线前评测(Pre-production Evaluation)**:在投入生产之前,利用多种系统化评估技术全面量化智能体的准确度与稳定性。 2. **代码极速上云(Code to Cloud)**:打破原型与云端环境的壁垒,建立快速、自动化的部署通道。 3. **部署期智能体身份与安全机制(Agent Identity & Security)**:为运行时智能体赋予细粒度身份凭证,并在生产调用链路中实施严格的安全隔离与防御护栏。 4. **实时可观测性与审计(Observability & Auditability)**:在智能体运行期间提供全链路 Trace、监控与日志审计,使突发故障的排查与复盘高效透明。 ### [12:25](https://www.youtube.com/watch?v=fkCTifAqVGg&t=745s) 项目简介与示例架构 演讲者 Naz Bayrak 和 Manasa Kandula 介绍了本次演示的背景。Naz 是一名 AI 专家,Manasa 是一名应用现代化专家,两人均驻扎在 Google 阿姆斯特丹办公室。他们展示了一个以“伦敦旅行礼宾”(London Travel Concierge)为核心的示例演示,该案例灵感来源于 Booking.com 的同事。该系统包含三个主要代理:主代理负责与用户互动并提供行程建议,通过与“票务代理”(Ticket Agent)和“活动代理”(Activities Agent)协作来完成任务。此外,系统还集成了两个 MCP(Model Context Protocol)服务器:一个用于获取不可预测的天气信息,另一个用于访问存储在 Google Cloud SQL 中的专有伦敦数据,从而确保向终端用户提供精确的推荐。整个架构还集成了 Agent Engine 和 Model Armor 等工具。 ### [13:35](https://www.youtube.com/watch?v=fkCTifAqVGg&t=815s) 智能体评估的挑战与方法 Naz 解释说,由于智能体(Agents)本质上是“非确定性”的,这为评估系统带来了巨大挑战。评估方法主要分为两类: * **响应评估 (Response Evaluation)**:仅关注智能体的最终输出,类似于传统 AI 模型的评估方式。 * **轨迹评估 (Trajectory Evaluation)**:这是智能体特有的评估维度,深入查看智能体的内部运作,包括调用了哪些工具、使用的参数以及协作的代理。 针对评估方法,Naz 总结了演进过程:“我们现在采用的方法是使用 LLM 作为判断者(LLM as Judge),这是一种在行业中被广泛采用的技术,即利用一个辅助的 LLM 来评估第一个 LLM 的输出。”虽然这比传统的人工评估更具扩展性、高效且一致,但在代码现代化等复杂场景下表现有限,且受限于 LLM 本身的推理能力。此外,实践者还可以引入诸如幻觉、扎根性(groundedness)和连贯性(coherence)得分等自动化指标,并结合自定义指标进行综合评估。 ### [16:11](https://www.youtube.com/watch?v=fkCTifAqVGg&t=971s) 轨迹评估指标的类型 Naz 重点讲解了在 SDK 中进行轨迹评估的三种核心指标: * **精确匹配 (Exact Match)**:这是最严苛的标准。你拥有一套“黄金测试集”(Golden Test Sets),规定了最理想的执行路径,包括工具调用、输入参数及调用顺序。在这种模式下,内部运作必须丝毫不差。 * **有序匹配 (In Order Match)**:由于智能体是非确定性的,它可能在执行过程中产生多余的工具调用(例如意外触发 Google 搜索)。只要最终结果正确且核心步骤顺序一致,这种“迂回”是可以接受的。 * **无序匹配 (Any Order Match)**:如果工具调用的顺序不重要,只要调用了正确的工具,即便路径不同也能通过,适用于如推荐伦敦旅游景点等对逻辑执行顺序要求不高的场景。 Naz 强调:“优势在于自动化指标非常具有可扩展性且是客观的,但没有哪种方法是完美的,特别是当涉及到创造性或使用错误的指标衡量用例时,测量难度会增加。” ### [18:32](https://www.youtube.com/watch?v=fkCTifAqVGg&t=1112s) SDK 演示:从配置到评估结果 在演示环节,Naz 展示了如何通过 SDK 加载智能体配置,其中包含了轨迹评估、幻觉检测及安全性等指标。数据录入方面,他通过与代理的多次对话,将满意的结果保存为 JSON 格式的“黄金测试集”。系统会重新运行这些提示词(Prompts),并将生成的实际结果与黄金标准进行比对。最终,所有指标结果都会以细粒度形式存储在 BigQuery 中,右侧面板显示了整个对话的聚合指标,帮助开发者判断智能体是否已达到生产标准。 ### [20:05](https://www.youtube.com/watch?v=fkCTifAqVGg&t=1205s) 开发效率与 Gemini Cloud Assist Manasa 接手演示,重点探讨了如何提升开发者速度并降低从原型迁移到生产环境的认知负担。她指出,虽然代码辅助工具让本地开发变得容易,但将其部署到安全的云架构中仍面临挑战。为此,Google 推出了 **Gemini Cloud Assist**,将其定位为“Google Cloud 的 AI 架构师”。 Gemini Cloud Assist 能够分析代码库和开发者的意图,自动建议符合云原生最佳实践的架构。例如,在伦敦礼宾应用的案例中,它会建议使用带有向量扩展的 Cloud SQL PostgreSQL 数据库,并自动建议将其配置为私有实例以增强安全性。 * **Application Design Center (ADC)**:这是一个存储和部署架构模板的中心。 * **协同工作**:开发者可以将 Gemini Cloud Assist 与 ADC 结合使用,不仅能获取架构建议,还能从第一天起就获得开箱即用的监控指标。 * **用户路径**:开发者利用 Gemini CLI 生成代码,随后由 Cloud Assist 和 ADC 服务器分析架构,并在遇到问题时利用 MCP 工具进行故障排除。 在演示的最后,Manasa 展示了在 IDE 中检查 MCP 服务器(ADC 和 Gemini Cloud Assist)的安装情况,为后续的架构分析做好准备。 ### [23:15](https://www.youtube.com/watch?v=fkCTifAqVGg&t=1395s) 自动化架构设计与云部署流程 演示过程展示了如何通过简单的指令让代理(Agent)自主解析代码库并生成云架构。演讲者解释说,代理首先通过其代码基搜索并识别组件及其关联,接着调用“Gemini Cloud Assist MCP”工具将理解的内容转化为具体的架构方案。随后,系统自动将 Terraform 模板下载到代码库,并同步部署到 Application Development Center (ADC)。 在批准设计后,代理会自动处理部署过程。虽然演示中通过快进跳过了 10 到 15 分钟的等待时间,但系统会实时检查部署状态及潜在问题。部署完成后,用户可以通过 Cloud Build 查看部署日志,并获取负载均衡器 IP 地址以验证应用功能。演讲者指出,这种从本地开发到生产云部署的过程,传统方式下通常需要开发者耗费多日来手动配置组件、确保安全实践和完成连接,而利用这些工具则可在约半小时内完成。 ### [25:52](https://www.youtube.com/watch?v=fkCTifAqVGg&t=1552s) 代理注册中心与治理网关 随着环境中代理和 MCP 服务器数量的增加,如何有效管理资源及避免重复造轮子成为了关键问题。演讲者介绍了“Agent Registry”(代理注册中心),它作为代理生态系统的“单一事实来源”,帮助企业进行组织内的资源发现,防止工程上的重复劳动。 此外,为了解决代理之间的无序通信,团队引入了“Agent Gateway”(代理网关)。网关充当治理层,能够精细化控制代理间的权限,例如,允许“旅游应用”调用“订票代理”,同时严禁其访问“内部 HR 代理”。这种架构将治理负担从开发者层面提升到了平台层面。 * **Agent Registry**: 集中存放 MCP 服务器与代理,促进跨团队发现与资源复用。 * **Agent Gateway**: 实现安全治理,限制代理间的互操作性。 ### [27:57](https://www.youtube.com/watch?v=fkCTifAqVGg&t=1677s) 身份认证与运行安全 在生产环境的安全性方面,演讲者重点介绍了新推出的身份认证方案。该方案赋予每个代理在部署时唯一的 IAM(身份与访问管理)身份,且无需开发者手动管理。 “我们希望通过这种方式,当某些事情出错并且您回顾日志时,您看到的不仅仅是一个访问该代理的服务,您将看到确切是哪个代理、哪个版本进行了该操作。”—— Naz Bayrak 提到,这种机制为审计提供了不可否认的证据链(Irrefutable audit trail)。 ### [30:05](https://www.youtube.com/watch?v=fkCTifAqVGg&t=1805s) Model Armor:拦截 AI 应用威胁 为了防范生成式 AI 应用的常见风险(如 PII 信息泄露、品牌名誉受损、偏差信息或不符合品牌基调的内容),团队引入了 **Model Armor**。它部署在用户与大语言模型(LLM)之间,作为一道防线。 在现场演示中,Model Armor 成功拦截了多种恶意攻击尝试,包括: * **数据渗漏**: 试图提取用户的信用卡信息。 * **提示词注入 (Prompt Injection)**。 * **越狱尝试 (Jailbreak)**。 * **系统指令泄露**: 试图获取代理底层的系统 prompt。 * **恶意链接检测**。 ### [33:37](https://www.youtube.com/watch?v=fkCTifAqVGg&t=2017s) 可观测性:从“事后补救”转向“内置设计” Manasa 指出, observability(可观测性)通常被视为“第二天(Day 2)”的任务,因为它需要开发者进行繁琐的代内插桩,且平台工程师需要从云端提取信号并构建仪表板,这往往导致它在项目初期被搁置。 “ observability 通常被称为第二天操作,主要原因在于它并不简单。”—— Manasa Kandula 强调了传统可观测性建设中由于代码插桩和跨系统整合带来的工程负担。团队目前的解决方案是通过结合 Google Cloud SDK 和相关工具,在流程初期就将可观测性集成在内,而非作为后续的补丁。 ```mermaid flowchart LR subgraph Governance ["治理与发现"] A["Agent Registry"] --> B["Agent Gateway"] end subgraph Security ["生产安全"] C["IAM Identity"] --> D["Model Armor"] end subgraph Observability ["可观测性"] E["SDK Instrumentation"] --> F["Cloud Build Logs"] end accTitle: Agent Platform Architecture accDescr: 展示了代理平台中治理、安全和可观测性的核心组成模块。 ``` ### [34:54](https://www.youtube.com/watch?v=fkCTifAqVGg&t=2094s) 利用 Application Development Center (ADC) 实现可观测性 演讲者深入探讨了如何利用 Application Development Center (ADC) 实现“开箱即用”的应用程序可观测性。通过点击一个按钮,他们能够将原本分散在云项目各处的资源(如 PostgreSQL 数据库、Cloud Run 实例等)关联起来,使平台仪表盘不再只显示独立资源的信号,而是将它们整合为一个统一的应用整体进行运营。 除了基础的应用监控,他们还展示了专门的“Agent App”仪表盘,这为 AI 应用开发者提供了关键的领域指标,例如大模型的 Token 使用计数和特定模型的延迟分析。 ### [36:06](https://www.youtube.com/watch?v=fkCTifAqVGg&t=2166s) 通过 OpenTelemetry 实现代理诊断 为了处理生产中的故障排查,演讲者强调了对 OpenTelemetry 的支持。他们指出,OpenTelemetry 是一个由全球多个供应商共同支持的开源标准,旨在构建与供应商无关的遥测管道。通过与开源社区的合作,Google Cloud 扩展了该协议,使其能够包含来自生成式 AI(GenAI)源的信号。 * **关键点**:传统的遥测信号仅适用于常规应用程序,但对于 GenAI 应用,必须捕捉模型层面的额外信息。 * **观点引用**:“OpenTelemetry 是一个开放的标准,被全球多个供应商所使用,它旨在帮助你构建与供应商无关的遥测管道。”——演讲者 ### [38:00](https://www.youtube.com/watch?v=fkCTifAqVGg&t=2280s) 利用 BigQuery 进行业务价值分析 为了量化代理对最终用户的价值,演讲者介绍了集成在 Application Development Kit (SDK) 中的 BigQuery 分析插件。该插件能够抓取每一轮用户与代理的对话数据及其元数据,并将其存储在 BigQuery 结构化数据库中。 在演示中,演讲者展示了如何通过 SQL 查询分析用户的交互数据。通过将对话数据导出至 Google Sheet,他们能够直观地看到用户反馈的评级(1到5分),从而快速识别出哪些是高质量的对话,哪些是用户感到沮丧的失败交互。这种方法使得企业能够通过数据驱动的方式优化模型表现和业务逻辑。 ### [39:57](https://www.youtube.com/watch?v=fkCTifAqVGg&t=2397s) 演示:追踪与元数据分析 演讲者展示了一个完整的用户请求 Trace(追踪),详细说明了从用户发出指令到获取回答的每一步耗时。 * **技术细节**:演示中使用的模型为 Gemini 2.5 Flash,温度参数(Temperature)设置为 0.01。 * **资源监测**:在特定的一次对话中,Token 使用量达到了 3,658 个。 * **诊断逻辑**:通过 Trace 视图,开发者可以清晰地看到 LLM 何时调用了特定的搜索工具,以及返回数据如何被重新整合回 AI 模型中。 ### [42:02](https://www.youtube.com/watch?v=fkCTifAqVGg&t=2522s) 通过模板化实现代理规模化部署 面对从开发一个代理到扩展至成百上千个代理的挑战,演讲者提出了“平台工程”的视角。他们建议通过 ADC 构建“黄金模板(Golden Template)”,即由平台团队为组织内的所有代理应用预先定义好安全准则、治理策略和防护栏(Guardrails)。 * **核心逻辑**:开发者通过模板创建应用,确保所有部署的代理天然符合企业的合规性要求,从而避免手动重复执行繁琐的配置步骤。 * **观点引用**:“在组织内部手动进行监管是非常困难的。”——演讲者 ### [43:30](https://www.youtube.com/watch?v=fkCTifAqVGg&t=2610s) 课程总结 最后,演讲者对全场内容进行了回顾,总结了将 Gemini 代理投入生产的四个核心阶段: 1. **评估**:通过响应评估和轨迹评估(Trajectory Evaluation)确保质量。 2. **代码交付**:利用高效工具和统一的工具/代理注册表。 3. **安全性与治理**:在部署时配置 IAM,并处理常见的安全威胁。 4. **可观测性与审计**:利用 OpenTelemetry 和 BigQuery 进行深度分析,并利用模板化实现大规模的企业级部署。 ## Notable quotes > [08:45](https://www.youtube.com/watch?v=fkCTifAqVGg&t=525s) Essentially, one size does not fit all when it comes to serving tiers. — Maria-Irène Călinoiu > [16:11](https://www.youtube.com/watch?v=fkCTifAqVGg&t=971s) 自动化指标非常具有可扩展性且是客观的,但没有哪种方法是完美的,特别是当涉及到创造性或使用错误的指标衡量用例时,测量难度会增加。 — Naz Bayrak > [27:57](https://www.youtube.com/watch?v=fkCTifAqVGg&t=1677s) 当某些事情出错并且您回顾日志时,您看到的不仅仅是一个访问该代理的服务,您将看到确切是哪个代理、哪个版本进行了该操作。 — Naz Bayrak > [33:37](https://www.youtube.com/watch?v=fkCTifAqVGg&t=2017s) observability 通常被称为第二天操作,主要原因在于它并不简单。 — Manasa Kandula ## Mentioned Booking.com, Google, Google Cloud, Gemini, Vertex AI, Alibek Datbayev, Maria-Irène Călinoiu, Naz Bayrak, Manasa Kandula, Know before you go, BigBot, Partner Analytics, Reels to Reality, Google Maps, Google Search Grounding, Model Context Protocol, Google Cloud SQL, Agent Engine, Model Armor, Gemini Cloud Assist, Application Design Center, Application Development Center, Agent Registry, Agent Gateway, Cloud Build, OpenTelemetry, BigQuery, Cloud Run, Gemini 2.5 Flash, Terraform ## Video description Simple agents are easy. Reliable agents are hard. Join us for a high-velocity master class on the production-first approach to Gemini Enterprise Agent Platform. We’re breaking down the complex transition from a basic prompt to a hardened enterprise tool. First, connect your agent by using Model Context Protocol (MCP) servers for secure data context. Next, protect it by implementing enterprise-grade security guardrails. Then, inspect it by setting up observability to monitor agent behavior in real time. And finally, perfect it by running automated evaluations to ensure accuracy at scale. In this session, expect no fluff – just the architecture you need to ship with confidence. Watch more Google Cloud Next 2026 Sessions → https://goo.gle/gcloud-next-2026 Subscribe to Google Cloud Tech → https://goo.gle/GoogleCloudTech Speakers: Alibek Datbayev, Manasa Kandula, Naz Bayrak, Maria-Irène Călinoiu BRK2-014 #GoogleCloudNext [Source](https://www.youtube.com/watch?v=fkCTifAqVGg)

Source quotes

[8:45] Maria-Irène Călinoiu: Essentially, one size does not fit all when it comes to serving tiers. [16:11] Naz Bayrak: 自动化指标非常具有可扩展性且是客观的,但没有哪种方法是完美的,特别是当涉及到创造性或使用错误的指标衡量用例时,测量难度会增加。 [27:57] Naz Bayrak: 当某些事情出错并且您回顾日志时,您看到的不仅仅是一个访问该代理的服务,您将看到确切是哪个代理、哪个版本进行了该操作。 [33:37] Manasa Kandula: observability 通常被称为第二天操作,主要原因在于它并不简单。