Google Cloud Tech
长时间运行的AI智能体虽能重构代码库与工作流,但由于缺乏可靠的自动化验证机制与高昂的推理成本,团队难以摆脱Token计费并阻碍了技术向大众市场普及。
AI-assisted summary of Startups shipping at scale with Google DeepMind — original source. Check the original for full context.
Source published:
Key ideas
- 智能体任务正在从分钟级同步交互走向数天级离线执行,业界已出现连续运行14天、消耗近1500亿缓存Token的大规模代码重构任务,倒逼商业模式从Token计费转向按交付结果定价。 (20:22)
- 企业级智能体落地的最大阻碍已非模型本身,而是代码与通用任务缺乏可靠的自动化验证机制(Oracle),导致按结果付费模式面临博弈论退款困境。 (22:55)
- 高昂的视频模型推理成本(单秒约0.10至0.50美元)以及质检重试机制将成品销售成本(COGS)推高数倍,成为限制多模态Agent普及的核心物理瓶颈。 (29:38)
- 长时自主运行面临严重的用户留存流失,开发者正通过多Agent群集并行执行与前端交互重构,化解用户在漫长等待中的注意力断裂。 (15:47)
Detailed notes
## Background 本内容由 Google Cloud Tech 于 2026 年 6 月 25 日发布在 YouTube 平台。视频记录了在 Google Cloud Next 大会现场由 Google DeepMind 开发者平台团队负责人 Logan Kilpatrick 主持的专题座谈,邀请前沿初创团队分享在 AI 领域如何以极快迭代速度构建工作流、权衡多模态技术取舍并利用 DeepMind 模型进行规模化产品交付。
## TL;DR 本次座谈深入探讨了初创公司从传统 API 套壳转向端到端 Agent 架构的范式变迁,涵盖了软件工程全生命周期自动化、数字化时尚衣橱及多媒体视频生成等真实落地场景。嘉宾们剖析了长周期运行带来的用户流失悖论,分享了通过多 Agent 并行调度与游戏化互动维系用户留存的实操策略。讨论重点直击生产环境的核心阻碍,包括通用验证机制的缺失、企业认知的赋能落差、UI/UX 设计资源荒以及视频模型的高昂推理与重试成本。最后,嘉宾展望了从单帧理解迈向原生视频流理解的演进方向,并指出高阶视觉抽象将成为人机协同理解极复杂系统的必备抓手。
## Atmosphere & style 整场对谈务实专业、节奏紧凑,褪去了空洞的概念包装,直奔一线工程与商业落地的真实痛点。主持人 Logan Kilpatrick 提问敏锐且幽默风趣,与台上的创业老兵频频产生默契互动,在涉及法律风险与算力降价诉求时引发现场会心欢笑。嘉宾们既对指数级进化的技术浪潮抱有极大信念,又毫不避讳地拆解用户留存流失、昂贵账单成本与博弈困境,生动呈现出技术理想主义与商业现实约束激烈碰撞的真实张力。
## Bulletin - [20:22](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=1222s) 智能体任务正在从分钟级同步交互走向数天级离线执行,业界已出现连续运行14天、消耗近1500亿缓存Token的大规模代码重构任务,倒逼商业模式从Token计费转向按交付结果定价。 - [22:55](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=1375s) 企业级智能体落地的最大阻碍已非模型本身,而是代码与通用任务缺乏可靠的自动化验证机制(Oracle),导致按结果付费模式面临博弈论退款困境。 - [29:38](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=1778s) 高昂的视频模型推理成本(单秒约0.10至0.50美元)以及质检重试机制将成品销售成本(COGS)推高数倍,成为限制多模态Agent普及的核心物理瓶颈。 - [15:47](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=947s) 长时自主运行面临严重的用户留存流失,开发者正通过多Agent群集并行执行与前端交互重构,化解用户在漫长等待中的注意力断裂。
## Key takeaways - [01:34](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=94s) Replit等团队早早全面转向纯Agent模式,其核心判断是传统IDE对于非专业工程师的知识工作者而言是完全错误的产品界面。 - [04:51](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=291s) 多模态创作正在跨越单纯拼接Prompt的API套壳阶段,演化为能够理解高维目标、自主调研规划并端到端交付的Agentic新范式。 - [10:12](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=612s) 本地优先且模型中立的代码Agent Harness具备自我递归改进能力,能够作为通用底座支撑非研发人员的数据分析与销售业务场景。 - [12:38](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=758s) 视频Agent的工程框架已日趋成熟,但核心瓶颈在于如何将人类的高级审美与品味注入平庸均质的基础大模型中,且其质量评估极难量化。 - [15:47](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=947s) 长达数小时的长时自主运行容易导致用户注意力涣散与流失,产品架构正在转向托管式Agent群集并行处理与前台持续交互并存的模式。 - [18:41](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=1121s) C端应用通过游戏化任务、教育科普与社交协同设计重塑等待界面,将单纯的加载等待转化为获取用户标注数据与增强留存的场景。 - [20:22](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=1222s) 自主性光谱的演进催生出类似咨询公司的“深度任务”模式,前期投入数小时界定需求后,Agent可在离线状态下自主执行长达两周的复杂重构任务。 - [22:55](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=1375s) 生产环境的首要技术瓶颈在于缺乏客观的“裁决神谕”(Oracle),若无法自动验证产出结果,按成果计价的商业模式便会因争议而失效。 - [25:30](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=1530s) 消费级时尚与生活方式Agent的核心挑战从自建数据集转向在成本可控下规模化交付,同时UI/UX设计人力短缺成为主要制约。 - [27:23](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=1643s) 企业级智能体的瓶颈已从“模型能力悬垂”转向“组织认知悬垂”,许多传统企业在落地速度上甚至超越了深陷工具选型争论的数字原生公司。 - [30:29](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=1829s) 生成式视频Agent后台繁重的重试校验与质检循环大幅推高了销售成本,单条短视频高额的交付费用限制了其向大众市场的推广。 - [31:32](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=1892s) 当前视频Agent多停留在单帧图像分析,行业迫切需要具备时间线连续感知能力的原生视频理解模型以优化剪辑体验。 - [33:29](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=2009s) 随着系统复杂度攀升,开发者不再逐行审读代码,高维视觉抽象与动态呈现正在取代静态Markdown和架构图,成为驾驭复杂系统的核心抓手。
## Detailed walkthrough ### [00:13](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=13s) 开场介绍:DeepMind 与前沿创业公司的碰撞
在 Google Cloud Next 大会的现场,Google DeepMind 开发者平台团队负责人 Logan Kilpatrick 开启了本次座谈。他半开玩笑地询问大家在拉斯维加斯除了赌博和参会之外过得如何,并介绍了本次圆桌的核心主题:邀请四家位于 AI 前沿的初创公司,探讨他们如何利用 Gemini、Veo 等 DeepMind 模型套件构建产品并进行规模化落地。由于各家代表的名字已在主屏幕上展示,Logan 决定跳过繁琐的个人背景介绍,直奔目前行业最核心的痛点——智能体(Agents)和代码生成技术的飞速演进。
---
[01:34](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=94s) Replit 的智能体豪赌与基础设施张力
Logan 抛出第一个问题:目前大家都在热议 Coding 与 Agentic 范式,在过去六个月中,各家产品在架构实现与产品定义上发生了哪些剧变?Replit 的 Michele Catasta 首先回应,指出 Replit 早在一年半前就做出了产品彻底转向“纯 Agent 模式”的决断,而事实证明这是一场完全正确的押注。当时做出这一决策主要源自坚定的信念而非清晰的前景,因为彼时智能体的能力尚不成熟,其输出效果虽能让理解学术研究和指数级增长的人兴奋,却难以满足实际业务上线的需求。
Replit 之所以坚定不移,核心在于其目标用户是知识工作者而非传统专业软件工程师。Michele 认为:“IDE 对于非技术人员来说是完全错误的产品界面。”(“An IDE is the wrong product surface for someone who's non-technical.”)随着基础模型能力突飞猛进,Replit 如今已能支持企业级客户的日常运维,由普通员工构建、供数千名同事每天使用的内部工具不仅扩展性极佳,还能无缝契合严格的数据治理和安全规范。
谈及工程底座的演进时,Michele 用“历经十年的瞬间成功(10-year overnight success)”来形容:Replit 前面八年时间都花在构建开发者基础设施和运行环境上,这成为了后来驱动 Agent 串联一切工具的结缔组织。这也为公司内部带来了巨大的节奏冲突: - **Agent 路线图**:更新节奏极快,由于前沿模型每三个月就会发生一次跃升,团队需要定期推翻重写部分软件架构。 - **基础设施路线图**:必须保持平稳、可持续的推进节奏,以确保数据安全与系统稳定性。两种截然不同的迭代速度在企业内部形成了非常奇妙的张力。
---
[04:51](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=291s) 多模态生成的范式转移:从 API 转售到端到端智能创作
Logan 将话题引向多模态领域,询问 Jay Wu 在面对海量媒体输入与素材生成的业务场景时,智能体时代的到来是否意味着底层架构的彻底重构。
Jay 表示,智能体架构从根本上革新了对用户意图的理解能力。在以往的技术范式下,开发者所能做的极限无非是做一层 API 套壳(wrap around the API)——获取用户输入的浅层意图,在外部拼接一段 Prompt 后请求模型输出多媒体素材。而在当前阶段,智能体不仅能理解用户极高维度的目标,还能自主展开调研、梳理完整故事线,并端到端直接交付成品视频;同时,系统能够通过“人类在环(Human-in-the-loop)”机制持续接收反馈并高效迭代。Jay 总结道,当前这个新时代最令人兴奋之处在于,创业团队能够为用户交付远比“转售 API”更深厚的实际价值。
```mermaid flowchart TD accTitle: 多模态系统架构演变对比 accDescr: 对比传统 API 套壳模式与现代智能体端到端自主创作流程
subgraph Legacy["传统 API 套壳模式"] A["用户原始输入"] --> B["预设 Prompt 拼接"] B --> C["基础多模态模型 API"] C --> D["单次输出素材"] end
subgraph Agentic["现代 Agentic 架构"] E["高维目标与意图理解"] --> F["自主素材调研与故事规划"] F --> G["端到端多媒体生成"] G --> H{"人类在环反馈 (Human-in-the-Loop)"} H -->|"多轮迭代修正"| F end ```
---
[06:11](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=371s) 数字化衣橱与虚拟穿搭:数据飞轮筑就的专有护城河
针对消费级时尚科技与智能体结合的议题,Whering 创始人 Bianca Rangecroft 分享了公司的战略路径。在 2020 年初次路演“让 AI 成为用户衣橱里的私人造型师”时,绝大多数投资人都认为这是天方夜谭,但如今这一愿景正在全面成真。面对技术的爆发,Whering 在战略上依靠三大支柱建立壁垒:
1. **真实穿搭数据飞轮**:通过数字化衣橱 App 记录用户日常真实的穿搭习惯、衣橱品牌分布、尺码细节以及风格偏好。这构成了极其独特的专有数据集,使团队能够针对行李打包规划、衣橱优化以及新购衣物验证等高阶复杂需求微调垂直模型。 2. **个性化虚拟试衣(Virtual Try-On)**:通过引导用户上传每日穿搭自拍,系统深度理解了人体在不同生活场景和服装下的形体表现,从而极大优化了虚拟试衣的拟真度与个性化程度。 3. **B2C 驱动 B2B 商业化**:借助 C 端在欧美和拉美市场积累的高黏性有机增长数据,反哺并赋能零售商电商场景的超个性化体验。随着近期种子轮融资的完成,这一 B2B 战略正迎来爆发期。
---
[08:38](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=518s) Factory 与 Droids:软件开发全生命周期的自动化拓荒
在谈到代码智能体时,Logan 提到 Factory 将其系统称为“Droids(机器人)”而非普通意义上的“Agents”,并好奇这一叫法是品牌营销手段还是内部的真实定义。
Factory 的代表回顾道,公司早在三年前 GPT-3.5 刚发布时就已成立,当时的目标是为企业构建贯穿软件开发全生命周期(SDLC)的全自主 AI 系统,这要求他们设计一套完备的系统治理与调度管控层。然而,在最初的两年半时间里,受限于当时的模型能力,整套系统根本无法正常跑通。
关于早期构想与实际执行的巨大落差,该发言人形象地感慨道:“我有时会开玩笑说,你今天拿着我们当年的种子轮商业计划书去开会,大家依然会点头赞同并说‘太棒了,赶快部署吧’,因为最终愿景完全一样;但是我们抵达那里的战术路径在这一路上却经历了翻天覆地的变化。”(“I sometimes joke, you could literally just take our seed pitch deck and present it in a meeting today, and the people would just nod and be like, great, sounds great. Let's get it deployed because it just basically is the same vision. But the tactics of how we got there were so varied along the way.”)
之所以采用“Droids”这个名称,纯粹是因为三年前“Agent(智能体)”一词还仅仅停留在认知科学的学术文献中,创始团队并未料到这个词日后会在技术界普及开来。现场还随之引发了一段小趣闻:当 Logan 开玩笑问及是否曾因名称涉嫌侵权而被迪士尼(Disney)警告时,台上传来了心领神会的笑声。
[10:12](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=612s) 代码作为通用 Agent 的底层框架与“软件吞噬世界”
关于产品命名是否叫“Droid”,现场开起了玩笑——只要法务不在场、或者还没有涉足周边衍生品开发,暂时保留这个名字似乎完全可行。主持人 Logan Kilpatrick 随即抛出了一个深层次的技术与商业命题:随着代码能力逐渐演变为通用的 Agent 运行脚手架(Harness),系统底层几乎全由代码和自动生成的程序驱动,这是否会彻底改变团队对产品战略的定义?换言之,像 Droid 这样的产品是否已经不再仅仅是构建软件的工具,而是蜕变为了任何企业在非研发场景下也能使用的通用 Agent?
```mermaid flowchart TD accTitle: 代码 Agent 通用化架构图 accDescr: 展示以本地优先的代码 Agent 为底层底座,通过自我递归改进,向上支撑技术与非技术业务场景。
subgraph Core["底层通用 Agent 底座"] A["本地优先、模型中立的 Coding Agent"] --> B["自我递归改进 Harness"] end
subgraph Execution["计算机本质层"] B --> C["一切数字化交互皆为软件指令"] end
subgraph Applications["多角色业务应用"] C --> D["软件研发组织与核心工程"] C --> E["产品经理 / 数据分析师"] C --> F["销售主管 (以数据驱动售卖 Droid)"] end ```
针对这个问题,Michele Catasta 直言这是当下的“亿级甚至十亿美元级问题”。他指出,在计算机上执行的任何数字化任务,其底层实质全都是软件。得益于在编码 Agent Harness 上的自我递归改进(self-recursive improvement),如果拥有一个极其能干、本地优先且模型中立的编码 Agent,实际上就已经拥有了一个几乎能完成计算机上绝大多数工作的顶尖通用 Agent。不过在企业战略定位上,Michele Catasta 强调他们不会盲目涉足其他垂直领域,而是反向看待这个趋势:“我们不认为这是我们在拓展到其他领域,而是其他领域正在演变为软件。”
- Droid 的核心理念根植于“软件吞噬世界”(software is eating the world),计算机上的一切操作本质上都是代码交互。 - 在内部团队中,Droid 活跃度排名第三的用户甚至不是研发人员,而是一名客户主管(Account Executive),该销售利用 Droid 处理数据并辅助推进销售。 - 团队现阶段战略依然聚焦于赋能企业级软件组织,帮助产品经理、数据分析师、产品营销人员等整个软件价值链上的角色完成任务。
---
[12:38](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=758s) 长时间运行 Agent 的“品味瓶颈”与评估难题
当 Agent 开始自主执行更长时间、更复杂的任务时,产品的核心瓶颈究竟会落在哪里?Jay Wu 从视频生成与社交媒体的切角深入剖析了“人类品味(Taste)”与评估体系的对抗。在底层工程方面,Jay Wu 将 Agent Harness 的进化类比为 Web 时代的 MVC 框架(如 Ruby on Rails 或 Django),开发者终于不必再手动手写 React 循环和打理繁琐的上下文工程(Context Engineering),开发门槛与软件可靠性大幅提升。然而在应用层,挑战才刚刚开始。
Jay Wu 阐述道,他们的产品致力于帮助客户通过 Agent 生成即插即用的高质量社媒短视频,但社交媒体是一个极度残酷的竞技场,“你不可能随便做个垃圾内容就指望获得大量播放量,你必须讲好故事,必须提供优秀的视觉呈现”。基础大模型本身带有非常通用和平庸的“均质化品味”,产品的核心壁垒正在于如何将精致、差异化的人类品味注入到多模态基础模型之上。为此,如何量化输出质量成为了生死攸关的难题。
- **视频瑕疵与品味的评估差异**:检测视频中的逻辑破损或画面瑕疵相对容易,但衡量“是否有品味”极其困难。 - **Rubrics 工程与人机协同**:团队必须结合人工判断与大量的评分细则工程(Rubrics Engineering)来评估输出,这套流程既昂贵又容易出现偏差。 - **评估机制对迭代的决定性作用**:若没有严谨的 Eval 机制,日常针对 Agent 技能和模板的每一次迭代都沦为盲人摸象,极有可能在发布后导致一部分用户的生成质量暗中倒退。
> “在视频生成 Agent 时代,检测视频缺陷容易,衡量品味却极难;缺乏优质的评估机制,优化就全变成了凭空猜测。” —— Jay Wu
---
[15:47](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=947s) 速度与自主性悖论:从 200 分钟孤岛到群体并行规划
在传统搜索与交互逻辑中,“速度”即是生命线——Google 曾经的立足之本就是 100 毫秒给出结果,一旦延迟上升到数十秒,用户留存就会呈现断崖式下跌。然而随着 Agent 接手长周期任务,执行时间拉长到几小时甚至 24 小时,这在“模型能做更重的工作”与“用户对即时反馈的渴求”之间制造了巨大的张力。
Michele Catasta 回顾了他们在 2025 年 9 月发布产品 3.0 版本时的教训。当时他们大肆宣传 Agent 能够连续自主运行 200 分钟,以为长时自主运行是最大卖点,结果却遭遇了现实的迎头痛击:当任务需要执行几个小时且中间缺乏交互时,用户会直接离开并彻底忘记这个产品。针对这种现象,Michele Catasta 提出了尖锐的反思:“在现阶段,自主性不应该成为 Agent 开发者盲目迷信的图腾。”
```mermaid flowchart LR accTitle: 用户留存与长时 Agent 并行化流程 accDescr: 对比传统单一自主 Agent 造成用户流失,与群集并行规划协同维持用户参与感的产品架构。
subgraph OldModel["旧模式: 单一长时运行 (容易流失)"] O1["用户提交复杂任务"] --> O2["Agent 单独运行 200 分钟"] O2 --> O3["用户注意力涣散 / 流失"] end
subgraph NewModel["新架构: 群集并行与持续交互"] N1["用户发起任务"] --> N2["完全托管的 Agent 群集 (Swarm)"] N2 --> N3["并行化规划与执行 (速度提频)"] N1 --> N4["前台开放设计与协同接口"] N4 --> N5["持续占用用户心智与工作流"] end ```
为了解决用户流失(Churn),他们在次年 3 月的更新中颠覆了产品体验: - **完全托管的 Agent 群集(Swarm)**:在底层由系统自动调度多 Agent 并行运转,用户无需理解复杂的调度机制,整体执行速度通过并行化被大幅压缩。 - **重构产品表面积(Surface Area)**:在后台 Agent 规划与运行的同时,前端提供大量的架构规划、UI 界面设计等软件生命周期交互模块,确保用户在等待期间有事可做,牢牢锁住用户的注意力。
---
[18:41](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=1121s) 留存保卫战:穿衣社交应用重塑等待体验的三大抓手
针对“漫长等待导致用户残酷流失”的痛点,穿衣社交应用创始人 Bianca Rangecroft 分享了他们的解决之道。作为一个让用户互相搭配衣橱、发起穿搭挑战的社交平台,用户上传图片并等待 AI 返回搭配方案或查询结果的过程中,极易产生等待焦虑。为此,团队从 Duolingo(多邻国)的产品机制中汲取灵感,将等待界面全面重构为三大交互支柱:
| 核心维度 | 具体落地机制与用户体验 | 业务与数据价值 | |:--- |:--- |:--- | | **教育引导 (Education)** | 在等待生成反馈时,向用户科普可持续时尚的品牌使命与愿景,介绍产品其他隐藏功能与技巧。 | 强化品牌认同感,提高用户黏性与功能发现率。 | | **社交协同 (Social)** | 允许用户切入好友衣橱进行即兴搭配,或针对具体场景(如次日登台演讲)发起穿搭求助挑战。 | 填补等待空白,促进站内裂变与高频互动。 | | **游戏化机制 (Gamification)** | 设计类似 Duolingo 的趣味任务链,用原生好玩的轻量级交互引导用户操作。 | 在无感知中让用户忘却等待时间,同时持续为后端数据流水线回填标注数据。 |
Bianca Rangecroft 表示,通过这种方式,等待不再是一个单调的加载转圈(Spinner),而是变成了一个引导用户主动输入更多偏好数据、探索社区内容的游戏化场景,彻底扭转了原本可能面临的用户流失风险。
[20:22](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=1222s) 自主性光谱与长达14天的异步“任务”模式
在探讨用户等待过程中的心理与交互时,团队正在通过 A/B 测试寻找能切实提升长期参与度和留存率的最佳机制。通过双轨并行的设计,用户在等待期间即可逐步获得阶段性反馈与价值交付;当最终结果就绪时,用户固然兴奋,但等待的焦虑已被中途达成的几个关键里程碑有效化解。这种对等待时间进行用户认知的引导被评价为一个绝佳的切入点。
探讨进一步延伸到了智能体“自主性光谱”(spectrum of autonomy)的演进。在光谱的一端,绝大多数开发者使用的是日常工作流中的同步编程智能体(Synchronous Coding Agents):开发者打开终端或 IDE 发出指令,预期智能体在数分钟内完成任务,即便中途切换屏幕,人依然紧密保留在回路中。随后,行业进入了完全异步的阶段,出现了根据事件触发、按需自动生成 Pull Request 的自动化流程,初始环节完全无需人工介入。
而在自主性光谱的极远端,诞生了名为“Missions”(任务)的颠覆性产品形态,它彻底打破了同步交互范式,允许用户定义极其庞大的工作范围。该产品曾创下连续不间断运行 14 天的纪录,单次任务消耗了近 1500 亿缓存 Token(150B cached tokens)。这种工作方式更接近于聘用一家外部咨询公司:用户在前期投入两到三个小时的同步时间,极度精准地界定需求范围并获取成本预估,随后将任务彻底交由智能体离线执行。在具体案例中,智能体对一个拥有近 5000 万行代码的大型代码库进行了端到端的现代化重构,将遗留编程语言迁移至现代语言。随着智能体执行长达 10 天以上的任务成为可能,软件行业必须彻底重塑人机交互界面与定价范式。
```mermaid flowchart LR accTitle: 智能体自主性光谱 accDescr: 展示从分钟级同步编码到长达数周全异步任务的演进过程
subgraph Sync["同步模式"] A["终端 / IDE 编码智能体<br/>(分钟级等待,人在回路)"] end
subgraph Async["异步触发"] B["按需 PR 自动化<br/>(触发式生成,后置审查)"] end
subgraph Autonomous["深度任务模式"] C["前期需求范围定义<br/>(2-3小时高强度输入)"] --> D["离线持续执行<br/>(最长运行14天/1500亿Token)"] end
Sync --> Async --> Autonomous ```
- 该光谱最远端的产品模式突破了传统同步交互,使“咨询公司模式”成为可能。 - 极具代表性的超长任务:在近 5000 万行的代码库中执行全量跨语言代码迁移,持续运行整整 14 天,累计消耗约 1500 亿缓存 Token。 - Logan Kilpatrick 对此回应道,过去两年关于咨询模式以及计价重构的讨论十分热烈,行业正在由单纯售卖 Token 转向基于业务结果的定价机制(outcome-based pricing)。
---
[22:55](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=1375s) 生产环境的核心瓶颈一:跨越代码边界的“验证难题”
Logan Kilpatrick 向全场嘉宾抛出核心问题:与去年相比,尽管将 AI 和智能体推向生产环境的许多基础工程难题已逐步缓解,但在当前四类截然不同的产品形态中,最核心的瓶颈究竟存在于何处?这些阻碍是由各创业团队自身攻克、依赖生态开源解决,还是必须等待底层基础模型厂商破局?
Michele Catasta 率先打破沉默,指出当前行业面临的最大瓶颈是“验证”(verification)。如今智能体已具备足够的自主性,能够自主规划并连续工作数日,但行业依然缺乏严谨验证其产出结果的标准范式。在代码领域,如果身处类似 Google 这样拥有严密成熟测试套件与完善 CI/CD 的企业代码库中,智能体只需扩充既有测试即可提供一定的置信度;但在现实商业世界中,绝大多数代码库并不具备如此完备的基础设施,仅仅依赖常规测试和自动化流水线远远不够。而在软件代码之外的通用领域,验证问题更为严峻。
验证机制的缺失还直接制约了商业模型的演进。团队极力希望摆脱难以向客户解释且成本波动的 Token 计费方式,转型为纯粹按交付成果计费(charge by outcome)。然而,一旦缺乏不可篡改的自动化判定标准,将验证权交给终端用户,博弈论的困境便随之浮现——客户很容易倾向于声称智能体未达预期并要求退款。Michele Catasta 强调,业界真正渴求的并非单纯的“LLM 裁判”(LLM as a judge),而是一个能在智能体完工后给出最终裁决的终极“神谕”(Oracle):
> “I’m really talking about Oracle at the end of the work that the agent has done, that gives you the thumbs up or thumbs down.” —— Michele Catasta
Logan 笑着打趣这听起来就像是在直接要求通用人工智能(AGI),引得全场会心一笑。
---
[25:30](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=1530s) 生产环境的核心瓶颈二:B2C 市场的红海竞争与设计资源匮乏
Bianca Rangecroft 从面向个人及消费级场景(B2C / B2B2C)的业务视角分享了完全不同的现实挑战。在当前任何技术难题看似都能被修补的表象下,创业公司正面临两个极为棘手的现实障碍:
首先是激烈的同质化市场竞争。在项目创立初期,壁垒主要体现在专有数据集的积累以及训练个性化造型模型的能力上;然而如今底层大模型已经将这些能力泛化普及给所有人。当面对融资金额更庞大、拥有更多预算进行市场推广(GTM)以争夺重叠目标群体的竞品时,如何在保证经济模型可承受(at cost)的前提下,实现极高精度、大规模的快速发布,成为关乎品牌存亡的死斗。消费级应用对品牌认知与口碑极为敏感,模型的输出质量必须达到绝对的卓越水准。
其次则是极度紧缺的“设计资源”(Design Resource)。Bianca 的产品拥有超过 1000 万用户的庞大社区,团队每天都会通过 Reddit 抓取和社交媒体监听获取海量的功能建议与迭代诉求。虽然研发团队依托前沿模型能够以过去数倍的速度构建和部署新功能,但整个团队却面临“谁来负责界面与交互设计”的瓶颈。在竞品层出不穷的大潮中,唯有依靠极具辨识度的高水准品牌设计才能脱颖而出,这导致产品设计人才的招聘与配置成为核心制约。
- 核心护城河从“自建数据集与模型训练”转向“以极高精准度与控制成本实现规模化快速交付”。 - 1000 万规模的社区用户每日产生海量需求迭代,研发交付周期已被 AI 大幅压缩,但高水准的 UI/UX 设计人力储备成为卡脖子环节。
---
[27:23](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=1643s) 生产环境的核心瓶颈三:从“模型悬垂”到“认知与组织赋能落差”
对于企业级智能体而言,行业瓶颈的本质已经发生了转移。过去业界经常讨论“模型悬垂”或“能力悬垂”(model/capability overhang),即底层大模型蕴含的巨大潜力远超上层应用所能充分榨取的程度。虽然模型在超长周期的上下文连贯性、持续质量输出以及自主验证方面依然存在天花板,但当前各顶尖智能体实验室研发的前沿 Harness(调用与控制外壳)已经日臻成熟,真正的结构性阻碍已转变为“思维认知悬垂”或“赋能悬垂”(mindset overhang / enablement overhang)。
现实中出现了剧烈的认知鸿沟:全球《财富》500 强企业中,由于引入智能体系统,其软件研发流程已被彻底重构。这种分化完全不按地理区域划界,例如波兰、日本、拉丁美洲等传统上在技术采纳方面被视作相对保守的区域,部分大型组织已经实现近乎全自主地自动化合并与交付绝大部分 PR;反观许多标榜数字原生(Digital Natives)的技术公司,管理层却至今仍在无休止地争吵究竟该选用工具 A 还是工具 B。
这种迟钝的危险在于对现实变革的误判:
> “The world changed probably five months ago. And now if you're like, basically not adopting this at full speed responsibly, then it's going to lead to I think, a oh, no moment in a couple months where you're like, wait, when did this happen.”
对于企业的 CIO、CTO 等最高技术决策层而言,当下必须全速推进转型。底层工具只要属于行业前沿阵营即可,真正的竞争优势(Alpha)全在于管理层如何指导并沟通团队去深度使用这些工具,而非耗费心力做无休止的工具选型对比。
---
[29:38](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=1778s) 生产环境的核心瓶颈四:生成式视频推理成本与大众普惠门槛
Jay Wu 随后指出了限制多模态应用普及的最硬性物理瓶颈:生成式视频模型的推理成本依然居高不下。
目前市面上表现最为优异的生成式视频模型(如 SeaDance 2 等受行业热捧的模型)的调用价格极高,视频生成成本通常在每秒 0.10 美元至 0.50 美元之间。这种极其昂贵的成本结构,直接决定了当前基于视频的智能体只能局限在极高商业价值的关键任务(mission-critical work)以及专业级制作人群体中。
要想推动多模态智能体跨越鸿沟,从早期的专业极客尝鲜者(early adopters)渗透至大众主流市场(early majority),核心前提是彻底降低单次生成成本,实现真正的“视频智能体民主化”(democratized video agent),让普通大众也能无经济负担地频繁使用。
- 优质商业级视频模型成本现状:生成单秒视频需花费 0.10 到 0.50 美元。 - 业务受限影响:由于单次生成总价高昂,目前仅能支撑专业客户和容错率极低的工业级场景,阻碍了消费级市场的全面普及。
[30:29](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=1829s) Agent 的成本挑战:重试机制与居高不下的生产成本
在构建实际落地的自主智能体(Agent)时,模型的推理和调用成本依然是一道严峻的门槛。Jay Wu 指出,开发面向生产环境的 Agent 必然伴随着大量的重试逻辑、人在回路的批判机制(critique in the loop)以及惩罚校正。为了最终给客户交付仅仅 1 分钟的视频成品,系统在底层可能需要向各类模型与供应商采购消耗相当于 3 分钟的资源与资产,这导致销售成本(COGS)被推到了不可思议的高位。对终端客户而言,即便生成的视频质量尚可或令人满意,但他们在产品上本身并没有投入过多注意力,当账单寄来显示每条社交媒体短视频需要花费 30 美元甚至 60 美元时,他们就会开始打退堂鼓,质疑这种成本是否值得持续购买。正如 Jay Wu 直言:“So cost has been still a challenge.”
对此,主持人 Logan Kilpatrick 当场向创业者们许下承诺,表示团队会持续推出更强大、且价格随着时间推移越来越便宜的模型,以协助开发者化解成本难题;现场嘉宾也纷纷对此报以热烈期待,笑着补充道:“US too please.”
```mermaid flowchart TD accTitle: Agent 视频生成成本膨胀示意图 accDescr: 展示 Agent 为了交付 1 分钟成品视频,在后台经历重试、批判和惩罚循环所导致的资源消耗与高额账单问题。 subgraph Execution ["Agent 内部闭环执行"] A["生成初始视频片段"] --> B{"质量批判与校验 (Critique)"} B -->|"不达标 / 触发惩罚"| C["重试并重新调用供应商模型"] C --> B end subgraph Delivery ["交付与计费"] B -->|"通过检验"| D["交付 1 分钟最终成品"] C -.->|"消耗 3 分钟级算力/资产"| E["高昂销售成本 (COGS)"] E --> F["单条视频账单高达 $30 - $60"] F --> G["用户对续费产生动摇"] end ```
[31:32](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=1892s) 多模态浪潮:从单帧图像走向原生视频理解
Logan Kilpatrick 将话题转入本场讨论的最后一个核心方向:多模态 Agent 的演进。随着 Agent 不再仅仅局限于文本理解和文本处理,而是逐渐具备“看”与“理解”物理和数字世界的能力,多模态已经成为产品的底层基因。以 Gemini 为例,它从诞生之初便将多模态作为原生核心。Logan 询问在座创始人,在图像与视频的理解和生成维度上,行业是否已经跨越了某道关键的能力鸿沟,这种能力又如何切实影响产品形态。
Jay Wu 对 Agent 内部的原生视频理解能力表达了极大的渴求。他解释称,目前大多数 Agent 本质上仅具备单帧图像的理解能力,并没有真正像专业视频剪辑师那样在屏幕上实时、连续地审视流动的时间线帧率,这导致 Agent 辅助用户进行视频剪辑或创作的体验仍远未达到理想状态。Jay 坦言:“So I'm kind of looking forward to see more video native capability from an agent perspective.” 听到这里,Logan 随即给出了积极信号,透露团队内部正在全力研发一系列令人兴奋的视频技术进展,并打趣道活动后就会立刻发邮件给 Jay 提前沟通这些“正在厨房烹饪的硬核成果”。
[33:29](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=2009s) 视觉抽象与代码智能体:超越 Markdown 与架构图的未来
随后,Michele Catasta 从代码智能体(Coding Agent)向通用智能体演进的角度,深入探讨了多模态能力的更广泛价值。他指出,现在的用户早已产生了一种理所当然的预期:智能体应当能够自如地操作图像、编辑视频,并联动像 Remotion 这样的代码化视频工具,甚至结合 Hyper 等前沿能力来生成与处理丰富的内容。人类的信息认知正在发生范式转移,以往大家习惯将复杂逻辑压缩为 Markdown 文本和 Mermaid 架构图,但面对越来越庞大的复杂系统,单纯依赖代码行或静态图表已经逐渐不够直观。
Michele 认为,大多数现代开发者实际上已经不再需要像过去那样逐行逐句地审读底层代码,而更高的抽象层次需要依赖更具表现力的视觉手段来辅助理解。正如 Michele Catasta 所总结的:“And I think that if you stay at that higher level of abstraction, visuals are one of the ways that we can build an understanding of even more substantially complex systems.” 视觉化呈现不仅能够让智能体更直观地输出结果,更是人类与智能体共同理解、驾驭前所未有的大规模复杂软件系统所不可或缺的抓手。
## Notable quotes > [12:38](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=758s) 在视频生成 Agent 时代,检测视频缺陷容易,衡量品味却极难;缺乏优质的评估机制,优化就全变成了凭空猜测。 — Jay Wu
> [15:47](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=947s) 在现阶段,自主性不应该成为 Agent 开发者盲目迷信的图腾。 — Michele Catasta
> [01:34](https://www.youtube.com/watch?v=RA_fQvXQ4aw&t=94s) An IDE is the wrong product surface for someone who's non-technical. — Michele Catasta
## Mentioned Logan Kilpatrick, Michele Catasta, Bianca Rangecroft, Jay Wu, Google DeepMind, Google Cloud, Gemini, Veo, Replit, Whering, Factory, Droids, Duolingo, Remotion, Hyper, SeaDance 2, Reddit, Disney
## Video description In the AI world, your only real moat is iteration speed. Logan Kilpatrick and founders from the front lines will share their recipe for moving fast without breaking the model. We’ll look at real workflows using Google DeepMind’s models, the technical trade-offs of multimodality, and how to stay ahead of the next model release.
Watch more Google Cloud Next 2026 Sessions → https://goo.gle/gcloud-next-2026 Subscribe to Google Cloud Tech → https://goo.gle/GoogleCloudTech
Speakers: Logan Kilpatrick, Michele Catasta, Bianca Rangecroft, Jay Wu
BRK2-157 #GoogleCloudNext
[Source](https://www.youtube.com/watch?v=RA_fQvXQ4aw)