AI Engineer
传统分段级联架构因转录延迟与声学特征丢失难以支撑实时交互,而直接在音频层内嵌智能的原生模型才能实现毫秒级打断、跨语言直出与多模态工具调用。
AI-assisted summary of Can Your Agent Hear You Now? Building Live Voice Agents with Gemini — Thor Schaeff — original source. Check the original for full context.
Source published:
Key ideas
- Google DeepMind 发布了 Omni Flash 视频生成编辑模型与 Nano Banana Light 极速图像模型,后者将图像生成延迟压缩至 2 到 3 秒,使得在实时对话流中穿插图像生成成为可能。 (3:15)
- Gemini Live API 采用原生音频端到端架构而非传统的 STT-LLM-TTS 级联流水线,通过全双工 WebSocket 支持打断(Barge-in)、视觉输入、90 种语言流式发声以及工具调用。 (14:13)
- Interactions API 提供了有状态(stateful)的统一交互接口,通过向后续请求传递上一轮 interaction ID 保持上下文,从而在多轮生成中确保角色与视觉画风的高度一致。 (5:42)
- 新上线的 Gemini 3.5 Live Translate 支持近乎实时的多语言同传,可自动检测发言者语境并以超低延迟向不同语言频道的受众流式输出语音。 (7:07)
Detailed notes
## Background 本内容由 YouTube 频道 AI Engineer 于 2026 年 10 月 11 日发布,记录了在旧金山举办的 AI Engineer World's Fair 2026 上 Google DeepMind 开发者体验工程师 Thor Schaeff 的技术演讲。视频简介显示,演讲重点展示了如何使用 Gemini 的实时与多媒体模型构建具备听觉、视觉、多语言能力且能调用工具的实时语音智能体。
## TL;DR Thor Schaeff 在演讲中系统介绍了 Gemini 的实时多模态技术栈与 Live API 的底层架构。他现场展示了多个生动的实时 Demo,包括通过有状态的 Interactions API 驱动 Nano Banana Light 实时生成连贯插画的故事画布、基于 Gemini 3.5 Live Translate 的多语言同声传译,以及通过 Gemini 3.1 Flash Live 联动 Lyria 3 实时作曲的“AI 电台 DJ”。Thor 强调 Live API 采用的是全双工 WebSocket 和原生音频端到端推理,彻底摆脱了传统 STT-LLM-TTS 串联流水线的高延迟与情感损耗,并支持打断、工具调用与 90 种语言原生交互。最后,他通过 Google AI Studio 演示了毫秒级的音视频识别与中文对话能力,展示了从原型开发到企业级智能体落地的完整路径。
## Atmosphere & style 整场演讲氛围轻松随性却技术密度极高,Thor 以富有亲和力的开发者脱口秀风格开场,一边开着日程变动和昂贵域名的玩笑,一边从容切换各种前沿的多模态现场演示。伴随着现场观众实时扫码收听同传的惊叹声与 AI 即兴编曲的雷鬼动鼓点,全场情绪持续被高频的互动所点燃。整场分享节奏明快,既有极客式的技术狂欢与即兴编码乐趣,又充满了对下一代实时多模态交互变革的坚定信念与前瞻视野。
## Bulletin - [03:15](https://www.youtube.com/watch?v=xfPVBzDYjH4&t=195s) Google DeepMind 发布了 Omni Flash 视频生成编辑模型与 Nano Banana Light 极速图像模型,后者将图像生成延迟压缩至 2 到 3 秒,使得在实时对话流中穿插图像生成成为可能。 - [14:13](https://www.youtube.com/watch?v=xfPVBzDYjH4&t=853s) Gemini Live API 采用原生音频端到端架构而非传统的 STT-LLM-TTS 级联流水线,通过全双工 WebSocket 支持打断(Barge-in)、视觉输入、90 种语言流式发声以及工具调用。 - [05:42](https://www.youtube.com/watch?v=xfPVBzDYjH4&t=342s) Interactions API 提供了有状态(stateful)的统一交互接口,通过向后续请求传递上一轮 interaction ID 保持上下文,从而在多轮生成中确保角色与视觉画风的高度一致。 - [07:07](https://www.youtube.com/watch?v=xfPVBzDYjH4&t=427s) 新上线的 Gemini 3.5 Live Translate 支持近乎实时的多语言同传,可自动检测发言者语境并以超低延迟向不同语言频道的受众流式输出语音。
## Key takeaways - [00:12](https://www.youtube.com/watch?v=xfPVBzDYjH4&t=12s) Gemini TTS 表现出高度拟真的语气控制能力,支持行内音频文本指令与低延迟音频流式传输,已成为独立的文本转语音方案。 - [03:15](https://www.youtube.com/watch?v=xfPVBzDYjH4&t=195s) Nano Banana Light 大幅削减了图像生成与二次编辑的耗时至 2-3 秒,结合 Gemini Live 可实现即兴故事画布的实时图文协同创作。 - [05:42](https://www.youtube.com/watch?v=xfPVBzDYjH4&t=342s) 传统的无状态 API 难以保持连续画风,Interactions API 通过传递 previous_interaction_id 维持会话状态,统一管理 Google DeepMind 旗下各类模型与智能体的上下文。 - [07:07](https://www.youtube.com/watch?v=xfPVBzDYjH4&t=427s) Gemini 3.5 Live Translate 已经正式上线 Gemini API,现场通过二维码接入德语与中文频道验证了跨语言超低延迟同声传译能力。 - [10:21](https://www.youtube.com/watch?v=xfPVBzDYjH4&t=621s) Gemini 3.1 Flash Live 驱动的 AI 电台 DJ 演示展示了多模态智能体通过 Function Calling 实时调用音乐生成模型 Lyria 3 编曲的能力。 - [12:36](https://www.youtube.com/watch?v=xfPVBzDYjH4&t=756s) AI 电台 DJ 的工具调用范式可以直接平移至企业级场景,将生成音乐的底层动作替换为调用 CRM 系统或创建后台支持工单。 - [14:13](https://www.youtube.com/watch?v=xfPVBzDYjH4&t=853s) Gemini Live API 基于全双工 WebSocket 会话,客户端可同时上行文本、音频与视频帧,服务端实时下行音频块与同步文本转录。 - [15:07](https://www.youtube.com/watch?v=xfPVBzDYjH4&t=907s) 级联式语音方案(STT + LLM + TTS)存在延迟高和音调情感丢失问题,Live API 依靠原生音频模型内嵌智能,支持 90 种语言的原生理解与无缝流转。 - [16:06](https://www.youtube.com/watch?v=xfPVBzDYjH4&t=966s) Live API 内置用户打断(Barge-in)机制,并与 LiveKit、Pipecat 等生态伙伴深度合作,以解决生产环境中实时音视频的扩缩容挑战。 - [16:25](https://www.youtube.com/watch?v=xfPVBzDYjH4&t=985s) 在 Google AI Studio 中可以一键启用 Google Search Grounding,通过自动挂载实时搜索函数调用,弥补基础模型动态信息获取能力的不足。 - [17:55](https://www.youtube.com/watch?v=xfPVBzDYjH4&t=1075s) 现场实测验证了 Gemini 3.1 Flash Live 在毫秒级时间内对摄像头中衣物颜色、英文字样的高精度视觉识别,以及中英文语境间的流畅切换。
## Detailed walkthrough ### [00:12](https://www.youtube.com/watch?v=xfPVBzDYjH4&t=12s) 开场与语音模型猜谜:认识 Gemini TTS
在演讲开场时,现场气氛轻松而随性。Thor Schaeff 调试好麦克风后,微笑着向稀稀拉拉走进会场的观众打招呼,打趣道日程安排一直在变,很抱歉大家没能找到原本想找的安静办公区。在正式进入通过 Gemini API 构建智能体的主题前,他播放了一段极其生动、富有感染力的 AI 语音片段:“Welcome one and all to the grandest stage on Earth. You're standing right at the heart of the largest AI engineer World's Fair in history. Let's build the future together, shall we?”
播放完毕后,Thor 邀请台下猜猜这是什么模型。台下有人抢答被他笑着制止,随后他提示该模型以字母“G”开头。有人猜是 Gemini,甚至有人猜是 Gemini Live,但都被他纠正。Thor 揭晓答案,这是 Gemini TTS(文本转语音模型)。他向大家解释,这是一款表现力极其惊人的模型,支持行内音频文本(inline audio text)控制语气与表达方式,而且支持音频流式传输(streaming)。与过去相比,目前的延迟已经大幅降低,如果开发者正在寻找一款出色的文本转语音模型,Gemini TTS 绝对是首选。
- **主讲人背景**:Thor Schaeff 来自 Google DeepMind,主要负责开发者体验(Developer Experience),业务核心涵盖 Gemini API 与 Google AI Studio。 - **同事现场助阵**:其同事 Philip 也在现场,负责 Gemini API 上的托管智能体(Managed Agents)功能。 - **工作坊预告**:本次演讲是次日大型实战工作坊的先导预览,后续将深入探讨基于 Gemini API 构建的多模态实时对话智能体。
---
[03:15](https://www.youtube.com/watch?v=xfPVBzDYjH4&t=195s) 当天发布的新模型与多媒体生成生态
谈及当下的进展,Thor 指出 PPT 上的内容甚至跟不上当天发布的速度。当天上午,团队刚发布了两款重磅模型:视频生成与编辑模型 Omni Flash,以及极速图像生成与编辑模型 Nano Banana Light。Nano Banana Light 的关键突破在于它大幅削减了图像生成与二次编辑的延迟,这使得在实时交互流中穿插图像生成变得可行。
Thor 随即展示了当天刚刚用代码实现的一个现场演示——“Gemini Nano Banana 故事画布”(Gemini Nanobanana story canvas)。这个演示类似于即兴戏剧(improv theater),用户通过语音与 Gemini Live 一起构思故事情节,而后台则调用 Nano Banana Light 实时根据故事内容生成插画。
```mermaid flowchart LR accTitle: Gemini 故事画布架构流程图 accDescr: 展示用户语音输入经由 Gemini Live 触发工具调用,再通过 Interactions API 生成插画的整个交互链路。 subgraph InputStage["输入与对话"] A["用户语音提示"] --> B["Gemini Live 实时对话"] end subgraph GenStage["状态化工具调用"] B -->|"Tool Call 触发"| C["Interactions API"] C -->|"传递 Previous Interaction ID"| D["Nano Banana Light"] end D -->|"2-3秒低延迟流式返回"| E["故事插画画布"] ```
---
[03:45](https://www.youtube.com/watch?v=xfPVBzDYjH4&t=225s) 现场 Demo:1980年代台北夜市与珍珠奶茶的故事画布
Thor 让台下观众现场提供一个故事起点,随后他设定故事背景为“1980年代的台北”。Gemini Live 随即用极富画面感的声调娓娓道来:台北夜市的霓虹灯带着近乎魔幻的能量跳动,倒映在潮湿的路面与穿行的踏板车镀铬件上;刚刚下过雨,空气中弥漫着潮湿的雾气;在拥挤的人群中,一名年轻女子在夹克下紧紧攥着一个微微发光的小物件。
Thor 随即在语音中加入新的转折:“1980年代的台北发生了一件令人兴奋的大事,一种全新的饮品诞生了。”Gemini Live 顺畅地接住话茬,描述女子在一个摊位前停下脚步,摊主正在用力摇晃金属摇酒壶,调制出一杯带有浓郁奶沫的混合饮品;顾客接过杯子啜饮,眼睛睁大,细细品味杯底奇特的木薯珍珠——这正是珍珠奶茶的诞生,其甜美软糯的魔力正在像野火一样蔓延。
随着故事推进,后台接收到工具调用,两到三秒内便生成了契合当前剧情的高质量插画。
---
[05:42](https://www.youtube.com/watch?v=xfPVBzDYjH4&t=342s) 核心技术解析:保持角色与画风一致的 Interactions API
在演示背后的代码逻辑时,Thor 重点解释了为什么图像能够保持连贯的画风与角色形象。以往的 API 往往是无状态的,生成第二张图时很容易丢失上一张图的设定。而这里使用的是 Google DeepMind 的 Interactions API。
“And so the interactions API is exciting because it is a stateful API which means we can chain our interactions very seamlessly.” Thor 强调,Interactions API 是一个真正的有状态 API(stateful API)。在生成第一张夜市插图时,请求并没有携带前序交互 ID;但到了第二次生成珍珠奶茶摊位时,前端将上一次的交互 ID(previous interaction ID)作为参数回传给了 Interactions API。通过这种方式,模型保留了先前的上下文信息,使得连续生成的插画能够维持完全统一的视觉基调、氛围以及角色外貌特征。Thor 表示,Interactions API 是与 Google DeepMind 旗下所有大模型及智能体交互的统一入口,极力推荐开发者上手尝试。
- **端到端图像耗时**:Nano Banana Light 的出图速度约为 2 至 3 秒。 - **状态维持机制**:通过传递 `previous_interaction_id` 实现多轮图像生成与编辑的上下文继承。 - **统一接口**:Interactions API 将底层各类生成式多媒体模型与智能体逻辑统一封装。
---
[07:07](https://www.youtube.com/watch?v=xfPVBzDYjH4&t=427s) 现场 Demo:Gemini 3.5 Live Translate 跨语言实时翻译
除了图像模型,语音领域的最新进展同样引人注目。Thor 展示了最近发布的实时语音翻译模型——Gemini 3.5 Live Translate。为了让在场所有人亲身感受,他在屏幕上投出一个二维码,邀请观众用手机扫码加入该翻译会话。
观众只需戴上降噪耳机,在手机网页上选择自己熟悉的母语(例如德语、中文等)。Thor 在台上开启麦克风用英语演讲,模型在识别到说话人语境的瞬间,就会以近乎实时的超低延迟将语音直接翻译并朗读给收听对应语言频道的观众。Thor 在台上观察到系统后台已有德语频道接入,甚至现场切换成德语说了几句,台下戴耳机的观众频频点头确认听到了清晰、自然的德语同传语音。随后,他还与台下一位选择中文频道的观众互动确认了收听效果。
Thor 指出,像 AI Engineer World's Fair 这样高度国际化的会议,该技术可以打破所有语言壁垒:发言者可以完全用自己最舒服的语言表达,模型能够自动检测源语言并即时转译至目标语言。目前 Gemini 3.5 Live Translate 已经正式上线 Gemini API,开发者可以直接集成到自己的应用中。
---
[10:21](https://www.youtube.com/watch?v=xfPVBzDYjH4&t=621s) 现场 Demo:AI 电台 DJ 与实时音乐生成模型 Lyria 3
回到智能体的主题,Thor 提到了本次演讲的标题《Can Your Agent Hear You Now?》(他幽默地坦白这个标题是 Gemini 帮忙取的)。他介绍,Google 最新的实时语音对话模型是 Gemini 3.1 Flash Live,用户在官方 Gemini App 中体验到的语音对话功能正是基于该模型构建。
为了展示智能体如何调用复杂的外部多媒体工具,Thor 带来了一个利用 Google AI Studio 编写的“AI 电台 DJ”Demo。在过去的电台广播时代,听众可以打电话进直播间向电台主持人点歌;而在这个演示中,Gemini Live 扮演热情的电台 DJ,通过 Function Calling 调用 Gemini API 中的 Lyria 3 音乐生成模型,当场根据用户的要求即兴编曲并播放。
现场连线接通后,AI DJ 操着一口地道热情的英式口音打招呼:“Well, hello there. You're live on the live jukebox right now. What absolute banger are we cooking up for you today, mate?”它主动询问 Thor 想要什么风格(合成器流行、顺滑爵士等)以及歌词意境。Thor 提出请求:“能否来一首关于在旧金山举办的 AI 工程师世界博览会的高能雷鬼动(high energy reggaeton)?”DJ 兴奋地确认要求,并询问是否有想要融入的技术名词或大咖名字,Thor 爽快地回答:“给我一个惊喜就行!”AI DJ 随即发起工具调用,几秒钟后,一阵节奏感极强、低音轰鸣的雷鬼动鼓点便在会场炸裂开来,歌词中精准唱出了神经网络的启动、硬核算法的舞动以及科技先锋齐聚旧金山的澎湃氛围。
[12:36](https://www.youtube.com/watch?v=xfPVBzDYjH4&t=756s) AI 电台 DJ 演示收尾与企业级拓展
音乐演示在动感的雷鬼节奏中落下帷幕,AI 电台 DJ 在曲末自然而然地切换语言,展现了极强的多语言混合能力。Thor 笑着回应道:“那太酷了,你刚才还顺便秀了一把多语言能力,干得漂亮,谢啦!”而 AI DJ 则用充满英伦街头腔调的口吻热情回应:“谢了兄弟,很高兴你喜欢这个风味。继续把你的好点子砸过来吧,这台点唱机永不停歇!咱们接下来放点什么?”
Thor 指出,这个演示完全是在 Google AI Studio 中搭建完成的,开发者如果感兴趣,可以直接在 AI Studio 中 Fork 该项目并继续开发。虽然现场这个“AI 电台 DJ”的应用场景对于很多特定企业业务来说看似只是个玩具,但它背后所拆解出的每一个核心组件都具有极高的商业价值: “如果你正在构建实时对话智能体,你希望它们具备多语言能力,具备工具调用(tool calling)的能力。”在当前演示中,智能体被赋予了按需调用 Lyria 3 实时生成音乐的能力;而在实际的企业场景中,完全相同的架构可以直接替换为调用企业内部的 CRM 系统来拉取客户资料,或者在后端自动创建技术支持工单。核心价值在于让开发者掌握如何构建这种低延迟、多模态的实时对话体验。
[14:13](https://www.youtube.com/watch?v=xfPVBzDYjH4&t=853s) 深入解析 Gemini Live API:原生音频架构
构建这种实时多模态体验的核心基石是 Gemini 3.1 Flash 实时对话模型及其背后的 Live API。Live API 是一种低延迟的实时语音与视觉 API,专门用于支持连续的多模态实时交互。
其通信机制建立在全双工的有状态 WebSocket 会话之上。客户端创建会话后,可以通过该 WebSocket 实时向模型上行传输文本、音频以及视频帧;模型在服务端进行实时推演,并以音频块(audio chunks)的形式实时下行流式返回结果,开发者可将这些音频流直接播放给终端用户。同时,API 还会同步返回所说内容的实时文本转录(transcript)。
```mermaid flowchart LR accTitle: Gemini Live API 实时架构 accDescr: 客户端与原生音频模型通过双向 WebSocket 实时传输音频、视频、文本和工具调用
subgraph Client["客户端应用"] In["输入: 文本 / 音频 / 视频帧"] Out["输出: 音频流 + 实时文本转录"] end
subgraph LiveAPI["Gemini Live API (有状态 WebSocket 会话)"] direction TB NativeModel["Gemini 3.1 Flash 原生音频模型<br/>(智能内嵌于音频层,无串联管道)"] Tools["工具调用 / 搜索 Grounding"] end
In -->|"上行实时数据"| LiveAPI NativeModel <--> Tools LiveAPI -->|"下行音频块 + 转录"| Out ```
Thor 重点强调了 Live API 与市面上传统语音方案的本质区别: “如果你以前做过语音智能体,这与你常见的那种级联式语音智能体流水线截然不同,因为这是一个原生音频模型。”在传统方案中,系统必须先用语音转文本(STT)模型将音频转成文字,送入大型语言模型(LLM)处理,再由文本转语音(TTS)模型将文字转回声音。这种多阶段的级联流水线不仅延迟极高,而且会丢失音调、情感等关键音频特征。而 Gemini 原生音频模型的智能是直接内嵌在音频层面的,它能够以最自然的方式直接理解音频,并以 90 种受支持语言中的任意一种直接流式发声,这也是它能够在不同语言间无缝流转的核心原因。
- **多语言原生支持**:当前预览版支持多达 90 种语言。 - **打断功能(Barge-in)**:用户可以随时插话或打断正在说话的智能体(比如觉得 DJ 话太多时直接打断)。 - **工具调用与功能扩展**:能够实时调用外部工具或 API。 - **生态伙伴合作**:针对实时音视频应用在实际部署和扩缩容上的工程挑战,Google 与 LiveKit、Pipecat 等生态伙伴展开了深度合作,方便开发者快速落地基于 Gemini Live API 的架构。
[16:25](https://www.youtube.com/watch?v=xfPVBzDYjH4&t=985s) AI Studio 实操:语音、视觉与多语言对话演示
要快速上手体验 Live API,最便捷的途径就是通过 Google AI Studio(Thor 还幽默地调侃道:“我们在 `ai.studio` 这个域名上花了大价钱,大家多用用好让我们回点本”)。在网页端控制台中,开发者可以自由选择模型版本(如 Gemini 3.1 Flash Live)、切换系统音色(例如 Puck),并能一键启用 Google Search Grounding。虽然基础模型已经经过海量数据训练,但它本身不具备获取实时动态信息的能力;开启搜索 Grounding 本质上等于给模型内置了一个实时函数调用,当被问及“今天的天气”或最新的赛事赛况时,模型便能实时检索 Google 搜索结果并进行回答。
随后,Thor 在现场直接打开网页进行了实时音视频多模态连线:
1. **音频通畅性测试**:Thor 发问:“嘿,你能听到我说话吗?”模型立刻自然回应:“是的,我听得非常清楚。今天有什么可以帮您的?” 2. **视觉识别能力**:Thor 接着询问:“你能看到我吗?”模型精准地描述道:“是的,我能清楚地看到你。你穿着一件黑色的衣服,戴着一顶黑色的帽子,坐在蓝色的背景前面。有什么特别的东西想让我看吗?” 3. **高精度文字与图案捕捉**:Thor 进一步指向自己胸前问道:“那你看我卫衣上写着什么?”模型准确辨认出:“我可以看到上面用黄色字母印着‘Gemini’。还有什么需要我识别的吗?”
在接下来的环节中,Thor 尝试用中文普通话向模型提问。在略微调整麦克风与语言提示后,模型顺利切入普通话模式。Thor 用中文询问模型今天吃了什么,模型则幽默且得体地回答道自己只是一个 AI 模型,所以根本不需要吃东西。这不仅展示了模型在毫秒级处理视觉帧与语音信号的能力,更印证了它在多语言语境下的原生理顺与切换能力。
演讲最后,Thor 再次推荐开发者通过 `ai.studio` 探索 Live API 的无限可能,并邀请大家参加次日关于 Gemini 架构与 Live API 深度开发的专题工坊。
## Notable quotes > [14:13](https://www.youtube.com/watch?v=xfPVBzDYjH4&t=853s) 如果你以前做过语音智能体,这与你常见的那种级联式语音智能体流水线截然不同,因为这是一个原生音频模型。 — Thor Schaeff
## Mentioned Thor Schaeff, Philip, Google DeepMind, Gemini API, Google AI Studio, Gemini TTS, Gemini Live, Omni Flash, Nano Banana Light, Interactions API, Gemini 3.5 Live Translate, Gemini 3.1 Flash Live, Lyria 3, LiveKit, Pipecat, Google Search Grounding, AI Engineer World's Fair
## Video description An agent that hears you, sees you, and answers in your language, in real time. Here's how to build one with Gemini.
Thor Schaeff, who works on developer experience at Google DeepMind, runs a set of live demos of Gemini's real-time and media models. He builds an illustrated story with Gemini Live and a fast Nano Banana image model, using the stateful Interactions API to keep characters and style consistent between images. He has the audience scan a QR code to hear the talk in their own language with Gemini 3.5 Live Translate, then calls up an AI radio DJ that uses Lyria 3 to generate a reggaeton track on request. He explains how the Live API works: a stateful WebSocket session that takes in text, audio and video and streams back audio plus a transcript, using a native audio model rather than a speech-to-text and text-to-speech pipeline. It supports 90 languages, interruptions, tool calls and Google Search grounding. He ends with a voice and vision demo in Google AI Studio.
In this talk: • Chaining image generations with the stateful Interactions API • Near real-time speech translation with Gemini 3.5 Live Translate • A voice agent that calls tools, like Lyria 3 for music • How the Live API works: native audio, barge-in, tools and 90 languages
SPEAKER Thor Schaeff, Developer Experience, Google DeepMind LinkedIn: https://www.linkedin.com/in/thorwebdev/ X: https://x.com/thorwebdev GitHub: https://github.com/thorwebdev
LINKS Gemini Live API docs: https://ai.google.dev/gemini-api/docs/live Interactions API docs: https://ai.google.dev/gemini-api/docs/interactions-overview Gemini 3.5 Live Translate: https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-live-3-5-translate/ Lyria 3 for developers: https://blog.google/innovation-and-ai/technology/developers-tools/lyria-3-developers/ Google AI Studio: https://aistudio.google.com
CHAPTERS 0:00 Intro 0:56 Guess the model: Gemini TTS 2:01 Meet Thor 3:15 What shipped today 3:45 Demo: an illustrated story canvas 5:42 The Interactions API 7:07 Demo: Gemini Live Translate 10:21 Gemini 3.1 Flash Live 10:56 Demo: an AI radio DJ with Lyria 3 14:13 How the Live API works 15:07 Native audio, not a pipeline 16:06 Partners: LiveKit and Pipecat 16:31 Try it in AI Studio 17:55 Demo: voice, vision and Mandarin 19:42 Wrap-up
Recorded at the AI Engineer World's Fair 2026 in San Francisco. Subscribe for more talks from the engineers building with AI.
AI Engineer: https://ai.engineer YouTube: https://www.youtube.com/@aiDotEngineer X: https://x.com/aiDotEngineer LinkedIn: https://www.linkedin.com/company/aidotengineer/
#Gemini #VoiceAI #AIEngineer
[Source](https://www.youtube.com/watch?v=xfPVBzDYjH4)