AI Engineer
文本扩散模型虽凭双向注意力和显存读取减九成实现每秒两千Token与自我纠错,但因大并发吞吐过低服务成本高昂,目前仅能局限于端侧与机器人场景落地。
AI-assisted summary of Text Diffusion — Brendan O’Donoghue, Google DeepMind — original source. Check the original for full context.
Source published:
Key ideas
- Google DeepMind 公开了基于离散文本扩散(Text Diffusion)的研究成果,其生成速率达到约 2,000 Tokens/秒(含 Prefill),在单用户低批次场景下相比自回归模型减少约 90% 的显存数据搬运。 (6:13)
- 文本扩散模型打破了从左向右的因果遮罩,依托全画布双向注意力实现自我修正,在数学题推理测试中成功回溯修改先前给出的错误答案,而同场景下参数量大得多的 GPT-4o 和 Gemini 2.5 Flash 均出现不可逆的错误或逻辑妥协。 (8:47)
- 文本扩散在技术落地上的核心权衡在于:单用户延迟极低但大 Batch 云端服务吞吐量不足,目前 Alphabet 已优先将其部署于机器人和端侧设备等无需并发批处理的低延迟场景。 (25:00)
- 模型展现出动态与自适应计算特性,可根据任务复杂度自主决定去噪轮次(如提取圆周率需 4 步,解释量子力学需 31 步),且参数规模越大的模型生成相同内容所需的去噪步数反而越少。 (12:00)
Detailed notes
## Background 该视频由 YouTube 频道 AI Engineer 于 2026 年 6 月 4 日发布,内容为 Google DeepMind 研究科学家 Brendan O'Donoghue 的技术演讲。视频简介指出,文本扩散模型凭借双向注意力机制打破了自回归模型无法回溯修正错误的缺陷,虽然在大 Batch 服务时吞吐量较低,但以每秒约 2,000 Token 的极致单用户低延迟解锁了动态操作系统、实时维基百科与语音即时编程等颠覆性应用。
## TL;DR Brendan O'Donoghue 深入剖析了 Google DeepMind 文本扩散(Text Diffusion)架构的原理、硬件优势与工程权衡。由于在整块 Token 画布上执行多轮去噪,模型在小 Batch 推理时将显存数据搬运次数锐减约 90%,实现了极高的单用户生成速率与双向自修正推理能力。尽管目前受限于计算密集特性导致云端大规模并发服务的吞吐成本过高,但它在端侧边缘计算、机器人控制及超低延迟实时交互界面中已展现出颠覆自回归范式的巨大潜力。
## Atmosphere & style 整场演讲充满前沿研究者的务实与敏锐,既有直击底层芯片显存带宽物理瓶颈的硬核技术拆解,也有直言各大实验室当前算力危机与吞吐量困境的幽默坦率。台下观众全神贯注,伴随现场展示的实时虚构网站、动态操作系统和 15 秒氛围编程 Demo,氛围从严谨的工程思辨逐渐推向对未来交互形态的兴奋与赞叹,问答环节互动热烈且极具启发性。
## Bulletin - [06:13](https://www.youtube.com/watch?v=r305-aQTaU0&t=373s) Google DeepMind 公开了基于离散文本扩散(Text Diffusion)的研究成果,其生成速率达到约 2,000 Tokens/秒(含 Prefill),在单用户低批次场景下相比自回归模型减少约 90% 的显存数据搬运。 - [08:47](https://www.youtube.com/watch?v=r305-aQTaU0&t=527s) 文本扩散模型打破了从左向右的因果遮罩,依托全画布双向注意力实现自我修正,在数学题推理测试中成功回溯修改先前给出的错误答案,而同场景下参数量大得多的 GPT-4o 和 Gemini 2.5 Flash 均出现不可逆的错误或逻辑妥协。 - [25:00](https://www.youtube.com/watch?v=r305-aQTaU0&t=1500s) 文本扩散在技术落地上的核心权衡在于:单用户延迟极低但大 Batch 云端服务吞吐量不足,目前 Alphabet 已优先将其部署于机器人和端侧设备等无需并发批处理的低延迟场景。 - [12:00](https://www.youtube.com/watch?v=r305-aQTaU0&t=720s) 模型展现出动态与自适应计算特性,可根据任务复杂度自主决定去噪轮次(如提取圆周率需 4 步,解释量子力学需 31 步),且参数规模越大的模型生成相同内容所需的去噪步数反而越少。
## Key takeaways - [00:00](https://www.youtube.com/watch?v=r305-aQTaU0&t=0s) 文本扩散的核心机制是在离散 Token 画布上加入噪声进行破坏训练,推理时以全量随机词表 Token 初始化,通过多轮迭代去噪全局还原句子。 - [02:06](https://www.youtube.com/watch?v=r305-aQTaU0&t=126s) Gemini Diffusion 研究预览版彻底摒弃逐字预测的因果链条,在综合质量上对标 Gemini 2.0 Flash 且在代码生成上略占优势,大幅降低了推理延迟。 - [04:02](https://www.youtube.com/watch?v=r305-aQTaU0&t=242s) 大 Batch 吞吐量过低是文本扩散至今未能在云端大规模取代自回归模型的核心瓶颈,多次前向传递极易撞上计算核心的算力上限(Compute Bound)。 - [06:13](https://www.youtube.com/watch?v=r305-aQTaU0&t=373s) 文本扩散之所以极快,是因为以块为单位生成 256 个 Token 仅需 24 次前向传递读取权重,相比单用户自回归生成将显存带宽传输量缩减近 90%。 - [10:00](https://www.youtube.com/watch?v=r305-aQTaU0&t=600s) 双向注意力赋予扩散模型“审视未来”的能力,能够边推导下文逻辑边回溯抹除并修正前文的错误结论,颠覆了自回归单向生成覆水难收的物理限制。 - [12:00](https://www.youtube.com/watch?v=r305-aQTaU0&t=720s) 文本扩散具备自适应计算能力,针对记忆型任务(如圆周率生成)以极少步数迅速退出,面对高难度抽象推理则自动分配更多前向传递步数沉思。 - [14:26](https://www.youtube.com/watch?v=r305-aQTaU0&t=866s) 得益于非自回归的全局视野,文本扩散原生支持就地文本编辑(In-place editing),能精准在指定代码行修 Bug 或在上下文中间无缝插入段落。 - [16:09](https://www.youtube.com/watch?v=r305-aQTaU0&t=969s) 极端低延迟解锁了革命性的软件形态,现场展示了点击即实时生成的维基百科、Reddit 社区、虚拟操作系统以及 15 秒语音驱动的氛围编程演示。 - [20:00](https://www.youtube.com/watch?v=r305-aQTaU0&t=1200s) 文本扩散训练直接复用现有大语言模型的语料数据,其可蒸馏性已获验证,且更大参数量的模型因步数边际递减而需要更少的前向去噪次数。 - [21:40](https://www.youtube.com/watch?v=r305-aQTaU0&t=1300s) 长文本生成采用分块自回归(Blockwise Autoregressive)架构,窗口内部双向并行去噪,窗口之间固化后作为后续块的 Prefill 上下文串联推进。 - [23:45](https://www.youtube.com/watch?v=r305-aQTaU0&t=1425s) 主流工业级文本扩散坚持运行在离散空间而非潜空间,保持“Token 进、Token 出”以继承成熟的词表预测体系与强化学习对齐算法。 - [25:00](https://www.youtube.com/watch?v=r305-aQTaU0&t=1500s) 自回归与文本扩散形成场景互补:前者统治云端高并发批处理,后者因单请求毫秒级响应成为端侧边缘计算与具身机器人的杀手级架构。
## Detailed walkthrough ### [00:00](https://www.youtube.com/watch?v=r305-aQTaU0&t=0s) 文本扩散模型的基本原理与运作机制
随着听众陆续进入会场,来自 Google DeepMind 的研究科学家 Brendan O'Donoghue 登台开场。他开门见山地指出,文本扩散(Text Diffusion)是 DeepMind 内部一项偏向前瞻性探索的研究方向。对于图像、视频或音频等连续模态,扩散模型早已成为主流的 SOTA 架构:其训练过程通常是取一张真实的图片,逐步往上添加高斯噪声,并训练神经网络学会逐步去除这些噪声;在推理时,系统先用纯噪声初始化画布,再通过若干次迭代去噪,一步步重建出干净清晰的图像。
Brendan 解释道,文本扩散的核心原则与图像扩散基本一致,只是处理的对象变成了离散的 Token 序列。在训练阶段,模型从一个干净的句子出发,通过添加或替换随机 Token 等离散手段(也可以采用连续表示)人为引入不同程度的破坏与错误,并训练神经网络预测并纠正这些位置上的错误。到了实际运行阶段,模型完全打破了传统语言模型“从左向右”的固定顺序。正如 Brendan O'Donoghue 所说:“在推理阶段,你只需将这串 Token 序列初始化为纯噪声——即从词表中随机选取的离散 Token,然后模型通过迭代精炼逐步填充信息,按照神经网络自身希望的顺序去还原出一条干净的句子。”现场展示的动图生动地呈现了这一过程:文本画布最初充斥着混乱杂乱的字符,经过几轮去噪后,清晰可读的连贯段落逐渐凝固显现。
- 训练机制:取干净文本,通过离散替换或随机填充构建不同噪声等级,训练模型填空与纠错。 - 推理机制:直接在全长画布上填满随机词表 Token,经由数次全局去噪步骤同时还原整句信息。
---
[02:06](https://www.youtube.com/watch?v=r305-aQTaU0&t=126s) Gemini Diffusion 预览版与自回归模型的根本差异
大约在一年前,Brendan 所在的团队向约 10 万名测试者开放了名为 Gemini Diffusion 的研究预览版。该模型是基于 Gemini 架构分支改造的变体,彻底摒弃了主流的“自回归下一个 Token 预测”(Autoregressive Next Token Generation),全面转向文本扩散。在当时的基准测试中,团队将其与同架构分支演化而来的 Gemini 2.0 Flash(测试时称为 Flash-Lite)进行对标。结果显示,两者在综合质量上旗鼓相当——Gemini Diffusion 在代码生成上略占优势,在部分其他领域略逊一筹,但其响应延迟却实现了大幅降低。
为了让听众更直观地理解两种范式的区别,Brendan 对比了底层的生成流程。在常规的 GPT、Gemini 或 Gemma 等自回归模型中,输入上下文后,系统每次只生成一个 Token,将其追加至上下文后再预测下一个,严格遵循时间因果链条。而在文本扩散模型中,系统在接收到上下文后,会直接开辟一段由数百甚至数千个随机噪声 Token 组成的空白画布。关于这种机制,Brendan O'Donoghue 概括道:“它并不是逐个 Token 地输出,而是将一整块文本放在一起处理,在若干次迭代步骤中完成去噪。”这使得模型在单次推理中不仅能查看上下文,还能对整幅画布进行全局的双向注意力计算。
```mermaid flowchart TD accTitle: 自回归生成与文本扩散生成的架构差异对比 accDescr: 展现自回归逐字单向预测与扩散模型基于双向注意力的多轮整块去噪流程区别
subgraph AR ["自回归生成 (Autoregressive)"] direction LR A1["上下文输入"] --> A2["生成 Token 1"] A2 --> A3["生成 Token 2"] A3 --> A4["逐字因果推进..."] end
subgraph Diff ["文本扩散生成 (Text Diffusion)"] direction LR D1["上下文输入"] --> D2["初始化全量噪声画布"] D2 --> D3["第 1 轮全局去噪 (双向关注)"] D3 --> D4["第 N 轮迭代精炼 (整块成文)"] end ```
---
[04:02](https://www.youtube.com/watch?v=r305-aQTaU0&t=242s) 文本扩散的权衡:高延迟收益与吞吐量困境
采用文本扩散生成文本带来了一系列前所未有的特性,但也伴随着极其尖锐的工程代价。其最诱人的优势在于惊人的单次推理延迟(更高的生成 Token 速率),这源于其对 GPU 和 TPU 硬件特性的高效压榨。此外,由于打破了因果注意力的锁链,模型在生成未完成的画布内部拥有完整的双向注意力能力,这意味着它能“看到未来”,实现根据后文推理主动回溯修改前文的自我修正(Self-Correction)。同时,迭代式的多步机制允许系统执行自适应计算(Adaptive Computation),让模型在遇到难题时自动增加去噪轮次,简单题目则快速收工;此外它还能轻松完成就地编辑(In-place Editing)与前缀填空。
然而,文本扩散至今未能取代自回归模型的命门在于:大规模 Batch(批处理)场景下的总吞吐量过低。传统的自回归模型在服务单个用户时速度虽慢,但服务商可以将成百上千个用户的请求打包成大 Batch 一起推过神经网络,让 GPU/TPU 的算力单元保持满载,从而分摊显存读取成本、压低整体 Serving 成本。而文本扩散需要对同一批数据反复执行多次前向传递,极快就会撞上硬件的算力上限(Compute Bound)。即便它为单个用户提供了无与伦比的极速响应,但数据中心在单位时间内能处理的总查询数却显著缩水。正如 Brendan O'Donoghue 直言不讳指出的那样:“目前没有任何大模型真正落地文本扩散技术,最核心的原因就在于这个劣势:即便它的单用户延迟极低,但在规模化服务时成本实在太高了。”他更顺带打趣道,如果大家最近体验过 Claude 就会明白,各大实验室现在普遍面临严峻的算力与吞吐量危机,因而吞吐量效率成为了决定架构能否上线的生死线。
---
[06:13](https://www.youtube.com/watch?v=r305-aQTaU0&t=373s) 硬件视角:为什么文本扩散在单用户推理上快十倍?
为了讲透文本扩散为什么能实现肉眼可见的极低延迟,Brendan 拆解了现代 GPU 和 TPU 的硬件通信架构。无论是英伟达 GPU 的 Tensor Core 还是谷歌 TPU 的矩阵计算单元,都拥有极为恐怖的浮点算力(FLOPs)。然而,存储模型权重、激活值和 KV Cache 的高带宽显存(HBM)与计算核心之间,必须通过带宽极其受限的通道进行数据搬运。在现有的芯片工艺下,堆算力相对容易且成本可控,但要在芯片上扩充显存带宽则昂贵且物理受限。因此,如何让流经计算核心的每一比特数据尽可能多地参与计算(即提高算术强度),直接决定了芯片的利用效率。
在小批次(尤其是 Batch Size 为 1)的自回归服务中,推理属于典型的“内存受限”(Memory-bound)。模型为了吐出单个 Token,不得不把整个神经网络所有的参数权重以及整个 KV Cache 从显存完整地流式读取搬运一遍;下一个 Token 又必须把这几百 GB 的权重完完整整重新读一遍。相反,文本扩散模型在处理例如 256 个 Token 的文本块时,依然需要读取整个网络的权重,但它在每次读取后是对这 256 个 Token 同时做运算。Brendan O'Donoghue 强调了这其中的数学账本:“如果你只需进行 24 次前向传递就能生成 256 个 Token,那么你的内存传输次数大约只有自回归模型的十分之一。”在严格受限于显存带宽的场景下,传输量缩减到十分之一,生成速度自然直接飙升十倍。在实际测试中,Gemini Diffusion 演示版能够稳定输出约 2,000 Tokens/秒 的真实生成速率(该数据完整计入了 Prefill 首字延迟)。生成的目标序列越长,Prefill 占据的开销比例就越低,其高吞吐高速刷屏的优势就体现得越明显。
- 硬件瓶颈根源:GPU/TPU 具有极高算力但显存带宽相对极其狭窄,单用户自回归每次读取海量权重只产生 1 个 Token。 - 传输量级对比:自回归生成 256 个 Token 需流式加载模型权重 256 次;扩散模型用 24 步去噪迭代生成同等长度,仅需流式读取 24 次,减少近 90% 的显存通信。 - 实测性能指标:在包含 Prefill 阶段的前提下,Gemini Diffusion 实现了大约 2,000 Tokens/秒 的端到端原始生成吞吐。
---
[08:47](https://www.youtube.com/watch?v=r305-aQTaU0&t=527s) 双向注意力带来的自修正推理实录
在厘清了延迟性能的硬件根源后,Brendan 将重点转向了文本扩散最令人兴奋、却在过往学术文献中极少被深入讨论的特性:双向注意力(Bidirectional Attention)驱动的自修正推理。去年 Google I/O 大会上曾展示过一段震撼的真实演示。测试给出了一个初看简单但极易让大模型翻车的四则运算综合题:求 $\sqrt{81} \times (2/3)^2 + \dots$ 的结果(最终正确答案为 39)。传统自回归模型在遇到这种问题时,一旦起笔写下了错误的答案,受因果遮罩的限制,它无法擦除前面已经生成的错误 Token,只能将错就错地编造出荒谬的推理过程来勉强自圆其说。
然而文本扩散模型的思考逻辑截然不同。在第 1 次前向传递(Forward Pass 1)结束后,全篇画布初步浮现出一些猜测词,模型在最上方的结果区仓促写下了 `Answer = 60`,虽然这个直觉猜测是错误的,但与此同时,下方的具体计算步骤也开始被同步去噪填写(例如拆解 $\sqrt{81} = 9$ 等)。到了第 2 次前向传递,随着下方推理逻辑在双向注意力中逐渐变得严谨清晰,模型回过头来直接涂改了前方的结论,将 `60` 自动抹去并修正为 `49`。随着后续去噪步骤不断向前推进,模型最终将在完整的逻辑步骤闭环后彻底锁定真实答案 39。这种颠覆自回归不可逆特性的动态思考机制,展示了非因果架构在逻辑推理与复杂纠错任务上的巨大潜力。
[10:00](https://www.youtube.com/watch?v=r305-aQTaU0&t=600s) 双向推理与模型的自我修正能力
```mermaid flowchart LR accTitle: 自回归模型与扩散模型的推理机制对比 accDescr: 对比自回归模型由左至右单向生成导致的误差累积,与扩散模型通过多轮前向去噪实现双向查看和回溯纠错的机制。
subgraph AR["自回归模型 (Autoregressive)"] direction TB A1["单向生成:由左至右"] --> A2["首个 Token 猜测错误"] A2 --> A3["无法回溯修改历史"] A3 --> A4["只能后续道歉或把错误强行融入推导"] end
subgraph Diff["文本扩散模型 (Text Diffusion)"] direction TB D1["双向注意力:统览全貌"] --> D2["第 1-2 轮前向传递 (生成粗略草稿)"] D2 --> D3["多轮推导得出正确结论"] D3 --> D4["返回修改初始位置的错误答案"] end ```
在推理计算中,文本扩散模型展现出了一项自回归模型根本不具备的核心特性:双向推理(bidirectional reasoning)与原地自我修正。在给出的数学计算演示中,模型在完成五步推导后(例如计算 $2^2 = 4$),一些蓝色标记的 Token 仍在演变。经过三次前向传递(forward pass),模型完成了整个推导链条,在末尾准确算出了 $36 + 3 = 39$。关键在于,模型随后返回文本开头,把最初写下的错误答案(先前曾先后给出了 60 和 49)直接修正为了 39。由于具备双向注意力,模型在生成时不仅能看到过去,还能看到未来即将输出的 Token,并在后续的去噪步数中修正前文的纰漏。Brendan O’Donoghue 直言:“And this is, you know, this is a property that text diffusion models have, this ability to do bidirectional reasoning, so to not only see the past but also see the future, that it's going to utter, and also to use that information to do self-correction.”
当时市面上体量庞大得多的顶尖自回归模型面对完全相同的 Prompt 时全军覆没。GPT-4o 第一步给出的猜测是 40,虽然它在完成推导后意识到了答案是 39,但受限于自回归只能单向向前输出的物理机制,它无法擦除开头的错误,只能在后续输出中无奈地打补丁:“对不起,我弄错了,答案是 39 而不是 40”。而当时崭新推出的 Gemini 2.5 Flash 表现更糟,它一开始猜了 42,随后在后续推导中竟强词夺理、一条路走到黑,硬生生把推导过程写成 $36 + 3 = 42$,把初始错误生硬地融合到了后续逻辑中。Brendan O’Donoghue 强调:“These are way bigger models than the Gemini diffusion model. It's a flaw of autoregressive models, that the text diffusion models don't have.” 尽管目前可以用专门的思维链(Reasoning/Thinking)模型来缓解该问题,但这本质上只是把缺陷转移成了另一种形态的代偿。
- **模型规模与表现反差**:Gemini Diffusion 模型的体量远小于 GPT-4o 和 Gemini 2.5 Flash,却凭借双向修正机制得出了干净连贯的最终结果。 - **单向生成的原罪**:自回归模型必须在第一个 Token 上押注最优解,一旦猜错就覆水难收,只能通过后续打补丁道歉或者逻辑幻觉强行自圆其说。
---
[12:00](https://www.youtube.com/watch?v=r305-aQTaU0&t=720s) 动态与自适应计算分配
除了双向纠错,文本扩散模型还具备“动态计算”(Dynamic Computation)的优势:推理时分配的去噪步数(前向传递次数)越多,模型的思考预算就越充裕,生成质量也会水涨船高。团队内部监控的六项代码评测数据显示,随着去噪步数增加,评测指标的质量曲线几乎呈现严格的单调上升趋势;因为即使生成的方案已经基本正确,模型依然能够在额外的步数中审视自身结果,发现并修复潜在的隐蔽缺陷。Brendan O’Donoghue 指出:“Because it gets, even if the solution is almost entirely clean and correct, it gets to look at it and see that I made a mistake, and then fix it.”
更深层次的突破是“自适应计算”(Adaptive Computation)。通过特定的训练方式,扩散模型能够自主决定何时收工停止去噪。对于简单的记忆型任务,它消耗极少的计算量;面对复杂棘手的推理任务,它会主动延长推导过程: - **生成圆周率前 100 位**:输出包含了整整 100 个 Token,但模型仅仅用了 4 步前向传递就结束了任务;因为这类任务纯粹依赖记忆提取,而此时自回归模型在 4 次前向传递中只能吐出区区 4 个 Token。 - **编写 FizzBuzz 程序**:难度稍有提升,模型自主执行了 18 次前向传递。 - **单段解释量子力学**:面对高抽象度的长文本逻辑表述,模型自行决定耗费 31 个去噪步数进行深度打磨。 - **基准测试耗时对比**:在内部测试中,面对以基础 Python 编程为主的 MBPP 评测,模型迅速完成并退出;而在当时对该尺寸模型极具挑战性的高难度基准 GPQA Diamond 上,模型则自动投入了大量前向传递步骤展开沉思。
---
[14:26](https://www.youtube.com/watch?v=r305-aQTaU0&t=866s) 原地文本编辑与上下文填空
在图像领域,扩散模型因其非自回归的本质而天然擅长图像局部修复(Inpainting)与编辑——只需抠掉画面的一部分,模型便能结合未被修改的全局上下文将其无缝补全。相比之下,传统的自回归图像生成只能像光栅扫描一样从左到右、从上到下逐像素推进。文本扩散模型同样继承了这一优势,具备极具威力的“原地编辑”(In-place editing)能力,能够直接对文本指定位置进行外科手术式的增删改查。Brendan O’Donoghue 评价道:“Diffusion doesn't work like that. It'll just see the entire image and then start to denoise it.”
在现阶段的演示中,这项特性展示了强大的实用潜力: - **精准代码修 Bug**:向模型输入一段包含缺陷的代码并提示“这段代码有 Bug,能修一下吗?”,模型不会傻傻地把整屏代码重新敲一遍,而是以极高的速度仅在产生缺陷的具体代码行就地重写。 - **就地补全文档注释**:提示模型“能添加文档吗?”,它会直接穿插到对应函数签名上方补全 Docstring,逐个位置完成编辑替换。 - **故事段落内嵌插入**:提供一段包含第一段和第三段的故事,要求“插入中间一段”,扩散模型能够同时俯瞰开头与结尾的语义走向,生成出承上启下、天衣无缝的第二段情节。
---
[16:09](https://www.youtube.com/watch?v=r305-aQTaU0&t=969s) 极致低延迟带来的交互变革与实时 Demo
文本扩散模型最核心的底牌是无与伦比的低延迟。当生成速度从自回归模型的逐字挤压提升到每秒数千 Token 时,带来的绝不仅仅是“相同功能跑得更快”,而是彻底解锁了全新的软件形态与人机交互模式。Brendan O’Donoghue 强调:“It's not just the same thing faster. Some really new applications. So in your own work, you're all AI engineers. It would be interesting to see when the next diffusion model comes out from our team, what the low latency could unlock.”
现场展示了四款极具视觉冲击力的实时生成 Demo,颠覆了传统动态渲染的定义: 1. **实时生成的假维基百科(Infinite Wikipedia)**:整个网页从正文词条到底层 HTML 结构完全由模型动态生成。用户在页面中点击任意词条超链接,极低的延迟让下一篇虚构但格式严整的维基百科页面瞬间加载呈现,体验如同浏览真实网站。 2. **实时生成的 Reddit 社区**:用户可以随心所欲捏造任何不存在的子板块(Subreddit,如“鲨鱼板块”)。网页内的所有帖子、层级嵌套的假网友回帖评论以及 HTML 排版全由模型实时凭空捏造。由于 Gemini Diffusion 当时不负责图像,演示接入了团队当时的顶级图像模型(Juno)来异步补充配图,文字和排版秒出,配图随后补齐。 3. **点击即生成的操作系统(Infinite OS)**:这是全场最为惊艳的演示——一个完整的虚拟图形操作系统,用户每一次点击鼠标(如打开 Readme、点击浏览器、返回桌面),模型都在极短时间内凭空生成出下一帧对应的操作系统界面与交互文本。 4. **15 秒全语音“氛围编程”(Vibe Coding)**:Twitter 上的一位外部开发者利用 Gemini Diffusion 构建了一个语音生成待办应用的演示。该开发者连续发出语音指令:“创建一个 Todo 应用”、“添加 10 个随机任务”、“支持标记完成状态”、“把其中 4 个随机标记为已完成”、“支持按名称和状态排序”。指令刚说完,一个功能完整的 Todo 应用已在屏幕上运行无误;随后补上一句“请把界面转为深色模式”,整套代码即刻重构就绪,全流程耗时仅仅 15 秒。Brendan O’Donoghue 总结道,这类低延迟模型必将重塑未来用户的产品体验。
[20:00](https://www.youtube.com/watch?v=r305-aQTaU0&t=1200s) 问答环节开启:数据复用、模型蒸馏与大模型步数衰减效应
问答环节伊始,现场观众就文本扩散模型(Text Diffusion)的数据来源与训练细节展开提问。针对模型训练是否需要全新数据集的问题,Brendan O'Donoghue 明确指出,在数据层面上,团队完全复用了现有大语言模型的训练数据:“Yeah, we use all the same data. I mean, the algorithms have to change a bit, but we use all the same data.”(是的,我们使用完全相同的数据。我的意思是算法必须稍作改动,但数据是完全一样的)。虽然去噪和双向建模的算法机制有所调整,但底层语料资产与自回归模型并无二致。谈到模型蒸馏(Distillation)时,他确认文本扩散模型同样可以进行蒸馏,虽然目前公开文献中尚不多见,但 DeepMind 很快就会发布相关研究成果。
随后讨论转向模型规模对生成效率的影响。观众好奇模型参数变大时推理成本会如何变化。Brendan 解释了一个反直觉的现象:更大的模型在生成相同内容时往往需要更少的去噪步数。尽管模型规模增大导致单次前向传播的计算量(FLOPs per forward pass)增加,但所需前向步数的减少抵消了部分开销:“So there's a, the bigger models tend to require less steps for the same output. So they kind of... even if the model is getting bigger and the flops per forward pass are getting bigger, they tend to reduce the forward passes they need. So you kind of have some sort of diminishing cost of serving even the biggest models.”(因此,模型越大,生成相同输出所需的步数往往越少。即使模型变大、每次前向传播的 FLOPs 变大,它们也往往能减少所需的前向传播次数。所以在部署超大模型时,成本其实呈现出某种边际递减的趋势)。
- 训练数据:与自回归模型完全通用,算法适配去噪目标,无需重新构建专用语料。 - 模型蒸馏:可行性已被验证,相关研究与预览版即将对外发布。 - 规模效应:参数量上升带来单步推理质量飞跃,直接削减去噪总轮次,形成服务成本的边际递减。
---
[21:40](https://www.youtube.com/watch?v=r305-aQTaU0&t=1300s) 块级自回归与长文本生成机制
针对观众提出的“如何控制文本长度以及生成任意长度文本”的技术疑问,Brendan 拆解了扩散模型处理可变长文本的具体工程实现。文本扩散最直接的落地方式是“分块自回归”(Blockwise Autoregressive):设定一个固定的窗口长度(例如 512、1000 或 32 个 token),在单个窗口内利用双向扩散并行去噪,窗口与窗口之间则按顺序自回归推进。模型依然具备无限长文本的生成能力:“If you fix a window length, then it just does that window length autoregressively if it needs to generate many, many windows of text.”(如果你固定一个窗口长度,当需要生成大量窗口的内容时,它就会以自回归的方式逐个窗口向前推进)。
针对生成何时终止的问题,Brendan 澄清模型生成通常预设了上限,但在实际运行中可以提前结束。对于“后续窗口是否可以回头修改之前窗口”的设问,他解释理论上可以建立跨块的全局注意力机制,但在目前的实现中,为了保证系统简洁与效率,前序已生成的窗口会被“固化”(set it in stone),后续块在 Prefill 上下文的基础上继续向后推演。同时,架构中也可以在顶层添加简单的预测头(prediction head / logits)来预测响应长度。
```mermaid flowchart LR accTitle: Blockwise Autoregressive Generation Flow accDescr: Diagram showing how text diffusion processes context via prefill and generates subsequent text blocks autoregressively.
subgraph PrefillPhase["前置上下文"] A["Prompt / 历史上下文"] end
subgraph Block1["扩散生成块 1 (固定窗口)"] B["噪声 Token 序列"] -->|"双向并行去噪"| C["固化文本块 1"] end
subgraph Block2["扩散生成块 2 (固定窗口)"] D["噪声 Token 序列"] -->|"双向并行去噪"| E["固化文本块 2"] end
A -->|"Prefill 机制"| B C -->|"作为上下文传递"| D E -->|"自回归滑动"| F["后续生成..."] ```
- Prefill 阶段:与自回归架构完全一致,模型接收既有 Context 并进行特征预填充。 - 窗口内生成:在固定的 Block 尺寸内,采用双向注意力和离散去噪并行产出全部 Token。 - 窗口间机制:Block 与 Block 之间串联推进,已生成的 Token 块固化后作为后续块的输入上下文。
---
[23:45](https://www.youtube.com/watch?v=r305-aQTaU0&t=1425s) 离散扩散空间与潜空间扩散的权衡
现场有观众询问文本扩散是在离散空间(Discrete Space)还是连续的潜空间(Latent Space)进行。Brendan 明确指出,当前主流的文本扩散模型均基于离散扩散(Discrete Diffusion),也就是“Token 进,Token 出”的方式。在每一个反向去噪步骤中,系统处理的是离散的掩蔽或损坏过程(discrete corruption process),并逐步填回离散的真实 Token:“Well, so this is all like discrete diffusion, right? So it's always tokens in, tokens out... it's always like a discrete corruption process. And then you fill in a discrete token back in. So it's always... so you're always in a discrete space.”(这完全是离散扩散,自始至终都是 Token 进、Token 出。每一步都是离散损坏过程,然后把离散 Token 填补回去。所以系统始终运行在离散空间之中)。
虽然学术界有人探索过在潜空间中进行文本表示扩散(Latent Diffusion),但目前文献与工业实践中的文本扩散主力依然是离散 token 级别的掩码重建。这种设计使得模型架构能够最大程度继承现有语言模型在词表预测和 Logits 映射上的成熟经验。
---
[25:00](https://www.youtube.com/watch?v=r305-aQTaU0&t=1500s) 端侧落地、强化学习推理与冷启动初始化的局限
在探讨文本扩散与自回归架构的未来竞争格局时,Brendan 进行了深刻的场景剖析。两者并非零和博弈,而是面向截然不同的应用约束。自回归模型适合云端大并发 Serving,因为大 Batch 下吞吐量(Throughput)极高;而文本扩散模型则是单请求极低延迟(Low Latency)的王者。这一特性使扩散模型成为端侧边缘计算(On-device)的杀手级方案。他透露 Alphabet 内部已经在机器人等业务中落地该技术:
> “I think for now they have different use cases. So, you know, if you think about what a low latency model provides, that's worse throughput. So what's that trade-off? Is on-device applications. So we are in a couple of on-device applications already within the Alphabet ecosystem. So robotics, things like that, where you want to run a model on the device itself, so your phone or a robot or whatever. But you want it to be low latency. And you're not batching with thousands of other queries, like Gemini being served in the server side.” > —— Brendan O’Donoghue
针对现场关于模型质量与推理能力的质疑,Brendan 明确表示质量早已达标:“Quality isn't the concern. It's the throughput for serving in the big batch setting.”(模型质量根本不是问题所在,核心痛点在于大 Batch 部署环境下的吞吐量)。在复杂的逻辑推理与泛化任务上,扩散模型同样能够通过强化学习(Reinforcement Learning / RL)进行训练对齐,只需对传统的 RL 算法进行针对去噪过程的适配。
在回答是否可以用小型自回归模型预先生成草稿来替代纯噪声初始化的提问时,Brendan 解释了工程上的两难:如果扩散模型是在纯噪声下训练的,它在推理时就必须接收噪声。如果改用小模型输出作为初始输入,就必须重新设计专门的训练目标,这会极大增加系统复杂度:“The problem with that is if you train it with noise, it expects noise. You'd have to train it with this more model as you like the output. It just adds complexity. So we don't usually do that.”(问题在于,如果你是用噪声训练它的,它就预期接收噪声。你就必须针对小模型的输出来专门训练它,这只会增加系统复杂度,所以我们通常不这么做)。
演讲在观众对于图结构生成等奇思妙想的欢笑声与掌声中圆满收尾。
- 核心落地场景:Alphabet 内部的端侧设备与机器人系统,主打无需批处理并发、对响应时延要求严苛的本地实时推理。 - 质量与推理对齐:生成质量与主流前沿模型持平,通过适配的 RL 强化学习算法即可解锁高难度复杂推理任务。 - 初始状态约束:坚持纯噪声输入以保持训练与推理的一致性,避免混合级联小模型带来的多阶段训练复杂度。
## Notable quotes > [06:13](https://www.youtube.com/watch?v=r305-aQTaU0&t=373s) 如果你只需进行 24 次前向传递就能生成 256 个 Token,那么你的内存传输次数大约只有自回归模型的十分之一。 — Brendan O'Donoghue
> [04:02](https://www.youtube.com/watch?v=r305-aQTaU0&t=242s) 目前没有任何大模型真正落地文本扩散技术,最核心的原因就在于这个劣势:即便它的单用户延迟极低,但在规模化服务时成本实在太高了。 — Brendan O'Donoghue
## Mentioned Brendan O’Donoghue, Google DeepMind, Gemini Diffusion, Gemini 2.0 Flash, Gemini 2.5 Flash, GPT-4o, Gemma, Claude, Juno, Alphabet, GPU, TPU, MBPP, GPQA Diamond
## Video description GPT-4o answered 40. Gemini 2.5 Flash answered 42 and stuck to it even after working through the reasoning incorrectly. The Gemini Diffusion model, considerably smaller than both, answered 60 on the first forward pass, then 49, then corrected itself to 39 once it finished reasoning. Bidirectional attention means it can see future tokens and go back to fix mistakes. Autoregressive models cannot do that.
Brendon O'Donoghue covers why text diffusion is fast (24 denoising steps to generate 256 tokens means roughly 10x fewer memory transfers than autoregressive generation), what the tradeoff is (lower throughput at large batch sizes makes it expensive to serve at scale today), and what gets unlocked when latency drops to 2,000 tokens per second. The demos include a fake Wikipedia generated on the fly, a Reddit clone with AI generated comments and images, an operating system where every click generates the next screen, and a todo app built in 15 seconds by voice.
Speaker info: - https://x.com/bodonoghue85 - https://bodono.github.io/ - https://www.linkedin.com/in/bodono/
Timestamps: 0:00 Introduction to Text Diffusion 1:02 How Text Diffusion Works (Training and Inference) 2:06 Gemini Diffusion Research Preview 3:04 Difference Between Autoregressive and Diffusion Models 4:02 Pros and Cons of Text Diffusion 6:13 Hardware Efficiency: Why Text Diffusion is Faster 8:47 Bidirectional Reasoning and Self-Correction 12:00 Dynamic and Adaptive Computation 14:26 In-place Text Editing 16:09 Low Latency Applications and Demos 20:05 Q&A Session
---
Watch along with the corrected transcript, summary, timestamps and resources on this talk's official AIE page: https://ai.engineer/talks/r305-aQTaU0-text-diffusion-brendan-o-donoghue-google-deepmind
Join our upcoming AI Engineer conferences (see https://ai.engineer landing page):
- AIEi Shanghai, November 5–6 — the first for meeting top Chinese labs and engineers - AIE CODE in SF, November 10–12 — the top AI Coding conference returns - AIEi Sydney, December 7–8 — the first AIEi run alongside NeurIPS 2026 in Sydney
---
[Source](https://www.youtube.com/watch?v=r305-aQTaU0)