谷歌推出HTML-in-Canvas接口 赋能Canvas保留DOM语义与原生功能

Build next-generation UIs with the HTML-in-Canvas API — Chrome for Developers

Chrome for Developers

该技术通过将实时DOM元素直接映射为WebGL及WebGPU纹理,打破了高性能图形渲染与无障碍、翻译等浏览器原生能力无法兼得的长期技术壁垒。

AI-assisted summary of Build next-generation UIs with the HTML-in-Canvas API — original source. Check the original for full context.

Source published:

Key ideas

  • Google 推出全新的 HTML-in-Canvas API,允许将标准 DOM 元素直接绘制到 Canvas、WebGL 或 WebGPU 纹理中,同时完整保留可访问性与原生交互体验。 (0:00)
  • 该 API 突破性地保留了屏幕阅读器支持、整页翻译及页内查找等浏览器原生特性,在 Canvas 内部渲染的 UI 依然可获得 Lighthouse 无障碍评分 100 分。 (10:00)
  • Three.js 与 PlayCanvas 等主流 3D 图形引擎已推出实验性支持,极大地简化了三维视口变换与矩阵同步的数学计算。 (5:00)
  • 截至 2026 年 5 月,该 API 已在 Chrome 中开启 Origin Trial,Figma、Adobe、Miro 和 JetBrains 等头部企业均已启动原型开发以探索下一代富图形 Web 应用。 (15:00)

Detailed notes

## Background 本内容由 Chrome for Developers 官方频道于 2026 年 5 月 21 日在 YouTube 平台发布,记录了 Google I/O 2026 大会上的技术分享。视频由 Thomas Nattestad 主讲,页面简介指出,本次演讲旨在介绍如何通过 HTML-in-Canvas API 将 HTML 元素直接绘制到 Canvas 画布中,在保留无障碍访问与交互等语义特性的同时操控纹理以创造动态视觉效果,并涵盖了其功能概览、应用演示及初始配置流程。

## TL;DR 演讲系统性地介绍了全新的 HTML-in-Canvas API,它成功架起了标准 DOM 语义与底层图形管线(Canvas 2D、WebGL、WebGPU)之间的桥梁,既解决了传统 Canvas 渲染丢失原生可访问性与排版特性的痛点,又赋予了 Web UI 强大的高性能图形控制力。核心实现依赖在画布上声明 layoutsubtree 属性,并通过 drawElementImage 等专属 API 配合 transform 变换矩阵完成触控对齐,同时主流框架如 Three.js 和 PlayCanvas 已提供开箱即用的实验性封装。现场还通过 3D 折射模型、动态 SVG 贴图以及 3D 电子书等实战案例,生动展示了该 API 对全页翻译、页内查找、深色模式以及 AI 代理提取等浏览器原生能力的无损保留。目前,Figma、Adobe 等头部软件厂商已着手构建原型,该功能也已在 Chrome 中以 Origin Trial 形式开放试用。

## Atmosphere & style 整场演讲洋溢着前沿技术发布的兴奋感与极客探索热情,主讲人 Thomas 的叙述兼具严谨的技术架构剖析与生动幽默的现场互动。从对比底层渲染机制到现场实时把玩 3D 交互 Demo,演示过程层层推进,尤其是展示 3D 页面瞬间自适应多语言翻译和折射高亮时,带来极具冲击力的“魔术感”。技术讲解深入浅出,既坦承三维空间数学对齐的复杂性,又展现出对开放 Web 标准和未来 UI 范式演进的十足信心,整体观感干货密集且令人深受鼓舞。

## Bulletin - [00:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=0s) Google 推出全新的 HTML-in-Canvas API,允许将标准 DOM 元素直接绘制到 Canvas、WebGL 或 WebGPU 纹理中,同时完整保留可访问性与原生交互体验。 - [10:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=600s) 该 API 突破性地保留了屏幕阅读器支持、整页翻译及页内查找等浏览器原生特性,在 Canvas 内部渲染的 UI 依然可获得 Lighthouse 无障碍评分 100 分。 - [05:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=300s) Three.js 与 PlayCanvas 等主流 3D 图形引擎已推出实验性支持,极大地简化了三维视口变换与矩阵同步的数学计算。 - [15:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=900s) 截至 2026 年 5 月,该 API 已在 Chrome 中开启 Origin Trial,Figma、Adobe、Miro 和 JetBrains 等头部企业均已启动原型开发以探索下一代富图形 Web 应用。

## Key takeaways - [00:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=0s) HTML-in-Canvas API 架起了传统 DOM 丰富语义与 Canvas/GPU 高性能底层像素渲染之间的桥梁,兼得两者的核心优势。 - [00:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=0s) 传统 Canvas 属于无法被浏览器理解的像素网格,会破坏划选、自动填充、辅助功能等所有浏览器原生特性,而该 API 终结了这一两难困局。 - [00:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=0s) 使用该 API 的核心三步为:配置画布与 layoutsubtree 属性、将元素绘制到画布或纹理中、更新 DOM 元素的 transform 坐标以对齐点击命中区域。 - [05:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=300s) 在 2D 上下文中核心调用为 drawElementImage,推荐置于 onPaint 事件中监听并动态重绘,结合 ResizeObserver 与设备像素比避免画面模糊。 - [05:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=300s) 在 WebGL 和 WebGPU 中分别对应 texElementImage2D 与 copyElementImageToTexture,无缝对齐已有的外部图像贴图管线。 - [05:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=300s) 三维场景中需要将 3D 物体空间映射到 CSS 屏幕坐标,主流引擎如 Three.js(THREE.HTMLTexture)和 PlayCanvas 已封装这些底层矩阵变换。 - [10:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=600s) Canvas 内部结构对 DevTools 和无障碍树完全透明,开发者不仅能实时检查修改 DOM,还能使 Lighthouse 可访问性测试达到满分 100 分。 - [10:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=600s) 支持动态 SVG 动画免代码直接嵌入 3D 纹理播放,且文本交互与事件侦听仍然保持完好。 - [10:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=600s) 即使与高阶 3D 折射模型结合,浏览器系统的“在页面中查找”(Find in page)高亮与文本选择也能实时呈现逼真的折射畸变。 - [12:30](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=750s) 在 3D 书籍案例中,CSS 字体切换可实时重排 3D 页面纹理,且深度集成 Chrome 整页翻译,打破了多语言本地化与 3D 效果难以兼得的壁垒。 - [12:30](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=750s) 保留完整的底层 HTML 树使 3D 场景不再是爬虫和 AI 代理的“黑盒”,智能体可无需翻页直接提取全文并交由 TTS 引擎朗读。 - [15:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=900s) API 正式进入 Origin Trial 阶段供开发者在生产环境灰度验证,Figma、Adobe 等头部桌面级 Web 应用厂商已率先展开原型试水。

## Detailed walkthrough ### [00:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=0s) HTML-in-Canvas API 概览与 DOM 与 Canvas 的优劣对比

演讲者 Thomas 登台向大家介绍了全新的 HTML-in-Canvas API。该 API 允许开发者将标准的 DOM 内容直接绘制到 `<canvas>` 元素或者 WebGL/WebGPU 纹理中,同时完全保留 UI 的交互性、可访问性(Accessibility),并无缝集成浏览器内置的各项原生功能。Thomas 强调,现场展示的所有 Demo 都基于大家熟知且热爱的标准 HTML 构建,但呈现形式却是此前难以想象的。

为了让大家深入理解这项技术,Thomas 先从底层对 DOM 和 Canvas 的各自优势进行了拆解。虽然他在演讲中将 DOM 和 HTML 混用,但他严谨地指出了二者的概念区分:“HTML is the static source code you write, while the DOM is the live interactive model the browser builds from that code.”(HTML 是你编写的静态源代码,而 DOM 则是浏览器根据这些代码构建的实时交互模型)。HTML-in-Canvas API 不仅改变了页面上的静态 HTML,还会实时更新 DOM 结构以实现全方位的交互。

```mermaid flowchart TD accTitle: DOM 与 Canvas 结合工作流 accDescr: 展示 DOM 语义特性与 Canvas 底层渲染通过 HTML-in-Canvas API 实现融合的流程架构

subgraph DOM_Features["DOM 优势 (语义与浏览器集成)"] A["文本排版 / 响应式布局"] B["无障碍访问 / 屏幕阅读器"] C["原生功能 (翻译/页内查找/自动填充)"] end

subgraph Canvas_Power["Canvas / WebGL / WebGPU 优势"] D["底层高性能图形控制"] E["2D / 3D 渲染管线驱动像素网格"] F["复杂 UI 渲染 (游戏 / Google Docs)"] end

DOM_Features --> G["HTML-in-Canvas API 桥梁"] Canvas_Power --> G G --> H["Canvas 内部渲染可交互且具备无障碍特性的 DOM 纹理"] ```

DOM 是 Web UI 的基石,拥有浏览器开箱即用的强大文本排版和富交互布局系统,用户能够顺畅地完成划选文本复制、右键保存图片等习以为常的操作;更关键的是,DOM 深度集成了辅助功能(Accessibility)、整页翻译(Translate)、页内查找(Find in page)、阅读模式(Reader mode)、浏览器扩展插件、深色模式(Dark mode)、缩放(Browser zoom)以及表单自动填充(Autofill)等核心体验。相反,Canvas 配合 WebGL 和 WebGPU 提供了极为强大的底层控制力,适用于游戏或 Google Docs 等包含复杂 UI 的场景。然而,Canvas 终究只是一块像素网格,开发者不仅需要自行或借助体积庞大的框架来处理响应式排版逻辑,还会彻底破坏上述所有浏览器原生特性。Thomas 指出,HTML-in-Canvas API 正是终结这一两难困境的桥梁:“The HTML and Canvas API is the bridge that gives you the best of both worlds by letting you paint DOM elements into a Canvas or WebGPU texture.”(HTML-in-Canvas API 是一座桥梁,它允许你将 DOM 元素绘制到 Canvas 或 WebGPU 纹理中,从而兼得两者的优势)。目前该 API 已在 Chrome 中正式提供,团队也在积极与其他浏览器厂商推进开放标准制定。

- **三步使用流程**:配置 Canvas 画布、将元素绘制到画布或纹理中、更新元素的 transform 告知浏览器其真实物理坐标。 - **配置属性**:在目标 `<canvas>` 标签上添加 `layoutsubtree` 属性,使浏览器能够感知并布局 Canvas 内部的 DOM 子树,以便进行命中测试(Hit testing)和辅助功能暴露。 - **HTML 书写方式**:直接在 `<canvas>` 内部书写结构(如 `<form>`、`<input>`),或通过 JavaScript 动态创建并插入。

[05:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=300s) 2D/3D API 渲染实现、三维空间变换与框架集成生态

在具体的代码实现层面上,在 Canvas 内部书写 HTML 只是先决条件,真正的绘制必须通过明确的 API 调用来触发。针对 2D 上下文,核心调用为 `drawElementImage`,它接收目标 DOM 元素以及绘制在画布上的 X、Y 坐标。推荐将此调用置于元素的 `onPaint` 事件监听器中,这样每当元素需要重绘(例如用户选中文本或触发“页内查找”高亮时)都会自动触发更新。该方法会返回一个坐标变换矩阵,开发者必须将其应用到 DOM 对象的 CSS `transform` 样式属性上,以便浏览器精准对齐交互触控区域。如果不再绘制某个元素,必须及时将其从 Canvas 内部移除,否则辅助功能系统仍会将其视作活跃内容。此外,为了避免渲染模糊,需要利用 `ResizeObserver` 监听画布尺寸并结合设备像素比(scale factor)精确设置 Canvas 的 `width` 与 `height`。

```mermaid flowchart LR accTitle: 3D 空间坐标变换流程 accDescr: 展示将 3D 场景中的网格物体坐标映射到 CSS 屏幕坐标系并同步给 DOM 的流程

A["3D 坐标空间 (Mesh / Texture)"] --> B["视口变换 (Viewport Transformation)"] B --> C["getElementTransform() 提取变换矩阵"] C --> D["赋予 DOM element.style.transform"] D --> E["浏览器命中测试与原生事件对齐"] ```

在 WebGL 环境下,API 提供了 `texElementImage2D` 方法,其签名与原有的 `texImage2D` 完全对应,只是将传统的图像源参数替换为 DOM 元素引用;而在 WebGPU 中,对应的方法为 `copyElementImageToTexture`,对齐了已有的 `copyExternalImageToTexture`。三维场景下的最大挑战在于坐标对齐,开发者需要应用视口变换将三维场景空间映射至 CSS 屏幕空间,再通过画布提供的 `getElementTransform` 获取实际矩阵并赋给 DOM。Thomas 坦言这部分数学计算较为繁琐:“That's all a little difficult and confusing, but luckily that's why we have amazing frameworks to help do that heavy lifting so that you can focus on easily using the feature.”(这确实有点复杂和令人困惑,但幸运的是,我们拥有出色的框架来分担这些繁重的工作,让你能够专注于轻松使用该特性)。主流 3D 引擎已迅速跟进集成:

- **Three.js**:已推出实验性支持,开发者只需调用 `THREE.HTMLTexture` 传入目标 DOM 元素生成贴图,将其挂载为材质的 `map`,随后赋给网格几何体(如立方体盒子)即可直接生效。 - **PlayCanvas**:支持使用 `layoutsubtree` 画布与 HTML 元素创建 PlayCanvas 纹理,通过事件监听将纹理源指定为该元素,并在浏览器触发重绘时自动重新上传纹理,最终作为材质的漫反射贴图(Diffuse map)赋给模型。 - **降级回退机制**:PlayCanvas 的示例中还集成了针对不支持该 API 的环境的 Polyfill 自动降级方案;虽然降级后无法享受浏览器原生特性集成,但依然是生产环境推荐的最佳实践。 - **复杂实战演示(Shoe Demo)**:展示了一款 3D 球鞋展示应用,鞋身样式选择器界面使用简洁的 HTML 编写,且能够跟随光标在三维空间中动态倾斜游走,展现出震撼的三维质感。 - **AI 编码助手适配**:针对 Antigravity 等新型编码工具由于训练数据滞后而不了解该新 API 的情况,Thomas 建议将 Explainer 规范链接以及官方的现代 Web 指南(Modern Web Guidance)喂给 AI 工具作为上下文。 - **初探文字排版 Demo**:在官方示例页面中,展示了包括从右至左(RTL)书写以及纵向文字排版的复杂文本渲染;打开浏览器 DevTools 可以清晰确认,所有内容在技术上真实嵌套在 `<canvas>` 节点内部,同时完全保留交互与选中能力。

[10:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=600s) 深度可访问性、动态 WebGL 纹理与 3D 渲染实战

HTML-in-Canvas API 真正颠覆性的一点,在于它并没有将渲染内容退化为一堆失去语义的静态像素。当用户在 Canvas 中拖拽图像、右键保存,甚至是渲染内置的 SVG 元素时,底层的语义信息依然完好无损。在 Chrome DevTools 的无障碍功能树(Accessibility Tree)视图中,Canvas 内部的所有节点都能被屏幕阅读器等辅助工具正常抓取。即使整个 UI 都绘制在 Canvas 之中,它在 Lighthouse 中的可访问性评分依然可以达到完美的 100 分。

在实际的 WebGL 应用场景中,开发者可以直接将标准 HTML 界面绘制成 WebGL 纹理。用户不仅能与其中的文本、滑块和文本输入框无缝交互,还可以直接在 3D 表面上右键单击并选择“检查元素”(Inspect)。DevTools 会直接定位到对应的底层 HTML DOM,当开发者在 DevTools 中实时修改文案(比如将控件文本改为超级简单的控制文案)时,WebGL 纹理中的界面会瞬间自动响应更新。同时,如果页面 CSS 配置了深色模式,只需在浏览器端切换系统外观,3D 场景中的 HTML 纹理也会同步完成主题样式的自适应切换。

这项能力同样延展到了矢量动画与高阶图形特效领域。如果开发者想要制作一个 3D 广告牌效果,可以直接引入一个动态的 SVG(例如一支不断运动的铅笔)。过去在 WebGL 纹理中实现动态矢量图形需要极其复杂的代码,而现在这一动画 SVG 不仅直接被绘制在 Canvas 里,更无缝嵌入到了 WebGL 纹理中,无需编写额外的适配逻辑即可原生流畅播放,并且所有文本交互与事件侦听仍然保持完好。更惊艳的是,当与 3D 折射模型结合时,滑块等 HTML 原生组件在被操作时会透过 3D 材质产生动态折射;甚至当用户触发浏览器的“在页面中查找”(Find in page)高亮检索文本时,匹配的文本高亮区域也会真实地随 3D 模型产生逼真的折射畸变。

```mermaid flowchart TD accTitle: HTML in Canvas 渲染与浏览器特性集成流 accDescr: 展示标准 DOM 与 SVG 如何经过 HTML in Canvas API 直接映射到 WebGL 纹理,并保留各项原生浏览器特性。

subgraph Input["标准 Web 技术栈"] HTML["标准 HTML DOM (文本/输入框/滑块)"] SVG["动态 SVG 动画"] CSS["响应式 CSS / 深色模式"] end

subgraph Engine["HTML-in-Canvas 引擎"] API["HTML-in-Canvas API"] end

subgraph Output["渲染与能力保留"] Texture["WebGL / WebGPU 3D 纹理与折射"] Features["原生浏览器能力: 查找/翻译/DevTools/无障碍树"] end

HTML --> API SVG --> API CSS --> API API --> Texture API --> Features ```

- **无障碍兼容性**:元素虽然置于 Canvas 内部,但无障碍树结构依然完全暴露,Lighthouse 测试可取得 100 分满分。 - **免代码播放动画 SVG**:动态 SVG 直接注入 WebGL 纹理自动循环播放,免去手动提取帧和复杂贴图计算。 - **全局能力折射渲染**:系统级的“在页面中查找”(Find in page)以及文本划选,均能透过 3D 模型表面计算折射效果。

---

[12:30](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=750s) 3D 书籍交互:动态字体、原生翻译与 AI 代理提取

在探讨更贴近实际商业场景的应用时,Thomas Nattestad 演示了一本使用 WebGL 渲染的 3D 交互式电子书。整本书的文本排版完全依托 HTML-in-Canvas API 与标准 DOM 进行排版定位。这也赋予了它极高的灵活性:读者如果想以古典字体阅读《福尔摩斯探案集》(*Sherlock Holmes*),只需切换 CSS 字体即可实时渲染;如果觉得古典衬线体不易阅读,随时可以一键更换为更加粗犷方正的趣味字体,3D 书籍的页面纹理会即刻无缝重排,用户对页面样式的控制力与普通网页毫无二致。

作为一名生活在非母语国家的人,Thomas 动情地谈到了这项 API 给自己带来的最喜爱特性——浏览器原生翻译功能: > “Speaking as somebody who lives in a country where I don't speak the language perfectly, A really important feature for me is the browser provided translate.”

当他在 3D 书籍界面点击 Chrome 的整页翻译为德语时,书页上的英文瞬间被替换为《*Die Abenteuer des Sherlock Holmes*》,所有 3D 表面上的排版纹理全自动刷新为德文。这意味着开发者再也不需要为了 3D 酷炫效果而牺牲多语言本地化支持,全球用户都可以用自己熟悉的语言体验前沿的 3D 场景。

更重要的是,在 AI 浪潮之下,语义完整性带来了巨大的机器可用性红利。Thomas 打趣说既然是在 Google I/O,就绝不能漏掉 AI 的话题: > “Now, it wouldn't be Google I/O unless I also have the chance to at least somewhere mention AI, and that's actually another place where this API comes in handy.”

传统 Canvas 对爬虫和 AI 代理来说是一片无法解析的“像素黑盒”,但由于 HTML-in-Canvas 的所有内容在底层依然是标准的 HTML 树,网络爬虫、AI 代理(AI Agents)以及简单的文本提取扩展都可以直接将其当作纯文本进行检索、抓取与互动。AI 代理可以在无需翻动 3D 书页的情况下,瞬时读取并提取全书内容,将其提供给文本转语音(TTS)引擎朗读给用户听。在另一个基于 WebGPU 的果冻滑块(Jelly Slider)演示中,数字与滑块的形变完美交互,开发者只需在 DevTools 中将属性 `step="1"` 改为 `step="5"`,滑块立刻响应步长吸附,证明了底层 DOM 状态驱动渲染的强大一致性。

---

[15:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=900s) 头部厂商原型试水、Origin Trial 与未来展望

尽管 HTML-in-Canvas API 仍处于早期阶段,但它已经引起了行业顶级桌面级 Web 应用软件商的强烈兴趣。Figma、Adobe、Miro 和 JetBrains 等行业巨头,都已率先着手构建原型并深入探索该 API 为各自下一代复杂 Web 应用带来的可能性。这种将原生 Web 语义与高性能 GPU 管道结合的模式,被广泛看作打破传统富图形应用与原生 Web 体验壁垒的关键钥匙。

截至 2026 年 5 月,该 API 已正式以 Origin Trial(源试验)的形式提供。这意味着开发者已经可以在生产环境中的 Chrome 浏览器里进行灰度实验和实地部署,只需在官方链接注册自己的网站域名(Origin)即可启用。

Thomas Nattestad 在演讲结尾处鼓励广大开发者大胆发挥创意,拥抱这一全新标准,并邀请大家将自己的得意之作提交至官方设立的开源资源库: > “We have an awesome HTML in Canvas readme file where we're hoping to keep track of some of the incredible things people are making, and there's a submission link for you to include your own amazing creations or finds.”

- **深度试用企业阵营**:Figma、Adobe、Miro、JetBrains 均已启动相关原型构建。 - **发布状态**:截至 2026 年 5 月,API 处于 Origin Trial 阶段,开发者注册域名即可在 Chrome 生产环境中试用。 - **生态共建平台**:官方开放了“Awesome HTML in Canvas”文档库与提交通道,持续收集来自全球开发者的创新展示案例。

## Notable quotes > [00:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=0s) The HTML and Canvas API is the bridge that gives you the best of both worlds by letting you paint DOM elements into a Canvas or WebGPU texture. — Thomas Nattestad

> [00:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=0s) HTML is the static source code you write, while the DOM is the live interactive model the browser builds from that code. — Thomas Nattestad

## Mentioned Thomas Nattestad, HTML-in-Canvas API, Google I/O 2026, Chrome, Chrome for Developers, WebGL, WebGPU, Google Docs, Three.js, PlayCanvas, Antigravity, Chrome DevTools, Lighthouse, 《福尔摩斯探案集》, Figma, Adobe, Miro, JetBrains

## Video description Learn how the HTML-in-Canvas API lets you draw HTML elements directly into a canvas while maintaining semantic information like accessibility and interactivity. then explore how to manipulate textures to create dynamic effects that still feel like interactive websites. We will cover the extensive capabilities of this API, review demonstrations of potential use cases, and understand the initial setup process.

Resources: https://goo.gle/HIC-how-to https://goo.gle/HIC-threejs https://goo.gle/HIC-threejs-example https://goo.gle/HIC-playcanvas https://goo.gle/HIC-playcanvas-example https://goo.gle/HIC-playcanvas-shoe https://goo.gle/HIC-explainer https://goo.gle/HIC-MWG https://goo.gle/HIC-samples https://goo.gle/awesome-HIC https://goo.gle/hic-central

Speakers: Thomas Nattestad

Watch the Chrome sessions from Google I/O 2026 → https://goo.gle/Chrome-at-IO2026

Subscribe to Chrome for Developers → https://goo.gle/ChromeDevs

#GoogleIO

Event: Google I/O 2026

Products Mentioned: Web, Chrome, Design

[Source](https://www.youtube.com/watch?v=TUtKGTeFWjQ)

中文简报

Chrome开启HTML-in-Canvas测试,打通3D图形与原生DOM HTML-in-Canvas API通过将实时DOM树直接光栅化到WebGL和WebGPU纹理中,同时保留原生无障碍功能、翻译及文本选中,消除了图形性能与Web可用性之间的历史性权衡。 Thomas Nattestad介绍了HTML-in-Canvas API,这是一项旨在弥合丰富DOM语义与高性能Canvas、WebGL及WebGPU渲染之间长期隔阂的原生平台能力。通过为canvas标记layoutSubtree、调用元素光栅化方法并利用CSS变换同步布局几何结构,开发者可以直接将实时UI组件绘制到图形渲染管线中,且不会丢失原生文本选中、无障碍树或浏览器内置功能集成。演示展示了从支持实时本地化的交互式3D翻页书,到能保留“在页面中查找”搜索高亮显示的折射WebGL着色器等多种实用案例。该API获得了Three.js和PlayCanvas等框架的支持,已于2026年5月在Chrome中作为Origin Trial推出,并正在受到Figma、Adobe及JetBrains等主要行业工具的积极探索。 Chrome已于2026年5月将HTML-in-Canvas API纳入Origin Trial测试,允许开发者将标准DOM元素直接绘制到2D canvas、WebGL或WebGPU纹理中,同时保留完整的无障碍性和交互能力。 (14:40) 该API解决了canvas渲染性能与DOM语义之间的历史性权衡,在GPU管线内部依然保持了原生文本选中、浏览器翻译以及100分的Lighthouse无障碍满分。 (10:00) 包括Figma、Adobe、Miro和JetBrains在内的主要行业软件创作者正在积极基于该API构建原型,以消除冗余的自定义文本排版引擎并恢复浏览器原生特性。 (14:40) 开源3D图形生态系统已集成了早期抽象实现,其中Three.js提供了THREE.HTMLTexture,PlayCanvas支持直接的DOM纹理绑定,并配套有专属的WebGL和WebGPU API原语。 (6:55)

精炼阅读摘要

Chrome for Developers 介绍了全新的 HTML-in-Canvas API,该技术旨在将标准 DOM 节点直接渲染至 Canvas、WebGL 以及 WebGPU 纹理中,在保留底层高性能图形渲染能力的同时,消除传统 Canvas 割裂浏览器原生无障碍、文本交互及系统生态的弊端。 弥合 DOM 与图形管线的长期分裂 (0:00) 传统的网页界面设计长期存在两难选择:DOM 提供了响应式排版、语义层级以及右键菜单、拖拽复制、屏幕阅读器和表单自动填充等深度系统集成;而 Canvas、WebGL 和 WebGPU 虽然赋予了开发者对底层像素网格的高性能控制权,却牺牲了整个浏览器能力层。开发者在构建如游戏或 Google Docs 等复杂应用时,往往需要自行开发复杂的文本布局引擎或引入体积庞大的第三方库,导致打包体积膨胀且破坏了文本交互体验。Thomas Nattestad 指出,HTML-in-Canvas API 正是作为原生桥梁出现,让开发者无需在图形渲染性能与原生可访问性之间做出妥协。 核心渲染工作流与 2D/3D 坐标同步 (3:19) 该 API 的基础运作分为准备、绘制与坐标同步三个阶段。首先,开发者需在目标 `<canvas>` 上声明 `layoutSubtree` 属性,以通知浏览器排版引擎对其内部嵌套的 DOM 树进行测量、命中测试并接入辅助工具树。随后,在标准 2D 环境中通过 `onPaint` 事件调用 `drawElementImage()` 执行绘制;在 WebGL 中使用对应接口 `texElementImage2D()`,在 WebGPU 中则使用 `copyElementImageToTexture()` 将节点光栅化为纹理。该过程的关键在于生命周期与空间变换管理:2D 绘制返回的变换矩阵或 3D 视口投影经由 `canvas.getElementTransform()` 计算出的矩阵,必须动态绑定回对应 DOM 元素的 `style.transform` 属性上,从而确保命中测试边界、选区和无障碍覆盖层能够精确跟随像素表面的移动或旋转。此外,开发者若不在元素停止绘制时将其移出 Canvas 树,该节点将在无障碍树中以幽灵状态持续驻留;面对高分屏设备,则需结合 `ResizeObserver` 动态同步物理分辨率以防止渲染模糊。 三维框架抽象与高级着色器交互 (6:55) 针对复杂的 3D 坐标数学投影,开源社区已提供初步抽象支持。Three.js 引入了实验性的 `THREE.HTMLTexture` 接口,允许将 DOM 节点直接转换为材质贴图并赋予几何体网格;PlayCanvas 亦支持通过事件监听将 HTML 元素设为贴图源,并在浏览器重绘时自动上传更新材质,同时内置了用于非支持环境的软件 Polyfill 回退机制(但 Polyfill 无法实现原生无障碍接入)。在视觉渲染层面上,该 API 能够无缝兼容现代 WebGL 与 WebGPU 着色器特效:在数字广告牌案例中,矢量动态 SVG 能在 WebGL 纹理中流畅播放;在折射与扭曲着色器示例中,滑块与文本在经受玻璃材质折射或鼠标交互拉伸形变的同时,浏览器的原生页面搜索(`Cmd+F` / `Ctrl+F`)高亮与光标文本拖拽选择依然能够自适应贴合变形后的几何体表面。 完整生态保留:无障碍、本地化与 AI 可读性 (10:00) 尽管界面被绘制至 Canvas 纹理内部,该 API 依然完整保留了底层 DOM 的交互与审查能力。在无障碍测试中,嵌入 Canvas 的 DOM 树在 Lighthouse 审计中可获得满分 100 分的无障碍评分,屏幕阅读器与开发者工具(DevTools)审查均能正常运作,右键直接点击 3D 贴图表面即可定位 live DOM 并实时热修改 CSS 属性或响应系统级深色模式切换。在交互式 3D 书籍演示中,开发者可通过修改标准 CSS 动态切换西文字体或排版,内置的 Chrome 翻译引擎可即时将页面内容翻译为德语而无需改变底层 3D 几何架构。更重要的是,保留结构化 DOM 解决了 Canvas 长期以来的“黑盒”困境,使得网络爬虫、AI 浏览代理及浏览器扩展无需依赖光学字符识别(OCR)即可直接读取、提取并朗读三维场景中的真实文本内容。 HTML-in-Canvas API 现已在 Chrome 中进入 Origin Trial 阶段(截至 2026 年 5 月),并已吸引 Figma、Adobe、Miro 和 JetBrains 等行业厂商展开原型开发验证。由于该 API 仍处于开放 Web 标准化进程中,需要各浏览器厂商协同跟进,目前不支持该特性的浏览器仍依赖仅能还原视觉效果但缺失原生语义与无障碍支持的 Polyfill 方案。

Detailed notes — zh

## Background 本内容由 Chrome for Developers 官方频道于 2026 年 5 月 21 日在 YouTube 平台发布,记录了 Google I/O 2026 大会上的技术分享。视频由 Thomas Nattestad 主讲,页面简介指出,本次演讲旨在介绍如何通过 HTML-in-Canvas API 将 HTML 元素直接绘制到 Canvas 画布中,在保留无障碍访问与交互等语义特性的同时操控纹理以创造动态视觉效果,并涵盖了其功能概览、应用演示及初始配置流程。 ## TL;DR 演讲系统性地介绍了全新的 HTML-in-Canvas API,它成功架起了标准 DOM 语义与底层图形管线(Canvas 2D、WebGL、WebGPU)之间的桥梁,既解决了传统 Canvas 渲染丢失原生可访问性与排版特性的痛点,又赋予了 Web UI 强大的高性能图形控制力。核心实现依赖在画布上声明 layoutsubtree 属性,并通过 drawElementImage 等专属 API 配合 transform 变换矩阵完成触控对齐,同时主流框架如 Three.js 和 PlayCanvas 已提供开箱即用的实验性封装。现场还通过 3D 折射模型、动态 SVG 贴图以及 3D 电子书等实战案例,生动展示了该 API 对全页翻译、页内查找、深色模式以及 AI 代理提取等浏览器原生能力的无损保留。目前,Figma、Adobe 等头部软件厂商已着手构建原型,该功能也已在 Chrome 中以 Origin Trial 形式开放试用。 ## Atmosphere & style 整场演讲洋溢着前沿技术发布的兴奋感与极客探索热情,主讲人 Thomas 的叙述兼具严谨的技术架构剖析与生动幽默的现场互动。从对比底层渲染机制到现场实时把玩 3D 交互 Demo,演示过程层层推进,尤其是展示 3D 页面瞬间自适应多语言翻译和折射高亮时,带来极具冲击力的“魔术感”。技术讲解深入浅出,既坦承三维空间数学对齐的复杂性,又展现出对开放 Web 标准和未来 UI 范式演进的十足信心,整体观感干货密集且令人深受鼓舞。 ## Bulletin - [00:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=0s) Google 推出全新的 HTML-in-Canvas API,允许将标准 DOM 元素直接绘制到 Canvas、WebGL 或 WebGPU 纹理中,同时完整保留可访问性与原生交互体验。 - [10:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=600s) 该 API 突破性地保留了屏幕阅读器支持、整页翻译及页内查找等浏览器原生特性,在 Canvas 内部渲染的 UI 依然可获得 Lighthouse 无障碍评分 100 分。 - [05:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=300s) Three.js 与 PlayCanvas 等主流 3D 图形引擎已推出实验性支持,极大地简化了三维视口变换与矩阵同步的数学计算。 - [15:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=900s) 截至 2026 年 5 月,该 API 已在 Chrome 中开启 Origin Trial,Figma、Adobe、Miro 和 JetBrains 等头部企业均已启动原型开发以探索下一代富图形 Web 应用。 ## Key takeaways - [00:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=0s) HTML-in-Canvas API 架起了传统 DOM 丰富语义与 Canvas/GPU 高性能底层像素渲染之间的桥梁,兼得两者的核心优势。 - [00:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=0s) 传统 Canvas 属于无法被浏览器理解的像素网格,会破坏划选、自动填充、辅助功能等所有浏览器原生特性,而该 API 终结了这一两难困局。 - [00:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=0s) 使用该 API 的核心三步为:配置画布与 layoutsubtree 属性、将元素绘制到画布或纹理中、更新 DOM 元素的 transform 坐标以对齐点击命中区域。 - [05:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=300s) 在 2D 上下文中核心调用为 drawElementImage,推荐置于 onPaint 事件中监听并动态重绘,结合 ResizeObserver 与设备像素比避免画面模糊。 - [05:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=300s) 在 WebGL 和 WebGPU 中分别对应 texElementImage2D 与 copyElementImageToTexture,无缝对齐已有的外部图像贴图管线。 - [05:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=300s) 三维场景中需要将 3D 物体空间映射到 CSS 屏幕坐标,主流引擎如 Three.js(THREE.HTMLTexture)和 PlayCanvas 已封装这些底层矩阵变换。 - [10:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=600s) Canvas 内部结构对 DevTools 和无障碍树完全透明,开发者不仅能实时检查修改 DOM,还能使 Lighthouse 可访问性测试达到满分 100 分。 - [10:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=600s) 支持动态 SVG 动画免代码直接嵌入 3D 纹理播放,且文本交互与事件侦听仍然保持完好。 - [10:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=600s) 即使与高阶 3D 折射模型结合,浏览器系统的“在页面中查找”(Find in page)高亮与文本选择也能实时呈现逼真的折射畸变。 - [12:30](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=750s) 在 3D 书籍案例中,CSS 字体切换可实时重排 3D 页面纹理,且深度集成 Chrome 整页翻译,打破了多语言本地化与 3D 效果难以兼得的壁垒。 - [12:30](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=750s) 保留完整的底层 HTML 树使 3D 场景不再是爬虫和 AI 代理的“黑盒”,智能体可无需翻页直接提取全文并交由 TTS 引擎朗读。 - [15:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=900s) API 正式进入 Origin Trial 阶段供开发者在生产环境灰度验证,Figma、Adobe 等头部桌面级 Web 应用厂商已率先展开原型试水。 ## Detailed walkthrough ### [00:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=0s) HTML-in-Canvas API 概览与 DOM 与 Canvas 的优劣对比 演讲者 Thomas 登台向大家介绍了全新的 HTML-in-Canvas API。该 API 允许开发者将标准的 DOM 内容直接绘制到 `<canvas>` 元素或者 WebGL/WebGPU 纹理中,同时完全保留 UI 的交互性、可访问性(Accessibility),并无缝集成浏览器内置的各项原生功能。Thomas 强调,现场展示的所有 Demo 都基于大家熟知且热爱的标准 HTML 构建,但呈现形式却是此前难以想象的。 为了让大家深入理解这项技术,Thomas 先从底层对 DOM 和 Canvas 的各自优势进行了拆解。虽然他在演讲中将 DOM 和 HTML 混用,但他严谨地指出了二者的概念区分:“HTML is the static source code you write, while the DOM is the live interactive model the browser builds from that code.”(HTML 是你编写的静态源代码,而 DOM 则是浏览器根据这些代码构建的实时交互模型)。HTML-in-Canvas API 不仅改变了页面上的静态 HTML,还会实时更新 DOM 结构以实现全方位的交互。 ```mermaid flowchart TD accTitle: DOM 与 Canvas 结合工作流 accDescr: 展示 DOM 语义特性与 Canvas 底层渲染通过 HTML-in-Canvas API 实现融合的流程架构 subgraph DOM_Features["DOM 优势 (语义与浏览器集成)"] A["文本排版 / 响应式布局"] B["无障碍访问 / 屏幕阅读器"] C["原生功能 (翻译/页内查找/自动填充)"] end subgraph Canvas_Power["Canvas / WebGL / WebGPU 优势"] D["底层高性能图形控制"] E["2D / 3D 渲染管线驱动像素网格"] F["复杂 UI 渲染 (游戏 / Google Docs)"] end DOM_Features --> G["HTML-in-Canvas API 桥梁"] Canvas_Power --> G G --> H["Canvas 内部渲染可交互且具备无障碍特性的 DOM 纹理"] ``` DOM 是 Web UI 的基石,拥有浏览器开箱即用的强大文本排版和富交互布局系统,用户能够顺畅地完成划选文本复制、右键保存图片等习以为常的操作;更关键的是,DOM 深度集成了辅助功能(Accessibility)、整页翻译(Translate)、页内查找(Find in page)、阅读模式(Reader mode)、浏览器扩展插件、深色模式(Dark mode)、缩放(Browser zoom)以及表单自动填充(Autofill)等核心体验。相反,Canvas 配合 WebGL 和 WebGPU 提供了极为强大的底层控制力,适用于游戏或 Google Docs 等包含复杂 UI 的场景。然而,Canvas 终究只是一块像素网格,开发者不仅需要自行或借助体积庞大的框架来处理响应式排版逻辑,还会彻底破坏上述所有浏览器原生特性。Thomas 指出,HTML-in-Canvas API 正是终结这一两难困境的桥梁:“The HTML and Canvas API is the bridge that gives you the best of both worlds by letting you paint DOM elements into a Canvas or WebGPU texture.”(HTML-in-Canvas API 是一座桥梁,它允许你将 DOM 元素绘制到 Canvas 或 WebGPU 纹理中,从而兼得两者的优势)。目前该 API 已在 Chrome 中正式提供,团队也在积极与其他浏览器厂商推进开放标准制定。 - **三步使用流程**:配置 Canvas 画布、将元素绘制到画布或纹理中、更新元素的 transform 告知浏览器其真实物理坐标。 - **配置属性**:在目标 `<canvas>` 标签上添加 `layoutsubtree` 属性,使浏览器能够感知并布局 Canvas 内部的 DOM 子树,以便进行命中测试(Hit testing)和辅助功能暴露。 - **HTML 书写方式**:直接在 `<canvas>` 内部书写结构(如 `<form>`、`<input>`),或通过 JavaScript 动态创建并插入。 ### [05:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=300s) 2D/3D API 渲染实现、三维空间变换与框架集成生态 在具体的代码实现层面上,在 Canvas 内部书写 HTML 只是先决条件,真正的绘制必须通过明确的 API 调用来触发。针对 2D 上下文,核心调用为 `drawElementImage`,它接收目标 DOM 元素以及绘制在画布上的 X、Y 坐标。推荐将此调用置于元素的 `onPaint` 事件监听器中,这样每当元素需要重绘(例如用户选中文本或触发“页内查找”高亮时)都会自动触发更新。该方法会返回一个坐标变换矩阵,开发者必须将其应用到 DOM 对象的 CSS `transform` 样式属性上,以便浏览器精准对齐交互触控区域。如果不再绘制某个元素,必须及时将其从 Canvas 内部移除,否则辅助功能系统仍会将其视作活跃内容。此外,为了避免渲染模糊,需要利用 `ResizeObserver` 监听画布尺寸并结合设备像素比(scale factor)精确设置 Canvas 的 `width` 与 `height`。 ```mermaid flowchart LR accTitle: 3D 空间坐标变换流程 accDescr: 展示将 3D 场景中的网格物体坐标映射到 CSS 屏幕坐标系并同步给 DOM 的流程 A["3D 坐标空间 (Mesh / Texture)"] --> B["视口变换 (Viewport Transformation)"] B --> C["getElementTransform() 提取变换矩阵"] C --> D["赋予 DOM element.style.transform"] D --> E["浏览器命中测试与原生事件对齐"] ``` 在 WebGL 环境下,API 提供了 `texElementImage2D` 方法,其签名与原有的 `texImage2D` 完全对应,只是将传统的图像源参数替换为 DOM 元素引用;而在 WebGPU 中,对应的方法为 `copyElementImageToTexture`,对齐了已有的 `copyExternalImageToTexture`。三维场景下的最大挑战在于坐标对齐,开发者需要应用视口变换将三维场景空间映射至 CSS 屏幕空间,再通过画布提供的 `getElementTransform` 获取实际矩阵并赋给 DOM。Thomas 坦言这部分数学计算较为繁琐:“That's all a little difficult and confusing, but luckily that's why we have amazing frameworks to help do that heavy lifting so that you can focus on easily using the feature.”(这确实有点复杂和令人困惑,但幸运的是,我们拥有出色的框架来分担这些繁重的工作,让你能够专注于轻松使用该特性)。主流 3D 引擎已迅速跟进集成: - **Three.js**:已推出实验性支持,开发者只需调用 `THREE.HTMLTexture` 传入目标 DOM 元素生成贴图,将其挂载为材质的 `map`,随后赋给网格几何体(如立方体盒子)即可直接生效。 - **PlayCanvas**:支持使用 `layoutsubtree` 画布与 HTML 元素创建 PlayCanvas 纹理,通过事件监听将纹理源指定为该元素,并在浏览器触发重绘时自动重新上传纹理,最终作为材质的漫反射贴图(Diffuse map)赋给模型。 - **降级回退机制**:PlayCanvas 的示例中还集成了针对不支持该 API 的环境的 Polyfill 自动降级方案;虽然降级后无法享受浏览器原生特性集成,但依然是生产环境推荐的最佳实践。 - **复杂实战演示(Shoe Demo)**:展示了一款 3D 球鞋展示应用,鞋身样式选择器界面使用简洁的 HTML 编写,且能够跟随光标在三维空间中动态倾斜游走,展现出震撼的三维质感。 - **AI 编码助手适配**:针对 Antigravity 等新型编码工具由于训练数据滞后而不了解该新 API 的情况,Thomas 建议将 Explainer 规范链接以及官方的现代 Web 指南(Modern Web Guidance)喂给 AI 工具作为上下文。 - **初探文字排版 Demo**:在官方示例页面中,展示了包括从右至左(RTL)书写以及纵向文字排版的复杂文本渲染;打开浏览器 DevTools 可以清晰确认,所有内容在技术上真实嵌套在 `<canvas>` 节点内部,同时完全保留交互与选中能力。 ### [10:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=600s) 深度可访问性、动态 WebGL 纹理与 3D 渲染实战 HTML-in-Canvas API 真正颠覆性的一点,在于它并没有将渲染内容退化为一堆失去语义的静态像素。当用户在 Canvas 中拖拽图像、右键保存,甚至是渲染内置的 SVG 元素时,底层的语义信息依然完好无损。在 Chrome DevTools 的无障碍功能树(Accessibility Tree)视图中,Canvas 内部的所有节点都能被屏幕阅读器等辅助工具正常抓取。即使整个 UI 都绘制在 Canvas 之中,它在 Lighthouse 中的可访问性评分依然可以达到完美的 100 分。 在实际的 WebGL 应用场景中,开发者可以直接将标准 HTML 界面绘制成 WebGL 纹理。用户不仅能与其中的文本、滑块和文本输入框无缝交互,还可以直接在 3D 表面上右键单击并选择“检查元素”(Inspect)。DevTools 会直接定位到对应的底层 HTML DOM,当开发者在 DevTools 中实时修改文案(比如将控件文本改为超级简单的控制文案)时,WebGL 纹理中的界面会瞬间自动响应更新。同时,如果页面 CSS 配置了深色模式,只需在浏览器端切换系统外观,3D 场景中的 HTML 纹理也会同步完成主题样式的自适应切换。 这项能力同样延展到了矢量动画与高阶图形特效领域。如果开发者想要制作一个 3D 广告牌效果,可以直接引入一个动态的 SVG(例如一支不断运动的铅笔)。过去在 WebGL 纹理中实现动态矢量图形需要极其复杂的代码,而现在这一动画 SVG 不仅直接被绘制在 Canvas 里,更无缝嵌入到了 WebGL 纹理中,无需编写额外的适配逻辑即可原生流畅播放,并且所有文本交互与事件侦听仍然保持完好。更惊艳的是,当与 3D 折射模型结合时,滑块等 HTML 原生组件在被操作时会透过 3D 材质产生动态折射;甚至当用户触发浏览器的“在页面中查找”(Find in page)高亮检索文本时,匹配的文本高亮区域也会真实地随 3D 模型产生逼真的折射畸变。 ```mermaid flowchart TD accTitle: HTML in Canvas 渲染与浏览器特性集成流 accDescr: 展示标准 DOM 与 SVG 如何经过 HTML in Canvas API 直接映射到 WebGL 纹理,并保留各项原生浏览器特性。 subgraph Input["标准 Web 技术栈"] HTML["标准 HTML DOM (文本/输入框/滑块)"] SVG["动态 SVG 动画"] CSS["响应式 CSS / 深色模式"] end subgraph Engine["HTML-in-Canvas 引擎"] API["HTML-in-Canvas API"] end subgraph Output["渲染与能力保留"] Texture["WebGL / WebGPU 3D 纹理与折射"] Features["原生浏览器能力: 查找/翻译/DevTools/无障碍树"] end HTML --> API SVG --> API CSS --> API API --> Texture API --> Features ``` - **无障碍兼容性**:元素虽然置于 Canvas 内部,但无障碍树结构依然完全暴露,Lighthouse 测试可取得 100 分满分。 - **免代码播放动画 SVG**:动态 SVG 直接注入 WebGL 纹理自动循环播放,免去手动提取帧和复杂贴图计算。 - **全局能力折射渲染**:系统级的“在页面中查找”(Find in page)以及文本划选,均能透过 3D 模型表面计算折射效果。 --- ### [12:30](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=750s) 3D 书籍交互:动态字体、原生翻译与 AI 代理提取 在探讨更贴近实际商业场景的应用时,Thomas Nattestad 演示了一本使用 WebGL 渲染的 3D 交互式电子书。整本书的文本排版完全依托 HTML-in-Canvas API 与标准 DOM 进行排版定位。这也赋予了它极高的灵活性:读者如果想以古典字体阅读《福尔摩斯探案集》(*Sherlock Holmes*),只需切换 CSS 字体即可实时渲染;如果觉得古典衬线体不易阅读,随时可以一键更换为更加粗犷方正的趣味字体,3D 书籍的页面纹理会即刻无缝重排,用户对页面样式的控制力与普通网页毫无二致。 作为一名生活在非母语国家的人,Thomas 动情地谈到了这项 API 给自己带来的最喜爱特性——浏览器原生翻译功能: > “Speaking as somebody who lives in a country where I don't speak the language perfectly, A really important feature for me is the browser provided translate.” 当他在 3D 书籍界面点击 Chrome 的整页翻译为德语时,书页上的英文瞬间被替换为《*Die Abenteuer des Sherlock Holmes*》,所有 3D 表面上的排版纹理全自动刷新为德文。这意味着开发者再也不需要为了 3D 酷炫效果而牺牲多语言本地化支持,全球用户都可以用自己熟悉的语言体验前沿的 3D 场景。 更重要的是,在 AI 浪潮之下,语义完整性带来了巨大的机器可用性红利。Thomas 打趣说既然是在 Google I/O,就绝不能漏掉 AI 的话题: > “Now, it wouldn't be Google I/O unless I also have the chance to at least somewhere mention AI, and that's actually another place where this API comes in handy.” 传统 Canvas 对爬虫和 AI 代理来说是一片无法解析的“像素黑盒”,但由于 HTML-in-Canvas 的所有内容在底层依然是标准的 HTML 树,网络爬虫、AI 代理(AI Agents)以及简单的文本提取扩展都可以直接将其当作纯文本进行检索、抓取与互动。AI 代理可以在无需翻动 3D 书页的情况下,瞬时读取并提取全书内容,将其提供给文本转语音(TTS)引擎朗读给用户听。在另一个基于 WebGPU 的果冻滑块(Jelly Slider)演示中,数字与滑块的形变完美交互,开发者只需在 DevTools 中将属性 `step="1"` 改为 `step="5"`,滑块立刻响应步长吸附,证明了底层 DOM 状态驱动渲染的强大一致性。 --- ### [15:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=900s) 头部厂商原型试水、Origin Trial 与未来展望 尽管 HTML-in-Canvas API 仍处于早期阶段,但它已经引起了行业顶级桌面级 Web 应用软件商的强烈兴趣。Figma、Adobe、Miro 和 JetBrains 等行业巨头,都已率先着手构建原型并深入探索该 API 为各自下一代复杂 Web 应用带来的可能性。这种将原生 Web 语义与高性能 GPU 管道结合的模式,被广泛看作打破传统富图形应用与原生 Web 体验壁垒的关键钥匙。 截至 2026 年 5 月,该 API 已正式以 Origin Trial(源试验)的形式提供。这意味着开发者已经可以在生产环境中的 Chrome 浏览器里进行灰度实验和实地部署,只需在官方链接注册自己的网站域名(Origin)即可启用。 Thomas Nattestad 在演讲结尾处鼓励广大开发者大胆发挥创意,拥抱这一全新标准,并邀请大家将自己的得意之作提交至官方设立的开源资源库: > “We have an awesome HTML in Canvas readme file where we're hoping to keep track of some of the incredible things people are making, and there's a submission link for you to include your own amazing creations or finds.” - **深度试用企业阵营**:Figma、Adobe、Miro、JetBrains 均已启动相关原型构建。 - **发布状态**:截至 2026 年 5 月,API 处于 Origin Trial 阶段,开发者注册域名即可在 Chrome 生产环境中试用。 - **生态共建平台**:官方开放了“Awesome HTML in Canvas”文档库与提交通道,持续收集来自全球开发者的创新展示案例。 ## Notable quotes > [00:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=0s) The HTML and Canvas API is the bridge that gives you the best of both worlds by letting you paint DOM elements into a Canvas or WebGPU texture. — Thomas Nattestad > [00:00](https://www.youtube.com/watch?v=TUtKGTeFWjQ&t=0s) HTML is the static source code you write, while the DOM is the live interactive model the browser builds from that code. — Thomas Nattestad ## Mentioned Thomas Nattestad, HTML-in-Canvas API, Google I/O 2026, Chrome, Chrome for Developers, WebGL, WebGPU, Google Docs, Three.js, PlayCanvas, Antigravity, Chrome DevTools, Lighthouse, 《福尔摩斯探案集》, Figma, Adobe, Miro, JetBrains ## Video description Learn how the HTML-in-Canvas API lets you draw HTML elements directly into a canvas while maintaining semantic information like accessibility and interactivity. then explore how to manipulate textures to create dynamic effects that still feel like interactive websites. We will cover the extensive capabilities of this API, review demonstrations of potential use cases, and understand the initial setup process. Resources: https://goo.gle/HIC-how-to https://goo.gle/HIC-threejs https://goo.gle/HIC-threejs-example https://goo.gle/HIC-playcanvas https://goo.gle/HIC-playcanvas-example https://goo.gle/HIC-playcanvas-shoe https://goo.gle/HIC-explainer https://goo.gle/HIC-MWG https://goo.gle/HIC-samples https://goo.gle/awesome-HIC https://goo.gle/hic-central Speakers: Thomas Nattestad Watch the Chrome sessions from Google I/O 2026 → https://goo.gle/Chrome-at-IO2026 Subscribe to Chrome for Developers → https://goo.gle/ChromeDevs #GoogleIO Event: Google I/O 2026 Products Mentioned: Web, Chrome, Design [Source](https://www.youtube.com/watch?v=TUtKGTeFWjQ)

Source quotes

[0:00] Thomas Nattestad: The HTML and Canvas API is the bridge that gives you the best of both worlds by letting you paint DOM elements into a Canvas or WebGPU texture. [0:00] Thomas Nattestad: HTML is the static source code you write, while the DOM is the live interactive model the browser builds from that code.