谷歌联手Meta开源TorchTPU 废弃八年旧架构直攻英伟达生态

AI技术投降派

TorchTPU通过极简代码迁移抹平了跨芯片软件摩擦，将AI算力竞争拉回纯粹的性价比对决，但CUDA积淀二十年的底层工程生态仍非一次开源所能轻易撼动。

AI-assisted summary of 改1行代码上TPU，谷歌8年老路线退役了 — original source. Check the original for full context.

Source published: 2026-10-22

Key ideas

Google 联手 Meta 正式开源 TorchTPU 并宣布弃用历经八年的 PyTorch/XLA，老仓库定于 11 月 15 日归档，仅留四周迁移窗口。 (0:00)
TorchTPU 采用 C++ 原生后端并提供四档执行模式，官方实测 Hugging Face 前 5000 模型有 98% 可跑通、97% 与 GPU 数值对齐，代码迁移通常仅需修改设备与分布式通信两处字符串。 (1:50)
在大规模训练实测中，8192 颗 Ironwood TPU 训练 Qwen3 MoE 的单核算力仅下降 5.9%，64 卡规模下 PyTorch 路径吞吐量与 Google 亲儿子 JAX 仅差 6%。 (4:16)
SemiAnalysis 独立测试显示 4 颗 Ironwood 在推理场景每美元性能胜过 72 颗 GB300 整机，训练场景单位 Token 产出成本比 B200 便宜约 50%。 (5:02)
尽管软件迁移摩擦被大幅降低，开发者仍面临获取门槛高（中小团队难买到）、默认利用率仅约 30% 需重写 Pallas 内核，以及追赶 CUDA 二十年生态积累等现实挑战。 (6:01)

Detailed notes

## Background 该内容由 B站 UP 主“AI技术投降派”于 2026 年 10 月 22 日发布。视频简介指出，Google 与 Meta 在 PyTorch 大会上联合开源了 TorchTPU，并正式弃用归档运营八年的 PyTorch/XLA 项目，旨在推倒过去痛点丛生的旧路线，通过极低代码修改成本在 TPU 上架设直连 PyTorch 的新桥梁。

## TL;DR Google 联手 Meta 彻底推翻了深陷无 Eager 模式与反复重编译泥潭的 PyTorch/XLA 架构，推出基于 C++ 原生扩展槽位的 TorchTPU，使开发者仅需修改两处字符串即可迁移。经实测，HuggingFace 前 5000 个模型中有 98% 能稳定跑通，并在 8192 颗 Ironwood 集群训练 Qwen3 MoE 时展现出近线性扩展能力，性能紧咬自家 JAX 框架。随着 AWS 与 Google 相继推动 PyTorch 原生化，AI 芯片竞争逐步演变为每美元 Token 产出的底层性价比比拼。然而，面对 TPU 的租用门槛、Google 项目烂尾的历史顾虑以及 CUDA 二十年软硬件生态的深厚积淀，迁移大桥虽已合龙，工程抉择仍需审慎权衡。

## Atmosphere & style 全片解说语速紧凑、风格硬核且充满工程师式的辛辣幽默，将复杂的编译器转译与巨头商战拆解得生动透彻。叙事从开发者饱受旧架构“八小时无声挂起”折磨的痛点切入，随后以极具冲击力的测试数据展现新桥合龙的技术快感，情绪跌宕起伏。后半段话锋一转泼下“三盆冷水”，冷峻剖析真实算力账本与生态差距，让整场分享既有推倒旧世界的技术快意，又洋溢着资深从业者冷静客观的行业清醒感。

## Bulletin - [00:00](https://www.bilibili.com/video/BV1NMnC6JEag?t=0s) Google 联手 Meta 正式开源 TorchTPU 并宣布弃用历经八年的 PyTorch/XLA，老仓库定于 11 月 15 日归档，仅留四周迁移窗口。 - [01:50](https://www.bilibili.com/video/BV1NMnC6JEag?t=110s) TorchTPU 采用 C++ 原生后端并提供四档执行模式，官方实测 Hugging Face 前 5000 模型有 98% 可跑通、97% 与 GPU 数值对齐，代码迁移通常仅需修改设备与分布式通信两处字符串。 - [04:16](https://www.bilibili.com/video/BV1NMnC6JEag?t=256s) 在大规模训练实测中，8192 颗 Ironwood TPU 训练 Qwen3 MoE 的单核算力仅下降 5.9%，64 卡规模下 PyTorch 路径吞吐量与 Google 亲儿子 JAX 仅差 6%。 - [05:02](https://www.bilibili.com/video/BV1NMnC6JEag?t=302s) SemiAnalysis 独立测试显示 4 颗 Ironwood 在推理场景每美元性能胜过 72 颗 GB300 整机，训练场景单位 Token 产出成本比 B200 便宜约 50%。 - [06:01](https://www.bilibili.com/video/BV1NMnC6JEag?t=361s) 尽管软件迁移摩擦被大幅降低，开发者仍面临获取门槛高（中小团队难买到）、默认利用率仅约 30% 需重写 Pallas 内核，以及追赶 CUDA 二十年生态积累等现实挑战。

## Key takeaways - [00:00](https://www.bilibili.com/video/BV1NMnC6JEag?t=0s) 八年路线彻底推倒：Google 官方直面 PyTorch/XLA 缺乏 Eager 模式、改形状触发重编及无声挂起等痛点，正式弃用老旧图捕获与 torchax 折中方案。 - [01:50](https://www.bilibili.com/video/BV1NMnC6JEag?t=110s) 硬件一等公民定位：TorchTPU 使用 C++ 挂载进 PyTorch 原生硬件扩展槽位，使用户直接操作真实 torch.Tensor，彻底告别封装壳子式的 Lazy Tensor。 - [01:50](https://www.bilibili.com/video/BV1NMnC6JEag?t=110s) 四档细分执行模式：新架构同时提供严格 Eager、带越界检查的同步 Eager、延迟与融合模式（比纯 Eager 快 50% 以上）以及整图编译模式，平衡开发排错与峰值性能。 - [03:01](https://www.bilibili.com/video/BV1NMnC6JEag?t=181s) 极低的基础迁移成本：常规脚本仅需将设备改为 tpu、通信后端改为 tpu_dist，主流基础设施如 vLLM、SGLang、TorchTitan 与 Ray 均已完成初步支持。 - [03:01](https://www.bilibili.com/video/BV1NMnC6JEag?t=181s) 峰值性能仍需手工打磨：开箱即用的代码往往只有约 30% MFU，想要拉升至 50% 以上仍需精细重写 Pallas 内核与分片方案，“改一行能跑”并不等同于“跑满硬件”。 - [04:16](https://www.bilibili.com/video/BV1NMnC6JEag?t=256s) 大规模扩展力得到验证：在 2350 亿参数 Qwen3 MoE 训练中，从 1024 扩展至 8192 颗 Ironwood 芯片仅衰减 5.9% 单核算力，展现强悍的近线性扩展特征。 - [04:16](https://www.bilibili.com/video/BV1NMnC6JEag?t=256s) 打破 JAX 框架特权：在 64 颗芯片的同等规模下，PyTorch 吞吐量达到 1828，与 JAX 原生基线的 1937 仅相差 6%，抹平了两大框架在 TPU 上的鸿沟。 - [05:02](https://www.bilibili.com/video/BV1NMnC6JEag?t=302s) AI 框架中立化大势所趋：继 AWS 为 Trainium 推出 Torch Neuron 后，Google 原生支持 TorchTPU，倒逼竞争回到底层芯片的纯粹算力与价格战。 - [05:02](https://www.bilibili.com/video/BV1NMnC6JEag?t=302s) 算力账本逻辑重构：虽然训练芯片单价租金高于 H100，但在计算“每美元产出 Token 数”时，Ironwood 比英伟达 B200 便宜约 50%，推理效费比打赢 GB300 整机。 - [06:01](https://www.bilibili.com/video/BV1NMnC6JEag?t=361s) 云厂商与框架巨头的商业合谋：Google 靠 TPU 出售云算力锁定千亿美元级大客户，Meta 出资深工程师参与核心开发并用业务背书，PyTorch 借此摆脱“CUDA 高级封装”标签。 - [06:52](https://www.bilibili.com/video/BV1NMnC6JEag?t=412s) 获取门槛依然极高：TPU 依然不对外零售裸机，资源高度倾斜于 Anthropic 等头部巨擘，对于普通中小开发者而言依然如同难以触及的 Unobtainium。 - [06:52](https://www.bilibili.com/video/BV1NMnC6JEag?t=412s) 历史公墓记忆引发顾虑：Google 历史上如 Coral 边缘芯片烂尾的砍项目习惯，使部分开发者对官方长期维护投入心存芥蒂，且四周的老架构归档周期极为仓促。 - [07:42](https://www.bilibili.com/video/BV1NMnC6JEag?t=462s) 跨生态桥梁合龙：TorchTPU 磨平了代码跨硬件迁移的一半软件阻力，但 CUDA 积累二十年的工程工具链与社区认知惯性，仍需全行业长期博弈。

## Detailed walkthrough ### [00:00](https://www.bilibili.com/video/BV1NMnC6JEag?t=0s) 图纸封面：同日双官宣与八年旧路推倒

在 10 月 20 日的 PyTorch 大会上，Google 和 Meta 联手开源了名为 TorchTPU 的全新项目。与此同时，官方还同步发布了另一条重磅通知：历经八年的老项目 PyTorch/XLA 正式弃用，代码仓库将于 11 月 15 日归档。官方以极其罕见的直接姿态向开发者承认，过去在 TPU 上跑 PyTorch 的方案修得不好，如今选择彻底推倒重来。针对这场软硬件生态的大地震，分析师给出了精准的评价：“CUDA 的护城河是真的，但护城河可以架桥。”

回顾旧路，PyTorch/XLA 诞生于 2018 年前后，核心思路是将 PyTorch 程序截取成计算图，再交由 XLA 编译器执行。这套设计给实际工程带来了极其痛苦的使用体验：图捕获必须手动圈定编译区域，张量形状稍微一改就会触发耗时的重新编译；调试时，开发者看到的报错信息隔着一层厚重的编译器，完全丧失了逐行排错的能力。而在 GPU 上习以为常的 Eager 模式在 TPU 上彻底缺席，导致开发调试几乎盲盒化。后来 Google 曾推出过折中方案 torchax，尝试将 PyTorch 塞进 JAX 的运行模式中，但折腾了整整两年，官方博客如今用“硬塞”二字自嘲，正式承认此路不通。

> “一堆没有文档的行为和 bug，训练 8 小时后无声挂起。” —— Reddit 用户对 PyTorch/XLA 的真实吐槽

```mermaid flowchart LR accTitle: PyTorch TPU 架构演进对比 accDescr: 展示从旧版 PyTorch XLA 硬塞模式到新版 TorchTPU 原生后端的演进差异

subgraph Old["旧架构：PyTorch/XLA & torchax"] direction TB O1["PyTorch 代码"] --> O2["手动圈定图捕获 / torchax 硬塞 JAX"] O2 --> O3["XLA 编译器（改形状即重编/无 Eager）"] O3 --> O4["TPU 硬件（调试黑盒）"] end

subgraph New["新架构：TorchTPU"] direction TB N1["PyTorch 代码"] --> N2["C++ 原生后端（扩展槽位一等公民）"] N2 --> N3["四档执行模式（支持纯 Eager 与融合）"] N3 --> N4["StableHLO / XLA"] --> N5["TPU 硬件"] end ```

[01:50](https://www.bilibili.com/video/BV1NMnC6JEag?t=110s) 新桥结构：原生后端、四档执行与前端契约

全新的 TorchTPU 采取了彻底相反的路线——不再将框架硬塞进外部运行时，而是把 TPU 直接打造成 PyTorch 的“一等公民”。新架设的技术桥梁主要包含三大支柱：

1. **原生后端注册机制**：TorchTPU 使用 C++ 编写，直接挂载进 PyTorch 调度器专门预留的硬件扩展槽位中。开发者在运行环境完成 `pip install` 后，只需 `import torch`，TPU 便立刻作为原生设备注册生效。开发者手中操作的张量是真实的 `torch.Tensor`，而非被套上多层壳子的延迟张量（Lazy Tensor）。 2. **细分的四档执行模式**： - *严格 Eager 模式*：默认档位，逐条算子单步执行，提供与 GPU Eager 完全一致的开发体验，支持断点调试与逐行打印排错； - *带越界检查的同步 Eager 模式*：强化调试安全，实时捕获显存与边界异常； - *延迟与融合模式（Defer and Fuse）*：官方独创方案，先将算子攒起来，直到遇到必须物化数据的节点时，才将一整段算子融合成大计算图并编译，官方实测速度比纯 Eager 模式快 50% 以上； - *整图编译模式（`torch.compile`）*：依靠整图全优化压榨 TPU 的峰值算力。 3. **真实的前端契约**：必须承认的是，TorchTPU 底层最终依然调用 XLA 编译器并转译成 StableHLO 再交由硬件执行。但本质区别在于前端体验的重构，开发者面对的是一个规范本分的 PyTorch 接口，而不是一个披着 PyTorch 外皮的别扭图捕获器。

[03:01](https://www.bilibili.com/video/BV1NMnC6JEag?t=181s) 迁移说明与真实生态：改两处字符串后的现实

从工程迁移成本来看，官方号称开发者通常只需要改动两处字符串配置：一是将运行设备由 `cuda` 改为 `tpu`，二是将分布式通信后端从 `nccl` 改为 `tpu_dist`。为了自证这一断言，团队将 Hugging Face 上下载量排名前 5000 的模型全部拉取进行了全量测试，结果表现出惊人的兼容性：在 4917 个模型上实现了端到端运行，98% 能够稳定跑通不发生崩溃；在抽检的模型中，更有 97% 的数值输出与 GPU 上的结果严格对齐。

围绕大模型的基础设施生态也在同步铺开： - **推理与服务框架**：vLLM 与 SGLang 均已上线官方适配插件； - **训练与编排基建**：大模型训练框架 TorchTitan 拥有 Google 维护的专属分支，Ray 原生编排已直接支持，Meta 旗下的推荐系统库 TorchRec 更是直接合并进了上游主线。

然而，社区对此保持着清醒的克制。开源社区的一句锐评一针见血：“宣传语是‘改一行就能跑’，不是‘改一行就能跑到峰值’。”仅仅替换两行代码上机，模型的模型算力利用率（MFU）通常只有 30% 左右；想要将利用率拉升至 50% 以上，开发者依然必须手动改写 Pallas 内核、重新精细设计数据分片方案。脏活累活并没有凭空消失，只是从“改底层框架代码”转移成了“调系统优化配方”。此外，对于庞大的老版本 XLA 用户群而言，代码归档只给出了四周的迁移窗口，不少开发者直言这个时间表未免过于紧迫苛刻。

[04:16](https://www.bilibili.com/video/BV1NMnC6JEag?t=256s) 承重检验：8192 颗芯片近线性扩展与亲儿子对决

针对 TorchTPU 的高并发承载能力，Google 进行了大规模工业级检验。他们使用 TorchTitan 训练链路，在 Ironwood TPU 集群上跑了 2350 亿参数的 Qwen3 MoE 模型。芯片规模从 1024 颗一路扩展到 8192 颗后，单核算力相比千卡规模仅下降了 5.9%，表现出极其强悍的近线性扩展能力，在训练中实现了每步耗时 31 秒即可吞下 26 万条样本。

同篇官方博客中还暗藏了一场耐人寻味的内部正面对决：在 64 颗芯片的同等规模下，运行 PyTorch 路径的实测吞吐量达到了 1828，而 Google 自家享有“亲儿子”待遇的 JAX 吞吐量为 1937，两者性能差距仅有微弱的 6%。这个成绩单传达出的信号非常明确：PyTorch 路径在 TPU 上的效率，已经无限逼近 Google 倾注多年心血的原生编译器与框架，两者已完全具备了同台叫板的实力。

[05:02](https://www.bilibili.com/video/BV1NMnC6JEag?t=302s) 大棋盘与算力账本：框架中立化与每美元性能

把 TorchTPU 放到整个行业的棋盘来看，开源前一天，亚马逊（AWS）刚刚发布了 Torch Neuron，同样为其自研的 Trainium 芯片推出了原生 PyTorch 支持。两大云巨头在定制 AI 硬件上前后脚将 PyTorch 深度原生化，其背后的深层含义不言自明——底层框架层正在被迫走向中立，AI 芯片的竞争彻底退回到了最底层的纯粹性能与价格较量。

根据第三方分析机构 SemiAnalysis 的独立测试，在推理场景下，4 颗 Ironwood 在每美元性能指标上打赢了由 72 颗 GB300 组成的顶级机柜整机。在 Ironwood 上，生成每百万 Token 的成本在六周前是 3.6 美元，随后快速压低至 2.01 美元，对于代理（Agent）类复杂工作负载甚至可进一步压缩至 0.83 美元。虽然训练端的 Ironwood 单芯片租用价格高达每小时 12 美元（裸价比英伟达 H100 贵出近 5 倍），但由于硬件密度和专属吞吐极高，必须算“每美元产出的 Token 数”；按照这一效费比口径核算，Ironwood 比英伟达 B200 便宜约 50%，比 B300 便宜近一倍。

[06:01](https://www.bilibili.com/video/BV1NMnC6JEag?t=361s) 三方账本与三盆冷水：商业博弈、坟场记忆与十年差距

在这场软硬件重构的盛宴背后，各方势力打着清晰的算盘： - **Google 出钱与算力**：TPU 从来不对外零售裸片，只作为 Google Cloud 上的算力时间售卖。目前 Anthropic 已签署了高达 100 万颗 TPU 的算力协议，交易规模跨入千亿美元量级；Meta 同样签下了数十亿美元的算力采购大单。 - **Meta 出人力与生态标准**：开源项目核心开发名单中坐满了 Meta 的资深工程师。Meta 内部的 TorchRec 推荐系统在 TPU 上测出的性能与 Google 内部的 JAX 基线达成 1:1 持平，相当于用真实业务为 TPU 的 PyTorch 性能背书。 - **PyTorch 确立独立地位**：PyTorch 迫切需要向全行业证明，自己是一个平台级的底层计算调度中心，而不仅仅是 CUDA 的一个高级前端封装。 - **英伟达面临百亿防守**：英伟达手握年入 1900 多亿美元的数据中心基本盘，是整套架构变革试图撬动与挑战的目标。

> “英伟达比任何对手都领先十年，去看看 GB300。” —— Hacker News 元老级评论者的尖锐断言

尽管前景诱人，现场依然被浇下了“三盆冷水”： 1. **获取门槛宛如 Unobtainium**：对普通中小开发者而言，TPU 依旧像科幻片里的虚构矿物“Unobtainium”一样遥不可及。想用只能按需向 Google Cloud 租用昂贵的机器，有资格直接大批量部署的只有 Anthropic 这个量级的巨无霸客户。 2. **Google 挥之不去的项目“公墓”**：社区迅速翻出了 Google 经常砍项目的黑历史。当年号称边缘 TPU 的 Google Coral 开发板曾被寄予厚望，最终难逃烂尾命运。社区甚至有刻薄的讽刺：“你见过跑在 Coral 上的软件吗？没有，但我见过那个项目盖的房子真不错。” 3. **开放接口绝不等同于生态对等**：CUDA 过去二十年积淀下的软硬件护城河——从底层硬件算子内核库、专有硬件性能调试器，到覆盖全面的中间件工具链——绝非一次激进的代码开源就能抹平。

[07:42](https://www.bilibili.com/video/BV1NMnC6JEag?t=462s) 竣工合龙：移平代码摩擦，过不过桥由你定

TorchTPU 的这次开源所带来的实际改变，远比喊出“颠覆英伟达”更贴近工程现实。它真正做到的，是将阻碍跨芯片生态迁移的代码摩擦成本彻底抹掉了一半，让企业在选型硬件时，能够真正越过软件栈鸿沟，直面底层算力的纯粹性价比；至于剩下的那一半护城河，是 CUDA 耗时二十年建立的坚固工程经验与社区惯性，仍然需要整个行业花费数年时间慢慢磨平。

> “Google 上次开源搬运的是 Kubernetes 的方法论，这次搬的是你的 `model.to`。”

对于一线算法与工程人员来说，这一变化的实际映射非常具象：下一次启动新模型项目时，尝试将脚本里 `device` 的那行字符串从 `cuda` 改为 `tpu`，最终算出来的算力财务账本就可能迎来翻天覆地的变化。工程图纸已经公之于众，崭新的大桥也已合龙竣工，桥面上明晃晃地写着“一行代码”，至于要不要迈步过桥，选择权已经交到了每一个工程师的手中。

## Notable quotes > [00:00](https://www.bilibili.com/video/BV1NMnC6JEag?t=0s) CUDA 的护城河是真的，但护城河可以架桥。 — 分析师

> [03:01](https://www.bilibili.com/video/BV1NMnC6JEag?t=181s) 宣传语是‘改一行就能跑’，不是‘改一行就能跑到峰值’。 — 开源社区

> [06:01](https://www.bilibili.com/video/BV1NMnC6JEag?t=361s) 英伟达比任何对手都领先十年，去看看 GB300。 — Hacker News 元老级评论者

## Mentioned Google, Meta, TorchTPU, PyTorch/XLA, torchax, JAX, CUDA, PyTorch, StableHLO, XLA, Hugging Face, vLLM, SGLang, TorchTitan, Ray, TorchRec, Pallas, Ironwood, Qwen3 MoE, 亚马逊 (AWS), Torch Neuron, Trainium, SemiAnalysis, GB300, H100, B200, B300, Anthropic, Google Cloud, Google Coral, Kubernetes

## Video description 10月20日 PyTorch 大会，Google 和 Meta 联手开源了 TorchTPU，同时发了另一条通知：老项目 PyTorch/XLA 正式弃用，仓库11月15日归档。八年路线，一夜翻篇。官方自己承认，过去在 TPU 上跑 PyTorch 的那条路修得不好，现在推倒重修了一条。有分析师给这件事下了个注脚：CUDA 的护城河是真的，但护城河可以架桥。

旧路的痛点用过的都懂：图捕获要手动圈编译区，改一次形状重编译一次，最熬人的是没有 eager 模式，GPU 上习以为常的逐行排错在 TPU 上不存在。有用户的原话是"一堆没有文档的行为和 bug，训练八小时后无声挂起"。折衷方案 torchax 把 PyTorch 硬塞进 JAX 的模式，塞了两年，官方承认不合适。

00:05 图纸封面：同日双官宣 00:47 旧路验收：八年三宗罪 01:50 新桥结构：原生后端+四档执行 03:01 迁移说明：改两处字符串 04:16 承重检验：8192颗近线性 05:02 大棋盘：亚马逊谷歌前后脚 06:01 三方账本：谁出钱谁出框架 06:52 三盆冷水：难得、坟场、十年差距 07:42 竣工合龙：过不过桥你自己定

新桥的迁移成本低到什么程度：device 从 cuda 改成 tpu，分布式后端从 nccl 改成 tpu_dist，就这两处。HuggingFace 前 5000 模型实测 98% 跑通、97% 与 GPU 数值对齐，vLLM/SGLang/TorchTitan/Ray 全家桶配齐。承重检验也过了：8192 颗 Ironwood 训 Qwen3 MoE，单核算力只降 5.9%，与 Google 自家 JAX 差 6%。价格账上，第三方测出 4 颗 Ironwood 在每美元性能打赢 72 颗 GB300 整机。冷水照泼：TPU 对普通人是 unobtanium、Google 有座著名的坟场、CUDA 二十年生态不是一次开源能追平的。至于老 XLA 用户，归档只给四周窗口。

Google 上次开源搬的是 Kubernetes 的方法论，这次搬的是你的 model.to。

仓库：github.com/google-pytorch/torch_tpu 官方博客：pytorch.org/blog/introducing-torchtpu

[Source](https://www.bilibili.com/video/BV1NMnC6JEag)

中文简报

谷歌联手Meta开源TorchTPU，废弃八年旧架构直攻英伟达生态 TorchTPU通过极简代码迁移抹平了跨芯片软件摩擦，将AI算力竞争拉回纯粹的性价比对决，但CUDA积淀二十年的底层工程生态仍非一次开源所能轻易撼动。 Google联手Meta彻底推翻了深陷无Eager模式与反复重编译泥潭的PyTorch/XLA架构，推出基于C++原生扩展槽位的TorchTPU，使开发者仅需修改两处字符串即可迁移。经实测，Hugging Face前5000个模型中有98%能稳定跑通，并在8192颗Ironwood集群训练Qwen3 MoE时展现出近线性扩展能力，性能紧咬自家JAX框架。随着AWS与Google相继推动PyTorch原生化，AI芯片竞争逐步演变为每美元Token产出的底层性价比比拼。然而，面对TPU的租用门槛、Google项目维护的历史顾虑以及CUDA二十年软硬件生态的深厚积淀，迁移大桥虽已合龙，工程抉择仍需审慎权衡。 Google联手Meta正式开源TorchTPU并宣布弃用历经八年的PyTorch/XLA，老仓库定于11月15日归档，仅留四周迁移窗口。 (0:00) TorchTPU采用C++原生后端并提供四档执行模式，官方实测Hugging Face前5000模型有98%可跑通、97%与GPU数值对齐，代码迁移通常仅需修改设备与分布式通信两处字符串。 (1:50) 在大规模训练实测中，8192颗Ironwood TPU训练Qwen3 MoE的单核算力仅下降5.9%，64卡规模下PyTorch路径吞吐量与Google自家JAX仅差6%。 (4:16) SemiAnalysis独立测试显示4颗Ironwood在推理场景每美元性能胜过72颗GB300整机，训练场景单位Token产出成本比B200便宜约50%。 (5:02) 尽管软件迁移摩擦被大幅降低，开发者仍面临获取门槛高（中小团队难买到）、默认利用率仅约30%需重写Pallas内核，以及追赶CUDA二十年生态积累等现实挑战。 (6:01)

Reading summary

Google 与 Meta 在 PyTorch 大会上联合开源了全新的 TorchTPU，并宣布彻底弃用维护八年的 PyTorch/XLA 项目。此举旨在通过将 TPU 转化为 PyTorch 原生设备来降低生态迁移门槛，直接以效费比挑战英伟达的硬件主导地位。八年旧路线退役与原生后端重构 (0:00) 2018 年启动的 PyTorch/XLA 需要手动圈定计算图且缺少 Eager 模式，改动张量形状即触发繁重的重新编译，而折中的 torchax 项目也被官方定性为失败的“硬塞”。官方因此决定推倒旧路，于 11 月 15 日正式归档旧仓库。全新的 TorchTPU 采用 C++ 编写，挂载进 PyTorch 调度器的原生硬件扩展槽位，使 TPU 成为一等公民，用户操作的是真实的 torch.Tensor 而非多层包装的延迟张量。 TorchTPU 提供了四档执行模式：默认的严格 Eager 模式支持单步断点排错；带越界检查的同步 Eager 模式增强调试安全；延迟与融合模式通过积累算子并延迟至物化节点熔合成大图，官方实测速度比纯 Eager 快 50% 以上；最后配合 torch.compile 整图编译模式压榨峰值性能。虽然底层仍依赖 XLA 编译器和 StableHLO，但前端提供了标准的 PyTorch 接口契约。代码迁移表现与实际调优门槛 (3:01) 在迁移成本上，代码通常只需将设备指定从 cuda 改为 tpu、通信后端从 nccl 改为 tpu_dist。针对 Hugging Face 前 5000 个热门模型的测试显示，4917 个模型可端到端运行，98% 稳定不崩，抽检中 97% 的数值输出与 GPU 严格对齐。外围生态方面，vLLM 和 SGLang 已上线适配插件，TorchTitan、Ray 与 Meta 的 TorchRec 亦提供了原生或分支支持。然而社区指出，“改一行代码能跑”并不等于能达到峰值性能。仅改动两处配置时，模型的模型算力利用率（MFU）通常仅在 30% 左右；若要提升至 50% 以上，工程师仍需手动编写 Pallas 内核并设计数据分片方案。此外，官方仅给老版 XLA 用户留出了四周的迁移窗口，被不少开发者认为过于仓促。算力扩展检验与每美元效费比竞争 (4:16) 在规模化验证中，Google 使用 TorchTitan 和 Ironwood TPU 集群训练 2350 亿参数的 Qwen3 MoE 模型。芯片从 1024 颗扩展至 8192 颗时，单核算力相比千卡仅下降 5.9%，实现了每步 31 秒处理 26 万条样本的近线性扩展。在 64 卡对比测试中，TorchTPU 的吞吐量为 1828，与 Google 内部原生的 JAX（1837）仅有 6% 的微弱差距。结合 AWS 前一日发布的 Torch Neuron，云巨头正推动底层框架走向中立，将竞争拉回纯粹的性能与成本账本。SemiAnalysis 独立测试显示，4 颗 Ironwood 在推理场景的每美元性能超过了 72 颗 GB300 整机，生成每百万 Token 成本可降至 2.01 美元（复杂代理任务达 0.83 美元）。尽管 Ironwood 训练单芯片租金高达每小时 12 美元，但按产出单位 Token 的效费比核算，其成本比英伟达 B200 便宜约 50%，比 B300 便宜近一倍。巨头商业博弈与三重现实阻碍 (6:01) 此次合作背后体现了各方的战略考量：Google 借此推销不对外单卖的云端 TPU 算力，已换取 Anthropic 达百万颗芯片和 Meta 数十亿美元的大额协议；Meta 派遣资深团队主导核心代码，实现了 TorchRec 性能与 JAX 的 1:1 持平；PyTorch 借此强化了独立调度中枢的定位，试图撕开英伟达年入 1900 亿美元数据中心基本盘的缺口。不过，外界对该路线依然保持清醒，并提出了三盆冷水：首先，TPU 依然如虚构矿物“Unobtainium”般难以被普通中小开发者获取，主要服务于头部大客户；其次，社区对 Google Coral 开发板烂尾等“项目公墓”历史心存疑虑；最后，CUDA 历经二十年构建的底层算子库、专有调试器与中间件生态，难以单靠开放软件接口在短期内抹平。 TorchTPU 的核心价值在于消除了跨芯片生态的一半代码摩擦，让企业能直接从硬件效费比层面评估非 CUDA 路线；但要彻底跨越英伟达二十年来沉淀的软硬件壁垒与社区惯性，行业仍需面对漫长的工程磨合周期。

Source quotes

[0:00] 分析师: CUDA 的护城河是真的，但护城河可以架桥。 [3:01] 开源社区: 宣传语是‘改一行就能跑’，不是‘改一行就能跑到峰值’。 [6:01] Hacker News 元老级评论者: 英伟达比任何对手都领先十年，去看看 GB300。

Original transcript

[0:00] 10月20日,PyTorch大会。Google和Meta联手开源了一个项目,叫Torch TPU。同一天,官方还发了另一条通知,老项目PyTorch XLA正式器用,仓库11月15日归档。八年路线一夜翻篇这条通知翻译成大白话就是,过去在TPO上跑PyTorch的那条路,官方自己承认修得不好,现在推倒重修了一条。有分析师给这件事下了个很好的注脚,库底德的护城河是真的,但护城河可以架桥。这期视频我们就看这张架桥的工程图。先说旧路为什么被推倒PyTorch XLA诞生在2018年前后思路是把PyTorch的程序结成图交给XLA编译器这个思路的代价用过的都懂图补或需要手动圈定编译区域,改一次形状重编译一次。调试的时候错误信息隔着一层编译器最难熬的是它没有Eager模式你在GPU上习以为常的逐行打印逐行排错,在TPU上都不存在。Reddit上一位用户的原话是一堆没有文档的行为和bug,训练8小时后无声挂起。Google后来出过一版折中方案TorchX,把PiTorch塞进JX的运行模式里跑。官方博客现在形容这个方案用了个词。硬塞塞了两年承认不合适Torch TPU的路线反过来不塞了,把TPU做成PyTorch的一等公民。新桥怎么修的?三件事。第一,注册方式。Torch TPU是C++写的原生后端。它装进PyTorch调度器专门预留的扩展槽位。PEEP装完Import Torch,TPU就成了一等设备,你的张量是真Torch Tenet,不是什么延迟张量的包装。第二,执行模式有四档。默认严格Eager 逐条算子一步执行体验和GPU上的Eager一样能打断点能打印调试Eager同步执行加越界检查还有一档独创的Defer and Fuse先攒着等需要物化的时候把一整段算子融合成大图再编译官方说比纯Eager快一半以上第四档才是Torch.compile整图编译拿峰值第三要说句实话,它底层还是XLA编译器编译成StableHLO再上TPU便便的地方在前端契约你面对的是一个规矩的PyTorch不是一个伪装成PyTorch的图补获器迁移成本官方说法是改两处字符串Device从Cuda改成TPU,分布式后端从NCCL改成TPU-DIST。为验证这句话他们把Hugging Face上下载量前五千的模型全部跑了一遍4917个端到端跑通98%不崩其中抽减的数值有97%和GPU对齐生态全家童也配齐了VLLM和SGLANG各有官方插件Torch Titan有Google维护的Folk Ray原生编排,连Meta的推荐系统库Torch Rack都直接进了上游。但冷水同时要讲社区有据精准的评论宣传语是改一行就能跑不是改一行就能跑到峰值该箱的MFU大约三成想上五成得换Palace内核改数据分片活儿还是那个活儿,只是从改框架代码变成了加优化配方。至于老XLA用户硅档只给四周窗口有人抱怨这窗口太紧了乔的承重检验来了Google用Torch Titan的路径训的模型是Quem Mode2350亿参数跑在Ironwood TPU上从1024颗芯片扩到8192颗,单核算力只降了5.9%,等效于进线性扩展。每一步31秒单步吞下26万条样本同一篇博客里还有一场安静的对决64颗芯片上PyTorch跑出1828的吞吐Google自家的Jax跑1937,差6%。这张成绩单的意思是PyTorch路径离Google亲儿子的距离 [5:00] 已经进到可以较相当这件事放在更大的棋盘上看开源前一天亚马逊刚发布了Torch Neuron给自家Trainium芯片做了同款原生PyTorch两家定制芯片前后脚把PyTorch原生化这几乎是在宣布框架层从此中立竞争退回到纯粹的价格和性能价格账上第三方机构Semi Analysis测过推理场景四颗Ironwood在每美元性能上打赢了72颗GB300组成的整机每百万Token的成本六周前是3块6现在2块01每分代理是负载8毛3训练侧Ironwood租用价单芯片每小时12美元裸价比H100贵5倍所以这账只能按每美元Token数算按那个算法它比B200便宜五成比B300便宜近一倍再看修桥的三方各出什么Google出的是钱和时间TPU不单卖芯片卖的是云上的时间Anthropic签的合同上线100万颗TPU规模以千亿美元计Meta也签了数十亿美元的协议Meta出的是人和框架官方名单里坐着Meta的工程师Torch Rack在TPO上跑出的推荐模型和Google自家Jax基线1比1持平等于自家人也认了这张账NVIDIA这边的数据中心年收入1900多亿美元是被挑战的那个体量三家各怀心思Google要销量Meta要砍掉Cudi的溢价权PyTorch要证明自己不只是Cudi的前端冷水照例泼三盆第一盆对普通人TPU依然是Unoptanium享用只能租Google云本地部署只有Anthropic那个量级的直购客户第二盆Google有座著名的坟厂社区立刻翻出旧账当年CORAL开发版也叫TPU有人讽刺说你见过跑在CORAL上的软件吗没有但我见过那个项目盖的房子真不错第三盆开放接口不等于生态对等Cudia攒了20年的家底内核库调试器整套工具链不是一次开源能追平的HN元老级的评论是英伟达比任何对手都领先十年去看看GB300收个尾这次开源真正改变的东西比挑战英伟达要具体他把牵移摩擦这条护城河填掉了一半让竞争回到芯片本身的性价比上剩下那一半是二十年的生态沉淀得用年去磨对我们写代码的人动作可以很实际下次新项目Device那行字符串写成TPU成本账就可能完全不同Google上次开源搬运的是Kubernetes的方法论这次搬的是你的Model 2图纸已经公式桥面写着一行代码过不过桥你自己定这期就到这儿仓库地址和官方博客在简介里我们下期见