AICC大会预计AI产值达22万亿美元算力缺口逼近四千亿

屠龙之术

AI由对话转向自主智能体引爆Token消耗激增数千倍，行业必须依靠存算一体芯片与开源系统生态打破算力与能耗瓶颈。

AI-assisted summary of AI进入生产阶段之后，智能、算力、芯片会走向哪里？ — original source. Check the original for full context.

Source published: 2026-09-22

Key ideas

IDC 与浪潮信息联合发布的报告预测，到 2030 年全球活跃的生产级 Agent 规模将达 22.16 亿个，Token 消耗量年复合增长率高达 4822.6%，算力供需缺口将扩大至 3809 亿美元。 (4:19)
面对 Transformer 依赖暴力美学推高算力与能耗的物理瓶颈，郑庆华院士提出借鉴人脑机制的“机器记忆智能”路线，致力于在受限资源下实现小样本强推理。 (14:58)
浪潮信息提出“能力型智算”与“容量型智算”双轨演进，并推出 SD200 Ultra 超节点服务器与同等投资下吞吐产能提升 10 倍的 HC2000 多元算力机组。 (25:46)
智源研究院打造的开源操作系统 FlagOS 构建异构硬件“万能插座”，实现单一大模型在 Day 0 阶段 24 小时内适配 12 款主流芯片，打破 CUDA 生态壁垒。 (35:09)

Detailed notes

## Background 本期内容来自科技与风险投资播客《屠龙之术》，由主播庄明浩于2026年9月22日发布在小宇宙平台。节目基于主播在北京参加第七届 AICC 2026 人工智能计算大会的现场见闻，聚焦算力系统、芯片器件、软硬件适配以及 Token 工业化生产等底层基础设施议题。

## TL;DR 节目围绕 AI 跨入工业化生产阶段后的产业演进展开，从需求、智能本质与算力底座三个维度进行了系统拆解。首先，需求端正在由 Chat 转向 Agent，遵循“Agent = Model + Harness”公式，且多乘数效应将推动 Token 消耗与算力缺口指数级激增；其次，智能本身正告别单纯依赖规模的暴力美学，朝向郑庆华院士提出的“机器记忆智能”以及覆盖全技术栈的可靠性评测体系演进；最后，在芯片与算力层面，浪潮信息推出了能力型与容量型的“智算双轨”架构，清华大学团队利用存算一体突破冯·诺依曼架构的存储墙，而智源 FlagOS 则以开源“万能插座”打破生态壁垒，三者共同构筑起支撑产业落地的金字塔底座。

## Atmosphere & style 整期播客呈现出硬核、理性且高信息密度的专业调研质感。主播庄明浩以清晰干练的单人讲述节奏展开，既有对宏观产业报告与经济数据的宏观俯瞰，又有深入芯片物理架构与底层编译器代码的微观剖析。叙述风格冷静扎实、条理分明，让听众仿佛置身于产业前沿的技术论坛现场，直面 AI 走向真实工业级生产时的物理硬约束与系统突围路径。

## Bulletin - `04:19` IDC 与浪潮信息联合发布的报告预测，到 2030 年全球活跃的生产级 Agent 规模将达 22.16 亿个，Token 消耗量年复合增长率高达 4822.6%，算力供需缺口将扩大至 3809 亿美元。 - `14:58` 面对 Transformer 依赖暴力美学推高算力与能耗的物理瓶颈，郑庆华院士提出借鉴人脑机制的“机器记忆智能”路线，致力于在受限资源下实现小样本强推理。 - `25:46` 浪潮信息提出“能力型智算”与“容量型智算”双轨演进，并推出 SD200 Ultra 超节点服务器与同等投资下吞吐产能提升 10 倍的 HC2000 多元算力机组。 - `35:09` 智源研究院打造的开源操作系统 FlagOS 构建异构硬件“万能插座”，实现单一大模型在 Day 0 阶段 24 小时内适配 12 款主流芯片，打破 CUDA 生态壁垒。

## Key takeaways - `01:17` 第七届 AICC 大会核心视角从应用层转向底层 Infra，重点探讨算力系统、芯片器件、软硬件适配以及工业化 Token 生产。 - `02:40` 需求侧确立“Agent = Model + Harness”架构公式：Model 决定智能上限与推理，Harness 负责将概率输出转化为确定、可执行的工程业务流。 - `04:19` 未来五年 AI 预计为全球经济累计创造 22.5 万亿美元价值，目前最成熟的落地共识集中在 Work（专业工作流）与 Coding（代码交付）场景。 - `09:47` Token 消耗爆发由三个乘数驱动：任务执行总次数激增、单任务长链 Token 消耗增长，以及多智能体协同带来的上下文膨胀与子任务放大。 - `11:35` 算力瓶颈呈常态化趋势，算力满足度持续下探，除先进制程产能受限外，算力中心正面临严峻的电力能源约束与关键存储芯片涨价周期。 - `16:29` 当前大模型存在高能耗、缺乏高维抽象、黑箱不可解释、灾难性遗忘及小样本推理缺失五大局限，单纯推高算力的暴力美学已逼近物理极限。 - `17:29` 人脑仅以约 20 瓦超低功耗和 4% 动态稀疏激活实现强推理，“机器记忆智能”旨在打破有限性、时效性与开放性构成的不可能三角。 - `19:22` 工信部电子五所联合产业链发布全链路可靠 AI 评测体系，评测对象从静态跑分升级为系统级 Agent、全技术栈链路与综合 ROI 评估。 - `26:41` 智算系统走向双轨演进：“能力型智算”面向超大规模前沿模型追求极致低延迟与长周期稳定性，“容量型智算”以负载定义算力打造工业化 Token 工厂。 - `31:13` 清华大学吴华强团队基于忆阻器的存算一体架构将计算融入存储内部，数据零搬运，使 28nm 等成熟制程在能效与算力上实现换道超车。 - `35:52` AI 芯片最大的阻碍在于英伟达 CUDA 闭源生态，FlagOS 通过解耦上层框架、通用开源算子库与底层编译器，避免国产芯片沦为“算力孤岛”。 - `39:54` AI 生产阶段构筑起“金字塔”体系：顶层为业务闭环的可信运行，中间层为开源生态与评测标准，底座为存算一体器件与双轨智算系统支撑。

## Detailed walkthrough ### `00:00` 开篇：从AICC 2026看底层基础设施与生产级AI

主播庄明浩以个人 Solo 形式开启了本期播客。节目的核心议题源于他刚在北京参加的第七届 AICC 2026 人工智能计算大会。相较于数月前聚焦在应用、软件与 Agent 层的 AIEC 大会，AICC 作为国内持续关注“计算”长达七年的顶级盛会，更偏向底层硬核视角，全方位探讨了算力系统、芯片器件、软硬件适配生态以及工业化 Token 生产等 Infra 话题。

当 AI 模型能力跨越临界点进入生产阶段后，智能的定义、算力的供需以及芯片的架构都在发生深刻演变。本期内容系统性拆解为三个核心篇章： 1. **从 Chat 到 Agent**：需求侧的结构性跃迁（基于 IDC 与浪潮信息的行业评估报告）； 2. **智能本身的重新定义**：从概率拟合到可信生产（结合同济大学郑庆华院士与工信部电子五所蒋佩航副院长的洞察）； 3. **算力与芯片的突围**：系统、器件与生态的三维进化（涵盖浪潮信息、清华大学存算一体团队与智源研究院 FlagOS 的实践）。

---

`02:33` 第一章：从Chat到Agent，需求侧的结构性跃迁与核心公式

在需求侧，整个 AI 产业正在经历从单轮对话向自主智能体的范式转移。大会上 IDC 明确提出了一个当下已成为行业共识的底层公式：

``` Agent = Model + Harness ```

其中，**Model（基座模型）**决定了智能体的能力上限。这涵盖了模型的上下文窗口、长链推理能力、多模态支持、工具调用精度以及推理成本。为了在复杂任务中实现效率最优化，业界正广泛引入模型路由层（Model Routing），根据任务类型、用户意图与实时负载动态分发请求，实现多模型协同。

**Harness（运行治理框架）**则负责将模型输出的概率性智能转化为确定性、可执行的工程业务流。它涵盖了上下文管理、工具连接、状态维护、长程记忆、执行控制、安全护栏以及可观测性评测。如果说 Model 提供了思考能力，Harness 则是让思考转化为可运行、可治理、具备自恢复能力的执行系统。

```mermaid flowchart LR accTitle: Agent Architecture Formula accDescr: Agent consists of Model determining intelligence ceiling and Harness translating outputs into executable workflows.

subgraph ModelLayer["Model（智能上限）"] M1["上下文与多模态"] M2["工具调用与推理"] M3["动态模型路由"] end

subgraph HarnessLayer["Harness（执行工程系统）"] H1["上下文与状态记忆"] H2["工具连接与执行控制"] H3["安全护栏与可观测性"] end

ModelLayer --> Agent["生产级 Agent"] HarnessLayer --> Agent ```

---

`04:19` 经济价值兑现与算力供需的“剪刀差”扩大

大会现场，IDC 联合浪潮信息发布了《2026年中国人工智能计算力发展评估报告》。报告从宏观经济与微观算力两个维度揭示了产业演进的硬核数据：

- **经济产值倍增**：预计到 2031 年（未来五年内），人工智能将累计为全球经济创造高达 **22.5 万亿美元**的商业价值，相当于 2026 年全球 GDP 总量的近六分之一（预计 2026 年全球 GDP 约为 126 万亿美元）。 - **活跃智能体规模**：预计到 2030 年，全球活跃的生产级 Agent 数量将激增至 **22.16 亿个**。 - **算力缺口持续扩大**：与外界预期“2028年基建投入到位后算力瓶颈将缓解”不同，IDC 预测到 2030 年全球 AI 算力供需缺口将进一步扩大至 **3809 亿美元**。 - **Token 消耗复合暴增**：从 2026 年到 2030 年，全球 Token 消耗量的年复合增长率（CAGR）预计高达惊人的 **4822.6%**。

IDC 将 Agent 的演进划分为五个阶段：从 L1 功能性 AI（生成与预测）、L2 个人 Agent（任务执行与日程管理）、L3 单流程 Agent（端到端工单与代码交付），向 L4 多 Agent 协同（跨系统营销、交付、供应链协同）及 L5 监督下自主闭环（人工审批权限变更下的自治工程）演进。当前业界阶段性共识最为成熟的落地场景集中在 **Work（法律、咨询、审计等专业工作流）** 与 **Coding（代码开发、测试与工程交付）** 两个方向。

---

`09:47` Token爆炸背后的三个乘数效应与物理瓶颈

为什么底层对算力基础设施的需求会产生如此夸张的指数级膨胀？IDC 在报告中提炼出了驱动 Token 消耗裂变的三个核心乘数：

```mermaid flowchart LR accTitle: Token Consumption Multipliers accDescr: Three multipliers that drive exponential token growth.

T1["任务执行次数<br/>(2800亿次 ➔ 415万亿次)"] T2["单任务Token消耗<br/>(数十 ➔ 数十万长链Token)"] T3["多智能体协同放大系数<br/>(子任务并发与上下文传递)"]

T1 --> Mul["✖"] T2 --> Mul T3 --> Mul Mul --> Total["Token 消耗爆炸 (CAGR 4822.6%)"] ```

1. **任务执行总次数**：全球任务调用量从 2026 年的 2800 亿次暴增至 2030 年的 415 万亿次； 2. **单任务 Token 消耗量**：随着任务由简单问答走向复杂推理规划，单任务消耗量从数十 Token 跃升至数十万 Token； 3. **多智能体协同的放大系数**：一个复杂父任务被拆解为多个子 Agent 并发执行，频繁的上下文传递与汇总显著延长了推理链路。

在如此激进的需求面前，物理世界的供给正逼近极限。算力满足度曲线显示，2026 年满足度仅为 74%，2027 年甚至下探至 71%，算力短缺已从偶发瓶颈演变成常态制约。除先进制程产能受限外，算力中心正面临严峻的**能源供给（电力）约束**以及**存储芯片涨价周期**。当前关键存储芯片的价格调整周期已缩短至季度甚至月份级别，全年平均涨幅达 30%–50%。

- **企业投入意愿**：97.3% 的受访企业计划扩大或维持 AI 投入，37.7% 的企业计划大幅追加预算。 - **产业转移焦点**：企业竞争焦点从“是否部署 AI”全面转向“是否具备规模化、安全可控、高性价比运行 Agent 的能力”。

---

`14:58` 第二章：智能本身的重新定义——郑庆华院士谈“机器记忆智能”

同济大学党委书记郑庆华院士在主旨演讲中强调，AI 绝不能单纯依赖“暴力美学”——即单向度地推高数据量与算力规模。在算力逼近物理极限与能耗红线的背景下，下一代智能演进必须探索在**有限算力、有限存储与小样本条件下的强推理能力**。

当前基于 Transformer 架构的大模型存在五大固有局限： 1. **算力与数据极度依赖**：训练与推理能耗过大； 2. **缺乏人类的高维抽象能力**：本质仍是概率统计拟合； 3. **黑箱不可解释性**：难以建立严密因果逻辑； 4. **灾难性遗忘与窗口瓶颈**：新任务知识易覆盖旧知识，长程记忆成本过高； 5. **小样本复杂推理能力缺失**：无法在少样本条件下做高鲁棒性泛化。

```mermaid flowchart TD accTitle: Machine Memory Intelligence Impossible Triangle accDescr: Machine Memory Intelligence resolves the impossible triangle of finiteness, timeliness, and dynamic openness.

subgraph Brain["人脑机制启示 (20W功耗 / 4%稀疏激活)"] B1["关联记忆检索"] B2["抗噪自动纠偏"] B3["创造性状态切换"] end

subgraph Solution["机器记忆智能 (面向小样本强推理)"] C1["有限性 (算力/时间/存储受限)"] C2["时效性 (限定时间内输出解)"] C3["开放性 (动态泛化与知识吸收)"] end

Brain --> Solution ```

人脑拥有约 860 亿个神经元，功耗仅为 20–23 瓦，日常仅需 4% 的神经元动态稀疏激活即可完成复杂的模式识别、因果联想和抗噪纠偏。借鉴人脑结构，郑庆华院士提出了从大模型走向**“机器记忆智能”**的路线。通过结构化知识表征、联想激活机制与动态压缩，在资源极度受限（有限性）、输出要求严苛（时效性）与未知场景迁移（开放性）之间打破传统“不可能三角”，让智能走向真正的可信与自主。

---

`19:22` 可靠性护航：全链路 AI 评测体系的建立

针对产业落地难的痛点，工信部电子第五研究所软件与系统研究院副院长蒋佩航指出，传统的静态 Benchmark 跑分已经失效，无法反映 AI 在工业、政务和金融真实复杂业务流中的可用性。产业界急需建立贯穿全技术栈的**全链路可靠性评测体系**。

该体系在五个维度上实现了范式升级： - **测评对象**：从“单一模型打分”转向“系统级智能体（Agent）综合评估”； - **测评方式**：从“静态离线测试集”转向“动态、持续的实时交互测试”； - **测评边界**：从“仅测算法层”向外拓展至覆盖“芯片、整机、互联、框架、数据与应用”的全技术栈； - **评估粒度**：从“看最终得分结果”转向“全流程执行轨迹与状态转移的可观测分析”； - **评价指标**：从“纯准确率”升级为“业务价值与总拥有成本（TCO）的综合 ROI 考量”。

```mermaid flowchart TD accTitle: Full-Stack Reliable AI Evaluation accDescr: Reliable AI spans across chips, systems, frameworks, models, data, and applications.

L1["应用层：闭环成效、业务连续性、安全退出机制"] L2["数据层：数据质量溯源、归属安全、动态对齐"] L3["模型层：推理鲁棒性、幻觉抑制、动态自纠偏"] L4["框架与系统：算子兼容性、任务调度弹性、容错恢复"] L5["硬件与芯片：集群通信带宽、能效比、硬件级稳定性"]

L5 --> L4 --> L3 --> L2 --> L1 ```

大会现场，工信部电子五所联合北京智源研究院、浪潮信息、摩尔线程、沐曦、北京开源芯片研究院、百度智能云、阿里云等 20 余家产业链核心单位，正式发布了面向 Agent 时代的可靠 AI 评测体系，为全行业的选型、治理与演进提供了标准化依据。

---

`25:46` 第三章：算力与芯片突围——系统层面的“智算双轨”

进入系统与芯片篇章，浪潮信息首席 AI 战略官刘军提出，Agent 正在让智能像电力一样被规模化生产。在这一趋势下，智算系统正走向**“向上突破认知极限”**与**“向广普惠海量供给”**的**智算双轨进化**。

```mermaid flowchart LR accTitle: Dual-Track AI Computing Paradigm accDescr: Inspur dual-track architecture for capability and capacity computing.

subgraph Track1["能力型智算 (Capability-oriented)"] direction TB C_Aim["突破认知边界 / 10万亿参数前沿模型"] C_Metric["极低延迟 / 长周期容错 (跑几天不中断)"] C_Product["元脑 SD200 Ultra 超节点服务器"] end

subgraph Track2["容量型智算 (Capacity-oriented)"] direction TB K_Aim["海量并发推理 / 普惠智能供给"] K_Metric["多元异构协同 / 极致防闲置 ROI"] K_Product["元脑 HC2000 多元算力机组"] end ```

1. **能力型智算（支撑前沿模型探索）**： - 面向 10 万亿（10T）参数规模的前沿大模型研发（如 Kimi、Claude 迭代架构）。 - Agent 运行周期已从数小时拉长到数天，漫长规划中任何硬件或通信抖动都会导致任务中断。系统要求将大规模集群视为单一超节点（Supernode），追求极致的通信低延迟与连续稳定性。 - **代表产品**：浪潮信息发布了**元脑 SD200 Ultra 超节点 AI 服务器**，在超大规模参数推理中将 Token 生成时延压低至 5.85 毫秒。

2. **容量型智算（支撑高并发普惠推理）**： - 核心逻辑由“负载定义算力”，推理不再依赖单一昂贵芯片，而是通过多元算力机组让不同芯片处理其最擅长的算子，打造工业化“Token 制造工厂”。 - **代表产品**：浪潮信息发布了**元脑 HC2000 多元算力机组**，在同等投资额前提下，将 Token 吞吐产能提升了 **10 倍**。

---

`31:13` 器件层面的突破：存算一体芯片打破“存储墙”

清华大学吴华强教授从底层硬件器件角度，解析了如何通过**存算一体（Computing-in-Memory）**技术打破经典冯·诺依曼架构的“存储墙”与“功耗墙”。

在传统 GPU/CPU 架构中，数据在计算单元与存储器之间的高频搬运构成了能效的主要损耗点。吴华强团队基于忆阻器等新器件研发的存算一体芯片，实现了“让计算走进存储阵列”，在纳米尺度内部直接利用物理规律完成模拟计算与存储，实现数据零搬运。

吴教授特别指出，存算一体芯片是中国半导体产业“换道超车”的关键路径之一。在外部先进制程受限的环境下，该技术能够在 28nm 等成熟工艺节点上逼近硅基半导体的能效极限，全面覆盖从边缘轻量微调到云端高维向量检索的全栈场景。

---

`35:09` 生态突围：智源FlagOS构建国产软硬件协同“万能插座”

北京智源人工智能研究院副院长兼总工程师林咏华分享了软硬协同生态的突围之道。她强调，AI 芯片最大的壁垒往往不在硬件物理算力，而在于以英伟达 CUDA 为代表的、长期积累的闭源软件生态与开发者习惯。

国内数百种新型 AI 芯片架构容易沦为“算力孤岛”，90% 的新芯片受困于生态高墙。为了打破这一僵局，智源研究院打造了全栈开源操作系统 **FlagOS**，充当大模型与异构算力之间的“万能插座”： - **三层协同解耦**：上层兼容主流框架对接开发者；中层构建包含 800 多个高性能算子的通用开源算子库；底层编译器向下适配多样化的芯片底层指令集。 - **“Day 0”极速适配**：在模型发布的当天（Day 0），FlagOS 即可实现单一大模型在 24 小时内无缝适配并运行在多达 12 款主流 AI 芯片上（涵盖平头哥、摩尔线程、沐曦、海光、昆仑芯、苹果 M 系列、此芯科技等）。 - **产业共赢土壤**：芯片厂商得以专注于硬件微架构创新，摆脱重复开发基础软件车轮的消耗；模型开发者一次编写即可调用全球异构算力。目前 FlagOS 已汇聚 100 多家生态伙伴与 50 多个国家的使用覆盖。

---

`39:54` 总结：AI进入生产阶段的“金字塔”架构

庄明浩在尾声总结了贯穿整场大会的核心主线：AI 走向工业化生产阶段，比拼的核心不再是参数打分，而是**谁能稳定、低成本地跑完每一个业务任务闭环**。

这三个章节共同勾勒出支撑下一代 AI 产业落地的“金字塔”体系： 1. **顶层（价值目标）**：实现任务级的**可信运行与商业变现**； 2. **中间层（软件与标准）**：依靠 **FlagOS 等开源共享生态**与**全链路可靠性评测标准**实现高效协作； 3. **基础设施与硬件层（底座支撑）**：通过**存算一体的器件突破**与**双轨智算系统架构**，构筑高吞吐、高稳定且安全自主的物理算力底座。

## Notable quotes > `02:40` Agent = Model + Harness — IDC

> `04:19` 从2026年到2030年，全球Token消耗量的年复合增长率（CAGR）预计高达惊人的4822.6%。 — IDC

> `04:19` 预计到2030年，全球活跃的生产级Agent数量将激增至22.16亿个。 — IDC

> `14:58` 下一代智能演进必须探索在有限算力、有限存储与小样本条件下的强推理能力。 — 郑庆华

> `19:22` 传统的静态Benchmark跑分已经失效，无法反映AI在工业、政务和金融真实复杂业务流中的可用性。 — 蒋佩航

> `25:46` 智算系统正走向“向上突破认知极限”与“向广普惠海量供给”的智算双轨进化。 — 刘军

> `31:13` 让计算走进存储阵列 — 吴华强

> `31:13` 在外部先进制程受限的环境下，该技术能够在28nm等成熟工艺节点上逼近硅基半导体的能效极限。 — 吴华强

> `35:09` AI芯片最大的壁垒往往不在硬件物理算力，而在于以英伟达CUDA为代表的、长期积累的闭源软件生态与开发者习惯。 — 林咏华

> `39:54` AI走向工业化生产阶段，比拼的核心不再是参数打分，而是谁能稳定、低成本地跑完每一个业务任务闭环。 — 庄明浩

## Mentioned AICC 2026, 庄明浩, IDC, 浪潮信息, 郑庆华, 同济大学, 蒋佩航, 工信部电子第五研究所, 北京智源人工智能研究院, 吴华强, 清华大学, 刘军, 林咏华, 元脑 SD200 Ultra, 元脑 HC2000, FlagOS, 摩尔线程, 沐曦, 北京开源芯片研究院, 百度智能云, 阿里云, 平头哥, 海光, 昆仑芯, 苹果, 此芯科技, NVIDIA CUDA

## Video description 本周一（9.21）我去北京参加了AICC2026-人工智能计算大会，作为已经举办了7年的国内最顶级的关注“计算”本身的行业大会，其嘉宾阵容可以说是“顶级”配置…… 我全程听完了大会主论坛的嘉宾分享以及部分分论坛的环节后做了这期内容。

相较于此前我参加的AIEC，AICC大会更加关注的是底层基础设施；比如算力系统、芯片、软硬适配、Token生产等等。我今天的内容设计三个章节，分别是： - 从Chat到Agent，需求侧的结构性跃迁

- 智能本身的重新定义，从概率拟合到可信生产

- 算力与芯片，系统、器件、生态的突围

PPT在我的ima数据库中，有需要可以去ima获取；屠龙之术VIP报告库 ima.qq.com

（想加粉丝群的请先+微信：rosicky311) 下面正片开始……

【时间线】 00:14 标题 01:17 AICC2026 02:33 第一章：从Chat到Agent 02:40 Agent=Model+Harness 04:19 IDC-浪潮信息联合发布《中国人工智能计算力发展评估报告》报告下载，小程序搜索：技术价值白皮书 07:34 Agent发展阶段 08:52 当前共识work+coding 09:47 Token增长的三个系数 11:35 算力缺口持续存在 13:21 IDC观点总结 14:58 第二章：智能本身的重新定义 15:08 同济大学郑庆华院士的演讲 16:29 当前大模型的局限所在 17:29 从“人脑”结构找寻解决方案 18:23 机器记忆智能 19:22 可靠评测体系 21:21 可靠性 22:27 全链路覆盖 23:34 所谓“可靠” 24:01 评测体系发布 25:13 一体两面 25:46 第三章：算力与芯片 26:00 系统、器件、生态的突围 26:41 浪潮信息的主张：智算系统的双唯进化 27:48 能力型智算的极端要求 28:59 双轨实施 30:17 浪潮信息的新产品发布 31:13 芯算一体的主张 32:02 让计算走进存储 33:12 已有的实施效果 33:42 场景拓展 34:15 上个价值 35:09 FlagOS的生态 35:52 软件生态也是壁垒 37:01 万能插座 37:25 国产模型与国产芯片的Day 0适配 39:01 生态壮大中 39:54 回顾三章 40:28 写在最后，金字塔的比喻 40:53 致谢

【播客简介】屠龙之术是一档关注科技、互联网、风险投资的播客，主播庄明浩是一个游走在互联网和风险投资行业的边缘人士。其工作多年所积累的认知似乎都成为了某种意义上的”屠龙之术“…… 或许某天再有新的“龙”出现的时候，就是这档播客停更之时。

【ima知识库】屠龙之术VIP报告库 ima.qq.com

[Source](https://www.xiaoyuzhoufm.com/episode/6ab2b85df04646b3a955a1de)

中文简报

AICC大会预计AI产值达22万亿美元算力缺口逼近四千亿 AI由对话转向自主智能体引爆Token消耗激增数千倍，行业必须依靠存算一体芯片与开源系统生态打破算力与能耗瓶颈。节目围绕 AI 跨入工业化生产阶段后的产业演进展开，从需求、智能本质与算力底座三个维度进行了系统拆解。首先，需求端正在由 Chat 转向 Agent，遵循“Agent = Model + Harness”公式，且多乘数效应将推动 Token 消耗与算力缺口指数级激增；其次，智能本身正告别单纯依赖规模的暴力美学，朝向郑庆华院士提出的“机器记忆智能”以及覆盖全技术栈的可靠性评测体系演进；最后，在芯片与算力层面，浪潮信息推出了能力型与容量型的“智算双轨”架构，清华大学团队利用存算一体突破冯·诺依曼架构的存储墙，而智源 FlagOS 则以开源“万能插座”打破生态壁垒，三者共同构筑起支撑产业落地的金字塔底座。 IDC 与浪潮信息联合发布的报告预测，到 2030 年全球活跃的生产级 Agent 规模将达 22.16 亿个，Token 消耗量年复合增长率高达 4822.6%，算力供需缺口将扩大至 3809 亿美元。 (4:19) 面对 Transformer 依赖暴力美学推高算力与能耗的物理瓶颈，郑庆华院士提出借鉴人脑机制的“机器记忆智能”路线，致力于在受限资源下实现小样本强推理。 (14:58) 浪潮信息提出“能力型智算”与“容量型智算”双轨演进，并推出 SD200 Ultra 超节点服务器与同等投资下吞吐产能提升 10 倍的 HC2000 多元算力机组。 (25:46) 智源研究院打造的开源操作系统 FlagOS 构建异构硬件“万能插座”，实现单一大模型在 Day 0 阶段 24 小时内适配 12 款主流芯片，打破 CUDA 生态壁垒。 (35:09)

Reading summary

随着人工智能进入工业化生产阶段，产业竞争核心正从单向度的参数规模扩张转向低成本、高可靠的业务闭环落地。这一转变推动了需求侧向智能体（Agent）范式迁移，并倒逼算法机制、评测标准、算力系统、芯片器件与软件生态展开全链条重构。从单轮对话到智能体与Token供需剪刀差 (2:33) 在需求侧，产业界达成“Agent = Model + Harness”的共识，其中基座模型决定智能上限，工程治理框架（Harness）则负责将概率输出转化为具备状态维护、安全护栏和自我恢复能力的确定性工程流。IDC与浪潮信息在报告中指出，当前落地最成熟的场景集中于专业工作流（Work）和代码工程交付（Coding）。 Token爆炸背后的三大乘数与供给硬约束 (9:47) IDC预测，到2030年全球活跃生产级Agent将达22.16亿个，2026至2030年全球Token消耗量年复合增长率预计达4822.6%，主要由任务调用总量激增（2800亿次增至415万亿次）、单任务推理链条加长以及多Agent并发协作三大乘数推动。尽管97.3%的受访企业计划扩大或维持AI投入，但算力供给面临常态化紧缺，2027年满足度预计下探至71%，2030年算力缺口预计扩大至3809亿美元，同时受制于电力短缺与存储芯片价格年涨30%至50%的硬约束。重定义智能与全链路可靠性评测 (14:58) 同济大学郑庆华院士指出，当前基于Transformer的大模型面临高能耗、黑箱与小样本推理缺失等瓶颈，建议借鉴人脑低功耗稀疏激活机制发展“机器记忆智能”，在受限资源与有限时间内实现强因果推理。与算法范式演进相对应，工信部电子五所蒋佩航强调传统静态Benchmark已失效，并联合智源研究院、浪潮信息等20余家机构推出全链路可靠性评测体系，将评估对象从单一模型延伸至涵盖芯片、通信、框架、数据与应用的系统级Agent轨迹。智算双轨架构与存算一体打破物理瓶颈 (25:46) 在系统与器件层，浪潮信息提出“智算双轨”路径：“能力型智算”面向超大规模参数模型，通过如元脑SD200 Ultra超节点保证长周期低抖动运行；“容量型智算”则通过元脑HC2000等多机组处理海量并发推理，主打异构协同并将Token吞吐产能提升10倍。在芯片微架构上，清华大学吴华强团队展示了基于忆阻器的存算一体架构，通过模拟计算消除数据在存算单元间的搬运，在28nm等成熟工艺下即可将算力提升4倍（达600 TOPS），为应对先进制程受限提供了新路径。开源FlagOS打破算力孤岛与生态壁垒 (35:09) 针对90%新型AI芯片面临的CUDA闭源软件生态壁垒，北京智源研究院打造了开源操作系统FlagOS。该系统包含800多个通用高性能算子，向上兼容主流算法框架，向下适配异构芯片底层指令集。目前该平台已支持单一大模型在24小时内适配平头哥、摩尔线程、海光、苹果M系列等12款主流芯片，使芯片研发摆脱底层软件重复造轮子的问题，推动国内异构算力形成协同网络。 AI进入规模化生产阶段后，其底层竞争力已演变为金字塔结构：顶层追求业务任务闭环与经济ROI兑现，中间层依赖开源操作系统与全栈评测标准实现软硬件解耦，底层则通过存算一体器件和双轨智算系统共同突破物理供给瓶颈。

Source quotes

[2:40] IDC: Agent = Model + Harness [4:19] IDC: 从2026年到2030年，全球Token消耗量的年复合增长率（CAGR）预计高达惊人的4822.6%。 [4:19] IDC: 预计到2030年，全球活跃的生产级Agent数量将激增至22.16亿个。 [14:58] 郑庆华: 下一代智能演进必须探索在有限算力、有限存储与小样本条件下的强推理能力。 [19:22] 蒋佩航: 传统的静态Benchmark跑分已经失效，无法反映AI在工业、政务和金融真实复杂业务流中的可用性。 [25:46] 刘军: 智算系统正走向“向上突破认知极限”与“向广普惠海量供给”的智算双轨进化。 [31:13] 吴华强: 让计算走进存储阵列 [31:13] 吴华强: 在外部先进制程受限的环境下，该技术能够在28nm等成熟工艺节点上逼近硅基半导体的能效极限。 [35:09] 林咏华: AI芯片最大的壁垒往往不在硬件物理算力，而在于以英伟达CUDA为代表的、长期积累的闭源软件生态与开发者习惯。 [39:54] 庄明浩: AI走向工业化生产阶段，比拼的核心不再是参数打分，而是谁能稳定、低成本地跑完每一个业务任务闭环。

Original transcript

[0:00] 哈喽哈喽大家好欢迎收听图论之处又是一期我个人的solo带PPT的播客节目本期的主题叫AI进入生产阶段之后智能算力芯片会走向哪里我对今天的议题起了一个小标题叫AICC2026人工智能计算大会测记看到这个小标题你大概会猜到我为什么会有这期的内容本周一的时候我去北京参加了一场AICC2026人工智能计算大会这是这次大会的第七届也就是说在过去七年的时间里面关于人工智能计算尤其是关于算力芯片的探讨就已经持续了非常多的时间那因为进入到2026年之后随着AI这一轮模型能力的提升关于算力芯片包括下一阶段智能怎么走的探讨特别的多如果大家有印象的话我在今天6月份发过一起播客是我跟高飞老师对谈的那次的大会叫AIEC人工智能生态大会那次的会议内容其实更多集中在我们平时在我的播客聊的比较多的比如应用软件 agent这个方向上但是今天这次的SAC的大会我觉得可能弥补了我很多此前行业不是特别了解的游戏片Infra跟硬件层面的很多的探讨我在大会上听了完整的一天的内容包括上午的主会场所有嘉宾的Knote下午的几个分论坛我串着听了一听挑了一些我感兴趣的内容基于这次大会的内容我做了今天的这次的PPT的整理跟以往的内容一样然后PPT的所有的图像会放在我的show note里欢迎大家收听我们正式开始今天的内容就像前面标题提及的我所说的叫智能算力跟芯片到底会走向哪里所以今天的内容大概分了三个章节我首先会讲从Chat到Agent也就是需求侧的结构性跃迁这部分内容主要来自于现场大会现场当天上午IDC的副总裁周总的一个非常长的报告分享第二部分是关于智能本身的重新定义的从概率拟合到可惜生产它主要来自两位嘉宾一位是同一大学的党委书记自工信部的一位研究员第三部分来自于三位嘉宾他们分别从系统层面元器件层面以及整个生态层面探讨了算力与芯片的发展所以一共三张我们先进入第一张从Chat到Agent需求侧的结构性跃迁首先在IDC的这次分享当中我觉得他用了一个可能今天这个时间点成为一届届共识的概念也就是Agent等于Model加HannesModel决定了Agent的智能上限今天的Agent里面的模型可能包括推理长度刷下文的长度是否只是多么泰工具的调用以及成本的差异同时又因为不同模型对于不同任务的擅长的能力变得越来越重要大家开始探讨模型的路由层要把不同的任务案类型用户的意图负载做动态的匹配给予最优的选择同时对于模型的评判上我们开始考虑准确率推力能力延时性包括投款的成本就是模型这一层它在决定整个agent智能的上限那在进入今年之后大家套论到比较多的Hannis他负责的是把模型输出转化为可执行的流程那模型从真正意义上切入到agent到产出结构中间所有的所用到的东西,或者说所用到的功能模块,可能包括山下文的管理,模型的路由,工具的连接,状态与记忆,执行控制,安全,甚至可观测与评测,就像我上一期不可讲的,Bedgemark变得特别重要,所以agent等于model加hanness,模型提供智能能力,hanness把能力组织成可运行可治理,能恢复agent的执行系统在当下这个时间点这个公式本身似乎已经成为了绝对的业绩公式IDC在会上发布了一个报告它是跟浪潮信息联合发布的叫2026年中国人工智能计算力发展评估报告我会把这份报告放在收纳的里这份报告列了非常多的信息点我抽取了一些我比较关注的点比如说在过去一两年时间里面我无数次在提及人工智能发展走到了人类极限里我们开始用万亿美金就是trailing这样一个数据标记我们去衡量GDP的一个数据标识去衡量整个AI领域的无论是KPS的投入AI的产值等等那IDC的报告在这次报告 [5:00] 给了一个截止到2031年就是未来五年左右时间人工智能这个行业累积创造的全球经济的价值他给了一个数字是22.5T就是22.5吹力啊他给了一个未来五年在这件事情上一个观看定义下的产值这个数字可能已经基本上等于中国还是美国26年的GDP了对如果没记错的话因为我2026年的预计的全世界世界国民生产种子应该是126个T就是2022.5大概相当于六分之一左右的全世界的GDP然后因为我们走到了agent年代ITC这份报告预计截止到2030年全球活跃的agent数量可以跑到22.16亿最重要的是Agent从或者说AI的能力从此前的验证开始走到价值的兑现那最直接的体现就是所谓的经济价值因为无数的人提起这一轮的AI是所谓的什么技术革命第四次工业革命之类的那他既然被灌到这样的名词当然要去跟能够提升多少GDP去做对比能够提升所谓的多少的经济价值那IBC给了这样一个预期但同时在这份报告当中用了很大的篇幅去描述算了一层面供需的剪刀叉在次序扩大根据IDC的预计2030年全球ESN的供需缺口注意是供需缺口将达到3809亿美金并且从趋势上来看这个趋势在持续的放大很多人预期28年左右随着这一轮的技术建设的投入这个缺口可能会出现缓解但是IDC的统计或者IDC的预期似乎预示着这件事情的缺口将持续放大为什么呢因为从2026年到2030年全球token的消耗量的复合增长率IPC的统计是4822.6%谢谢大家我再说一遍,2026年到2030年,全球token消耗量的复合增长率是4822.6%在这样一个巨大的涨幅前提下似乎物理世界的很多限制都很难追得上谢谢大家IDC的定义比如说agent的发展它定义了五个阶段有点类似之前的L1到L5的划分但是更集中在agent的这个板块它会认为第一个阶段是功能性恋爱主要做的是生成识别跟预测代码生成是觉得置验正能的回答第二阶段是个人agent工具调用和任务执行主要做邮件日程稳当那似乎我们在这个阶段二阶段三他会认为叫单流程一阵的就是完成一个业务流程代码agent公单的全链物的端端端的交付那似乎我们正在从阶段二走到阶段三阶段四他会认为叫多agent的协同跨角色跟跨系统营销销售交付协同供应链协同那当然今天这个时间点如果大家熟悉agent的发展那似乎有一些前沿的agent的调研跟agent的任务的协同大家也在尝试那阶段五叫监督下的闭环持续运行人工负责工程自治人身批全的变更听到这个概念你会发现似乎最最最激进当前这个时间点的博物厂商跟厂商也在尝试类似的事情的话谢谢大家那在当下这个时间点Echo我前一期播客所讲的也是HCOS给的结论Worker场景加Coding场景是这个时间点的共识所以从成熟度的角度来判断专业服务的Work Agent法律与资讯会计等专业工作以及软件与IT行业的Coding Agent代码开发测试与工程交付相对会比较成熟其他领域比如教育科研医疗金融能源制造零售这些它的成熟度没有当前这个时间点的work加coding那么的成熟我觉得在26年work加agent似乎workagent加codingagent是阶段性公式当然最近一段时间出现了所谓个人人的一波浪潮这个我在我长期播客也有提及谢谢大家谢谢大家回顾刚才那个4822%4822%的token增长为什么会这样的量级增长IDC给了一个公式大家看得见的是agent的应用但看不见 [10:00] 是对底层算力基础设施的巨大的需求膨胀这个Token的消耗来自于三个乘数的相乘首先是任务执行的次数就是我们有多少任务IC统计从26年的2800亿次要涨到2030年的415万亿次翻了多少翻大家可以算一下这是第一个成数任务执行次数第二个成数单任务的token消耗比如说我们之前完成的更多是偏简单的任务但是今天大家越来越多去完成所谓的复杂任务所以单任务的投稿消耗可能从数十token涨到了数十万token增长非常多倍数这是第二个成数单任务的投稿消耗第三个成数多智能体的协同放大系数一个任务任务变成多个智能体的子任务推高任务的执行次数尤其是并行的任务次数智能体间的上下文传递与结果汇总延长任务链路也就是大家所谓的长传任务推高了单任务的投稿消耗所以三个乘数任务执行次数单任务投稿消耗多智能体协同的放大系数这三个系数一乘Poken的消耗你可想而知会膨胀到什么程度所以算力需求角度来讲从当前这个时间点或者说此前一段时间的单次调用推向了持续协同这可能也跟我上一期播客讲到的RSI有一定的关联性但是面对如此爆炸的投肯算力需求似乎就像我此前讲的无数次的一样我们触碰到了人类太多的物理极限物理世界的限制会成为常态而不是很多人预期的28年会得到缓和根据IDC的统计它统计了两个数字一个是算力供给一个是算力需求这两个数字一除有一个叫算力满足度两条曲线的缺口其实在持续的放大刚才我们说过到2030年要3800多亿美金从满足度情况来说今天2026年大概是74%2027年会更紧缺71%2028年有所缓解到75%29年30年依然在缓解可以达到76%甚至77%的满足度但是因为Token的爆炸性的增长以及算力的更大规模的投入缺口是在持续放大的也就是说缺口的绝对值要从2024年的389亿美金涨到2036年的3809亿美金好起业头的意愿97.3%扩大投入37.7%增加推理价格的信号调价加快至半年内我觉得更极端来讲我们看当前这个时间点最紧缺的存储芯片的调价空间已经调到了可能季度到月全年涨幅30到50我觉得这是平均值其他有几个核心的板块涨幅远远不足一次这个瓶颈除了产能的约束之外还有能源的约束也就是电的约束所以物理世界的限制会成为常态谢谢所以IDC的核心观点我总结一下首先agent正在重写一切当AI从内容生成走向任务执行,从单轮问答走向常链路协作,它不再是人类手中的工具,而开始成为能够独立承担生产任务的运行单元,我们在25年似乎看到了很多很多类似的场景的出现。首先交付形态之变从内容生产到任务执行从单轮回答到常链路的并行写作第二竞争焦点的变化从是否部署AI尤其是企业层转向是否具备规模化安全化安全这个话题在过去一两个月被提到了特别高的高度可治理的运行agent能力我觉得某种程度以ECOLO上一期Own Your Intelligence所讲的内容第三中国的态势与平静中国展现出独特的领先优势Agent规模化运行将算力推向国家关键基础设施的战略高度这场由agent驱动的变革正沿着五个趋势加速展开第一个AI价值的兑现提速第二中国智能体部署渗透率领先全球三算力需求结构性越深四算力成为国家战略基础设施我觉得这也是公式五工需缺口长期存在这是IDC的总结我们第一章讲完了从Chat到Agent需求策的结构性约签我们再看 [15:00] 智能本身的重新定义从概率拟合到可信生产智能本身先看同济大学党委书记郑庆华院士的演讲他说机智能的下一步突破不能只依赖数据和算力规模的拓展大家总说这轮椅I三驾马车数据算力算法在算法没有太多变化的前提下大家似乎今天这个实验都在追求数据跟算力但是政院士会说我们不能只依赖数据跟算力规模的拓展还要具备在知识和资源有限环境持续变化学习和推理的能力为此需要将数据驱动与知识引导相结合借鉴人脑记忆与联想机制探索面向小样本强推理的机器记忆智能它的演讲标题类似从大模型到机器记忆智能这件事回顾了过去70年人工智能的发展从最早的计算智能到感知智能再到认知智能再到类人的自主智能到未来大家期待中的所谓的通用的人工智能从工具性能力走向着理解协同语集自主也就是我之前不合体集的RSI那么为什么会需要再往前探索这边是会提及当前这个时间点大模型的这一带的结构存在一些局限比如说算率与数据的需求极度的夸张极度的夸张算力消耗高数据依赖强第二缺乏人类的抽象能力人类的抽象能力第三黑箱不可解释可解释性也是很多人去探索的方向第四灾难性遗忘学习新任务时旧知识会被覆盖所有的任务的上下文的记忆窗口的长度很长时间没有突破了第五小样本复杂推理的缺失难以在少样本的情形下做泛化这些议题可能都是当前这个时间点大漫星的局限这些局限制约了在真实的关键的多变的场景中大梦型的可靠的落地那么如何解决这件问题呢说点玄学的造物主或者上帝给了我们一个示范也就是人脑人脑给的什么是方案呢人脑有860亿个左右的神经元但它的功耗只有20到23瓦平均仅需要4%的神经元同步的激活就可以解决很多问题它可以自动的纠偏受造成干扰仍可恢复正确的记忆他可以做内容的联想快速关联回忆完成任务实现累脑的检索谢谢大家它可以做各种各样的状态切换创造性的思维的关键来源也是来自于人脑这是造物主在造人类的时候给的人脑的一种解决方案那我们似乎可以借鉴人脑解决方案往前再去推演智能的演进那推演到哪呢又回到那个标题郑远时会觉得我们要从大模型走到所谓的机器记忆智能机器技能的模型核心它可以做协同它可以在资源最小化的情况下在机制稀疏的情况下做强推理对知识的表征节欧化的组织与压缩有理解可以做联想可以做内容的关联跟激活它实现了某种程度上的不可能三角这不可能的三角是有限性也就是说有限的算力存储数据时间第二个时效性必须在限定时间内输出可行方案第三开放性泛化性动态的适配新场景新知识随时吸收新的知识似乎如果我们沿这条路所谓的机器制衣智能的条路往前走我们可以实现某种程度的不可能三角这是正硬式的主张那在另外一位嘉宾就是工信部电子无所软件与系统研究院的高级副院长蒋佩航蒋院长的演讲当中他提及的一题是可靠的评测体系如何护航AI产业落地他说AI规模化落地推动测评体系从模型能力评价走向全链路可靠性评价可靠AI测评体系从应用场景出发覆盖芯片整机框架模型数据和应用的全链路为产业选择 [20:00] 和行业治理和技术演进提供统一可验证的评估标准好听到这如果熟悉我的播客应该会想到我在上期播客里提到一个观点当前这个时间点Bunchmark本身都是问题谢谢大家那蒋院长把这个事情提到了更高的高度也就是可靠性的评测体系比如说我们要去探讨当前这个时间点AI系统的协同效应三点的指标亮眼可能不足以对整个系统跟适配协调上产生足够的影响业务的可靠性谢谢大家把AI落到政务工业民生各个领域它对延时能耗跟稳定性以安全的要求都不一样复杂任务的稳定性今天AI在执行的是多步骤的高病发任务尝试或者做试点好但并不能代表真正的生产中就可以搞得定还有Bunchmark本身的数据的有效性也在出现巨大的挑战现有的评测在场景数据齐方法上贴合度不足这是当前在可靠性的评判上遇到的问题那么怎么解决这些问题呢整文上的逻辑是说我们要做一套可靠的AI评测体系那何为可靠评测体系有五个维度从测评对象测评方式测评边界评估力度跟评价的标识上我们都要从传统的方式走到新的方式比如说在测评对象上传统的方式更多是针对单一模型的测评当前这个时间点我们需要的是系统级的智能体的测评在测评方式上我们原来用的是静态测试有一个表单是一套打分但是未来我们需要一个动态的持续的及时测试在测评的边界上原来我们更多是在测模型但是今天我们似乎需要对整个技术站进行评测原来的评测力度我们只看得分更多时候我们只看结果但是现在我们可能需要对全流程的轨迹做评论完整的判断在标识上原来我们根据打分的高低评判能力但是你会发现今天越来越多人去探讨所谓的ROI所谓的成本也就是说价值与成本的综合考量变得越来越重要总结一下我们需要做的可靠评测是包括全流程轨迹覆盖工序调用全线使用任务迭代等要素评价这个评价体系包含推理成本跟TCO的总拥有成本也就是说在整个能源执行的全链路在特定场景和运行条件下持续稳定的实现运气功能并具备安全可靠行为可预测异常可处置与恢复能力从芯片层比如算力带宽能效稳定度到整级互联算力集群通信故障恢复到框架系统算子兼容调度到模型本身准确率幻觉鲁棒性到数据层面的质量归属溯源到应用层面必还成效安全退出这个全链路要可证明可控制可承受康福福听起来非常的难以实现对吧但是这需要所有的产业方的所有人付出非常多的努力综合来看从我们简单来看AI这一轮的探讨从基础的硬件层芯片互联框架与系统软件到模型层到数据层到应用层整个四层架构似乎可靠性要一耳贯穿才能形成一个可靠爱爱它包括了安全可控行为可预测稳定的实现功能出现异常可以察觉这就是代表可靠所以在当天会上工信部电子第五研究所联合北京志源研究院浪潮信息摩尔县城木系股份北京开源芯片研究院百度智能云阿里云等20多家产业链单位正式发布了面向agent时代的可靠AI评测体系针对传统AI评测更多聚焦单一模型芯片或局部性能等问题新能力新场景和新要求覆盖芯片整机互联框架系统模型数据应用等诸多环节从可靠性安全性稳定性等维度开展全链路评测行外场景构建风险评估和能力优化为产业选行技术演进和行业 [25:00] 提供可验证的评价参考我会觉得这套可靠AI的评测体系对于当前这个实验点AI的落地尤为的重要谢谢大家谢谢大家第二章我们聊的叫智能进化跟可信评估这其实是一体两面智能是否进化他是否能在有限资源下工作在限定时间内给出答案能否吸收全新的知识做泛化系统是否真的可靠它能否持续稳定实现的功能能否处置异常的检测处置它的每个Token是否对得起它的成本所以让智能真正的可信是下一步的共同命题好我们进入第三章算力芯片系统器件生态的突围我说过这张有三位嘉宾所以它对应了系统器杰跟生态我们一个个来看系统层面制算双轨来自浪潮信息的刘总他会认为能力型与容量型的置算要出现双轨气件层这位嘉宾来自清华他做的是存算一体的芯片他所讲述的内容是讲存算一体芯片如何打破当前这个时间点的平静最后一位嘉宾来自于志愿研究院他讲的是生态协同就是开源生态如何让芯片可用从算力系统到器件突破再到生态协同构成了整个当前这个时间点的完整电路我们一个一个来看首先是浪潮信息的首席AI战略官刘军刘总的发言他说Agent让智能第一次可以像计算和电力一样被规模化生产这就让AI计算既要支撑前沿智能突破人类的能力边界也要推动智能充分供给以贯穿式系统创新提升计算效率以开放创新构建健康可持续的产业生态所以总结一下刘总的演讲需要双维进化向上突破与向广普惠双轨之向上的叫能力型范例他做的事情是突破认知的边界支撑前沿模型的研发面向的可能是马上进入到10万亿参数规模的前沿模型的研发极度追求的是连续稳定运行以低延迟同时出现的另外一轨叫容量型算力它面向的是商业推理跟普惠的共享要解决的是海量高并发的终端需求极度追求资源动态调度与防闲置一轨一轨来看我们先看能力型制算的极端需求当前这个时间点的开源模型比如大家所熟知的KMI的K3已经达到2.8T传闻中的Cloud应该已经是一个10T的模型了26年结束之后最最最的头部厂乡应该都奔着实体模型去了今天的渔记大会上千万应该也做了类似的表态射亚文的窗口今天一个谜应该已经是常态了对吧然后Agent的运行时长已经从几个小时大家开始在尝试往几天去跑了所以在漫长的推理与规划的周期中任何一次计算通信或者软件故障都会导致长周期任务的中断所以不需将单节点视为一个整体这种超级高端的能力需要落地对于智算系统需要有三个巨大的前提第一紧跟最前沿模型的发展速度第二,极低的延时第三支持长周期的稳定运行这是能力性至上的极端要求也就是说我们需要去解决的是这种智能究竟可以跑到多强好就像当前这个时间点最最最的红模型在做的事情他们在做的是突破智能的上限让AI帮助人类探索还不知道什么对于智算系统要求变成了装得下跑得快跑得稳关键概念变成了有效计算液也就是说一个智能实力可以高效的使用计算的域要足够的大它的技术弱性就是超节点从更多服务器到一个更大的计算机我觉得当前这个时间点恩为大家的老黄就在践行这样的事情在另外一面也就是普惠的推理层的需求它的核心议题变成了我们究竟能够拥有多少智能它的目标是实现智能的充分供给让每个人身边都有大量的智能它的挑战是单个资源的智能产出的上限核心理念变成了由负载定义算理推理不是一种议算 [30:00] 是让每种芯片都做最擅长的事关键概念多元算力协同高密度负载结构多元协同它的进入入境就是多元算力协同的推理机组从一个计算机到一个智能生产的工厂也就是所谓大家谈讨的token工厂谢谢大家所以在这次大会上刘总发布了两个浪潮信息的新的产品分别针对刚才两个场景一个是能力型的一个是容量型的能力型的原脑SD200Ultra超节点的AI服务器它是解决能力型也就是前沿模型研发的他举的例子就是当时KMIK3的联合发布过程中他们可以做到Token的生成实验低至了5.85毫秒支持了10万亿参数规模的超节点AFT这是解决能力型的元脑SD200Ultra解决容量型的是元脑HC2000多元算力机组可以达到的效果是头等投资的情况下token的产能可以提升10倍这是针对双轨式情况下的制算体系让潮信息所给出的答案我们再看第二位嘉宾也就是器件层面的这位嘉宾来自清华大学的教授吴花强他做的是纯算一体的芯片他说面对大模型算力需求的快速增长以及传统芯片在面积带宽等方面的约束AN芯片需要从新器件新架构和新计算范式中寻找突破一组器在纳米尺度实现计算与存储融合减少数据搬移是发展算力芯片的新路径它的核心逻辑是说今天这个时间点的AI算力层的数据中心数据在处理器与存储器之间的来回搬运也就是数据的传输的问题是性能与能效的主要瓶颈那为了解决这件事情它所做的研发的工作是做存算一体的芯片也就是说让计算走进存储存储阵列计算与存储融为一体单个单元内同时完成存储跟计算实现的效果是数据在哪里计算就在哪里无需搬来搬去解决这样的瓶颈那么为什么选择存算一体呢去跟传统的GPU跟CPU架构做对比比如说传统架构在核心计算模式上是纯数字的逻辑数据的搬运需要高频的搬运所以功耗极高所以反而讲为什么对大家对高速的内存要求这么的高也是这个原因同样的又因为高速的内存跟不断的数据的传输对功耗产生更高的要求功耗上出现了瓶颈然后极端的要求先进制程尤其是7纳米以下的先进制程但是如果是存算一体的方式它是基于物理模拟的零搬运它可以逼近规矩物理能效的极限成熟制程也就是28纳米就可以实现性能的跃前所以存算一体实现了对传统架构的降维打击在吴教授的团队过去这些年的尝试过程中22纳米现在在往7纳米的方向去走然后之前在同制成的传统结构上他们的算力可以提升4倍左右当时用的是28纳米的工艺算力可以从150Tops涨到600TOPS 这是他们已经在做的尝试并且已经在很多的场景下做了实施同样的存算一体的芯片可以在算力之外进行更多的场景拓展比如在智能终端设备上实现极低功耗的常量唤醒跟永远的在线感知打破移动设备的电池续航的痛点比如在智能汽车上可以实现本地毫秒级的实时数据处理彻底告别云端的传输延迟比如在IoT也就是物理网节点上突破极端环境的电池的极限实现超长待机与高精度的本地边缘的智能推断更高层级的意义你会发现吴教授在讲的过程中他会不断的提及说今天这个时间点我们可以通过这样的方式也就是存算一起的方式实现中国新换道超车首先可以摆脱制程的依赖在受限的成熟物理节点上我们就可以利用这种底层架构创新实现跨代机的指数级的性能提升第二打破物理的极限直接挑战硅基半导体的能效极限第三可以赋能全占的场景从4%权重的边缘微调到千维百亿级的云端向量检索完成从端到云的商业生态闭话也就是说不单纯纯算一体的这种芯片结构可以去 [35:00] 解决一些我们当前遇到的现实的算力问题也可以实现某种程度的中国新的换道超车谢谢大家第三位嘉宾,北京志源人工智能研究院的副院长兼总工程师林永华女士。他所讲的是,AI负载不会收敛,计算架构也不会只剩一种,让多元算力从能接入走向真正可用,需要构建更加开放共享的软件生态,降低不同芯片的重复适配成本,让硬件创新更快转化为产业能力所以他的演讲讲的更多的是软硬协同的AI生态构建以他们所在做的Flag OS这样一个开源生态让芯片共享一套软件生态他所讲的前面很多嘉宾讲的都是算力本身的瓶颈那算力之外还有什么瓶颈从他们角度来说软件生态也依然会成为所谓的壁垒当前这个时间点尤其以英伟达的Kuda为代表的软件生态依赖协议编译器与开发者习惯它是一种多年积累的习惯很难撼动他会认为算力买到是相对容易的但是生态的渗透是难的这是国产芯片面临的核心问题也是无数人会提及今天这个时间点Coda是经伟达的核心护城河之一他会举个例子是说当前的国产的芯片非常像孤岛这些孤岛虽然进行了非常激进的底层的创新但是它在面临的是封闭的软件生态的战役数百种新型的AI芯片结构90%被溃于软件生态的高墙之外我们只能无奈的妥协为兼容既有生态创新架构被迫向旧标准妥协所以他们做了一个开源的生态叫FlagOS三层协同从框架与插件层兼容主流的模型框架接口对接开发者算子层开源算子库有800多个算子底层编译层支持多种AI芯片架构通过全站的开源共享让不同的芯片复用同一套软件能力所以有一个比喻叫万能的插座它做到什么程度呢当天李院长在演讲的过程中对那张PPT是一个时间轴过去的几个月时间国产大模型频繁的发布林院长说通过Flag OS我们可以让一个模型在一天内适配比运行多达12款不同的AI芯片使更多开发者能够在更广泛的硬件环境中体验跟使用该模型他列了低龄适配知识芯片包括平头哥英伟达昆仑星海光木熙摩尔县城轻微智能苹果M4M5此心科技等等适配后的多芯片模型版本同步发到Hugging Face摩托达社区腾信云换西社区国家超算互联网等重要平台赋能更广泛的产业大模型应用你听过刚才的模型的适配的过程以及这些芯片的覆盖大部分是国产芯片所以架构层的创新芯片新芯片新架构层出不穷MacOS通过所谓的开云生态共享软件站,破除了适配瓶颈,把这些国产芯片跟国产模型的适配做到了低零,也就是当天可以实现。规模化的算力可以被可用而且当前这个时间点FlyOS已经从论文走到了可用没有什么支撑的算力只是闲置资源生态是芯片之真正发挥价值的最后一公里当前FlagOS生态正在壮大中对芯片制造商而言可以专注芯片上的微价格创新跟算力堆叠不需要再耗费数年的生命重复造底层的软件车轮对开发者而言尤其是模型开发者而言模型架构只需要一次编写其实二小时之内可以瞬间触达全球数十种最优算力打造属于AI时代的共享土壤FlyOS不是在制造另一个封闭的城墙是在铺设一片生机勃勃的共享土壤这个时间点FlagOS已经有100多家生态伙伴800多家开源算子覆盖主流算子12款单模型适配芯片50多个国家的培训覆盖一个壮大的FlagOS生态正在言心中所以回顾一下我们三章翻腾 [40:00] I. 进入生产阶段比的是谁能让每一个任务跑完首先需求测从chat到agent的量级跃迁是这一轮变化的起点第二智能测进入生产之后必须重新定义可靠性从概率拟合到可信运行 3. 供给侧,系统级,器件级,生态级的三级同时推进才算真能接触这个需求写在最后用一个金色塔说比喻 God. 新的层面我们要实现的叫可信运行,效率层面,我们要做软件的生态与评测标准,稳定性的在算力跟系统数据中心层面,安全在底层跟芯片跟硬件层面,这几层一起构建了完整的AI生态的金字塔。 Thank you for listening to this episode. This is my first time for ASCC 2020. I will be happy to hear the original version of the ASCC. I will be happy to hear the original version of the ASCC. I will be happy to hear the original version of the ASCC. I will be happy to hear the ASCC.

AICC大会预计AI产值达22万亿美元 算力缺口逼近四千亿