面壁智能李大海称云端推理成本失控倒逼AI下沉终端

AI端侧拐点，离我们还有多远? — 涌现EmergenceHK

涌现EmergenceHK

面对硬件厂商在“产品越成功云端Token成本越难控制”下的财务压力，面壁智能指出大模型正依托每百天翻倍的知识密度转向端侧软硬协同，以零边际成本换取商业确定性。

AI-assisted summary of AI端侧拐点，离我们还有多远? — original source. Check the original for full context.

Source published:

Key ideas

  • 基于庞大出货量、充沛端侧算力与真实价值场景的“三环法则”，手机与智能汽车正率先迎来端侧AI落地爆发，预计未来12个月内搭载端侧多模态模型的智能汽车出货量将达数十万辆规模。 (0:00)
  • 持续感知（Always-On）与长尾调用暴露了“越成功成本越不可控”的云端Token经济学悖论，边际推理成本近乎为零的端侧部署成为车企与硬件厂商控制BOM成本与保障弱网可靠性的必由之路。 (3:00)
  • 大模型受制于硬件演进的“三曲线错位”（知识密度每100天翻倍、计算芯片每18个月翻倍、化学电池每10年翻倍），端侧优化的第一性原理是追求极致的知识密度与软硬协同，目标是在人脑级20-30瓦功耗内释放顶级智力。 (10:35)
  • 端侧AI区别于云端的核心在于离线私密环境下的“持续学习”（Continual Learning）：模型部署后如同大学毕业生进入具体岗位，能在绝不泄露隐私的前提下通过日常交互自主进化为个人专属专家。 (35:00)

Detailed notes

## Background 该视频由 YouTube 频道“涌现EmergenceHK”于 2026 年 8 月 7 日发布。内容围绕所长林超与面壁智能联合创始人兼 CEO 李大海的深度对话展开，聚焦大模型从云端走向终端的商业与技术拐点，探讨端云协同、软硬协同、模型演进规律以及端侧 AGI 的实现路径。

## TL;DR 李大海提出了判断端侧爆发的“三环法则”，指出手机与汽车因出货量、算力及实用价值的契合将率先迎来端侧 AI 爆发。受制于云端推理高昂的 Token 经济学困局与网络延迟，端侧部署成为保障成本确定性与 24 小时全天候感知的刚需。受大模型知识密度（每百天翻倍）、芯片算力（18个月翻倍）与化学电池（10年翻倍）三曲线错位的制约，端侧模型必须追求与芯片的深度双向协同设计，而非单纯依赖云端蒸馏。端侧模型凭借单位参数的超高知识密度与极低边际成本，不仅能依托本地私有数据实现持续进化的“专属专家”形态，还将与云、边构建起互补协同的算力阶梯，重构软硬一体的商业闭环。

## Atmosphere & style 整场对话呈现出一种深扎产业一线、理性克制却极具穿透力的硬核技术研讨氛围。李大海的叙述兼具扎实的底层逻辑与形象生动的产业比喻，从三环法则到大学生成长隐喻，展现出严谨的工程与商业推演功底；主持人林超的提问精准犀利，直击企业成本控制与生态挤压的现实痛点。两人互动层层递进、逻辑自洽，不仅褪去了大模型叙事的虚火与狂热，更为听众勾勒出一条尊重物理规律、算力经济学与商业真实回报的端侧落地全景。

## Bulletin - [00:00](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=0s) 基于庞大出货量、充沛端侧算力与真实价值场景的“三环法则”，手机与智能汽车正率先迎来端侧AI落地爆发，预计未来12个月内搭载端侧多模态模型的智能汽车出货量将达数十万辆规模。 - [03:00](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=180s) 持续感知（Always-On）与长尾调用暴露了“越成功成本越不可控”的云端Token经济学悖论，边际推理成本近乎为零的端侧部署成为车企与硬件厂商控制BOM成本与保障弱网可靠性的必由之路。 - [10:35](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=635s) 大模型受制于硬件演进的“三曲线错位”（知识密度每100天翻倍、计算芯片每18个月翻倍、化学电池每10年翻倍），端侧优化的第一性原理是追求极致的知识密度与软硬协同，目标是在人脑级20-30瓦功耗内释放顶级智力。 - [35:00](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=2100s) 端侧AI区别于云端的核心在于离线私密环境下的“持续学习”（Continual Learning）：模型部署后如同大学毕业生进入具体岗位，能在绝不泄露隐私的前提下通过日常交互自主进化为个人专属专家。

## Key takeaways - [00:00](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=0s) 端侧AI爆发遵循“三环法则”，只有年出货量庞大、端侧硬件算力充足且具备高价值实用场景的设备才能迎来拐点，手机与智能汽车正率先领跑。 - [00:00](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=0s) 手机作为离用户最近的设备，能捕捉最全、最细颗粒度的多维上下文数据，本地端侧模型既能提供高度个性化服务，又彻底消除了隐私上传云端的信任危机。 - [03:00](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=180s) 智能汽车作为“移动客厅”向主动决策式智能体演进，视觉与听觉的全天候持续感知（Always-On）若依赖云端将产生难以承受的Token与带宽开销，端侧化是保障零边际成本与弱网高可靠性的唯一路径。 - [06:55](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=415s) 传统硬件制造业依赖可预测的BOM成本，而云端API计费模式导致“产品越成功、生命周期成本越失控”，端侧部署将调用成本转化为设备一次性投入，解决了硬件厂商的商业困境。 - [10:35](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=635s) 大模型知识密度（约100天翻番）、芯片算力（约18个月翻番）与化学电池（约10年翻番）三者发展曲线严重错位，使功耗与散热成为不插电移动终端落地的硬性物理边界。 - [14:48](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=888s) 小模型不等于端侧模型，简单的云端大模型蒸馏无法榨干端侧硬件潜能，原生端侧基模必须在架构设计初期就与目标芯片的算子和访存特性展开深度的双向协同设计（Co-design）。 - [18:50](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=1130s) 与盲目堆叠参数的Scaling Law不同，端侧的核心优化法则是提升“知识密度”（综合能力与参数规模的比值），以追求在极小参数与人脑级20至30瓦极低功耗下逼近人类高水平智力。 - [18:50](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=1130s) 提升模型知识压缩效率取决于先天架构基础、高质量结构化数据教材，以及如面壁智能提出的WSD（Warmup-Stable-Decay）学习率调度器等高效训练算法。 - [26:10](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=1570s) 端侧AI以极强的“成本确定性与可预测性”重构商业模式，正逐步形成IP/算法授权费模式，以及通过深度协同实现“100元硬件跑出200元效果”的软硬一体化解决方案。 - [26:10](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=1570s) 端侧设备未来将演进为智能“分流路由器”，本地端侧模型优先低成本闭环高频基础任务，必要时长尾任务再向云端发起调用，端侧入口成为生态利益分配的核心节点。 - [30:52](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=1852s) 大模型研发正走向“AI训练AI”的五级自动化阶梯（从Prompt到跨职能虚拟实验室协同演进），硅基算力逐步接管模型生产全流程，人类将退居幕后主导伦理对齐与安全性验证。 - [35:00](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=2100s) 端侧模型真正的质变在于部署后的“持续学习”能力，好比初出校门的大学生在具体工作岗位中历练，模型在私有数据闭环中耳濡目染进化为专属专家，打破千人一面的云端范式。 - [36:00](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=2160s) 计算基础设施正形成清晰的云-边-端三层协同分工：云端解决长尾高难通用任务，边缘侧处理企业级敏感局部业务，端侧则承载便携、不插电、超高频且成本极敏感的即时反馈。 - [36:58](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=2218s) 端侧AI激活了原本因成本与隐私限制被挡在云端之外的海量需求，大模型赋能各垂直行业改造生产力流程，蕴含着尚未被市场完全计入的庞大增量与商业闭环。

## Detailed walkthrough ### [00:00](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=0s) 端侧爆发的三环法则与手机场景的落地

围绕全球及中国端侧 AI 是否迎来关键拐点，面壁智能联合创始人兼 CEO 李大海更倾向于将其表述为“爆发点”。在他看来，不同终端设备迎来爆发的节奏并不相同，汽车与手机会率先提速，其中汽车在今年已开启大规模落地，明年势头将更加迅猛。

判断某类终端能否迅速爆发，李大海提出了一个直观的“三环法则”。当且仅当以下三个圆环重叠时，处于交集框内的终端设备才具备迅速爆发的前提： 1. **年出货量**：该设备自身是否具备足够庞大的年出货量基础； 2. **算力承载**：设备硬件上是否拥有能够支撑端侧模型顺畅运行的充沛算力； 3. **实用价值**：端侧运行的模型能否真正转化为对用户有实际价值的使用场景。

```mermaid flowchart TD accTitle: 端侧设备爆发的三环法则 accDescr: 展示年出货量、端侧算力和实用场景三个要素交集决定端侧设备是否能够爆发 subgraph ThreeRings["端侧爆发判断模型"] A["庞大的年出货量"] B["承载模型的端侧算力"] C["对用户有价值的实用场景"] end A --- Intersect["三环重合交集<br/>（手机、智能汽车率先入局）"] B --- Intersect C --- Intersect ```

在典型终端中，手机由于离人最近，对用户日常方方面面的上下文掌握最深，需求极为迫切。不同于云端模型仅能基于有限的对话交互，手机本地掌握的数据颗粒度“既细且全面”——从近期日程、瞬时思考的问题到长期生活喜好，手机均能精准捕捉。这种比普通 Agent 高出一个数量级的多维数据，赋予了手机提供高度个性化（personality）服务的能力（如以用户惯常文风起草邮件或报告）。更为关键的是，由于模型运行在本地，它彻底规避了“将个人所有数据喂给云端模型训练而导致隐私被完全扒光”的信任危机，在保证极细颗粒度认知的同时，确保“用户的数据完全属于用户自己”。

---

[03:00](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=180s) 汽车作为“移动客厅”与 Always-On 带来的端侧刚需

相较于手机，汽车正在演变为家庭与个人的“第二隐私空间”和移动客厅。随着整车制造成本不断下行，汽车正由过去的家庭共享向个人专属设备演变，私人属性持续强化。从本质上看，汽车本身就是一个高度结构化、可控维度受限但交互极为立体的“行走的机器人”。拥有极强具身属性的汽车，其核心交互已不再满足于过去被动响应式的语音助手，而是转向基于全天候环境觉察的主动决策与服务——宛如一位“英国范儿的管家”或全天候在线的贾维斯（Jarvis），提供贴身的主动陪伴。

这种场景将端侧 AI 推向了绝对刚需，核心制约因素在于**“持续感知（Always-On）”与成本逻辑**： - **Token 累积与带宽开销**：主动服务要求汽车以视觉和听觉作为核心感知输入（结合车身内部传感器诊断），这意味着车载摄像头与麦克风必须处于 24 小时流式感知状态。持续感知所消耗的算力和 Token 累积呈天文数字，视觉流传输更会带来灾难级的带宽开销。若完全依赖云端轮询，其带宽与 Token 账单将是车企难以承受的“天价”，而部署在端侧，其推理边际成本几乎为零。 - **实时性与可靠性**：车主在行驶过程中网络状态极不稳定。若 AI 具备了主动服务预期（例如“车主一擦汗，AI 自动询问是否调低空调温度”），一旦遇上弱网或断网导致 AI 毫无反应，用户心理上的掌控感会瞬间崩塌，满意度断崖式下跌。本地部署是保障零延迟与高可靠性的唯一路径。

面壁智能目前正与多家主机厂紧密推进更大规模的端侧模型部署，涵盖感知、觉察与执行闭环，预计在未来 12 个月内（到今年年底前后），搭载此类先进端侧多模态模型的汽车出货量将达到数十万辆规模。

---

[06:55](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=415s) Token 经济学困局与端云协同的商业本质

在汽车与手机等硬件载体中，端侧模型的落地并不意味着完全抛弃云端，而是促成了“端云协同”的分工范式。但在增量分配上，逻辑正不可逆转地向端侧倾斜，其深层推手正是**Token 经济学**的现实冲突。

在中国消费市场中，用户极少愿意为终端背后的云端大模型调用单独按量付费，所有推理 Token 成本均由设备厂商硬性承担。传统制造业有着严格的物料清单（BOM）成本预测逻辑。然而，云端 Token 成本的测算却深陷一个商业悖论： > “你的产品越成功，你的成本越不可控。”

如果用户极度喜欢某项 AI 功能，调用量就会几何级暴增；在一次性硬件售价无法覆盖持续生命周期成本的商业模式下，车企与手机厂商的财务压力会无限放大（类似程序员高频调用云端代码生成导致企业成本失控的困境）。相反，把任务部署在端侧，对硬件厂商而言是一次性投入，后续调用边际成本为零，唯一额外消耗的仅是用户的充电电费。在当前手机内存等元器件价格高涨、厂商无法通过高额硬件溢价转嫁长期云端支出的背景下，将高频与感知任务下放端侧已成必由之路。

端侧落地并非瞬间跳变的戏剧性临界点（tipping point），而是在软硬件累积进程中扎实向前推进的必然结果。

---

[10:35](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=635s) 硬件三曲线错位：为什么说端侧必须做芯片协同？

端侧模型在终端落地的硬性物理边界在于**算力与带宽**。两者不仅直接决定了特定场景下的推理性能，更带来了不可忽视的副产物——功耗与发热。

在终端设备分类上，李大海将其划分为两大阵营： - **插电类设备**：如台式 PC、日常插电使用的笔记本电脑、未来的家庭私有计算中心。这类设备对功耗敏感度较低，核心关注散热管理。 - **不插电（电池供电）设备**：如手机、行驶工况下极度依赖动力电池续航的智能汽车。功耗在此类设备中是致命指标，手机尤甚。

李大海指出，当前硬件与大模型的发展受制于三条演进速度完全不同维度的“发展曲线”： 1. **大模型知识密度**：平均每 100 天提升一倍（发展斜率最陡峭）； 2. **计算芯片**：遵循传统摩尔定律，约每 18 个月提升一倍； 3. **化学电池**：受制于底层基础物理与化学定律，往往需要 10 年才能实现容量或性能的一倍提升（演进速度极慢）。

| 维度 | 演进速度 / 周期 | 核心驱动与限制因素 | |:--- |:--- |:--- | | **大模型知识密度** | 每 100 天提升 1 倍 | 数据质量工程、模型架构优化与训练范式（如 WSD）迭代 | | **计算芯片** | 约每 18 个月提升 1 倍（摩尔定律） | 制程工艺升级、存算一体架构突破与空间晶体管堆叠 | | **化学动力电池** | 约 10 年提升 1 倍 | 严苛的基础物理与化学规律限制，演进周期极其缓慢 |

面对电池发展的长期滞后与国内大批存算一体端侧芯片创业团队（预计近一到三年内集中流片）的崛起，端侧落地呈现出独特的“中国范式”——依托中国全球领先的硬件供应链优势与极大的创新带宽，在手机、AI 眼镜、机器人等多类终端中快速形成爆款生态。然而，存算一体芯片的可编程性较弱，促使行业必须打破“小模型只是大模型蒸馏出来的学生”这一传统偏见。

---

[14:48](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=888s) 小模型不等于端侧模型：软硬协同与国产芯片生态

针对行业内将端侧模型简单视作云端大模型做知识蒸馏（Distillation）的刻板印象，李大海做出了关键技术澄清：**小模型绝不天然等同于端侧模型**。

常规蒸馏只是由基模公司提供一个大模型充当“老师”，再拿通用小基模充当“学生”注入领域数据。但端侧受限于极端苛刻的算力、带宽、内存和功耗资源，若要将性能榨取到极致，模型必须从底层架构设计之初就与目标芯片展开深度的**双向协同设计（Co-design）**： - **芯片指导模型**：端侧芯片公司在研发下一代芯片（周期通常达 18 个月以上）时，需提前了解前沿模型架构的趋势以定制硬件指令和算子支持； - **模型匹配芯片**：算法团队在构建原生端侧基模的第一天起，就必须针对特定芯片的访存特性、算力规格进行定制化网络架构调优。

在端侧芯片生态中，场景极度碎片化：在 IoT 领域，以瑞芯微为代表的优秀国产芯片已拿下极高的全球市场份额；而在算力要求极高的手机和汽车主控芯片赛道，高通、联发科、英伟达依然占据统治地位。面壁智能的策略是立足原生端侧基模，一方面与海内外顶尖芯片巨头保持长线联合调优，另一方面深度适配高速迭代的国产新兴芯片。

---

[18:50](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=1130s) 密度法则：从 Scaling Law 到人脑级 30 瓦功耗

围绕大模型发展的底层规律，李大海深入拆解了面壁智能与清华大学团队联合提出并被 *Nature* 杂志收录的**“大模型密度法则”（Law of Knowledge Density）**。

与经典的 Kaplan 或 Chinchilla Scaling Law 不同，Scaling Law 类似于在芯片物理空间上使用 7nm 工艺无脑堆叠芯片面积以实现算力线性翻倍；而密度法则更接近芯片领域的“摩尔定律”——即在**单位参数量**（或相同芯片面积）下，能力的复合增长。其核心公式为： $$\text{大模型能力密度 / 知识密度} = \frac{\text{模型综合能力}}{\text{参数规模}}$$

行业实证数据显示，大模型的知识密度正以平均**每 100 天翻一番**的速度演进。这意味着：经过 100 天的技术沉淀，达到同等智商水平的模型所需参数量减半；或在相同参数体量下，输出能力大幅度跃升。

大模型训练的本质是将万亿级 Token 蕴含的知识高度压缩进几个 GB 的有限参数空间内。提升压缩效率的机制犹如将一个 6 岁孩童培育成优秀大学毕业生，取决于三个关键变量： 1. **模型架构（先天的脑子）**：是爱因斯坦的天赋，还是普通智商基础，决定了信息吸收的上限； 2. **数据质量（教材的质量）**：是每日阅读低质短视频碎片，还是吸收顶尖学者编写的结构化教材； 3. **训练算法（学习的方法）**：如面壁智能在 2024 年率先提出的 **WSD 学习率调度器（Warmup-Stable-Decay）**等训练范式，能极大加速模型收敛，并结合循序渐进的课程难度设计避免强化学习“过早深陷挫败”。

云端模型的最高目标是“无上限追求智能总量”，因此短期内倾向于沿 Scaling Law 盲目放大参数尺寸，不惜牺牲知识密度。但端侧受物理硬件约束，**唯一的最高优化目标就是知识密度**。密度的持续飞跃不仅带来了纯粹的效率（Efficiency），更完成了“从不可用到可用”的定性跨越。端侧智能的第一性原理终局，是向仅凭 20 多瓦至 30 瓦功耗便能产生人类顶级智商的人脑结构看齐。

---

[26:10](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=1570s) 商业模式重构：从不确定的 Token 账单到软硬一体交付

面对云端与端侧的商业化前景，李大海指出，当下云端靠 API Token 计费的模式远未定型，企业用户在尝试期过后，无一不被不受控的账单暴增所惊吓。即便是作为 AI 原生企业的面壁智能自身，今年单月的 Web Coding 调用花费也已全面超越去年整年的总和。

这种成本不确定性恰恰为端侧打开了巨大的商业窗口。正如苹果在官方技术报告中所强调，端侧最强大的商业武器是**成本的确定性与可预测性**：无论设备端模型被高频触发多少次，客户的支出曲线都是一条水平的平稳直线。

基于这一特征，李大海总结了端侧 AI 当前最切实的两种商业模式： - **IP / 算法授权费模式**：类似专利授权，与硬件厂商终端绑定一次性收费，用户可在生命周期内无忧持续使用； - **软硬一体化解决方案**：通过深度软硬件协同优化，达成“100 元硬件跑出 200 元效果”的显著 ROI 增益，将高溢价连同硬件集成交付。

随着端侧知识密度的涌现，端侧设备未来将演变为一个智能“分流路由器”（Router）——由端侧运行的模型底座与协调机制（Harness）自主裁定任务边界：能在本地依靠零边际成本解决的基础任务就地闭环，仅在必要时才向云端发起调用。谁能扼守端侧这一入口分发节点，谁便能在未来的生态利益分配中占据最核心的商业身位。

---

[30:52](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=1852s) AI 训练 AI 的五级阶梯与自主进化的终局

在讨论端侧未来演进时，李大海结合面壁智能在世界人工智能大会上联合中国信通院发布的《AI 训练 AI 白皮书》，系统拆解了 AI 训练 AI 迈向自主进化的五级演进路径： - **L1（命令提示）**：Prompt 级别交互，类比 Chatbot。人类通过提示词向大模型索取架构灵感、设计建议或辅助代码片段； - **L2（辅助研发）**：Copilot 模式，大模型嵌入研发管线，完成特定模块的辅助编写与调试； - **L3（智能体化）**：Agent 阶段，智能体在管线中独立承担执行、调用与分支决策； - **L4（递归改进）**：智能体在执行任务后能够进行自我反思与总结，定位缺陷并在下一次循环中自主修正； - **L5（协同演进）**：完全脱离人类直接介入的自主研究网络。不同 Agent 组成跨职能虚拟实验室，各自认领并探索全新课题，最终通过群体协同将分散的研发成果合并汇入主模型之中。

```mermaid flowchart LR accTitle: AI 训练 AI 的五级演进阶梯 accDescr: 展现从 L1 提示级到 L5 协同演进的五个层级递进关系 L1["L1 命令提示<br/>(Chatbot 级建议)"] --> L2["L2 辅助研发<br/>(Copilot 式研发)"] L2 --> L3["L3 智能体化<br/>(Agent 独立执行)"] L3 --> L4["L4 递归改进<br/>(反思与自修正)"] L4 --> L5["L5 协同演进<br/>(群体自主探索与整合)"] ```

在走向 L4、L5 的过程中，研发工作将由不知疲倦的硅基算力全面接管，人类的核心使命将从体力与精力的消耗中解放出来，转而退居幕后维护整个智能系统的运转框架，全力聚焦于模型的可解释性、伦理对齐以及隐私安全。

然而，李大海特别强调，上述“黑灯工厂”式的五级演化仍然只是模型生产环节的自动化。端侧智能更为关键、更深层次的命题在于：走出模型工厂后，部署在终端上的模型能否在保护绝对隐私的离线环境里，根据用户的日常互动实现真正的**自主进化与持续学习（Continual Learning）**。这才是端侧智能区别于云端的最本质特质。

[35:00](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=2100s) 端侧模型的自主进化：从“大学毕业”到私人专属专家

李大海探讨了端侧模型在生命周期演进上与云端模型的根本范式差异。业内常常提及利用更强大的云端 AI 训练模型并将其蒸馏、下载到终端设备，但这只是第一步。端侧 AI 真正的质变在于部署到终端设备之后的“持续学习”能力。李大海用了一个生动的人才成长比喻：这就好比一群大学生刚从大学毕业走入社会，刚走出校门时大家的通用基础能力是相当接近的；但是进入社会后，“你到这个岗位，我到那个岗位，三年以后您就变成了这方面的专家，我变成了那方面的专家”。

持续学习赋予了每一个具体端侧模型独特的生命力。这种机制完全颠覆了云端单一体量、千人一面的服务范式。端侧模型常驻在具体用户的私人设备里，“在特定用户的环境待久了，他就耳濡目染变成了最适应那个环境的那种”。林超对此深表认同，并指出这恰恰符合真实世界的底层运行逻辑。每个人和每个组织都拥有海量的私有数据，这些数据是用户最宝贵的个人财产与核心隐私资产。端侧模型能够在绝对不泄露私有数据的前提下，消化这些上下文并实现持续进化，越用越顺手。这种立足于私有数据闭环的专属适应力，是中心化云端大模型无论如何也无法替代的独特价值。

[36:00](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=2160s) 云、边、端的三层分级：插电与否、成本与颗粒度

针对数据隐私的考量，林超进一步抛出一个犀利的问题：现实中很多大型企业会采用私有云进行本地化部署，即所谓的边缘侧（Edge）。这种边缘计算形态是否会凭借算力和安全优势，反过来压缩甚至吞噬端侧的生态位？李大海明确给出了否定的判断，并指出区分“边”和“端”的核心标准主要体现在两个维度：一个是物理维度的“插不插电”，另一个则是推理成本与使用颗粒度的差异。

从部署形态来看，最终的 AI 基础设施必然走向清晰的“云-边-端”三层协同体系。云、边、端各自承担着截然不同的任务属性： - **云端（Cloud）**：承载最长尾、机制最复杂、计算量最为庞大的通用智力任务。 - **边缘侧（Edge / 私有云）**：适合处理对企业数据相对敏感、使用相对高频，但单任务复杂度不及顶级长尾问题的企业级局部业务。 - **端侧（Device）**：具备颗粒度更细、与个人随时随地高频交互的特征，特别是对推理成本极其敏感的场景，必须依靠不插电或轻便随身的端侧设备来承载。

```mermaid flowchart TD accTitle: 云边端三层协同分工架构 accDescr: 展示云端、边缘侧与端侧在复杂度、频次、成本与设备形态上的梯度分工。

subgraph CloudLayer["云端 (Cloud)"] CloudNode["处理最长尾、最复杂的通用推理任务"] end

subgraph EdgeLayer["边缘侧 / 私有云 (Edge)"] EdgeNode["处理相对敏感、相对高频的中等复杂度任务<br/>(固定部署 / 插电设备)"] end

subgraph DeviceLayer["端侧 (Device)"] DeviceNode["处理超高频、成本极敏感、强依赖个人隐私的即时反馈<br/>(随身便携 / 不插电设备)"] end

CloudLayer --> EdgeLayer EdgeLayer --> DeviceLayer ```

端侧更细的颗粒度使得它能够捕捉使用者“随时随地的反馈”。因此，边缘侧不仅无法覆盖端侧，反而与端侧形成了高度互补的阶梯式生态。

[36:58](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=2218s) 赋能千行百业：被低估的端侧增量与商业闭环

在梳理完端侧的分层价值后，林超感慨道，按照这种逻辑推演，整个 AI 生态中实际上还有一块规模极为庞大的市场增量尚未被市场充分计入。端侧的普及让原本因成本和隐私被阻隔在云端之外的需求，全部转化为了切实可行的落地场景。

李大海回顾了自己在 2023 年提出的一个预判：“大模型会把所有工作都重新做一遍”。虽然这句话带有一点宏大叙事的色彩，但换一个商业视角来看，它的核心本质就是“大模型一定会赋能千行百业”。在商业底层逻辑上，这一闭环十分清晰自洽：大模型深入各行各业改造生产力流程，提高业务效率，就必然能够从中收回其应得的商业价值与丰厚回报。

李大海对于 AI 深度赋能垂直场景充满信心。他以编程（Coding）领域为例，仅仅是代码辅助和自动化生成这一项能力，就已经为整个软件工业带来了颠覆性的效率变革与巨大的想象空间。而在现实物理世界与实体产业中，还有极其广阔的垂直行业与复杂应用场景，正静待端侧与混合大模型的深度渗透，孕育着未来指数级生产力爆发的巨大潜能。

## Notable quotes > [06:55](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=415s) 你的产品越成功，你的成本越不可控。 — 李大海

> [14:48](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=888s) 小模型绝不天然等同于端侧模型 — 李大海

> [18:50](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=1130s) 大模型能力密度 / 知识密度 = 模型综合能力 / 参数规模 — 李大海

> [18:50](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=1130s) 唯一的最高优化目标就是知识密度 — 李大海

> [26:10](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=1570s) 成本的确定性与可预测性 — 李大海

> [26:10](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=1570s) 100 元硬件跑出 200 元效果 — 李大海

> [35:00](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=2100s) 你到这个岗位，我到那个岗位，三年以后您就变成了这方面的专家，我变成了那方面的专家 — 李大海

> [35:00](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=2100s) 在特定用户的环境待久了，他就耳濡目染变成了最适应那个环境的那种 — 李大海

> [36:58](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=2218s) 大模型会把所有工作都重新做一遍 — 李大海

> [36:58](https://www.youtube.com/watch?v=MMy7RJtDxoI&t=2218s) 大模型一定会赋能千行百业 — 李大海

## Mentioned 李大海, 所长林超, 面壁智能, 涌现EmergenceHK, 清华大学, 中国信通院, 瑞芯微, 高通, 联发科, 英伟达, 苹果, Nature, WSD 学习率调度器, Kaplan Scaling Law, Chinchilla Scaling Law, AI 训练 AI 白皮书

## Video description 大模型越来越聪明，一个反常识的商业难题也随之出现：产品越成功、用户越多，云端推理成本反而越难控制。 于是，AI开始从云端走向终端。手机、汽车和个人设备，不再只是调用模型的工具，而可能成为真正理解用户、拥有长期记忆、保护个人数据的“私人智能体”。 本期视频@所长林超与面壁智能联合创始人 CEO 李大海，围绕端侧AI展开深度讨论：小模型与端侧模型有什么不同？模型、芯片和电池之间存在怎样的发展错位？端云协同将如何演化？手机和智能汽车会不会成为AI时代的新入口？如果人类级智能能够在30瓦以内运行，端侧AGI距离我们还有多远？

[Source](https://www.youtube.com/watch?v=MMy7RJtDxoI)

中文简报

面壁智能李大海称云端推理成本失控倒逼AI下沉终端 面对硬件厂商在“产品越成功云端Token成本越难控制”下的财务压力，面壁智能指出大模型正依托每百天翻倍的知识密度转向端侧软硬协同，以零边际成本换取商业确定性。 李大海提出了判断端侧爆发的“三环法则”，指出手机与汽车因出货量、算力及实用价值的契合将率先迎来端侧 AI 爆发。受制于云端推理高昂的 Token 经济学困局与网络延迟，端侧部署成为保障成本确定性与 24 小时全天候感知的刚需。受大模型知识密度（每百天翻倍）、芯片算力（18个月翻倍）与化学电池（10年翻倍）三曲线错位的制约，端侧模型必须追求与芯片的深度双向协同设计，而非单纯依赖云端蒸馏。端侧模型凭借单位参数的超高知识密度与极低边际成本，不仅能依托本地私有数据实现持续进化的“专属专家”形态，还将与云、边构建起互补协同的算力阶梯，重构软硬一体的商业闭环。 基于庞大出货量、充沛端侧算力与真实价值场景的“三环法则”，手机与智能汽车正率先迎来端侧AI落地爆发，预计未来12个月内搭载端侧多模态模型的智能汽车出货量将达数十万辆规模。 (0:00) 持续感知（Always-On）与长尾调用暴露了“越成功成本越不可控”的云端Token经济学悖论，边际推理成本近乎为零的端侧部署成为车企与硬件厂商控制BOM成本与保障弱网可靠性的必由之路。 (3:00) 大模型受制于硬件演进的“三曲线错位”（知识密度每100天翻倍、计算芯片每18个月翻倍、化学电池每10年翻倍），端侧优化的第一性原理是追求极致的知识密度与软硬协同，目标是在人脑级20-30瓦功耗内释放顶级智力。 (10:35) 端侧AI区别于云端的核心在于离线私密环境下的“持续学习”（Continual Learning）：模型部署后如同大学毕业生进入具体岗位，能在绝不泄露隐私的前提下通过日常交互自主进化为个人专属专家。 (35:00)

Reading summary

面壁智能 CEO 李大海指出，端侧 AI 爆发取决于设备年出货量、算力承载与实用场景的交集。在云端持续调用面临 Token 成本失控与隐私顾虑的背景下，端侧正通过知识密度跃升与软硬件深度协同，成为汽车与手机等终端承接高频与持续感知的必然载体。 终端爆发三环法则与高频感知刚需 (0:00) 李大海提出判断终端爆发的“三环法则”，即设备需同时满足庞大年出货量、充沛算力承载及实用场景价值。手机因紧密掌握用户多维且高颗粒度的上下文，在本地运行模型既能提供高度个性化服务，又规避了将个人数据上传云端的隐私风险。汽车则正在演变为具备强具身属性的移动私人空间，其核心交互正由被动响应转向主动决策与服务。 主动服务要求车载传感器处于全天候持续感知（Always-On）状态。由于视觉与音频流若完全依赖云端轮询将产生灾难性的带宽与 Token 账单，加之行驶环境中的断网风险要求零延迟与高可靠性，端侧本地部署成为刚需。面壁智能预计，未来 12 个月内搭载此类先进端侧多模态模型的汽车出货量将达数十万辆规模。 Token成本悖论与软硬件三曲线协同 (6:55) 在硬件商业模式中，用户极少为终端云端调用按量付费，硬件厂商面临“产品越成功、云端 Token 成本越不可控”的商业悖论，而端侧推理的边际成本几乎为零。然而，端侧落地受制于三条演进速度脱节的物理曲线：大模型知识密度约每 100 天翻一番，计算芯片遵循摩尔定律约每 18 个月翻一番，而化学动力电池受基础物理化学定律限制约 10 年才翻一番。 受电池容量与功耗的硬性约束，端侧模型绝不能简单套用云端大模型的蒸馏技术。李大海强调，芯片公司在研发长周期芯片时需预判前沿模型架构，而算法团队在构建端侧原生基模的第一天起就必须适配特定芯片的访存与算力特性，通过软硬件双向协同设计（Co-design）榨取极致能效。 知识密度法则驱动端侧商业模式重塑 (18:50) 与单纯追求参数规模的 Scaling Law 不同，面壁智能联合清华大学提出的“大模型密度法则”聚焦于单位参数下的能力跃升。受限于硬件物理边界，端侧唯一的优化目标就是知识密度，其终局是向仅需 20 至 30 瓦功耗即可产生人类顶级智商的人脑结构看齐。通过优化模型架构、提升教材级数据质量以及应用 WSD 学习率调度器等范式，大模型知识密度正以平均每 100 天翻番的速度演进。 面对云端 API 计费带来的支出失控，端侧展现出成本确定性优势，催生了 IP 授权与“软硬一体化解决方案”（如以深度调优实现低成本硬件的高性能释放）两种商业模式。李大海预测，端侧设备未来将演变为“分流路由器”，在本地零边际成本闭环基础任务，仅在必要时向云端发起调用。 私有数据持续学习与云边端梯次分工 (35:00) 虽然“AI 训练 AI”已从提示词辅助迈向 L4 递归改进和 L5 群体协同演进，但李大海认为端侧智能的质变在于部署后的持续学习（Continual Learning）。犹如大学毕业生进入不同工作岗位后成长为各领域专家，端侧模型常驻在个人设备中，在不泄露任何私有数据的前提下，基于日常交互实现专属演进与适应，打破云端千人一面的局限。 针对边缘计算（私有云）是否会挤压端侧的疑问，李大海指出二者并不冲突，基础设施将走向分工明确的“云-边-端”三层协同：云端承载计算量庞大、最复杂的长尾通用智力；插电的边缘侧负责企业级局部相对敏感的高频业务；而不插电或便携的端侧设备，则凭借极低推理成本和细颗粒度，专注承接使用者随时随地的即时反馈与超高频交互。 李大海认为，端侧模型的普及正将过去因成本与隐私限制被阻隔在外的需求转化为落地场景，为实体产业带来重塑契机。但端侧智能能否在极度严苛的电池功耗约束下，真正建立起跨终端芯片的协同生态并在离线环境中完成安全自进化，仍有待长线落地检验。

Source quotes

[6:55] 李大海: 你的产品越成功，你的成本越不可控。 [14:48] 李大海: 小模型绝不天然等同于端侧模型 [18:50] 李大海: 大模型能力密度 / 知识密度 = 模型综合能力 / 参数规模 [18:50] 李大海: 唯一的最高优化目标就是知识密度 [26:10] 李大海: 成本的确定性与可预测性 [26:10] 李大海: 100 元硬件跑出 200 元效果 [35:00] 李大海: 你到这个岗位，我到那个岗位，三年以后您就变成了这方面的专家，我变成了那方面的专家 [35:00] 李大海: 在特定用户的环境待久了，他就耳濡目染变成了最适应那个环境的那种 [36:58] 李大海: 大模型会把所有工作都重新做一遍 [36:58] 李大海: 大模型一定会赋能千行百业

Original transcript

[0:00] 大模型会把所有工作都重新做一遍你的产品越成功你的成本越不可控大模型的知识密度平均每100天再提升一倍假设到了L4 L5人的最大作用是什么这次展会其实端撤是一个蛮热的话题你们绝对是中国做端撤最专业的公司之一了我想请教一下你就是说现在到底端撤这块的拐点全球范围内到了没有或者是中国会不会是比较特别的一个地方我们如果提拐点这个概念的话我可能更想把它换成爆发眼我们会觉得爆发点在不同的设备上的时间是不一样的其实汽车在逐步的爆发汽车和手机都会来得更快一些汽车今年实际上已经开始大规模落地了已经比去年快了很多 明年又会更快会快速的这样起来 从设备上来讲其实我们就看三个圈 第二圈是它的它自己的收获量 两年收获量有多大第二是这个设备上有没有足够大的算力能够存在端侧模型的这样一个运行地上圈是这些模型是不是能产生对用户真的有价值的这样的实用场景对没错这三个圈都能够重合有什么中单能够放在三个圈重合的那个框里面我们觉得这样的设备就能够快速的起来目前我们看到手机汽车应该是很有希望的手机汽车你能不能跟我介绍一下就是有什么很典型的场景其实手机上有一个非常重要的一个需求对就是让手机非常懂这个用户OK个性化对手机是离用户最近的这样的一个设备对用户的上下文掌握得最深的设备所以如果如果这个设备现在它已经拿到的这些上下文能够转化成这个终端对用户的真实的认知那它就能做出足够懂你足够personality 足够个性化的服务不管是在你的工作中协助让你的工作变得更贴近你的上下文比如说写邮件用你自己惯常的风格写文档好 那我的问题是说现在这个事情难道不是就是云端的模型不是其实也解决的还蛮好其实你的手机掌握你的日常的方方面的双向它的颗粒度更细,它的颗粒度既细且全面,对,所以包括你最近的日常的日程,包括你最近在思考的问题,包括你的长期的喜好,其实手机都可以有最细颗粒度的认知。理解了这个是其他的所有的设备都不具备的优势所以手机首先要做到是足够懂你在足够懂你的技术上再去做足够客信化的服务所以我能理解就是说它的足够懂你的维度其实是比现在我们用agent更懂你因为它的层级不一样维度不一样它能够接触的数据的多样性其实是又上了一个数量级的没错这个是单侧的一个特点而且妙的是因为它在本地它并不破坏你的隐私这是个大问题我把所有的东西都贡献给云端的模型了他把我生溜了 他把我给全部训练完了对对对 训练对于个人来说其实个人在意的不是我为大模型做了贡献在意的是我的隐私受到侵犯对对对 ok 所以是这块东西其实确实专侧的隐私和安全性用户的数据是用户自己的没错手机聊完了聊聊汽车汽车现在应用场景是什么样子汽车跟手机就逻辑上会有一些区别汽车是越来越成为人的第二隐私空间移动的客厅而且我们从现在汽车的成本不断下降这个趋势来看未来可能每个家庭可能每个人都会慢慢的拥有自己的汽车就是汽车原来是一个家庭共享对没错逐步逐步的慢慢的有些家庭会变成所以汽车它作为这样一个具有越来越强的私人属性的移动的终端其实它的上下文也是非常的聚集的并且它跟物理世界的交互的属性更加因为汽车就是一个行走的机器人它相对于巨身的人形机器人来说它是可控制的维度会少一些对吧它在结构化程度会更高一点仅此而已所以这样一个巨身属性很长的这样一个产品它对于现实世界的感知觉察基于对环境的觉察做出来的决策和主动的服务其实会变成相对于过去被动响应的这种语音助手的一个巨大的生殖简单讲在车上有了一个贾维斯对吧这个贾维斯非常了解你就全天候的守护你给你提供主动式的陪伴这个就像是你的车上有一个英国范儿的管家20多小时在给你提供贴身服务这种感受其实会非常非常好我理解端册的刚需有多大呢用到端测吗还是说它可以直接就是每次都轮群云端就好了这个端测的关系非常非常大两个点第一呢如果是要持续的感知那就意味着感知所需要的这个算力换一个角度说感知所需要消耗的token是持续发生的对没错它的token的积累的消耗量是非常大同时呢 [5:00] 因为感知是要做多模态的 可能还是捉路摄像头的持续的流逝感知所以视觉对它带来的带宽的消耗也会非常的大从声音跟图像两个方面 当然在汽车上其实还有其他模态的但是汽车的一些其他转感器其实会形成汽车对自己状态诊断的一个来源这些未来应该也都会加强到这个模型里面但是我们说回来就是从交互的角度上讲最重要的还是视觉跟听觉 让人的眼睛跟耳朵一样主要的感知的渠道这些感知它要持续不断,我们叫Always On24小时全天后的在运行它所产生的带宽的费用和Token费用其实都会变成一个天价的费用而如果是放到端测的话你的成本是编辑成本是几乎为零的这是很大的差别这是第一点第二点他就是隐私又回来了是一样的当然除了隐私之外还有实时跟口号的要求既然我要持续的去感知那我有了这样的几层的感知能力以后 用户对于这样的能力带来的主动服务其实依赖和预期是越来越高的如果可靠性出了问题如果实时性出了问题用户的满意都是会变弱的对 没错对吧 举个例子如果用户每次只要擦汗这个AI就会说你是不是热了我要给你调控调忽然之间没有网了然后他擦汗发现这个AI就没有反应它就会有很 就是没有确确这个完全有可能 因为车到处开嘛没错 它的掌控感就会很弱 企业就会变得很差所以从我们刚刚讲端错的优势 实时性可靠性和影子这三方面的优势来讲其实都要求大家分达端测现在这个行业的落地速度能大概聊一下它的量级嘛就是说现在多少车已经开始在端测上面去自己解决本地化的解决问题今年我们已经跟一些车厂在非常密集的在去推动更大的模型放到端侧去做刚才我说的感知觉察和执行的工作的落地假设未来12个月你预计能落地的车的量级大概是有多少对我们的预测应该在年底的时候会有个几十万能量就是说几十万的开始用上就我们讲的是比较先进的端侧模型了东方胎的基本的响应全部端侧完全解决不需要掉云档还是有一些它是会分配到云端去解决的首先是这样的从刚才我们讲端侧模型在汽车上落地这里面有一个很重要的一个带来的共识长期来说端侧模型跟云侧模型一定是协同不会说一定我纯用云或者我纯用端因为端和云各自有各自的优势对所以最终其实是一个各自分工各自其职的这样一个协同的一个逻辑理解理解但是我们关注的是真量我们看到的情况就是端和云协同首先这个范式要建立起来好端云协同会逐步的端测信息,原因就是我们讲的token经济学对 尤其对于设备厂商来说我在云端去调这样的云端的模型它的token费用是汽车厂商来付的用户不会付这个钱没错 在中国用户不付这个钱那就必须是厂商自己承担对 对他说就是纯成本对 通常来说设备厂商它会有一个BOM成本的逻辑对吧 就是我的BOM成本预测是多少如果现在有了云端模型以后我们会预测一个用户在生命周期里面多少云端Token的一个预测但是这个预测很不准因为它是一个悖论就是用户如果很喜欢用很想用去用他就会用很多对然后就会而你又没有相对应的收费模式去匹配没错这会导致这个成本就会越来越高压力就会越高这个是很大的通勤你的产品越成功你的成本越不可控对这个其实同样的困境我们在很多公司已经看到就是大家去用coding的这个功能的时候其实也是一样你这么说的话好像手机厂商也是这样子的一个成本结构啊没错没错慢一次就得给你提供终身的没错这种东西的服务就是我们刚刚聊手机的时候没有去聊端云协同这个话题对端云协同这件事情其实在终端上它最终的范式是一样的手机厂商自己就非常有动力随着时间推移愿意把越来越多任务放在端场没错没错因为它是一次性这样的成本就变成一层它的编辑成本是0额外要增加的成本其实是用户的充电的成本对所以对他来说这个是最划算尤其在现在手机因为内存价格越来越高的情况下手机想象更加没有办法在一次新收费的时候似乎更高额的溢价去cover到后面的成本我觉得背后的最大问题其实还是你核算成本不可控 没错因为AI变化太快了 对吧我们在半年前和现在的AI的能力完全不一样涌现出来的大家增强用的场景和使用的托克的数量也不一样所以你现在做的一个核算可能到未来可能根本就包不住模型是越来越贵了 是所以端测它本身是在我们刚刚讨论这个逻辑底下是一个刚需是必需品 回到我们最前面的问题其实它是一个持续在累积爆发的过程中 并不是说有一个 [10:00] tipping point在这之前是0然后忽然之间发就上去不是一种爆炸式的其实是在累积的一步一步的很扎实的往前走而这里面也有一个很重要的因素就是硬件 内存 还有关锁芯片成本和性能的变化对于我们去落地带来的一些正面的推动和负面的现象现在汽车也在发展 手机也在发展 还有机器人我这次来这个展会我看到真的是太多做机器人的公司了简直我觉得这个行业现在太卷了但是我们充分相信就是说机器人也好 有Physical AI也好会复制原来的汽车行业和手机行业曾经发生过的事情最后出货量中国肯定是性价比之晚比如说我们综合来看,中国现在这么多未来的所谓的终端,那它的硬线的进步和发展会对端侧模型的应用将来会造成什么样的一个影响的变化?刚才您提的问题是特别好的问题,在终端上去落地端侧模型,其实最重要的就是要有足够大带宽和足够高的算力这个是最重要的两个因素这两个因素会影响到模型在不同强劲底下的推拟的性能就是模型去做推拟的过程中它会消耗电力它会产生能量消耗就会散热会产生热量积累这个又是反过来对于模型落地的限制我们其实会把中端会分成两种类型一种是插电一种不插电插电其实对于功耗的敏感度没那么高对于散热的敏感度高一些试试一下这怎么定义超电和不超电比如说你的笔记本电脑对 本质上是拆电OK 对吧比如说你家里的PC对 然后你比如说未来家里面如果要放一个家里的自己的计算中心它也是拆电那汽车它属于超电还是不超电汽车属于不超电不超电就是它在正常的工矿里面它是要依赖电池来给它提供续航了 这种就是要不差点所以它的功耗就变成了一个非常敏感的事情在这里面手机是最敏感的所以回到你的问题 第一电池自己的发展第二就是内存的发展 第三是芯片的发展这三个方面其实对于端色模型的落地都会产生实际线的影响现在这三个东西的发展 我所理解它的curve是不一样的它函数是不太一样的 是吧 初解来说计算芯片的发展肯定是这个曲线是最快的没错 电池是不是相对是最慢的我们在研究大模型的自身密度定律的时候我们就研究了这三条曲线就是一个是模型的发展的曲线我们会看到它是每100天大模型的自身密度提升一倍但是在芯片上它就是模二定律是大概提升一倍然后我们再看到电池的时候它变成了10年提升一倍跟底层的物理规律靠近它其实它的速度会越慢所以回头来说从这几个层面来看速度是很快的尤其是国内现在有大批的做端测的纯算一体的芯片的创业公司这些公司其实都在纷纷的准备推出自己的芯片快的今年流片今年就能流片对 慢的可能就是明年那也就是未来三年这件事情有可能是一个很重要的非常重要的行业的一个拐点没错没错当然这里面有一个问题就是纯酸一体的芯片它的可编程性会变得更弱所以就是模型跟芯片的连条和适配它变得非常重要所以这个我们再往前推一点就是这个是不是也可能是中国范式的其中一种表现就是说我们一直在试图去寻找中国跟美国大家发展范式上有什么差别我们都知道中国的端肯定是要比美国要发展的这毫无疑问是一直是这样子的那么现在就是说端这个事情中国未来有可能可以占助全球定游戏规则的能力我们看现状比如手机的话其实大家是一个分庭抗理的状态在美国的话以苹果为主其实它的整个生态还是非常强大在中国的话其实是一个我觉得万物进发的状态对吧就是手机的话也有非常多的水平厂商同时现在的眼镜厂商还有机器人厂商其实都非常多从供应链的角度来讲据我所知所以中国的供应链的优势是非常非常明显的所以GV在那一个优势会带来中国在终端上的我们叫创新带宽非常非常大所以我们一定在中国一定能够更快的诞生出更受用户欢迎的这样的产品出来就是我们非常有信心的我们讲的是范式嘛范式肯定不光是硬件嘛还得有模型的范式嘛模型现在大家都知道基模大家都已经非常熟悉了那几家一直在PK嘛那么接下来中国范式里面还有什么就因为从你的角度你可以看到端云的配合这块中国有没有可能走出自己的路子其实面壁在这个方向上我们走的就是自己独特的路就是很多行业里面人都有个误解认为所谓的小模型或者端章模型就是拿大的模型去做一个蒸流大家都会这样去理解 这个理解首先很大一部分是对的但是它有个前提就是你得有一个就是我们这样的积末公司的起工 [15:00] 端测基模给你或者是小模型的技术模型基于这个模型来去用大模型把你想要的领域知识去做数据生成然后再去用来训练这个基模所以他从底层技术上来想到底有什么巨大的差别就是说我端测和云的所以就是一定需要有基模公司提供云端大模型给你用来做老师然后另外一些基模公司提供一个小的模型小的基模做学生你拿着这个学生去找那个老师真有得由两个金某公司去提供两个模型给第三方他才能去做所谓真有的工作好 我的问题就是学生和老师他们有没有什么本质的不同有没有可能老师年轻一点就变成一个学生从小模型的话其实他们没有本质的不同但是面壁在座的模型我们讲小模型不天然等于端侧模型端侧模型我要考虑跟我的端侧芯片怎么做好适配以及怎么去根据我的特定的端侧芯片的芯片的各种各样的处性去做一个对应的设计在行业里面我们在去年前年的时候就可以看到当国内持有特定的芯片供应的时候大家会针对特定的芯片去做很多的优化工作这个在云端其实也发生过在端测就更重要因为端测它的整个资源是非常受限的所以对这个资源的充分利用能够让我们要工程优化到极致没错对吧榨取它的每一份计算的能力和计算资源所以就是要真的把端测模型做好其实需要在各个环节都要有你自己原生的能力的如果一个公司只能去依靠一个第三方 计划公司提供的某种特定规格的计划它虽然能够从能力上去让计划通过所谓的帧流具备一定的能力但是有些原生的能力它是没办法提供的以及和芯片所适配的特定的规格的模型架构它也是没法去更改的这些都会导致其实端侧的优化做不到机制所以这就是你问这个问题我们面壁坚持要做原生的端侧基模并且要去自己去把我们认为重要的场景里面的从端侧基模到场景的特定能力的一个持续的优化整合在一起的这样一个原因我总结一下就是说一个非常重要的观点是小模型不等于端侧模型端侧模型它除了是一个在基模上有创新的优化的地方更重要的东西是它必须跟端侧的芯片或者端侧的计算资源除了芯片还有存储还有这个场景去进行大量的优化和组织端侧模型需要跟端侧芯片进行协同设计这个协同设计是双向的很多端侧芯片公司都会来跟面壁进行深度的交流当他们要去做新的下一代端侧芯片的时候他们需要知道端侧模型的发展的方向是那样他们需要沿着这个方向去设计自己的芯片反过来我们要在某一款输入量非常大的芯片上去针对某个终端去进行深度优化的时候我们也需要芯片公司告诉我们芯片的一些特性我们的模型从第一步训练的时候就要把一些架构各种各样的设计跟芯片进行协同现在端测芯片的国产化率大概能够去到多少首先这样说端测场景本来就比较分散所以在分散的场景里面其实对应都有不同的芯片从国产化区的角度上来讲目前像IoT领域里面国产芯片像瑞兴威这样的芯片其实是非常优秀的他们的市场占用力非常的高海外其实有很多公司的应用都是在用他们的芯片在手机跟汽车领域其实还是海外表现像高通 联发科还有像英卫达这样的芯片公司的产品是占优势的我们合作的不光是国内产商其实海外的厂商也会来找我们没错 其实我们跟高通 联发科 英伟达都有非常深入的合作然后同时我们也跟很多的国产厂商有非常深入的合作 解构通芯片我们要看两年我们不仅是看现在因为它设计的时候它就一定要提前有一个比如18个月因为你提过一个概念叫密度法则然后它跟Scarry Note明显是有点不太一样的然后我们知道scaling law本身其实是最早的coupling的scaling law它是讲要大参数然后到Cinchilla的scaling law就出来说其实不一定是说参数越大越好其实小参数它也能够只要你把数据质量提高了也能够把模型的质量往上走您提的密度法则是对scaling law的一个更新还是说其实你是您可以具体解释一下就是你提的密度法则它底层的思考是什么首先密度法则是面壁智能和清华大学员联合提出来的然后我们是在24年的6月份提出并且在25年正式被Nature杂志所收录整个学术界也对我们提出这样的一个法则是完全认可的这个法则讲的是说大模型的能力除以它的参数就是它的一个能力密度或者叫知识密度我们说大模型的知识密度 [20:00] 比如说平均每100天再提升一倍就是我们这个知识密度描述的是大模型在整个行业里面发展的过程中在这个维度上的一个行业的表现,这个跟芯片的摩尔定律是非常相似的芯片说每18个月提升一倍,它是一个泛泛的平均的粗略的一个描述,不是精确的一个描述也不是指向某一个公司的描述,是行业平均水平为什么大模型能做到呢?就是因为大模型它的发展,就像你刚刚说的,它依赖于数据持续的改进也依赖于架构的持续感性等等很多还有训练方法的持续改进我可以给您拿芯片举例子就是在芯片领域跟大模型领域这两个维度其实都是有对应的我们说scaling law在芯片领域它可以很粗暴理解就是对面如果我的制程都是7nm把两片芯片叠在一起把这个是我在空间堆叠上把这个背上叠在一起把它桥接在一起它的计算的能力就会大一倍对它的计算能力完全跟它的面积相关这个很好理解scanning law也是这个逻辑但是芯片还有一个摩尔定律芯片摩尔定律是说如果我的面积不变那等18个月以后我的芯片的制程提升了我的各种技术能力提升了我下一代芯片就可以用同样面积提供两倍的算力所以在模型这里如果过了100天以后我们做新一代的模型的时候我们就可以用同样的参数量中文字幕:Therky v.K.提供更高的能力或者说同样的能力我只用一半的参数量刚才这个比喻非常好假设我现在把一个1000万的参数变成2000万逻辑上来讲它的能力肯定能够扩展它不一定扩展两倍能扩展对吧这就是你说的这个叫做拼芯片的逻辑同样的就是说我单一芯片我制成不断不断的优化缩小我的芯片能力也增加了在模型这个层面上也存在这样的现象就是说我同样1000万的参数我随着时间推移我同样1000万的参数我的能力越来越强没错模型底层发生了什么 能够使得它在所有时间退移同样的参数量能力越来越强?大模型训练的本质其实是把所有的训练样本里面的数据、知识压缩到有限的参数里面去我们训练模型会用几万亿的Token 最后放到几GB的参数里面去它的压缩是一个非常大量级的压缩所以最终压缩的有效的程度或者说压缩的比率其实您可以简单理解它就是我们说的模型的支持密度,如果我能用一个更好的方法我准备的数据的有效性,到我们的训练方法的有效性,再到架构的有效性这几个方面上都能有所提升,模型的支持密度一定会提升再给您取一个用人来做打比方,其实大家会非常好理解我们去大模型,其实特别像把一个小朋友从6岁一张白纸最后培养成一个优秀的大学毕业生这个过程是不是特别像 是这样的一个过程我们如何能培养成一个优秀大学生呢 它有几种维度 第一个就是脑子到底是不是真正聪明 比如说是爱因斯坦的脑子还是一个智商90的普通人的脑子 它的差别一定非常大这就代表了你的其实模型架构的效果 第二就是教材小朋友从6岁到大学毕业 你天天给他看短视频天天给他看这个人教授编写的优秀教材 他的成长下来的效果对吧 第三个是学习方法我们说训练方法 训练的方法其实是很重要的面壁在2024年的时候 我们就率先提出了WSD这样的一个学习律调度器的一个训练范式 这样的改进能够让模型非常快的去收敛就是我们就预训的方法其实需要很多改进空间没错没错刚才我们打比方人的例子也很好理解如果一个小两个小孩都是爱因斯坦的脑子一个是从来不预习从来不复习从来不写作业对吧另外一个是这些都会做得非常严谨对那时间积累下来他们两个学习的掌握情况也是完全不一样我再举个例子比如说都是强化学习两个模型就是都是爱因斯坦的脑子但是一个一开始的时候直接给他上的是奥数题他连他连数数段没数就运转不起来了 对对对 它一直失败对 它一定会一直失败 它没办法走到那里去但是如果另外一个是难以程度持续的缓慢的 滑坡的它的这个效率就会高很多所以您说的东西就是说刚才讲的数据,范式和训练方法,其实都在不断的随着时间退以改进,它就使得我同样的参数量的模型,我的能力其实就我能delivertoken的这个试量越来越提升,这就是密度法则。去描述大模型的进展衰逼杜华哲对于端彻这个事情它有什么样的非常重要的指导意义云端大模型和端彻大模型在优化的时候优化目标是不一样云端大模型的优化目标我们可以简单的理解它就是在优化它的智能总量今天我的模型 [25:00] 能够做ABCDE这件事情明天我加上F这件事情了我的模型就比原来更聪明对吧这个是它最高优的目标如果要完成这个目标它要通过scanning law去把模型变得更大它的知识密度短时间没法提升它会先牺牲掉对知识密度的追求这也是为什么模型越作越大的一个原因但是端侧因为我们的算力是受限的所以端侧的最高优化目标就是密度所以端侧其实优化起来更难密度优化跟这个efficiency的优化它是能等价的吗其实最终体现出来的就是Efficiency就是效率Efficiency是密度的结果密度不止有Efficiency这一个结果没错那密度还有什么结果?密度还有一个结果就是从原来不可用变可用因为我们的端测模型它要能够落地需要有足够的带宽足够的高的酸力去支撑那这两个底层的芯片硬件能力其实反过来也是限出,如果我在某个场景,我就是需要有足够强的模型的能力但是这个模型能力如果密度不高的时候,在芯片上就会受限,你就跑不起来但是如果密度足够高,我就能把它跑起来,它是能和不能的区别,这个还不止效率的问题在这个问题上,我们说的第一性的原理,最终我们的目标是要达到以人脑的效率去执行端测的模型你像我们的人的大脑都是30瓦不到,对吧,满复合的时候应该是20多瓦吧也能做出30瓦以内 跟人的智商完全一样或者甚至更高的模型以我们在端测做到AGI就已经不一样好 我的另外一个问题就是说我们刚刚讲的端测在技术层面上有可能未来的两三年确实是从用户需求上面比如说我们聊到汽车和手机厂商的需求包括端测本身有能力有这个密度法则这个能力在不断的跃升某个层面上很多不能用的原来不能用的能力慢慢就都能变成能用了而且是个类似涌现的一个过程这几个方面聊完我觉得可能还得聊一下另外一个问题就是说OK好端测假设拐点来了那端测到底有没有商业模式呢云端我们的商业模式是很清晰嘛API调用对吧最早的时候云端的是收月费那么最近这一年多的coding已经能证明了所以云端开始能够API调用能收费AIR就拼命的往上涨端撤现在的商业模式是什么样子或者未来有没有可能怎么样的进化让它变得有利可图图我个人的看法是云测的商业模式也还没有完全固定因为现在的这种商业模式其实还是有它的挑战拼命的花托客这个莫名其妙的销售很多托客对于很多企业说这个成本是完全不可控的没错这个其实是一个很大的问题但这个问题反过来其实反而是端撤的机会为什么这样说我们在苹果的官网上看过他们发的一个报告他们在报告上分析了云测的商业模式和端色商业模式对于客户的影响其中最重要一条就是可预测性前面我们提过这个问题 成本的可预测性其实云端你用的越来越好以后其实你的成本的可预测性是比较弱的但是端测它因为主要就是我的模型一开始的授权费再加上端测设备自己的成本所以它的成本是相当可控的它的成本基本上是一个平的一个总裁你用的再多也是这样对当然 这种理解用的非常好,它就会快速观众涨端侧相对于一次来说,对于客户其实是一个成本的友好的方式然后同时也是隐私更友好的方式端侧最大的问题其实还是我们说的,因为它的算计收件所以它能力收件,但是随着我们前面提到的scanning law的发展这个问题在越来越被解决,所以首先第1个问题您刚提到的商业模式层面上来讲我们非常明确的讲,我们认为商业模式应该是跟终端的商业模式是一致的收一个授权费跟着中端一起卖给客户 购一次性的付一个收检费这样他可以持续的去用有点类似专利收检费然后另外要不然就是我们去做出一个软件硬件整合好的产品这个产品因为软件硬件协同优化带来了100块钱硬件200块钱效果这样的 ROI 直接把它打包在硬件里面一起买对 这个打包不是简单打包是加上了协同优化让它的整个 ROI变得更高这样的方式其实也是很好的方式我们认为端侧目前这两种方式是最重要的方式而这两种方式听起来是不如云端Token的方式更性感但是反过来它其实对于客户来说是一个更友好的方式对 我们相信商业的本质是你能不能给你的客户创造价值然后再从你创造价值里面能够拿回合理的部分如果这个部分不合理的话其实它会受到反噬伦理姐就这里面有两股力量第一股力量就是说我现在客户早期的时候我客户为了拥抱AI那我肯定是能力越强的我越要用对吧而且我现在在尝试期我也不知道我到底他会消耗我多少钱尽量用最好的然后就鼓励大家开始用然后大家就开始用我就一串炸的吓死了其实最近这几个月已经美国那边已经在发生这样的事情中国也在发生在企业落地做的比较前沿的一些解决方案提供商去聊的时候他们都在说这个问题其实以面壁智能为例面壁智能我们就是一个 [30:00] AI原生的公司我们在去年就已经非常积极的在使用web coding但是我们去年的整年花费的成分跟今年一个月花费成分我不可同日而语今年肯定是整个花费成分是这样上去的对吧说在这样的情况下再往继续往前推演的话客户就会思考到说那我肯定是希望有更加多元化的方式向成本的方式没错没错一方面是说我可能在调用云端Token的时候我可能采用多模型然后把任务切分开来对吧做调度对吧同时这里面又有另外一个力量就是端侧这边不断的提升能力对我就发现我用很多技术任务我完全去端侧就做掉了就这个逻辑端侧有可能成为一个分配的路由器就是说我端侧能自己判断这个任务要不要丢给云端您这个看法是我们正在做的事情其实我们在做的我们的底层的一个我们说软一一体的一个模型底座这个模型底座里面我们会增加Harness的部分由端层模型去做端云协同的一个判断这一块是一个我觉得很有想要攻进的地方你如果能够成为一个掉肚子这个未必现在能想进出很清晰的商业模式但是它的生态味非常好因为入口永远非常值钱作为一个调度者 对吧你的商业价值本身是一个怎么去开发的问题而且面向未来我们非常看重的我们也会持续去研发的一个方向就是端策的持续进化持续学习你也可以展开跟大家解释一下因为持续学习现在一个非常热的至少在学术前沿非常热的一个主题持续学习这件事情首先什么叫持续学习我们先讲持续学习之前我们先讲AI的训练AI的训练其实面壁正好在今年的世界人工智能大会上和信通院我们一起发布了AI训练AI的白皮书我们把AI训练AI的程度分成了5级这5级我们对应参考了OpenAI对于AGI的5级分类所以这个5级是怎么划分的呢我们把它分成了5级L1到L5L1就是一个命令提示的这样级别其实就跟Chatbot一样我们利用大模型Chatbot你去跟它沟通通过Brompt告诉它我要做什么它来给你一些建议比如说协助你做设计然后给你一些片段拿片段再去放到你的代码里面去做模型的训练然后L2是辅助研发L2其实已经是Copilot逻辑了我们说的大模型直接在研发的过程中去做一些辅助的工作L3就是你做成了一个智能体智能体在你的整个管线里面去代替你去做很多的实行的工作和判断的工作L4的级别就是地归改进了我除了能够去实行之外我还会实行完了我还会做一个agent会去反思 会去总结哪里做的好 哪里做不好 下一次怎么改进OK 地规还只是L4 我听起来地规已经很无聊了L5是斜死眼镜 斜同眼镜对 就是你看我们在真实世界里面 其实是非常多的研究员在做各种不同的优化点的研究研究完了以后再决定它是不是要被包含到下一次的主模型训练里去所以其实大模型或者说智能体他们也应该有各种不同的研究方向然后大家协同去各自去拆开做具体的研究研究完了以后再做协同去看我怎么把所有人的工作所有agent的工作整合到一起就是完全不需要人去给他idea了他自己就想我有什么idea自己在探索idea自己也找课题自己做研究但人在这里面最终如果假设到了L4L5人的最大作用是什么人最大作用就是去让agent的整个工作系统更高效就是因为研究员是人大家要吃喝拉萨要睡觉要休息对吧然后同时你受限于你自己的经历其实你就完全可以用轨机用电去代替人的具体执行和研发工作其实它的速度能有极大的提升当然当然当然这个是背后最大的意义那人做什么呢人就应该去维护这套agent的体系去看他们能变得更聪明花更多精力在考虑模型的可解释性还有模型的安全伦理等等更多的这些问题上包括其实你们刚才提的最多的隐私现在看起来还挺边缘但是未来可能是一个很重要的问题但是端策天然隐私就会更友好所以这个问题是端策其实会更容易被解决我认为更难解决问题是我们提到的自主进化其实你看我们刚刚讲的AI训练AI它仍然是把模型的进化是放在一个独立的生产环节你刚刚讲完五层其实还没有击穿持续学习和自主进化的逻辑的底层就是这个过程比如说面壁我们在做的是模型工厂就是我们这五层是让我这个模型工厂这样说这个是很好理解的对吧但是我这个黑灯工厂生产出来的模型它是不是能聪明到自主进化它是不是能聪明到自主进化这仍然是另外一个疫情 自主进化是我们认为未来非常重要的对端层模型来说很重要的一个品质和能力它比云端模型更重要 为什么会比云端模型更重要感觉现在是云端厂商聊自主计划聊的很多大家讲的自主计划更多是我们说的AA训练的原因 [35:00] 用AI来训练,我身上的模型,我又能够去迟到下载模型上这个叫大家提的所谓的自主进化但是在端侧我们需要是这个模型部署到中端以后它就像人从大学毕业大家的能力是相似的但是你到这个岗位我到那个岗位三年以后您就变成了这方面的专家我变成了那方面的专家这就是持续学习给每一个特定的模型带来的变化这个跟云端的范式是完全不同的 它在特定用户的环境待久了 他就耳濡目染变成了最适应那个环境的那种没错其实符合这个社会这个世界的底层运行规律大家有非常多的私有的数据这个私有数据是我们自己的每个组织每个个人的财产对吧宝贵的财富基于这些隐私的输入让模型在这些商场里面变得更好的处理基于这些上下文的任务这个就是模型持续进化能带来的给每个客户的真实的价值而且这个其实是云端不能取代的就是有了这样能力以后是端策最大的价值那我再提一个问题因为现在还有一层是叫做本地化部署就是说我要为了保护客户的隐私假设我是一个大公司对吧那我就本地化部署了我就放在自己的云端了但其实是我的私有云这个情况下跟端侧还不太一样我们把它叫边缘侧会不会边会把你的生态位置覆盖掉很大度边和端其实最大区别就是我说的插链不插链还有成本的差别所以最后是分层的端的颗粒度更细端更加针对使用者的随时随地的反馈 随时别忧对端侧一是可能是坡力度更细再一个就是对成本的敏感度更高更高频对成本敏感度更高的场景所以最终一定是分层的最常位最复杂的工作我们仍然觉得它还是要放到云端但是相对敏感相对高频但是又没有那么复杂的可能可以放到边侧非常高频且成本和敏感的这种工作最好那样放到端侧这么一聊下来我感觉整个还有很大一块的市场空间没有计算进整个AI生态里面的增量其实早在2023年的时候我个人就有一个表达大模型会把所有工作都重新做一遍这个表达有一点叙事是一个大的方向这个方向换个角度说其实就是大模型一定会富能千行百业所以富能千行百业一定也能从千行百业里面能够拿回大模型该有的价值对吧这个从商业方式来说它是很清晰的人工智能对于千行百业富能是充满信心的光是一个coding其实就能带来非常大的想象力现实世界里面还有非常多的垂直领域等着大模型去给它更深度的赋能给它带来更大的生产效率的提升