马斯克推无方向盘Cybercab上路 自动驾驶转向规模与成本决战

让人类交出方向盘：特斯拉FSD十三年的冒险、争议与进化【硅谷101】 — 硅谷101

硅谷101

特斯拉依靠数百万量产车滚动试错与极端压降硬件成本将FSD推入L4运营，但决胜终局已从传感器路线之争转向脱离远程安全员后的规模化商业安全与盈利能力。

AI-assisted summary of 让人类交出方向盘：特斯拉FSD十三年的冒险、争议与进化【硅谷101】 — original source. Check the original for full context.

Source published:

Key ideas

  • 特斯拉原生无方向盘、无踏板的 Cybercab 已在德州奥斯汀投入小规模试运营，依靠后台远程安全员与星链网络提供兜底冗余。 (0:00)
  • 自研芯片 AI5 因团队人力不足与长期瞒报流片进度遭遇内部震荡，硬件主管被撤换后，特斯拉转向台积电与三星双代工并行的双保险策略。 (55:00)
  • HW 4.0 曾因软件模型容量需求推进三芯片架构，但量产前两个月被马斯克因单车 BOM 成本一票否决并强令砍回双芯片。 (25:00)
  • FSD 软件演进彻底推翻 30 多万行 C++ 规则代码，全面迈入仅约 2000 行核心代码的端到端大模型与强化学习时代。 (35:00)

Detailed notes

## Background 该视频由科技商业播客频道《硅谷101》于2026年9月28日发布于哔哩哔哩平台。视频记录了制作组在得州奥斯汀实地试乘没有方向盘和踏板的特斯拉 Cybercab，并对话多位前特斯拉软硬件工程师及行业资深从业者，深入揭秘 FSD 十三年演进背后鲜为人知的内部博弈、技术阵痛与商业抉择。

## TL;DR 节目以奥斯汀实测 Cybercab 为引子，系统复盘了特斯拉 FSD 从早期依赖 Mobileye、英伟达过度到全栈自研 AI 芯片与端到端大模型的跌宕历程。通过前硬件与软件工程总监等一线核心亲历者的第一手爆料，还原了三芯片在量产前两个月被马斯克因成本强制砍回双芯片、激进弃用雷达与改用车规 GDDR 显存的技术豪赌，以及 AI5 芯片因下属瞒报流片进度引发马斯克震怒清洗管理层的内部危机。全片展现了特斯拉如何在算力极致逼仄、极度控本与个人专断的碰撞下走出一条激进的技术飞轮，并最终将自动驾驶之争拉入了规模化落地与单车经济学的终极下半场。

## Atmosphere & style 全片充斥着工业现场般的硬核工程师气息与内幕揭秘的跌宕张力，既有坐进无方向盘车舱时的未来奇幻感，更有极度骨感的现实高压。嘉宾访谈毫无公关辞令，言辞直率且细节惊人——从马斯克开会拍桌大骂'F-word'、供应商通宵赶工的崩溃，到流片造假被台积电当面戳穿的职场风暴，戏剧冲突强烈。整体叙事冷静克制却充满工程史诗般的惊险感，真实还原了技术狂人在第一性原理与商业死线之间疯狂压榨潜能的残酷生态。

## Bulletin - [00:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=0s) 特斯拉原生无方向盘、无踏板的 Cybercab 已在德州奥斯汀投入小规模试运营，依靠后台远程安全员与星链网络提供兜底冗余。 - [55:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=3300s) 自研芯片 AI5 因团队人力不足与长期瞒报流片进度遭遇内部震荡，硬件主管被撤换后，特斯拉转向台积电与三星双代工并行的双保险策略。 - [25:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=1500s) HW 4.0 曾因软件模型容量需求推进三芯片架构，但量产前两个月被马斯克因单车 BOM 成本一票否决并强令砍回双芯片。 - [35:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=2100s) FSD 软件演进彻底推翻 30 多万行 C++ 规则代码，全面迈入仅约 2000 行核心代码的端到端大模型与强化学习时代。

## Key takeaways - [00:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=0s) Cybercab 迈出实质运营第一步，但仍需依赖后台远程坐席与星链通信进行多对一冗余托底，现阶段单公里运营成本仍然较高。 - [05:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=300s) 早期因 Mobileye 闭源黑盒与恶性事故决裂后，特斯拉尝试英伟达方案作为过渡，最终坚决走向芯片与算法全栈自研。 - [10:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=600s) 传奇架构师 Jim Keller 主导的 AI3 芯片仅历时 18 个月即流片成功，专用 NPU 架构使深度学习执行效率相比通用 GPU 提升 50% 以上。 - [15:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=900s) Andrej Karpathy 主导了特斯拉视觉感知的四阶段重构，确立了从单点 CNN、HydraNet 多头网络、时序记忆到 BEV Transformer 的技术底座。 - [20:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=1200s) 2021 年断然砍掉毫米波雷达的直接诱因是供应商断供危机，随后上线的 Occupancy Network 通过体素建模解决了长尾异形物体的感知避障。 - [25:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=1500s) HW 4.0 在量产前夕经历剧烈摇摆，因财务成本限制，历时数月研发的高复杂度三芯片主板在最后关头被马斯克强制改回双芯片。 - [30:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=1800s) 为打通自动驾驶大模型的吞吐瓶颈，特斯拉在 HW 4.0 上激进采用了高带宽的 GDDR 显存，但车规级定制困难与高发热也带来了严重的容量瓶颈。 - [35:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=2100s) 车载端与云端算力协同复用，车载 AI4 芯片被大量部署至内部服务器，负责像素注入世界模型仿真与 Shadow Mode 推理对比验证。 - [35:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=2100s) 受 ChatGPT 与模仿学习启发，特斯拉推翻了 30 多万行手写规则代码转向端到端方案，V12 版本的成功验证了用单一神经网络贯穿驾驶的可行性。 - [45:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=2700s) 为突破平庸人类驾驶数据的天花板，FSD V14 开始引入强化学习并采用世界模型构建双向交互的仿真环境进行自监督训练。 - [55:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=3300s) AI5 芯片自研遭遇技术与管理危机，马斯克解散 Dojo 超算团队并清洗芯片组，最终采取台积电 MCM 封装与三星代工并行的混用方案。 - [01:00:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=3600s) 自动驾驶进入下半场较量，竞争重心已从纯视觉与激光雷达的路线之争，转变为涉及合规监管、规模化车队管理与极端单公里经济性的持久战。

## Detailed walkthrough ### [00:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=0s) 奥斯汀现场实测 Cybercab 与 FSD 十三年的跌宕起伏

在德克萨斯州奥斯汀的公开道路上，一辆没有方向盘、没有油门和刹车踏板的特斯拉 Cybercab 正在平稳行驶。坐在传统驾驶座位置上的乘客面前空空如也，没有任何可供人类物理操控的装置。马斯克曾多次宣称这就是未来交通的终极形态。早在当年5月中旬，奥斯汀街头就已经能零星看到测试中的 Cybercab 穿梭于大街小巷，经过数月密集的路测，它终于迈向了小规模运营的新里程碑。

然而，这辆革命性无人驾驶车辆的背后，是特斯拉 FSD（Full Self-Driving）十三年充满争议、诉讼与反复拉扯的研发史。在极具个人风格又极其严苛的马斯克带领下，硬件团队常常在量产前夕通宵达旦地推翻重构；面对技术分歧，马斯克甚至会气得拍桌子大骂“F-word”。整个历程中，特斯拉经历过与供应商的惨烈决裂、自研芯片的孤注一掷，团队内部甚至出现过隐瞒与欺骗，引发马斯克对芯片团队“忽悠”行径的雷霆震怒并进行人员清洗。与此同时，资源极其受限的软件团队永远在抱怨算力不足，却在极致的成本控制下被硬生生逼出了全球最激进的技术路径。

摄制组实地飞抵奥斯汀叫了一辆 Cybercab。下单后大约只等了8分钟，车辆便如约而至。车内空间相较 Model Y 大幅缩水，甚至比 Model 3 还要紧凑，仅配备两个乘客座椅。左侧原驾驶座前方没有任何控制机构，坐在上面难免让人心生忐忑。但在当前运营模式下，特斯拉部署了完善的冗余安全措施：后台有远程安全员提供实时兜底，通信依靠星链网络提供不间断连接，车内乘客如果遇到险情可以按下物理“紧急避险”（Emergency Stop）按钮发出靠边停车（Pullover）请求，并即时接通 Robotaxi 专属客服。截至当年9月12日，特斯拉在德州登记的自动驾驶车队总数已达476辆，其中67辆为原生的 Cybercab，其余409辆仍为保留方向盘的 Model Y。

- 车队构成：德州登记总数 476 辆，包含 67 辆原生无方向盘 Cybercab 与 409 辆 Model Y Robotaxi。 - 应急保障体系：后台远程安全员兜底、Starlink 星链通信保障、车内一键 Emergency Stop（紧急停车/靠边）与专属客服通道。

---

[05:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=300s) 从 Mobileye 黑盒受挫到英伟达过渡方案

特斯拉的自动驾驶探索始于2013年。彼时成立已十年的特斯拉曾寻求与谷歌合作，但谷歌基于高精地图和昂贵激光雷达（LiDAR）的技术路线严重违背马斯克推崇的“第一性原理”，双方分道扬镳，拉开了自动驾驶长达十余年路线之争的序幕。当时特斯拉深陷生存危机，根本没有自研底层硬件的资本，选择现成成熟供应商成了唯一出路。2014年10月，特斯拉推出了 Autopilot Hardware 1.0（HW 1.0）。整车传感器配置极其简陋：仅有一颗前置摄像头、一个前置毫米波雷达以及12个超声波传感器，核心处理器是 Mobileye EyeQ3 芯片，主频仅 500MHz，配备 256MB 内存。前特斯拉 AI 硬件开发高级经理 Kerry Liu 指出，在早期车规级硬件限制下，这纯粹是“没有别的选择时的妥协”。

2015年 Autopilot 软件正式推送。虽然当时仅能实现基础的车道保持（LKA）和自适应巡航（ACC），但对尚未普及定速巡航的市场来说堪称震撼。部分车主甚至开始在车里吃汉堡、副驾睡觉，将其误当成全自动驾驶。悲剧很快降临：一辆 Model S 在强光下未能识别正在横向左转的白色拖挂货车，径直撞了上去导致车主当场身亡。Mobileye 此前曾警告特斯拉必须强制要求驾驶员双手不得离开方向盘，但马斯克未加理会，这起致命事故成了双方决裂的催化剂。更底层的分歧在于开发模式：自动驾驶由“感知、规划、执行”三层构成，Mobileye 实行的是全封闭黑盒交付，摄像头信号输入 EyeQ3 后直接给出预设结果给特斯拉的规划层，特斯拉无法触碰底层算法或更改接口，这对于极度追求软硬件自主权的特斯拉而言是无法忍受的枷锁。

```mermaid flowchart LR accTitle: Mobileye HW 1.0 架构 accDescr: 展示前置摄像头与毫米波雷达输入 Mobileye EyeQ3 闭源黑盒，再单向输出至特斯拉规划控制层的结构 subgraph SENSORS["传感器感知输入"] C1["前置单目摄像头"] R1["前置毫米波雷达"] end subgraph BLACKBOX["Mobileye 封闭系统"] IQ3["EyeQ3 芯片<br>(500MHz / 256MB 内存)<br>【全黑盒封闭感知算法】"] end subgraph TESLA["特斯拉自主层"] PLAN["规划与底盘执行控制"] end

C1 --> IQ3 R1 --> IQ3 IQ3 -->|"固定接口输出预设结果"| PLAN ```

2016年10月，事故发生仅5个月后，特斯拉迅速发布 Hardware 2.0，与 Mobileye 彻底解绑。HW 2.0 将全车摄像头激增至8个，主控平台换成了 NVIDIA Drive PX2。然而仓促上马的 HW 2.0 很快暴露缺陷：一方面车载算力根本无法完全处理8路高清视频流；另一方面英伟达当时提供的方案仅是一颗通用 SoC 外挂一颗 GPU，缺乏核心安全冗余。在马斯克全力推进全自动驾驶的野心下，单芯片一旦故障系统将彻底瘫痪。仅仅10个月后，特斯拉就推出了 Hardware 2.5，额外增加了一颗备用 GPU 形成主从冗余，这构成了特斯拉 FSD 双芯片安全架构的雏形。虽然软件团队在6个月内实现了感知算法自研上车并打上了“FSD”标签，但早期体验磕磕绊绊，远未达到预期。英伟达方案被证实只是一个昂贵的过渡品，特斯拉早已在暗中筹谋自己的芯片帝国。

---

[10:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=600s) 自研 AI3 芯片的豪赌与量产前极限三个月

为了将底层命脉攥在自己手中，马斯克早在2016年初就开始物色芯片行业巨擘。2016年1月，曾主导 AMD K7/K8 架构、苹果 A4/A5 芯片以及 AMD Zen 架构的传奇宗师 Jim Keller 加盟特斯拉；次月，在系统架构领域深耕近40年、领导过苹果 A4 至 A9 处理器研发的 Peter Bannon 也应召而来。在这支全明星硬件团队的主导下，特斯拉首款自研 FSD 芯片（AI3）仅耗时18个月便设计成型，并于2017年12月一次流片成功。在芯片行业，如此复杂的车载芯片能一次流片点亮并几乎无硬伤，堪称“凤毛麟角”。在微调后，采用成熟台积电 14nm 工艺的第二版芯片直接走向了量产。

2019年4月，特斯拉正式发布搭载双 AI3 芯片的 Hardware 3.0。相比 HW 2.5 搭载的英伟达 Pascal 芯片，AI3 的神经网络纯算力暴涨了5倍以上。这种质的跃升归功于专用架构设计：通用 GPU（如英伟达）需要兼顾复杂的线程调度、内存分支预测等开销，在执行特定深度神经网络时实际有效利用率极低；而特斯拉的 NPU（神经网络处理单元）专为特定矩阵运算场景裁剪，硬件原生利用率高达80%，较英伟达架构提升了50%之多。就在芯片即将走向大规模量产的骨节眼上，Jim Keller 选择功成身退，将接力棒交给了 Peter Bannon。在业内看来，Keller 天生热衷于“从0到1”的无中生有，当开荒完成、进入“从1到10”的工程量产期时，他的离去早已成为定局。

然而外界鲜为人知的是，HW 3.0 量产前夕特斯拉硬件团队险些全面崩溃。根源在于马斯克的极度吝啬：在预算和编制控制下，软件团队人数规模少得惊人。他们当时不仅要维护量产中的 HW 2.5 产线软件，还要从零编写 HW 3.0 驱动和系统代码，人力缺口导致软硬件严重脱节。硬件团队造出芯片后，由于软件团队连基础测试工具链都来不及提供，硬件工程师只能自己临时写代码、编写指令去模仿软件环境来验证芯片。直到量产前三个月，马斯克突然下达死命令“必须立即全面启动 HW 3.0”，留给整个软件与硬件联合调优的时间窗口只剩短短90天。工程师们连续三个月无休，仅在极限高压下靠着两三天的断续假死撑，才在量产红线前完成了硬件装车。

- 芯片参数与架构飞跃：AI3 算力较 HW 2.5 提升 5 倍以上，专用 NPU 架构执行深度神经网络有效利用率高达 80%（通用 GPU 利用率常态仅 30% 左右）。 - 研发周期与制造制程：18 个月完成架构设计，采用 14nm 相对成熟工艺，2017 年 12 月首次流片成功即达可量产水准。

---

[15:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=900s) 供应商博弈与 Andrej Karpathy 带来的感知四重进化

自研芯片不仅带来了算力红利，更赋予了特斯拉对整车成本与系统控制权的绝对主导。在极限制造成本的驱使下，逼迫供应商降价成了硬件经理 Kerry 的核心日常。2018年底特斯拉正经历“产能地狱”且濒临破产，当时车上大量采购德州仪器（TI）的车规级芯片。车规芯片行业利润率常年高达50%至55%，但当特斯拉要求 TI 全线降价时，TI 态度极其傲慢、拒不让步。Kerry 顶着巨大的软硬件重测风险，直接推进技术验证，强行用亚德诺（ADI）的同规格芯片把 TI 芯片全数踢出供应链。TI 失去这笔庞大订单后大惊失色，CEO 甚至亲自上门求情。特斯拉采购部门直接将一份“全系大降价表格”拍在桌上，僵持数周后 TI 最终全盘妥协签字，此举单年便为特斯拉省下约2000万美元成本，马斯克特意发邮件致谢团队。与英伟达的决裂同样源于控制权：英伟达坚持通用芯片路线拒绝深度定制，且傲慢低效；曾有一次特斯拉怀疑主板过热，请求英伟达在驱动中输出传感器温度，本是区区几行代码的工作，英伟达团队光扯皮就耗费一周，随后又要求立项收费并排期一周，这种近半个月的官僚拖延彻底粉碎了马斯克的耐心。

在摆脱外部硬件桎梏的同时，软件端也迎来了里程碑式的重构。2017年6月谷歌发表了划时代的 Transformer 开山之作《Attention Is All You Need》。同年，年仅30岁出头的前 OpenAI 核心研究员 Andrej Karpathy 加盟特斯拉出任 AI 高级总监，直接向马斯克汇报。Karpathy 作为深度学习领域的宗师级人物（其斯坦福 CS231n 课程名满硅谷），其招牌效应迅速扭转了特斯拉自动驾驶的人才枯竭困局，大批顶级 AI 人才慕名加入车企。从2018年到2021年，Karpathy 带领团队对感知算法完成了四阶段的质变重构：

```mermaid flowchart TD accTitle: 特斯拉感知算法四阶段演进架构 accDescr: 展现从单任务神经网络、HydraNet 多头结构、视频时序融合到最终 BEV Transformer 鸟瞰图感知的演进链路 subgraph S1["第一阶段：单点任务替换"] NN1["CNN 神经网络直接接管<br>车道线/车辆/行人识别"] end subgraph S2["第二阶段：骨干与分支解耦"] HYDRA["HydraNet 共享主干架构<br>(Shared Backbone + 多 Task Heads)"] end subgraph S3["第三阶段：时序记忆注入"] TIME["单帧图片识别 ➔ 连续视频流识别<br>(引入多秒时序与物体运动轨迹预测)"] end subgraph S4["第四阶段：全景跨模态统一"] BEV["8 路摄像头输入 ➔ 交叉注意力机制 (Transformer)<br>➔ 统一投影至 2.5D/3D BEV 鸟瞰坐标系"] end

NN1 --> HYDRA HYDRA --> TIME TIME --> BEV ```

1. **全面神经网络化**：打破传统手写规则与启发式视觉算法，将车道线、车辆和行人检测全部交给海量数据驱动的深度学习模型，赋予系统在陌生长尾场景下的泛化推断能力。 2. **多任务 HydraNet（九头蛇）架构**：面对红绿灯、锥桶、施工标志等剧增的识别目标，若为每个任务独立部署模型，车载算力将彻底爆裂。HydraNet 借鉴树形结构，让全部任务共用一个底层的特征提取主干网络（Backbone），仅在顶端根据不同任务分岔出独立分支（Heads）。这不仅成倍节省了算力与显存，还能实现对特定识别头的独立热拔插微调，避免牵一发而动全身。 3. **从单帧静态图片迈向连续视频流**：早期 CNN 仅处理静态快照，极易因前车被大客车短暂遮挡而出现目标丢失。团队随后引入时间序列模块，通过捕捉前后数秒的历史连续信息赋予网络“短暂工作记忆”，精准预判物体的速度矢量与行进趋势。 4. **基于 Transformer 的 BEV（鸟瞰图）视角融合**：此前8个摄像头各自为战，无法在全局层面判断左右视角中的目标是否为同一实体。团队借助 Transformer 的交叉注意力机制（Cross-Attention），把8路摄像头捕获的原始图像信息打散后进行多视角空间反投影，统一映射到车辆为中心的顶视浮点坐标系中，生成实时的 2.5D 矢量空间环境模型。

---

[20:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=1200s) 决绝砍掉毫米波雷达与 Occupancy Network 3D 重塑

到2021年，特斯拉的视觉感知在算法层已足以解析复杂路网，但马斯克在当年5月突然掀起了一场行业震动：强制下达命令，拔掉量产车上所有的毫米波雷达，全面押注“纯视觉”（Pure Vision）。业界普遍猜测是特斯拉纯视觉技术提前成熟，但 Kerry 透露，现实层面的真正导火索是疫情导致的严重断供。当时核心毫米波雷达供应商大陆集团（Continental）无法按期交付芯片与雷达总成，特斯拉采购团队将矛盾升级至马斯克处，马斯克亲自同供应商高管交涉未果，对方傲慢以待。极度反感供应链威胁的马斯克当即发飙将对方“拉黑”，决绝地下令：“既然给不了，我就彻底不要了！”

去掉雷达引发了软件团队内部的巨大阻力。雷达不受暴雨、浓雾影响，能通过多普勒效应精准测量相对速度与微小位移；失去硬件测距基准后，软件团队被迫进入极限“战备状态”，必须仅凭像素变化来算法倒推障碍物距离和加速度。虽然短期研发极其痛苦，但这一断臂举措反而极大地提振了研发团队的凝聚力——它逼迫软件团队用极限算法填补了物理硬件留下的空缺，进一步强化了全员对马斯克“第一性原理”与激进工程直觉的盲目崇拜与服从。

雷达被剔除后，构建真实世界三维物理几何的重任落在了纯视觉上。在2022年 Tesla AI Day 上，此前 2.5D 的 BEV 模型进化成了革命性的“占用网络”（Occupancy Network）。传统自动驾驶依赖“3D包围框”（Bounding Box）来标定目标，这面对非标准物体时会遭遇致命缺陷：例如一辆铰接双节公交车在拐弯时会呈现复杂的多边异形扭曲；再如挖掘机伸向半空的长机械臂，下方有足够的垂直净空供车辆通过，若用矩形长方体框定，整个区域都会被划为不可通行的死区，导致自动驾驶产生极其危险的“幽灵刹车”。

```mermaid flowchart LR accTitle: 目标包围框与占用网络体素建模对比 accDescr: 展现传统 3D 矩形包围框因刚性几何导致形状失真与幽灵刹车，对比 Occupancy Network 将空间切碎为独立 Voxel 体素以精确避障 subgraph TRADITIONAL["传统 3D Bounding Box 缺陷"] B1["刚性长方形包围框"] B1 -->|"无法表达异形物体"| F1["挖掘机机械臂下方净空被误锁死"] B1 -->|"铰接异形车体拐弯"| F2["大面积包围虚空 ➔ 幽灵刹车"] end subgraph OCCUPANCY["占用网络 Occupancy Network"] O1["空间微型立体网格 (Voxel 体素)"] O1 -->|"物理占据检测 (True/False)"| P1["不依赖分类标签，只管是否有物理阻挡"] O1 -->|"精细几何轮廓还原"| P2["车辆可自由从机械臂安全净空下穿行"] end ```

占用网络彻底颠覆了“先识别分类、再做几何避障”的传统路径。它将车辆周围数十米范围内的物理空间彻底切碎为无数个极小的立体“体素”（Voxel，类似《我的世界》中的 3D 像素方块）。网络只负责判断每一个微小体素究竟是“被物体占据”还是“处于空置状态”，哪怕面对路面上散落的一根树枝、破旧轮胎或是奇怪形状的翻斗车，系统即使“完全不认识它叫什么”，也能凭借精确的几何阻隔直接规避碰撞。然而这一架构在训练阶段面临几乎不可逾越的壁垒：训练需要标注无数体素的真实三维信息（Ground Truth）。传统激光雷达点云人工标注一份三维场景的成本往往是二维打框的十倍以上，且特斯拉量产车从不搭载激光雷达，根本缺乏原始点云。特斯拉最终依靠自研的云端“自动标注流水线”（Auto-labeling），借助行驶车辆多角度重合的视频流在云端离线重建高精度 4D 真实场景，并由大模型自动产出精准体素标签，彻底跑通了从数据采集、自动标注到模型训练的纯视觉闭环。

---

[25:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=1500s) HW 4.0 的摄像头流派之争与三芯片胎死腹中

2020年，特斯拉内部正式立项 Hardware 4.0（HW 4.0）。不同于此前 HW 2.5 升级 HW 3.0 时仅需更换主板单芯片并微调冗余电路，HW 4.0 是一场大动干戈的全系统彻底推倒重来。芯片物理尺寸急剧扩大，板载显存显著扩容，整机运行功耗与发热量直线飙升，迫使主板电源管理芯片、供电线束、高频通信接口全部重新设计。这一物理级重构也击碎了老车主的幻想：HW 3.0 车辆在物理接口与电路尺寸上绝无可能兼容平替升级到 HW 4.0 硬件。

在传感器端，HW 4.0 将摄像头像素从沿用多年的 120 万提升至 500 万。车规摄像头未盲目追随智能手机“上亿像素”的狂潮，背后有着极其严苛的物理权衡：车规 CMOS 优先看重的是摄氏零下数十度到百度的超宽工作温域、剧烈颠簸下的抗震机械寿命与超高动态范围（HDR）；更重要的是，自动驾驶系统极其依赖摄像头的曝光“帧率”，高帧率直接挂钩系统面对突发事故的物理响应延迟。一旦无脑堆叠至超高像素与超高帧率，500 万像素 CMOS 自身的功耗会急剧增加，从车头穿过座舱传输至中央计算主控长达两至三米的高速差分电缆必须成倍加粗，整车线束成本与高频电磁干扰风险将呈指数级失控。

硬件迭代中更戏剧性的冲突发生在摄像头点位布局上。此前特斯拉前挡风玻璃顶端标配三颗摄像头，马斯克在 HW 4.0 规划会上凭借其“第一性原理”强硬要求砍掉一颗：“人只有两只眼睛，你在前面放那么多摄像头干什么？”现场工程团队若敢当面驳斥，马斯克便会怒火中烧拍桌子大骂“F-word”，全场噤若寒蝉。但前置雷达早已被砍，如今前挡风玻璃又削减为双摄，这导致前保险杠下方出现巨大的致命视觉死区，车辆在车头入库低速泊车时频繁剐蹭。工程师曾在会上力劝在车头前杠部位增加一颗盲区补偿摄像头，马斯克当时傲慢反驳：“你人类开车入库前也看不见车头正下方有什么，人靠记忆就能停进去！”然而工程现实是，赋予 AI 跨时空的视觉几何工作记忆需要庞大的模型开销与漫长的调试周期。直到 Cybertruck 正式亮相量产时，马斯克才终于在严峻现实面前妥协，在车头前保险杠正中央悄然补上了一颗广角摄像头。

```mermaid flowchart TD accTitle: HW 4.0 主板芯片方案拉扯 accDescr: 展现软件团队诉求推动三芯片设计，但量产前两个月马斯克因财务成本强制砍回双芯片的流程 REQ["软件团队诉求：模型容量剧增，现有算力严重不足，需要 3 颗 AI4 芯片"] --> DES["硬件团队攻坚：历时数月设计高难度 3 芯片主板，重构复杂的仲裁逻辑与供电/散热拓扑"] --> MEET["量产前 2 个月项目管理评审会"] --> DECISION{"马斯克核算财务账单 (CFO 预警成本失控)"} DECISION -->|"一票否决：3 颗太贵！不准再讨论，强制改回 2 颗！"| REVERT["硬件团队全员通宵紧急返工，推倒既有布线，重新改回双芯片主板赶工量产"] ```

在核心算力架构上，硬件团队的遭遇更为波折。AI3 单颗算力为 72 TOPS，到了 HW 4.0，单颗自研 AI4 芯片的物理算力已然翻倍。然而软件团队却向马斯克诉苦：“要实现真正的全自动驾驶，模型体量必须再翻数倍，两颗芯片绝对不够用，至少需要三颗芯片！”马斯克起初被说服，当即应允。硬件团队只得通宵达旦研发“三芯片主板”。三芯片在底层计算机体系架构上是一场灾难：双芯片系统只有主从备份逻辑（一个损坏，另一个接管），而三芯片系统则引入了极度复杂的仲裁与投票容错机制（Voting Mechanism），必须精确判断三颗芯片协同中的状态分歧，电路板的供电拓扑、高频信号线间距以及散热设计复杂度几何级上升。

就在硬件团队历经千难万险将三芯片主板全套样板打样完成、距离量产仅剩最后两个月时，在一次常规项目进度管理会上，项目经理顺嘴问了一句：“我们最终量产到底是敲定用两颗还是三颗？”马斯克突然被点醒。在 CFO 和财务部门对整车 BOM 成本的严厉预警下，马斯克瞬间变脸拍板：“不行，三个太贵了！这个事情不能用三个芯片，改回两个！”软件团队当场炸锅：“我们前期所有的大模型和算子全是基于三颗芯片的底层进行研发的，现在改回两个怎么搞？！”马斯克冷酷下达最终通牒：“我已经做了决定，这是不可更改的最终决定，谁也不要再来找我商量这个事，不用再讨论了，就是两个！”硬件团队在欲哭无泪中全员通宵加班，推翻此前所有主板走线，在量产倒计时中死死抢修出了一版全新的双芯片架构。Kerry 戏谑地吐槽道，软件团队内部甚至流传着一句名言：“新芯片刚画好图纸，软件团队就已经想好怎么把算力榨干用光了——你哪怕给我十倍算力，我也能全部塞满。”这也暴露出模型团队在极端人手荒下，一味通过堆砌参数暴力增加模型体积，缺乏精细化剪枝与底层算子优化的工程弊病。

- 像素与电气工程挑战：从 HW 3.0 的 120 万像素跃升至 HW 4.0 的 500 万像素，车规级 CMOS 功耗与发热增加，2-3 米车载长距离高速信号线束成倍加粗。 - 摄像头配置反复横跳：前挡风玻璃原三摄被马斯克强砍一颗后出现前杠盲区，最终在 Cybertruck 前保险杠处重新加装独立盲区补偿摄像头。 - 主板方案惊险反转：软硬件团队耗时数月完成高复杂度的三芯片架构，在量产前两个月被马斯克因 BOM 成本“一刀切”强令推倒，紧急倒退回双芯片架构赶工量产。

---

[30:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=1800s) AI4 芯片研发受阻与车规 GDDR 内存险棋

除了芯片数量在双芯与三芯之间的惊险拉扯，AI4 芯片本身的微架构研发也远未达到 AI3 时的平顺。此前开发 AI3 时，特斯拉有三星半导体作为深度协作者保驾护航；而在推进 AI4 时，由于彼时三星晶圆代工部门业务极度饱和、接单过多，其对特斯拉项目的工程师支持与技术响应大打折扣，导致 HW 4.0 整体项目时间节点发生了严重延误。在流片环节，AI4 芯片连续遭遇挫折，前前后后总计流片了三到四次，其测试指标与良品率依然不尽如人意。

造成研发深陷泥潭的另一核心内因，是特斯拉在底层存储架构上走了一步极其激进的“险棋”：在车规级中央处理器上破天荒地强行采用了 GDDR 显存颗粒。随着自动驾驶神经网络由早期的百兆级小模型膨胀至数十亿乃至更大参数规模的连续时空模型，AI3 时代的算力瓶颈真正卡脖子的并非只有 NPU 计算核心，而是更为致命的“内存带宽”（Memory Bandwidth）。

如果把车载主控芯片比作一个巨型现代化超级工厂，NPU 算力如同工厂内开工的工人数量，而内存带宽则是将原材料运进厂房的高速公路。若工厂内配备了 100 名高效率的生产工人，但门外的高速公路由于通道狭窄，一次只能运进满足 20 名工人消耗的物料，那么其余 80 名工人即便算力通天，也只能处于停机空转、干瞪眼的“数据饥渴”（Memory-bound）状态。自动驾驶超大模型在实时推理时，每一帧都在疯狂吞吐海量权重矩阵和连续视频流，对数据吞吐带宽的需求呈现指数级爆发。

主流车载芯片与移动设备长期沿用的是 LPDDR（Low Power DDR）内存体系。LPDDR 的主要优势是低功耗、发热极小且工作状态稳定，非常贴合乘用车严苛且极端的散热与电磁兼容环境，此前 HW 3.0 选用的正是成熟的 LPDDR 颗粒。然而为了彻底打通数据传输的高速公路，马斯克与硬件团队做出了一个违背车规行业惯例的疯狂决策：全面弃用稳妥的低功耗 LPDDR，强行跨界采用常用于顶级 PC 独立显卡以及高性能游戏主机上的 GDDR（Graphics DDR）高频显存。GDDR 虽然能够提供极其庞大、甚至数倍于 LPDDR 的恐怖数据带宽，但在汽车极度封闭的座舱环境内，它所带来的超高发热量、严峻的功耗开销，以及在车载长寿命严苛震动下的稳定性隐患，给团队的电路布线和信号完整性工程埋下了无数隐雷。硬件团队在没有任何先例可循的未知领域中硬着头皮探索，这也直接拉开了特斯拉软硬件团队围绕底层算力极限与功耗边界展开的新一轮惨烈交锋。

[35:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=2100s) Hardware 4.0 显存瓶颈、AI4 芯片服务器与推翻代码重构

特斯拉在 Hardware 4.0（HW4）上选择了游戏显卡常用的 GDDR 显存。出发点虽好，但在车规级应用中却带来了巨大的挑战。前特斯拉 AI 硬件开发高级经理 Kerry 刘向科指出，当时行业内根本没有其他车企在车规芯片上采用 GDDR，作为独家采用且自研小众芯片的特斯拉，面临着功耗极大、采购价格极高且容量受限的困境；美光或三星绝不可能为了特斯拉一家去定制大容量车规 GDDR。如今大模型参数暴涨，显存容量彻底成为了硬件瓶颈。特斯拉内部一直在推进 Hardware 4.3 方案，计划牺牲部分带宽转用 LPDDR 来换取更大容量。刘向科感叹，当年自己是唯一明确提出反对意见的人，但“没有人愿意听我的”，这在事后被证明是硬件决策上的一大失误。

即便如此，HW4 依然延续了马斯克极致的成本控制哲学。根据 Kerry 透露，HW4 整套硬件成本比 MacBook Air 还要低得多，“就是个普通 iPad 的价格”，而且通过几个月一次的快速内部结构迭代，在维持性能不变的同时持续压降成本。此外，特斯拉的自研芯片（包括 HW3/AI3 与 HW4/AI4）不仅用于量产车，还被大量部署到自有数据中心服务器中平摊研发成本。使用 AI4 芯片的服务器主要承担两项核心任务： 1. **像素注入（Pixel Injection）**：构建类似世界模型的仿真环境，生成各种极端虚拟场景来训练模型； 2. **推理验证（Shadow Mode/Simulation）**：将真实车辆采集的道路视频回传至服务器，模拟 FSD 系统的决策，再将推演结果与人类驾驶员的真实操作进行对比，以此快速筛选缺陷并迭代下一版模型。

```mermaid flowchart TD accTitle: AI4 芯片服务器核心功能流转图 accDescr: 展示 AI4 芯片在车载端与服务器端的数据流向，涵盖像素注入虚拟仿真与真实路测视频回传验证两条主线。 subgraph 车载端["车载端 HW4 (AI4 芯片)"] Cam["摄像头视频采集"] Driver["人类驾驶员实际操作"] end

subgraph 算力端["AI4 芯片服务器集群"] Sim["像素注入 (Pixel Injection)<br/>世界模型虚拟场景生成"] Shadow["推理验证系统<br/>模拟 FSD 决策输出"] Compare{"决策对比分析<br/>人类行为 vs FSD"} Train["模型迭代训练"] end

Cam -->|"回传真实路况视频"| Shadow Driver -->|"回传操作数据"| Compare Shadow --> Compare Compare -->|"挖掘长尾 Corner Case"| Train Sim -->|"生成合成数据训练"| Train Train -->|"编译最新模型固件"| Cam ```

到了 2023 年 2 月，HW4 正式装车，但它的架构设计由于较早，并未针对爆发式增长的 Transformer 架构进行底层定向优化。与此同时，算法层面迎来了一场颠覆性革命——推翻此前累积的所有规则代码，全力转向端到端（End-to-End）。2022 年 7 月，AI 领军人物 Andrej Karpathy 离职，外界一度认为算法撞墙致使股价大跌。当年底 ChatGPT 惊艳亮相，马斯克在收购推特（Twitter）后试图从特斯拉抽调核心骨干优化推特推荐算法。被抽调的工程师 Dhaval Shroff 极不情愿离开特斯拉，于是向马斯克汇报自己正在研发车载“xGPT”：即用一整张神经网络彻底替代原有的规则与控制模块，通过模仿人类海量驾驶行为让车学会开自驱车。这种方案能够像老司机一样灵活处理未见过的边缘场景（如压实线绕行施工障碍），瞬间击中了马斯克。马斯克甚至当场畅想出宛如 007 电影般的演示场景。由此，Shroff 得以留在原团队，特斯拉的自动驾驶软件代码也由原来的 30 多万行 C++ 规则代码骤降至仅约 2000 行。

---

[40:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=2400s) FSD V12 端到端落地、Bird's Eye View 架构与 V13/V14 的演进

2023 年 8 月底，马斯克在自己的车上用手机直播了 FSD 端到端的首次公开演示。他随机在地图上打点导航，汽车行云流水地穿梭前行；尽管途中发生了一次闯红灯尴尬并引来外界嘲笑，但业内工程师却深感震撼并给予高度尊重，因为这标志着全新技术路径的走通。2023 年底，端到端版的 FSD V12 开始在内部员工推送，并于 2024 年 1 月全面推送给普通车主。

针对业内长期的疑问——“既然 V12 已经是一个完整的端到端神经网络，车机屏幕上的鸟瞰图（BEV）与车道感知渲染究竟来自哪里？”特斯拉算法工程师揭示了架构内幕： - 系统在主干神经网络之外单独分支出了一个专用的任务头（Head），用来独立渲染鸟瞰图信息。 - 该 Head 在运行时就像一个只读挂件，仅用于人机界面的可视化输出，完全不参与底层的控车与轨迹决策，从而延续了此前 HydraNet 的多头架构精髓。

紧随其后的 FSD V13 进一步精简了控制栈并提升了效率，同时将摄像头输入的分辨率与帧率全面放开。此前 HW4 硬件虽已配备 500 万像素摄像头，但受制于算法与吞吐算力，模型长期未能“吃满”全部分辨率。到了 2025 年 10 月，特斯拉跳过了 V14.0，直接推出了被马斯克称为“继 V12 之后第二大跨越”的 FSD V14.1。该版本不仅模型参数扩大了 10 倍，更引入了强化学习（Reinforcement Learning），首次让 Robotaxi 的技术积累大规模反哺至量产车。

---

[45:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=2700s) 物理世界 AI 的Scaling Laws、世界模型仿真与多模态感知

特斯拉前 AI 软件工程总监 Srihari Sampathkumar 回忆道，打造物理世界 AI（Physical AI）几乎没有任何现成文献或 Scaling Laws（缩放定律）可以参考，团队必须独立发明一整套全新的技术栈与软硬件协同设计模式。在实际驾驶中，端到端模型偶尔会像黑盒一样从数据中学到错误因果（虚假相关）。特斯拉 AI 副总裁 Ashok Elluswamy 曾指出，如果训练集中充斥着大量平庸的驾驶数据，模型水平就会被锁死在均值上限。

为打破数据瓶颈，特斯拉引入了基于生成式神经网络的世界模型： - 利用独立的生成网络构建逼真的动态三维模拟环境，将 FSD 算法置入其中进行自监督强化学习。 - 仿真系统能持续注入变量，例如复盘曾让旧系统犯错的历史 Corner Cases，验证新版模型是否完成修复，或者生成极端气象与突发交通流来测试 FSD 的反应极限。 - 难点在于环境与代理（Agent）的双向交互：当测试车在虚拟世界右转时，如何真实模拟被阻挡行人和邻车的应激心理与避让反应，目前仍是工程攻坚的核心。

此外，最新一代 FSD 系统开始由纯视觉迈向多模态感知。系统不仅接收视频数据，还引入了专门的声音感知模型。该音频模型现阶段主要用来识别人类听觉可捕获的环境噪声（如后方救护车警笛、消防车鸣笛警报等），未来则计划将语音指令与车载对话无缝融合，让乘客能通过自然语言直接操控车辆行进。

---

[50:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=3000s) Cybercab 运营试水、安全监管机制与 AI5 芯片被叫停的 Dojo 迷局

2024 年 10 月，特斯拉正式发布了没有方向盘与踏板的专职无人出租车 Cybercab。2025 年 6 月，特斯拉在得州奥斯汀正式上线 Robotaxi 试运营，首批投入 10 至 20 辆改装版 Model Y。在硬件层面，无论是 Model Y 还是 Cybercab，与普通量产车在传感器和计算芯片上并无根本差异，早期针对 Cybercab 开发的硬件安全冗余方案也已经反哺应用到了全系量产车。二者的根本区别在于软件层和运行模式：

| 维度 | 量产乘用车（FSD） | Robotaxi / Cybercab | |:--- |:--- |:--- | | **软件迭代频率** | 迭代周期较长，追求全网稳定性 | 采用特斯拉内部最新、最强的最前沿模型，推送频繁 | | **自治分级** | 驾驶员负全责的 L2 辅助驾驶 | 获得政府监管许可的特定区域 L4 级无人驾驶 | | **监控保障** | 依赖车内人类驾驶员随时接管 | 战备室远程坐席专家实时监管，多对一兜底保障 | | **每公里成本** | 极低（车主自有车辆） | 现阶段单公里成本极高（包含远程安全员与运营人力支出） |

在奥斯汀上线后的一年里，特斯拉相继在加州湾区、内华达、亚利桑那等多地获得了不同限制条件下的牌照许可。在 Srihari 看来，Robotaxi 的底层技术壁垒已基本被突破，真正的硬仗转向了监管法规沟通、快速规模化扩城部署，以及在万辆车级别下如何抽离人工监控将运营成本拉平。

```mermaid flowchart LR accTitle: 量产车与 Robotaxi 技术流转关系 accDescr: 说明量产车采集数据流向云端，训练前沿 L4 模型首先在 Robotaxi 落地，再回流至普通消费车型的闭环。 Fleet["数百万量产车舰队"] -->|"回传长尾数据"| Cloud["超算中心训练"] Cloud -->|"最前沿实验模型"| RT["Robotaxi 车队 (L4 运营 + 远程监控)"] RT -->|"高强度路测验证稳定"| OTA["OTA 全量推送"] OTA --> Fleet ```

然而，要支撑 FSD V14 及以后的庞大模型，HW4 的算力再次逼近红线，下一代硬件 AI5（HW5）被推上前台。但在此时，内部研发爆出巨震：2025 年 8 月，曾被马斯克寄予厚望、号称全球最快且估值千亿美元的自研超算 Dojo 项目突然被叫停，Dojo 团队被马斯克就地解散。马斯克对外宣称，由于下一代 AI5、AI6 芯片自身在训练端表现同样优异，可以直接装进服务器机房用于训练，没有必要继续重复投入 Dojo。外界由此对特斯拉自研硬件团队的动向产生了深重怀疑。

---

[55:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=3300s) AI5 自研瞒报风波、台积电/三星双代工与芯片规格内幕

Kerry 揭开了 AI5 研发背后触目惊心的内幕：在 AI4 研发期间，特斯拉与三星的工程协同产生了大量摩擦，促使时任特斯拉硬件负责人 Pete Bannon 做出激进决断：AI5 彻底与三星分手，团队实行 100% 纯自主正向设计，不再依赖任何外部芯片设计服务。然而在落地执行中，团队暴露了致命短板： 1. **人力断层**：特斯拉芯片设计组即便持续扩充，也仅有数十上百人，远无法与传统芯片巨头成百上千人的成熟团队抗衡； 2. **经验匮乏**：团队此前从未独立主导过如此高复杂度的先进工艺大芯片全流程。

随着进度严重滞后，项目主管却对最高管理层进行了长期的瞒报与欺骗。面对催促，该主管持续对马斯克声称“马上搞定，再有两个月就能流片”，这一借口竟整整推托了近一年。直到马斯克亲自将 AI5 设计图纸交由台积电（TSMC）评估，台积电工程专家直言不讳：“这哪是两个月能做出来的，连流片标准的边都没摸到，起码还要搞一年以上！”发现被蓄意忽悠的马斯克勃然大怒，立刻在芯片团队掀起清洗风暴，项目主管及硬件一号位 Pete Bannon 均被解雇。在 Kerry 看来，Pete 本人并未参与恶意瞒报，但由于直接下属的造假，最终承担了连带管理责任。

清退风波后，特斯拉火速调整策略： - **方案 A（台积电版）**：引入第三方设计服务辅助现有的 AI5 架构，继续交由台积电制造。该版本已于 4 月 15 日成功完成初次流片（Tape-out），预计 2027 年实现规模量产。马斯克宣称其特定任务性能是 AI4 的 40 倍，业内预估算力达 2000 到 2500 TOPS，并将引入先进的多芯片模块（MCM）封装。 - **方案 B（三星版）**：重修旧好，紧急找回三星半导体团队，同步开发另一套基于三星先进制程的 AI5 芯片作为双保险。

Kerry 透露，未来两款芯片可能会在同款车型上混用，但由于软件底层适配一致，消费者在终端体验上将毫无差异。此外，最新内部风声显示，马斯克认为若 AI4 性能足够承载车端感知，不排除首批 AI5 会优先大批量用于云端超算中心与 Optimus 人形机器人，而非首发装车。

---

[01:00:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=3600s) 终局之战：从技术路线之争转向经济与规模化落地的下半场

回顾 13 年前自动驾驶的拓荒期，行业分裂为两条泾渭分明的哲学路径： - **Waymo（谷歌）的审慎主义**：堆砌激光雷达等昂贵传感器与极其苛刻的安全冗余，在严密划定的有限电子围栏内死磕真正的 L4/无人驾驶，成熟一处再谨慎拓宽一处。 - **特斯拉的冒险激进派**：拒绝激光雷达与高精地图，将最简化的视觉硬件塞入数百万量产车，把尚不成熟的算法交由全球车主在现实世界中滚动试错，伴随着无数争议、恶性事故返工与空中 OTA 迭代持续狂奔。

13 年过去，自动驾驶正式驶入残酷的下半场。这已不再是单纯的“视觉 vs 激光雷达”的技术路线之争，而是一场关乎规模、监管与单车运营成本的“经济之战”。当前，Waymo 在纯无人商业落地上仍保持着身位优势，而没有方向盘踏板的 Cybercab 才刚在奥斯汀蹒跚起步，甚至正面临美国联邦安全监管机构的合规审查。接下来即将发布的 FSD V15 规模将再次扩大 10 倍，其前身早期版本已在无人车队中内测。特斯拉已经证明了一条曾被斥为离经叛道的野蛮生长路线能够挺进决赛圈；但它接下来必须直面终极拷问：在没有人类司机、没有方向盘的数百万次无监管运营中，这套系统能否兑现超越人类的绝对安全性，并把成本优势兑现为真正的商业霸权。

## Notable quotes > [20:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=1200s) 既然给不了，我就彻底不要了！ — 埃隆·马斯克

> [25:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=1500s) 人只有两只眼睛，你在前面放那么多摄像头干什么？ — 埃隆·马斯克

> [25:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=1500s) 你人类开车入库前也看不见车头正下方有什么，人靠记忆就能停进去！ — 埃隆·马斯克

> [25:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=1500s) 不行，三个太贵了！这个事情不能用三个芯片，改回两个！ — 埃隆·马斯克

> [25:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=1500s) 我们前期所有的大模型和算子全是基于三颗芯片的底层进行研发的，现在改回两个怎么搞？！ — 软件团队

> [25:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=1500s) 我已经做了决定，这是不可更改的最终决定，谁也不要再来找我商量这个事，不用再讨论了，就是两个！ — 埃隆·马斯克

> [25:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=1500s) 新芯片刚画好图纸，软件团队就已经想好怎么把算力榨干用光了——你哪怕给我十倍算力，我也能全部塞满。 — Kerry刘向科

> [35:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=2100s) 就是个普通 iPad 的价格 — Kerry刘向科

> [55:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=3300s) 马上搞定，再有两个月就能流片 — 项目主管

> [55:00](https://www.bilibili.com/video/BV1ECaq6nEJn?t=3300s) 这哪是两个月能做出来的，连流片标准的边都没摸到，起码还要搞一年以上！ — 台积电工程专家

## Mentioned 特斯拉 (Tesla), Cybercab, FSD (Full Self-Driving), 埃隆·马斯克 (Elon Musk), Kerry刘向科, Srihari Sampathkumar, Cathy, Pete Bannon (彼得·班农), Jim Keller (吉姆·凯勒), Andrej Karpathy (安德烈·卡帕斯), Dhaval Shroff, Ashok Elluswamy, Mobileye, EyeQ3, 英伟达 (NVIDIA), Drive PX2, 台积电 (TSMC), 三星半导体 (Samsung), 德州仪器 (TI), 亚德诺 (ADI), 大陆集团 (Continental), 美光 (Micron), Waymo, 谷歌 (Google), OpenAI, 推特 (Twitter / X), Hardware 1.0 (HW1.0), Hardware 2.0 (HW2.0), Hardware 2.5 (HW2.5), Hardware 3.0 (HW3.0 / AI3), Hardware 4.0 (HW4.0 / AI4), Hardware 5.0 (AI5), AI6, Dojo, Optimus, Model S, Model 3, Model Y, Cybertruck, HydraNet, Transformer, BEV (Bird's Eye View), Occupancy Network (占用网络), End-to-End (端到端), Starlink (星链)

## Video description 9月初，没有方向盘、没有踏板的Cybercab正式在美国德州奥斯汀投入运营。 在此之际，我们也前往奥斯汀，实地体验了这辆出租车。坐在原本驾驶座的位置，面前却没有任何驾驶操控装置，我们用这一次亲身经历的行程，感受了马斯克描绘多年的无人驾驶未来。

这辆车背后，是FSD十三年并不平滑的进化：三芯片主板已经做好，量产前又被砍回双芯片；摄像头方案会上，马斯克甚至拍桌子骂人……我们对话多位前特斯拉软硬件工程师与自动驾驶资深从业者，从这些鲜少公开的内部故事出发，回看FSD如何在成本、算力与个人判断的碰撞中一路向前。

特斯拉把FSD装进数百万辆量产车，在真实道路上持续迭代，也一路伴随着事故、争议与返工。十三年后，自动驾驶之争仍未分出胜负，Cybercab却已驶入没有安全员、没有方向盘的新阶段。FSD究竟是怎样走到今天的？它又为Cybercab付出了什么代价？当自动驾驶之战进入下半场，决定胜负的究竟是技术路线，还是安全、成本与规模化落地？

采访嘉宾： Kerry刘向科，前特斯拉AI硬件开发高级经理 Srihari Sampathkumar ，特斯拉前AI软件工程总监 Cathy，前Waymo硬件工程师 匿名，前自动驾驶资深从业者

[Source](https://www.bilibili.com/video/BV1ECaq6nEJn)

中文简报

马斯克推无方向盘Cybercab上路 自动驾驶转向规模与成本决战 特斯拉依靠数百万量产车滚动试错与极端压降硬件成本将FSD推入L4运营，但决胜终局已从传感器路线之争转向脱离远程安全员后的规模化商业安全与盈利能力。 节目以奥斯汀实测 Cybercab 为引子，系统复盘了特斯拉 FSD 从早期依赖 Mobileye、英伟达过渡到全栈自研 AI 芯片与端到端大模型的跌宕历程。通过前硬件与软件工程总监等一线核心亲历者的第一手爆料，还原了三芯片在量产前两个月被马斯克因成本强制砍回双芯片、激进弃用雷达与改用车规 GDDR 显存的技术豪赌，以及 AI5 芯片因下属瞒报流片进度引发马斯克震怒清洗管理层的内部危机。全片展现了特斯拉如何在算力极致逼仄、极度控本与个人专断的碰撞下走出一条激进的技术飞轮，并最终将自动驾驶之争拉入了规模化落地与单车经济学的终极下半场。 特斯拉原生无方向盘、无踏板的 Cybercab 已在德州奥斯汀投入小规模试运营，依靠后台远程安全员与星链网络提供兜底冗余。 (0:00) 自研芯片 AI5 因团队人力不足与长期瞒报流片进度遭遇内部震荡，硬件主管被撤换后，特斯拉转向台积电与三星双代工并行的双保险策略。 (55:00) HW 4.0 曾因软件模型容量需求推进三芯片架构，但量产前两个月被马斯克因单车 BOM 成本一票否决并强令砍回双芯片。 (25:00) FSD 软件演进彻底推翻 30 多万行 C++ 规则代码，全面迈入仅约 2000 行核心代码的端到端大模型与强化学习时代。 (35:00)

Reading summary

特斯拉十三年的FSD研发史，是在马斯克“第一性原理”与极致成本控制驱动下展开的高压工程与组织豪赌。从与供应商决裂、自研芯片、砍掉雷达再到推翻规则代码全面转向端到端，特斯拉以激进的纯视觉路径催生了无方向盘的Cybercab，但其底层硬件反复拉扯与商业化落地的真实安全性仍面临残酷考验。 软硬件自主与供应链博弈：从供应商黑盒到自研降本 (10:00) 特斯拉早期受制于供应商方案的黑盒机制：Mobileye的封闭算法与致命事故导致双方决裂，而英伟达Drive PX2则因缺乏安全冗余与支持拖沓沦为昂贵过渡品。为掌握底层控制权，特斯拉招揽芯片专家Jim Keller与Peter Bannon，仅耗时18个月研发出AI3专用芯片。AI3神经网络纯算力较HW 2.5跃升5倍以上，专用的NPU架构利用率高达80%，远超通用GPU的30%水平。前特斯拉AI硬件开发高级经理Kerry Liu透露，成本控制主导了硬件决策——特斯拉曾强行换用ADI芯片逼迫德州仪器妥协降价，单年削减约2000万美元成本。 然而极度压榨成本也引发了工程反复：HW 4.0在量产前两个月，马斯克因财务成本预警，强令推倒已打样完成的三芯片高复杂度容错架构，逼迫团队紧急抢修回双芯片主板；同时，特斯拉激进采用PC显卡级别的GDDR高频显存以打破自动驾驶大模型的吞吐带宽瓶颈，但该方案在车规环境内面临发热巨大、价格高昂且容量受限的困境，成为后续算法扩容的硬件短板。 感知范式颠覆：纯视觉断臂与端到端神经网络革命 (20:00) 2021年5月核心供应商大陆集团的雷达断供，直接促使马斯克决绝下令拔掉全部量产车的毫米波雷达，逼迫团队退无可退地押注纯视觉。在Andrej Karpathy带领下，感知算法经历单任务CNN、分头共享主干的HydraNet、时序视频流以及Transformer鸟瞰图（BEV）投影四阶段跃升。为解决非标准异形物体的检测死区与幽灵刹车，团队引入占用网络（Occupancy Network），将空间切分为微型体素判断物理占用，并依靠自研4D云端自动标注流水线完成训练闭环。 2022年底，工程师Dhaval Shroff提出用车载大模型“xGPT”全面接管感控的构想，获得马斯克全力支持。特斯拉由此推翻了积累多年的30多万行C++手写规则代码，缩减为约2000行代码的“端到端”神经网络，并于2024年初向普通车主推送FSD V12。随后的V13与V14.1版本进一步放开500万像素输入，并引入世界模型仿真训练与多模态声音感知，逐步构建自监督学习闭环。 硬件失控与组织清洗：AI5芯片瞒报风波与Dojo叫停 (55:00) 随着HW4算力逼近极限，下一代AI5研发却因组织膨胀与激进决策陷入泥潭。AI4研发期间与三星的摩擦，促使时任硬件负责人Pete Bannon力推100%自主设计，但特斯拉数十人的芯片团队严重缺乏先进制程大芯片的独立经验。项目严重滞后期间，项目主管持续向马斯克瞒报进度近一年，屡次谎称“两个月内即可流片”。直到马斯克将图纸送交台积电评估并被直言“至少还需一年以上”后，欺瞒彻底败露，马斯克随即清洗团队并解雇了Bannon。 2025年8月，马斯克叫停了号称千亿估值的自研Dojo超算项目并解散团队，宣布将直接采购或使用AI5/AI6芯片部署机房。针对AI5芯片，特斯拉转为“台积电+三星”双代工策略：台积电版已于4月15日完成初次流片，业内预估算力达2000至2500 TOPS，预计2027年量产；三星备用方案则同步推进以作双保险。 终局商业之战：Cybercab破局与规模化运营考验 (50:00) 2025年6月，特斯拉在奥斯汀开启Robotaxi试运营。截至当年9月，德州登记车队达476辆，其中包含67辆原生无方向盘踏板的Cybercab及409辆Model Y。虽然前端具备星链通信、远程安全员兜底与车内一键急停保障，但现阶段每公里单车成本因人工监管居高不下。前特斯拉AI软件工程总监Srihari Sampathkumar指出，Robotaxi的底层算法壁垒已基本走通，接下来的决胜点转向法规审批与万辆级规模下的去人力化成本摊薄。 与Waymo在严格电子围栏内依赖昂贵激光雷达的稳健路径相比，特斯拉凭借数百万量产车队的数据回流走出了一条激进的规模扩张路线。如今自动驾驶已驶入比拼合规牌照与单公里运营效益的下半场，特斯拉必须在监管审查下证明这套去安全员系统的绝对安全性。 特斯拉十三年来的激进工程与极致降本，证明了一条依靠纯视觉和量产车数据飞轮的路线能够挺进决赛圈；但面对联邦监管机构对Cybercab的严格合规审查，在没有物理操纵机构与车内安全员的前提下，这套系统能否兑现超越人类司机的统计学安全并真正抹平运营成本，仍是其建立商业霸权的最终拷问。

Source quotes

[20:00] 埃隆·马斯克: 既然给不了，我就彻底不要了！ [25:00] 埃隆·马斯克: 人只有两只眼睛，你在前面放那么多摄像头干什么？ [25:00] 埃隆·马斯克: 你人类开车入库前也看不见车头正下方有什么，人靠记忆就能停进去！ [25:00] 埃隆·马斯克: 不行，三个太贵了！这个事情不能用三个芯片，改回两个！ [25:00] 软件团队: 我们前期所有的大模型和算子全是基于三颗芯片的底层进行研发的，现在改回两个怎么搞？！ [25:00] 埃隆·马斯克: 我已经做了决定，这是不可更改的最终决定，谁也不要再来找我商量这个事，不用再讨论了，就是两个！ [25:00] Kerry刘向科: 新芯片刚画好图纸，软件团队就已经想好怎么把算力榨干用光了——你哪怕给我十倍算力，我也能全部塞满。 [35:00] Kerry刘向科: 就是个普通 iPad 的价格 [55:00] 项目主管: 马上搞定，再有两个月就能流片 [55:00] 台积电工程专家: 这哪是两个月能做出来的，连流片标准的边都没摸到，起码还要搞一年以上！

Original transcript

[0:00] 正在行驶的是一辆没有方向盘的车而我正坐在它的驾驶座上而它也没有任何的脚踏板这就是9月刚在德州奥斯丁投入运营的特斯拉Cybercap马斯克说这就是未来交通的样子其实早在我们今年5月中旬去奥斯丁的时候已经发现Cybercap出没在这个城市的各个地方了经过数月的测试Cybercap终于迈入了一个新里程碑我们知道特斯拉FSD的发展故事一路上是伴随着各种的丑闻诉讼和质疑这样的舆论伴随了特斯拉FSD十几年所幸FSD一直没有停止进步但是进步是艰难的在马斯克这个Coleman老板的带领下特斯拉自动驾驶的硬件研发总是反复拉扯重来直到上线前还在加班修改他就气得拍桌子然后就开始F2了从供应商的决裂自研芯片的豪赌甚至团队一度出现了瞒报与欺骗伊朗一听这个事就知道你们这帮做芯片的人明显就是忽悠伊朗就犯了很多人与此同时软件团队永远抱怨着算力不够用人缘不足却在极致的成本控制中倒逼出了极致的技术路线你给我十倍我怎么办用掉那我们这期视频的写稿采访和制作我们已经花了几个月的时间,我们对谈了在特斯拉工作十余年的工程师,也去到现场体验了特斯拉的无人驾驶车。这个视频我们从硬件和软件两条线详细地拆解一下特斯拉FSD的进化史。大家不要忘了关注我们的频道,也记得给我们点个赞哦。接下来就让我们进入FSD的世界。今天是美国时间9月23号我们从硅谷飞到了德州的奥斯丁带大家来体验一下Cyber Cap好 我们的Cyber Cap马上就要来了我们也等了大概有8分钟的样子吧其实比我们想象中等待时间要短看我们的Cyber Cap已经到了然后Start Right拜拜那这是我第一次坐上Cyber Cab我自己是Model Y的车主之前也开过Model 3但是很明显整个车比Model Y要缩水了一大圈甚至我觉得比Model 3都还要小我们坐进来之后发现它只有两个人的座位我坐在本来该是驾驶员位置的左侧但这边它没有方向排也没有脚踏板没有加速板说实话心里面还是有一点小忐忑的但是我知道在目前的运营阶段的特斯拉由于CyberCab采用了无方向盘和无刹车踏板的原生无人车设计车内乘客在遇到紧急情况时无法进行物理接管为了保证安全特斯拉在后台配备了远程工作人员来进行兜底我也知道新链会进行网络的保障乘客也有一件紧急避险emergency stop这样的一个按钮Pullover的请求并且自动联通Robotaxi的专属服务所以我们目前的安全指数可以说是很高了今年9月12号,特斯拉在美国德州登记的自动驾驶车队Robotaxi总数增加到了476辆。除了67辆的Cyber Cap之外,其余的409辆依然是配备方向盘的Model Y车型。那特斯拉的FSD是如何做到目前的程度呢?这一切要从一个黑盒开始说起。2013年,已经成立了10年的特斯拉开始决定做自动驾驶,而且最初希望合作的公司就是谷歌。但是谷歌高定地图加激光雷达的方案太贵,不符合马斯克的第一性原理。铁带到L4为此双方分道仰镖也让自动驾驶诞生出了两条路线并且争论至今可是特斯拉当时的状态别说自言了连活下去都费劲那最现实的路径就是先找个县城的供应商于是他们选择了Mobileye2014年10月特斯拉发布了autopilot hardware 1.0全车的硬件非常基础只有一个前置摄像头一个前置毫米波雷达再加12个超声波传感器芯片为Mobileye IQ3 500MHz频率256MB的内存放在如今肯定是不够看的因为在早期车轨的技术上它的局限性非常大一个不得不采用的方案因为你没有别的选择这是Kerry Liu近12年参与了能源自动驾驶机器人等多个项目负责AI相关的硬件开发 [5:00] 告诉我们硅谷10L FSD13年的研发中间有太多的曲折故事2015年autopilot软件正式上线虽然当时只能实现车道保持 自适应巡航等基础功能但对于当时的车主来说 这已经非常惊艳了要知道那个时候大部分的车甚至都还没有标配定速巡航有的人在车里吃汉堡 有的人在附驾睡觉直接把autopilot当成了无人驾驶Model S照上了正在左转的拖挂货车车主当场身亡事故发生的原因在于辅助驾驶系统没有识别出货车在此前呢Mobileye就警告过马斯克禁止驾驶员双手离开方向盘但是呢没有被当回事那这次事故呢是成了双方彻底弹崩的催化剂为什么只是催化剂呢那这里啊我们先来说说特斯拉第一代的autopilot是怎么做的自动驾驶主要分成三个流程感知规划执行感知部分算法完全由Mobileye垄断规划与控制由特斯拉自己主导Mobileye提供的是典型的黑核blackbox模式摄像头捕捉到画面之后直接输入到Mobileye的iQ3芯片当中计算结果之后再传递到规划层当然这个可能也是当时分裂的原因这个需要你强行需要两边定义一个接口然后这个接口之下,Mobile的内容肯定是黑盒不提供给Tesla,这点其实就非常喜欢Tesla的开发,因为有时候你想跨越这个接口或者更改这个接口,但你没有这个控制权所以真正让特斯拉和Mobileye分手的原因是因为合作不畅此后特斯拉开始一手独揽算法部分硬件系统也有了新的合作商但是市场却不满账了2016年10月距离事故仅5个月特斯拉发布了Hardware 2.0这次传感器从一个摄像头变成了8个芯片从Mobileye换成了NVIDIA Drive PX2你别看这个摄像头的数量它变多了作用并不大就是说你未来肯定想要做到全自动价值那你不可能只有前面的摄像头但就当时来我觉得也是要取代Mobileye的功能来说未必我觉得需要这么多的事案例去把每一个摄像头的信息都处理不过很快呢特斯拉内部发现了Hotware 2.0存在缺陷于是呢在发布10个月之后又推出了Hotware 2.5那这两者的核心区别呢就是冗余因为Hotware 2.0英伟达的方案当时呢英伟达也并没有专门针对辅助驾驶做芯片所以在结构上就是一个SOC在外挂一个GPU但问题是马斯克当时已经在推全自动驾驶了得考虑一个很现实的问题万一芯片坏了怎么办你得有备用方案吧所以呢到了2.5啊特斯拉多加了一个GPU作为选与这就是特斯拉FSD双芯片架构的出行与此同时呢特斯拉也在6个月内通过字眼替代了Mobileye的算法部分还新推出了FSD,意味着和以前大不一样,但是初期表现却没有预期中那样的顺利。木巴已经做了那么多年迭代下来,就算技术比较弱后,肯定也还是各方面比较完善一些。那一类新的团队从0到1开始做反开始有各种问题我觉得也非常可以理解不过呢英伟达芯片也只是个过渡方案那接下来特斯拉FSD才真正开始发力2019年4月特斯拉发布了哈佛尔3.0用自研的AI3芯片替换掉了英伟达芯片其实采用自研芯片是迟早的事早在与Moboy合作的时候特斯拉就开始布局这条路了我们先把时间拨回到2016年前一月,马斯克挖来了芯片设计界的传奇人物Jim Keller。他在AMD设计了K7、K8架构,在苹果设计了A4、A5芯片,又回到了AMD,研发了Zen架构,后来还去了英特尔。二月,Peter Bannon也加入了特斯拉,他的履历同样硬核,加入特斯拉前就有了近40年的集算系统设计经验。曾在苹果、英特尔、PA3米等公司任职,领导了苹果A4到A9处理器的开发。在新团队的帮助下第一款FSD芯片也就是AI3只花了18个月就设计出来了并且在2017年12月首次流片成功整个过程非常顺利它当时甚至第一次流片出来这个芯片就基本上已经没有毛病了最后只是稍微小改了一下然后做了第二版然后就量场后面就再没改过了所以HowardSide算是一个非常成功的东西因为你要知道做处理器这种芯片你无论放在Intel AMD不管哪家公司一次流片能做好的那是凤毛的印象很多芯片第一次流片出来连开机都开不了而且当时用了14nm的制程相对比较成熟那这款自研芯片的一大优势就是 [10:00] 相比Hotware 2.5采用的英伟达Pasco芯片AI3不仅神经网络算力提升了5倍以上在其他各项参数上都有了显著的提升那为什么能够提升这么大呢是因为这是专为自动驾驶场景设计的芯片和之前通用芯片架构完全不同芯片算力呢不能光看纸面上的参数像英伟达的芯片因为是通用的那里面呢会包含线程调度捏存访问分支预测等等任务在执行深行网络任务的时候呢实际利用率很难跑上去而特斯拉定制的芯片专为实际任务场景做了优化有效利用率呢能够达到80%是提升了50%之多有真的有没有根据设计器的发展计器材料在2016年有没有根据设计器材料大家都在那里加入CPU、GPU、DSP为了更好用的设计器材料但没有人在做的事实上NATIVELY所以我们设定要做这我们的事而就在AI3即将量产的鞋骨眼上Jim Keller离开了特斯拉由Peter Bannon接手整个硬件团队先别着急为特斯拉担心因为在业内看来他的离开早已注定我跟他一些别的朋友聊天这个事情就是大家对我的一些反馈就是说Jinkiel这个人是一个非常喜欢做从零到一的工作的这么一个人他不喜欢做从一到十的事情他之前无论在苹果还是在AMD他都是把这个芯片从无到有做出来然后呢在这个芯片做出来之前他就会走那我想这可能也是为什么他能够愿意来特斯拉的原因因为特斯拉要做芯片这个事情在当时就属于一个从零到一的事情那虽然AI3芯片的开发过程很顺利但是呢先有人知的是在整套Hardware 3.0量产前的三个月特斯拉内部连州赚到几乎崩盘而原因嘛竟然是因为马斯克太抠了他不喜欢招人其实到今天为止FSD的这个包括机器人的FSD它的软件团队其实人都很少他们要同时支持已有的还在量产的哈温2.5然后呢又要同时写上Hawler 3的软件那他们明显就是人手不足做不到没有软件配套我们很多东西很多产品的就那个芯片的测试啊包括很多功能上要想去跑一下什么之类的都做不到所以当时我就记得印象特别深我们就是各种就是自己传软件自己写点什么指令然后来模仿他们那个软件上的一些东西然后自己自己跑自己测量产的前三个月那时候伊朗说不行了必须要开始搞Haver 3了整个软件团队就只剩三个月时间我们硬件团队也要配套做测试那你给他们三个月那就像没给我们时间所以就是他们写一点软件我们硬件就配套了相对做一些测试然后就是我就记得那三个月是我在特斯拉最忙的三个月就是基本没有休息三个月可动~修了那么一点天两三天就这样用上了自然芯片之后主要带来了两个好处也就是成本优势和主动权这背后还有两个与供应商之间的周旋与冲突先来说说第一个众所周知马斯克一直都非常在意成本而Kerry一项很重要的工作就是通过各种手段逼迫供应商降价TI是车规芯片的一个非常大的供应商当时在18年在我们整个车上其实是每年是要用大量的TI的芯片那时候18年年底的时候都差点破产所以当时这个成本的压力其实非常非常大当时公司提出了就是说希望TI把整个特斯拉用的所有的这些这些芯片这些料全部通通降价TI就一直不肯答应但实际上车贵芯片的利润是挺高的平均那个时候的利润甚至能做到50%到55%我就把TI这套芯片全给它换掉我就换成了ADI的同等的一个功能的一个芯片其实当时要换这个东西的话是无论是硬件还是软件都都需要做很多的这个测试和开发工作的但是我就说不管这个必须也换然后我就换了换了之后TI没有想到这一套芯片对他们讲非常非常重要因为占了很大一部分的这个这个营收额他们直接就开始求我们然后呢又找我老板就他们的CEO啊也都跑过来说哎能不能别画啊能不能有什么别的方法然后当时采购部门直接就把那个降价表格给他们发过去说你只要把这个上面的所有芯片通通降价我们就改好了然后提案跟我们僵持了大概好几个礼拜吧然后最后就统一了当年的时候一年可以省大概2000万美金那对于马特来讲那实际上是一个非常非常大的一个成本的一个下降他当时他各地发信给我们就是感谢我们其次呢在主动权方面特斯拉除了前面我们提到的因为Mobileye黑盒算法持过货 [15:00] 就连与英伟达的合作呢也有一些冲突一方面呢是因为英伟达他的芯片呢并不是专为自动驾驶而设计的其实到今天为止你都可以看到英伟达他的这个最新的索尔这种芯片也都还是一个通用芯片他不希望自己被任何一家公司这个牵着鼻子他肯定是不希望被局限在特定的一个功能或者是算力的这个框架之下另外一方面啊则是英伟达团队配合度不太高马斯克来说呢更是无法容忍的有些车子有些返修的一些事情当时我们就在想好像是那个主板上温度是不是有点过高因为英伟达他们那个芯片有那个温度温度感应器嘛然后我们就说你能不能就是把温度能够给我们显示一下其实这个事情很简单写一个很简单的几行代码的事情就是写个驱动英伟达跟我们来来回回扯皮扯光扯皮就扯了差不多一个礼拜完了之后呢就开始问我们要钱说要开通这个新功能请付费好了除了付费还要再等一个礼拜这三行代码就能搞定的事情你已经抓上了快半个月了就这样的一个合作模式那基本上就很难很难这个往下推进还有他们别的核心的产品在车展这一块在当年真的是很难做效率非常的低好讲完这些小故事呢我们再回到Hotware 3.0硬件上它有一个很大的问题就是虽然在2016年设计的时候正为当时常用的卷积神经网络CNN做了优化但是谁都没有想到一年之后也就是2017年出现了一篇改变整个AI时的论文Attention is all you need2017年6月谷歌发布了Transformer开栓论文诞生了XGPT与莫斯科的年轻人却离开了OpenAI,他就是Android Capacity。与Mobile Eye决定之后,特斯拉急需从零开始自研究于深度学习的视觉感知系统。与时的马斯克还担任着OpenAI的联系董事长。在坚持到Android的能力之后,马斯克决定邀请他加入特斯拉并且直接向自己汇报。I felt like这个是完美的我觉得我可以做这个我觉得我能有这些技术来与这些技术的能力Kapathia的加入不仅为特斯拉带来了技术上的创新更重要的是当时特斯拉的自动驾驶正处于低谷急需一位领头人来吸引更多的人才因为他是一个AI和Machine Learning的不要出新人物嘛所以我觉得他来首先最大的一个种程式是Hiring,就是Recruiting因为没有他的话你做了一个Tof AI Talent毕业为什么要去吃一个车厂但因为有Andre可能这些人有一个理由因为大家可能都上过Andre的课随后呢特斯拉在2018年到2021年间对算法部分的感知模块进行了一次次升级那么接下来呢我们尽量用通俗的语言来讲讲其中的四大升级点还记得自动驾驶的三大模块吗也就是感知规划和执行相关的基础知识呢我们在之前的视频当中有详细的介绍请期的小伙伴们可以回看一下而capacity加入的第一件事就是用神经网络重构感知模块他提出将车道线检测车辆识别行人感知这些基础人物都交给深度学习模型通过海量数据训练让系统自己识别环境这样面对从未见过的路况神经网络依然能够做出合理判断这又带来了另外一个问题你看系统又要识别车辆行人还要看懂红绿灯追捅减速带还有施工标志等等如果每一个任务都要跑一个独立的实际网络,那不仅代码量会非常大,车载的算力也不够用。那这就要收到第二个升级点了,就是Hydranet架构。它的设计思路是让所有任务共用一个底层的特征提取网络Backbone,只在最顶端分岔出不同的任务头,也就是head。这样多个摄像头,多个识别任务都能共享同一个算力底座,就像一棵树,树干式共享的算力底座,树枝是不同的识别任务,各长各的叶子。共享养分。Hedronet不仅提升了计算效率,更重要的是它能针对不同的识别任务单独做微调,不会影响其他任务表现。第三个升级点是从看图片转向看视频特斯拉的早期感知模块更像是一个图像识别系统摄像头拍下一张照片通过CNN算法依次识别哪里有辆车哪里有个行人哪里有车道线但现实世界是连续变化的比如说一辆小汽车被驶过的大巴暂时遮挡之后摄像头在某些时刻可能无法直接看到它系统就需要结合前后时刻的信息以及它可能在哪里所以特斯拉团队让系统 [20:00] 从看图片转向了看视频利用时序信息学习连续几秒钟发生了什么并预测物体的运动轨迹或行为趋势这样系统就能够拥有短暂的记忆能力第四个升级点是Transformer加持的秒看图视角依旧是BEV过去每个摄像头更多是在各自完成识别任务相互之间没有多少交流比如说左摄像头和右摄像头都识别到了一辆车但是系统并不清楚这是不是同一辆现在系统开始融合8个摄像头的信息再通过空间变换和多视角融合技术并且结合Transformer的交叉注意力机制把这些信息统一投射到同一个浮世坐标系中最终构建出完整的2.5D空间模型这个创新也不是Tesla独有的可能更多的是整个学界因为有那么多的Funding就是一直在去做这些研究就有一些工作出来说怎么把多长改期融合那有了这四大升级到2021年的时候特斯拉的感知模块开始真正的理解了整个道路环境但是马斯克又突然决定移除车上所有的雷达这可苦了软件团队以下又要进入作战模式了虽然马斯克很早就说过只需要摄像头就够了在特斯拉内部看来移除雷达也确实会带来一定的优势比如说过去融合多传感器的信息时会对算法带来额外的负担同时因为多了额外的硬件还会增加后期维护的工程量等等但在2021年5月马斯克决定移除车上所有雷达时还是让大伙觉得这个时间点很突然你可能会问,是不是因为内部团队早就做好了测试,或者技术已经足够成熟了?我们刚开始也这么认为,但Kerry告诉我们的真实原因呢,其实非常现实,那就是供应链问题。当时是因为疫情哈米波雷达供不上货哈米波雷达我们的供应商是continental然后后来当时好像是团崩了吧当时疫情的时候基本上采购团队反正大家都供不上货嘛只要是这种核心供应商如果他们供不上货采购的这个团队就会升级到伊朗那边让他去跟这些供应商的CEO直接同款那有的供应商呢就是非常配合那有的供应商呢就不配合可能也许是觉得我们的我们的量不够多或者说他们有更重要的客户那基本上这种无配合的供应商就都被拉黑了伊朗就直接就是说OK那你既然不给了呢我也不跟你谈了就直接不要了在此之前马斯克早就催促过软件团队尽快在算法中去移除好米波雷达但是受限于软件团队人员不足这件事情就一拖再拖所以疫情相当于是一个催化剂去掉雷达之后测距精度会大幅度降低为了弥补回这些信息只能通过纯视觉来预估速度软件团队也就进入了新的作战模式因为雷达对速度的估计会比较准天气情况也没有那么敏感所以很多人是反对的虽然移除的过程让团队吃了不少苦但是根据一些员工的回忆这件事情却鼓舞了团队士气因为这不仅验证了团队的能力也证明了马斯克的方向是对的没什么比员工对老板的信任更加重要那移除雷达还只是第一步更重要的是如何只通过摄像头去构建出三维世界的模型那在14个月之后特斯拉发布了这个技术我们前面说到2021年特斯拉发布了2.5D的鸟看图而到了2022年的AI Day鸟看图变成了真3D这背后的关键技术就是占用网络Occupancy Network它会把周围的空间划分成无数个立体小方块被称为体速Voxel如果某个地方被体速占去就代表那里有障碍物过去很多时候是用一个物体框是一个长方形来表达物体我其实比如说一个公交车它有两阶拐弯的时候它就它是一个非肠方机了然后还有一些可能是一些嗯 其他形状的物体应该用肠方形表达它就有损失性质的损失被这个硅控抹坏比如说有个挖掘机它的臂很深的很长臂有一定的高度有时候你就可以从它下面开过的但如果B比较B,你又不能从来下面开过如果你要把这个WDZ 调达成一个 2D 的东西就很奇怪Upload Fancy Network显然是一个更宽泛的表达形式因为它是一个 3D 的这样一来系统不再需要认识每样东西就能够实现避障但是有一个问题训练occupancy network需要海量的真实数据去作为参考也就是ground truth在训练的时候需要告诉网络这个体速它被占了那个体速是空的传统的方法是用激光雷达的点云去做人工标注但是特斯拉量产车上没有激光雷达该怎么样去训练呢因为过去为什么大家 [25:00] 做这个任务也是因为你没有因为你神机网络来学习需要有个标签嘛你要说打这个3G的这些所有的Optopensate的标签这个是非常昂贵的一种方案是你去标激光雷达的点云但一是TESLA也没那么多点云他没有来打其次你就算去标那个点云也非常昂贵因为你要人去把整个那么复杂的3G场景每一个点是属于哪个物体全都标好这个的cost可能是标物体框的十倍甚至更高也是我觉得可能算力到了一定程度能够支持这个其次比较关键的是TESA内部也有一套自己的标注系统那它有这个自动标注的网络,它就通过自动生成标签的方式生成很多Ground Truth,加上也支持了它有能力去训练这么一个Occupancy Network。2020年哈贵尔4.0项目正式启动上一次2.5升级3.0的时候只是在主板上换一颗芯片并且新增安全冗余其他结构都大差不差但是这一次是全系统的重新设计当然这也意味着使用哈贵尔3.0的老车主无法再像之前一样免费升级下一代的硬件平台了很简单一个道理就是那个电路板已经装不下了因为哈贵尔4的芯片变得更大然后整个内存占用的位置也更大内存也更多了功耗也变得更大了所以那个电源的芯片也会变得更多电源供电那些线数啊接口啊也不可能跟以前一样那就是因为改了太多的东西哈德博4.0的研发过程呢不断爆出各种矛盾我们就先来聊聊摄像头在摄像头方面有两个很大的改动第一个是像素从120万提升到了500万你可能会觉得这也太抠了吧手机动不动都到1亿像素了500万能干啥呢这背后其实有不少的考量首先车载摄像头更看重稳定性比如说耐高温抗震动动态范围还寿命等等才是优先考虑的因素其次对于车来说能够看清一定距离就够了再远也没有更多的意义而且车载摄像头更看重的是帧率它的帧数越高对应急事件的反应就越快第三随着像素和帧率的提升对于整个系统的数据传输计算量还有电气设计都带来了很大挑战那这也意味着不能无脑去堆像素但是等到哈温4人你都已经要做到5个Mp了摄像头这个CMOS sensor的功耗就变大了那你这个电线就要求变得更粗实际上这个就是变相增加成本而且也不利于信号传输摄像头出来的信号然后要传到那个助理器在车的中间这么个部位它可能是有一米两米甚至三米的距离远距离的这种高速信号传输的话你就不可能做到说是像手机那样做一个什么一亿像素的摄像头但是数据量太大帧数越高的话那你的数据量也会相对的越大那第二个改动呢就是摄像头的位置分布有所变化原本在特斯拉前挡风玻璃那儿是有三个摄像头的升级到Hardware 4的时候却被马斯克砍掉了一个当时开会说定这个摄像头的分布的时候那伊朗就是很简单第一性自为放多摄像头 人就两只眼 你放多摄像头干嘛?你要是跟他意见不同意的话 他就气得拍桌子 然后就开始F word了 对吧 那我们就没有人敢说话了 对吧这一看还真出事了 因为以前车上还是有毫米波雷达的可以探测前向距离 那移除雷达之后呢 前保险杠的位置就成为了盲区 比如说在一些停车场景可能就会撞上 所以我们当时开会的时候 我们推荐的是ok 你如果前面是两个摄像头那你最好在车头那个位置再放一个摄像头这个事情在一辆眼里就觉得那这东西你只要你在入库之前你人开车你也看不到你那个车头下面有什么东西了对吧那他的这个说法有道理 因为人是有记忆的 但实际上 [30:00] 科在这个判断上面他其实没有那么想象的那么简单这个记忆是需要就是一个模型去专门去训练这个东西的于是呢我们也看到从Cyber Truck开始特斯拉又在前保险杠的位置重新加上了摄像头伊朗他这个人就是这样就很多事情他自己会有一些非常强的判断但是呢他也能意识到他的这个判断可能不一定是正确的但是特斯拉的公司的这个好处就是能够非常快的去能够弥补或者是更正这些东西他是能够接受的他不会说是不愿意接受自己的错误原本在哈贝尔3.0的时候特斯拉就用上了两颗算力72Tops的AI3芯片而到了Hotware 4.0上单颗AI4芯片的算力已经翻倍但这时软件团队跑出来说你看我要做到真正的自动驾驶就得把模型做得更大吧算力肯定得更多吧还用两颗芯片怎么能行呢软件团队也是一开始跟伊朗说两个不够只要有三个他们就能把FSD做出来然后就伊朗说好没问题他说他相信他们然后我们就真的把这个东西做出来三芯片其实在架构上是相对非常复杂的因为它涉及到荣誉的一个判定的一个问题因为双芯片很简单一个坏了另外一个接管那三芯片就涉及到到底谁接管的它这个逻辑上判断就会变复杂很多那当时也是做了更大的架构上的设计然后安全荣誉啊包括供电啊包括信号的这些传输但硬件团队设计完成之后呢拉扯又出现了大家知道量产的钱两个月项目管理的经理说了一句说我们到底用两个还是三个然后伊朗就听了这个事情说他突然想起这个事情了估计也可能是finance的人就是CFO可能跟他提过这个东西他就可能觉得不对这个事情不能用三个用三个太贵了然后软件团的一听说我们都已经定好用三个了这个我们都已经开始做研发了然后你现在说改回两个然后一号就说好我已经下了这个决定这是最终决定谁也不要再跟我商量这个事情了就不用再讨论了就是两个然后这个时候我们又赶紧回去把板子重新设计改回两个 因为马上就要量产了根据内部人士透露 直到现在特斯拉团队依然在争乱要不要加更多的芯片为此Kerry也是小小的吐槽了一番软件团队他们内部有句玩笑说 新的芯片才刚设计好 软件团队就已经想好怎么全用掉了那专业力肯定永远都不够用了你给我十倍我能把它用掉那这也反映了另外一个问题就是模型其实有很多可以优化的空间在我看来我觉得不是那么的合理做模型的这帮团队啊至少特斯拉情况就比较明显因为人手太少了大家更多的是把这个模型做得更大了把精力放在这个事情上面而没有说去真正的去专门找一部位置去优化这个事情那除了芯片数量的拉扯在芯片研发上AI4也不如ASN那么顺利前面我们说到在第一次研发AI3的时候有部分是三星来帮忙设计的所以到了AI4的时候特斯拉呢依然选择了和三星合作而问题呢就出在这了由于当时三星已经他们这个在外面已经接了很多生意了所以它对我们的服务就明显没有Hover 3那么好所以Hawar 4整个 schedule其实是有比较严重的delay 芯片做出来的效果也不是那么的好流片大概流片了三四次吧这也是跟我们有关吧就是跟特斯拉有关系用了GDDRC这个内存嗯大家都没有用过在设计上遇到很多困难这就有个问题了为什么特斯拉当时要抛弃成熟的方案选择在车赛端不成熟的GDDR内存呢随着自动驾驶的神经网络模型越来越大AI3的芯片性能开始跟不上而真正卡脖子的却是内存带宽你可以把芯片想象成一个超级工厂算力就是工人的数量送进工厂的高速公路那如果工厂里面有100个工人但是高速公路一次只能运进20个人的材料那么剩下80个人就只能站着发呆了所以呢随着模型规模以及数据量的提升自动驾驶对于内存的带宽需求呢也越来越大于是呢马斯克看上了GDDR内存我们来简单科普一下不同的内存哈内存呢大致分为LPDDR,DDR,GDDR,HBM这些种类功耗也更高 此前特斯拉用的是LPDDR常用在手机笔记本上 而马斯克为了追求更高的代官 [35:00] 选择了游戏显卡常用的GDDR这个思路出发点可以说是正确的,但是受限于行业成熟度,实际研发的时候带来了不少的挑战。我们当时一看就发现它的功耗其实非常高而且没有什么厂商做这个东西尤其车柜也是第一次放在车上而且是我们的自研芯片而且还非常的小众然后功耗特别大价格也比较高所以用了这么多年HOW24你可以看到其实它内存的这个容量就成了一个瓶颈因为没有人去给车专门提供大容量的GD电影因为特斯拉是唯一一个公司在做这个事情所以不可能因为特斯拉去让美光啊或者是三星啊专门研发一款大容量的GDR去给车轨用的其实特斯拉现在内部一直都在做这个Hawr的这个4.3把它改成用LPDDR然后就说牺牲一点点带宽 但是提高这个容量 因为他们的这个模型现在已经越来越大了所以可能在不久将来你们就应该看到车上会装这个Hawler 4.3在当时也许有别人看出来但是别人没有一个人愿意提我是唯一一个提出来这个事情的人但是没有人愿意听我的但是我觉得这个是应该是当时的一个决策上的一个实物虽然Hardware 4.0的研发过程充满了波折但是最终在成本控制上依然非常符合马斯克的作风根据Carrie的透露整套硬件的成本甚至比MacBook Air都要低很多就是个普通iPad的价格而随着技术不停的迭代成本还会继续降低特斯拉在这个事情上其实更新换代迭代的速度是非常快的就你外观上可能看不出这个车有什么变化但实际上这个车每隔几个月里面的东西都会有一个非常大的变化,在性能维持不变的情况下成本降低额外说一句特斯拉自研的芯片不管是ASN还是AS4除了被用在车上还被装进了服务器里进一步平摊了研发成本其实芯片都是一样的只是在电脑的设计上可能有一些区别接口啊包括信号传输上面有些区别。和主打训练的超级计算机都就不同,使用AI4芯片的服务器主要做两个方面的工作。第一个是叫做Pixel Injection,像素注入,这个名字听起来有点抽象,我们可以换个说法,把它理解为类似世界模型的仿真环境,通过生成各种虚拟场景来训练自动驾驶模型。而第二个就是推理验证。特斯拉会把真实道路上采集的视频数据回传到AI4服务器里让它模拟FSD系统在当时场景下会怎么去决策然后把决策结果和当时人类驾驶员的实际操作做对比用来迭代下一版模型它的V2 4.0在2023年2月正式装车可惜的是它上车还没多久又要过时了因为它设计的比较早没有针对Transformer去做优化因为这一次特斯拉推翻了此前的所有代码,推出了端到端。2022年7月Android Capathy离开了特斯拉由软件团队的创始成员之一Ashok Alaswami解体他的位置于时间外界纷纷猜测特斯拉在算法上遇到了困难股价也应声下跌确实如果按照当时的路线发展下去Campathy的工作将是不断的优化已有的路径日益重复但是他没有想到的是年底GPT三两股震惊了整个世界当时马斯克刚刚收购了推特想从特斯拉抽调一批工程师去优化推荐算法其中的一名工程师名叫Davo Shroff然而他并不想离开特斯拉于是他告诉马斯克自己正在做车用的XGPT也就是用神经网络替代所有的规则算法让系统通过模仿人类的驾驶行为学会自己开车这样一来即使面对没有见过的场景系统也能够自己避障做出类似人类驾驶员的灵活判断比如说压实现地障这和过去呆板的Rubes的方案完全不一样Shraff的解释瞬间击中了马斯克甚至马斯克都开始畅想着要做一个像007电影一样的场景演示于是Shraff是留了下来后面就是我们听到的特斯拉推出了端到端之前的30万行代码精简到了2000行我们采访了特斯拉前AI软件工程总监Sriharie他过去负责特斯拉Robotaxi和Optimus [40:00] 项目的AI工程团队以及软硬件协同设计团队此前还因优化特斯拉车载AI计算机的性能被马兹克点名表扬称没有他们团队,Robot-Type-C将无法实现3 Henry回忆说端到端的探索在XGPT出现之前就已经开始了而XGPT可能加速了这个进程但是我认为我们已经在做了一段时间的路程中, 已经在那一段时间上去。OKI heard there was like a very small team working on that耶how many people are there2023年8月底马斯克在自己车上用手机直播了FSD端到端的第一次公开演示当时他随机在地图上标记路径点证明这不是预先规划好的路线然后车就自己开始行驶了虽然中间闯了一次红灯被嘲笑了很久但是在一些业内人士看来这样的表现已经非常好了我其实还是挺有respect的因为作为一个全新的技术路线2023年底特斯拉内部员工开始批量地收到端到端版的FSDV12推送直到2024年1月正式面向普通车主推送虽然特斯拉确实是第一个将端到端落地的车企但这项技术理念并不是特斯拉最先发现的早在2016年就已经被英伟达提出了甚至在学术界这个概念在1989年就有了以及各种专门故事我们在自动驾驶这期视频当中有非常详细的解释感兴趣的话可以回看一下这一期我们就不多赘述了不过当时我们采访的时候嘉宾们对于一点提出了很大的质疑那就是既然FSC V12是一整个神经网络那么BEV上的显示输出是如何来的呢这次我们还额外采访了参与开发的特斯拉算法工程师他就这个问题提供了他的解答中间额外分出了一条任务,也就是head,去专门显示鸟看图。在推理的时候,这个分支就像栏位一样,除了显示之外,是没有参与其他功能的。说到这个head,是不是很熟悉?就是我们前面讲HydroNet的时候用到的架构。值得一提的是,尽管FSDV12几乎彻底重写了底层代码,但是其中也复用了不少以前Angela Kepathy用神经网络重构感知模块的思路。所以它会永远在接下来更用适的步骤。不仅减少了从输入到输出的延迟,还能让模型理解场景,预测每个物体之间的关联,从而开起来更像人,减少了卡顿犹豫的表现。此外呢V13还提升了视像头输入画面的帧率和分辨率解释一下,虽然之前Halfberg 4.0更新的时候,摄像头已经提升到了500万像素,但是受限于算法,模型在感知的时候并没有完整地利用全部像素。摄像头的像素用上多少?这个是算法玩家给自己控制的。如果说FSD V12是为了验证端到端的可行性,那么V13的目标就是简化控制战,让模型运行更有效率。我认为我们的支持是 智能量产党的产党因为你很小的机构在车如何能 maximize智能力?很多工程中的工程中的工程中在教育上,你能够多多多的 intelligence,所以我认为了什么工程的工程,我们将会提供更大改变的改变。像这些模特儿的模特儿所以是全是教育的? 教育的教育? 教育的教育?所有的工程和工程整个方法都要做更多的基本上是提升高智能力量度的水平。到了2025年10月,特斯拉直接跳过了FSD V14.0,推出了V14.1。马斯克称这是继V12之后的第二大更新,模型参数提升了10倍,让Robotaxi技术第一次大规模回流量产车的版本,还引入强化学习训练。 [45:00] and then he added the AI-based design and the final version of the AI-based design. literature on the scaling laws, there's no literature on any of these things. How do you go about actually building things that actually shows the promise of what is possible? So literally, we had to literally... invents the entire technology stack to actually make this thing work for physical AI. So how do you co-design these things? Because a lot of the literature has been done to kind of make it work for like... that we have to figure out our own architecture to make it work For example, in 2025, the Model 3 is from the capital of the country. Two days of the drive, driving the 2700 miles to the Nankar-Lalena region. All the time is using FSD-V14, and no one has been able to do it. In the end, the Duna Dun is a bit more obvious. It is a blackboard. The design is not easy to do it. It is a bit more interesting. And the Duna Dun is on the top of the top. The Duna Dun is on the top of the top. The Duna Dun is on the top of the top. It can also be able to learn the fact that the information is not true. For example, in a training material, the driving force is because of the car is seeing the car and the car. The design is because of the car and the car. In the last few weeks, Tesla's AI-shriei's副总裁, Shack Elaswami, just introduced them. In training data, Tesla has a high-level human-like driving video, but most of the most common-like driving videos are no longer. If the total of all-time is in the car, the results will be high to the limit. The data is also a 3D image. 用另一个独立的生成式神经网络不断生成模拟现实的环境,也就是世界模型,同时把训练好的FSD算法放到这个模拟环境当中,让它在里面驾驶,模拟环境会不断引入各种变量,比如说把曾经让系统犯错的片段输入,验证新版本是否修正,或者注入新的其端场景测试FSD的极限反应。 There are a lot of different things. The traditional form of the main thing is to use the main thing to create a new environment, like the工程师, the main thing to create a new environment. The main thing is to create a new environment. The main thing is to create a new environment. The main thing is to create a new environment. The main thing is to create a new environment. It's more of the flexibility, and the potential is not higher, because it can be used to be two steps. It can be used to continue the video to roll out the video, and it can be used to move the video into the world. But in the case of the machine, the training is the environment of the environment. First, the ability to be used to be used to the environment, and the ability to be used to be used to. 比如说当你右转的时候可能有行人在过马路或者影响其他的车辆,那这个时候如何按照现实事件来模拟这些车辆和行人的反应呢,是非常棘手的挑战。 In the latest FSD system, the output of the FSD system is not only the video data, but the audio will also be able to participate in the decision-making process. The most important thing is to understand the environment, but the future will also be able to control the car. We have our own audio model that's not meant for a natural language interaction right now. It's more for understanding the noises around the car like sirens and emergency vehicles and such. But in the future, yeah, we will have fully integrated voice conversations. control commands that can control the vehicle. So that is the rationale behind like, okay, whatever inputs that humans are seeing, Can we feed that to AI? And can we start seeing improvements in scenarios where those things are useful? - So our autonomous future is here. As I said, we've got 50 Tesla driving a [50:00] 2024年10月特斯拉发布了Robotaxi没有方向盘没有踏板完全为无人驾驶设计而真正的Robotaxi服务直到一年之后才开始落地2025年6月特斯拉在奥斯丁启动了Robotaxi试点初期只投入了10到20辆Model Y的测试车在硬件上特斯拉所有的Robotaxi不管是Model Y还是没有方向盘的Cyber Cap都和量产车没有任何的区别没有任何的差别只是在安全荣誉上当时针对CyberCab做了一些硬件安全容易上的一些优化但是这个优化后来也都已经放到所有的车型当中了而关键的区别在于软件上一方面Robotaxi的软件版本相比量产车更新的更平凡我们现在在做的这个里面的算法或者FSD其实是未必我们现在自家车里面用的FSD会稍微的会是比较先进的那一款但并不是完全的两个技术那么他们是基于同样一个大树上的现在的这个模型它就是比如说放到我们现在开的特斯拉上面它其实也还是LR但是它这套模型放在现在我们在做的这个的Robotax里面它就是LS对或者说这几辆车的话它的能力足够了政府许可的L4的运行自治可以说Robotaxi所运行的软件版本是特斯拉内部最新最强的只有经过长时间测试稳定之后才能够推送到量产车中这就带来了一个问题如果最新的软件测试出问题怎么办呢所以另一方面的区别就是Robotaxi是额外引入了远程监管机制在乘坐CyberCab的过程中我其实对安全问题没有那么担心因为我知道目前的阶段特斯拉一定会经最大的努力保证每一辆车的安全但真的等CyberCab扩张到几千上万乃至数十万辆车规模的时候如何在保证安全的情况下快速扩成才是最大的挑战这也是外界对特斯拉扩成速度的质疑那现在我们的这个车应该是有远程接管的我推测可能是有人在看着我们的在进行的时候在他们的战备室里面就可以看到当时他们最早的几辆车的话都是随时在盯着他们的其实每一公里的今天此时此刻的成本可能是非常高的因为它也包含着后面在盯着我们这些人的工资当然在长期的情况下当它的安全数能够证明自己足够安全的时候那么特斯拉应该就会考虑说把这些人工的比例减少然后把这一个成本拉下从奥斯汀上线后的一年时间特斯拉已陆续在加州旧金山湾区内华达亚利桑那等多个地区获得不同条件下的运营许可因为法规不同,进度有所差异,但总的来说,测试和过程都在快速进行中。在Srihari看来,现在特斯拉Robotaxi的挑战中,技术已经不再是问题了。我觉得基本上,我并不认为是技术的问题,它们是一个证据和规定的问题。在这一段时间how quickly can you deploy, how can you get the feedback, how can you improve this process of deployment? Because ultimately it's a real scaling challenge而是在不同的地方的地步不过想要更好的体验还得看下一代的硬件因为FSD V14所运行的Hardware 4.0又一次接近瓶颈了那么最后我们来聊聊即将发布的AI5芯片的研发内幕那这次的难度比AI4还要更大内部还出现了对马斯克的瞒报与欺骗的行为2015年8月一条消息在AI圈炸开了锅号称全球最快的AI训练计算机Doujo项目被叫停了同时马斯克结散了Doujo团队要知道Doujo曾经被马斯克设为特斯拉AI的核心基础设施价值数千亿美元的潜在资产这一举措不免让业界怀疑特斯拉还有训练AI的能力吗?而马斯克解释称因为AI5、AI6芯片在训练方面表现也不错可以直接让自研AI芯片用到训练阶段因此没有必要浪费资源重复投入到兜救上那可以看出呢后续的AI5 AI6芯片关乎着特斯拉模型的成败然而亲身参与AI5研发的Carrie向我们透露说这款芯片的研发遇到了巨大的挫折与隐瞒甚至Peter Bennett的离职也与此有关那故事呢要从AI4的研发开始说起前面我们提到当时AI4由三星来合作设计但是双方配合的时候产生了很多摩擦于是呢到了AI5的研发上特斯拉决定停止与三星合作当时特斯拉的这个硬件负责人也就是我的老板叫 Pete Bennett 他就做了个决定 从AI5开始我们要做完全自演不在事 [55:00] 用这个外包服务啊不再使用三星了那跟三星分手以后我们的这个团队明显是不足以来支撑了完全自言一等这么复杂的芯片的一个项目那这个决定呢从战略上看是对的毕竟呢只有完全自己掌控设计效率才最高对吧非常符合马斯克的作风哈但是在执行上却出了问题一方面人手不够虽然特斯拉为此新招了很多人但是和三星这类几百上千人的芯片设计团队相比呢数量差距还是太大了另一方面啊经验不足就算特斯拉的工程师都很厉害但是从来没有完全靠自己做过一颗芯片在这两个因素下AI5的研发进展非常缓满而更致命的是其中的项目主管在工作中还存在着隐瞒与欺骗当时也跟这个项目的德州那边的主管有一定的关系就是它相当于隐瞒了很多研发当中的一些困难他其实遇到很多困难 但他没有真实的反映出来所以这个事情就一拖再拖吧 AI5芯片是要交给台积电来流片的因为那时候一直说马上就要做好了一直跟他说再有两个月 再有两个月 这个再有两个月说了快一年了然后结果后来伊朗把这图纸发给台积电 台积电一看说这哪是再有两个月这不一定再有一年吗 你们做了这么久怎么做出这么个东西说这东西根本没办法流片 这里流片差远的去了然后一老一听这个事就知道啊那你们这帮做芯片的人明显就是忽悠我,没跟我说实话,预党就发了很多人,包括我的老板,还有芯片我们的领导也都被发了。Kerry对硅谷杨林亚表示,在他的视角看来,他的老板Peter也算是受害人,他认为Peter并没有参与瞒报的过程,但因为涉嫌瞒报的主管直接汇报给他,导致Peter有连带责任。三方的芯片设计公司作为外包辅助现有的AI5设计并且继续交由台积电生产另一个是找回了三星团队让三星来帮忙做另外一款AI5今年4月15号台积电版本的AI5已经完成了第一次流片预计将于2027年开始量产根据马斯克的说法这款芯片在特定任务上速度将比AI4提升40倍业界猜测搭载AI5的Hackway5.0算力将达到2000到2500Tops这个芯片反正功能上我想应该是非常强大的而且也是用MCM的这个技术可以说也是一种挑战吧这还只是第一版三星的版本呢也在推进两个版本最终都像AR5只是呢一个是台积电工艺另一个是三星工艺根据Kerry的猜测最终两个版本的芯片可能会在同款车型上混用但消费者不会感知到差异同一款车型比如说有的用台积电的有的用三星的这个是没有问题的它是可以混用的但是它不可能在一个电路板上混用但是最终反映到用户上上面我觉得应该不会有什么太大的差别就是在FSD的使用体感上你应该没办法去区分它到底是三星的芯片还是它今天的芯片不过呢Kerry透露也有最新的内部消息说AI5芯片也有可能不会装在车上原因是马斯克认为呢AI4已经够用了AI5将主要用在算力中心和机器人上但这可能呢也会有进一步的变数所以我们届时以官方宣布为准看看AI5的应用方案到底如何接下来AFSC的故事呢还在继续我们也期待着AI5量产装机之后看看它的实际表现到底如何回到我们开头的那个问题为什么是特斯拉做出了FSD呢?不要说传统的那种汽车公司了就说甚至像硅谷的那有些新的技术可能可能要衡量很久但是特斯拉一直都是非常愿意去承担风险,然后能够快速使用新的技术。这就让我们工程师做的事情就会变得非常有趣。它是很难的,我们都不可以把所有的资源都拥有。你需要把未来的技术放在未来的技术,也需要把现代的技术改造,这是艺术。所以Henry就认为因为特斯拉内部没有繁杂的流程,大家专心倾注在产品党博上才能够保持快速的推进。我认为特斯拉的最好的部分是,在设计上,我们是否在实际上,在我身上啊 [60:00] 回到13年前,特斯拉刚开始做自动驾驶时,它和谷歌走向了两条完全不同的路谷歌也就是后来的Vimo选择的是一条更紧趁的路线更昂贵的传感器跟严格的安全冗余先在有限区域里把无人驾驶做出来再一点点的扩大边界特斯拉的选择恰恰相反他把摄像头张进几百万辆量产车把一个还远没有成熟的系统交给真实世界然后在一次次事故争议反攻和软件更新中继续往前走13年之后这两条路线依然没有分出胜负而如今自动驾驶之战正式进入了下半场,这场战争已经无关技术路线了,它的名字叫做经济之战今天威某一人在无人驾驶商业化和实际运营上保持着明显的领先而CyberCAP才刚刚开始在奥斯汀有限区域运行与此同时美国联邦监管机构已经对特斯拉CyberCAP启动调查核查设计是否满足安全标准所以前方还有诸多不确定性而现在还不能证明特斯拉已经赢得了自动驾驶战争在10月FSC的V15应该就要发布了这无疑是一个重要的旅程碑包括它的模型参数规模较前代扩大了10倍但这个版本亦在支持level4级别的无人驾驶早期版本已经在特斯拉的robot taxi车队当中部署运行了那我们也拭目以待B15的更新对特斯拉无人驾驶车队进程的影响会有多少但至少在目前特斯拉已经成功的证明了一件事那条曾经被很多人认为过于激进的路线一直留在牌桌上甚至走到了下半场的决赛圈但也许真正困难的问题现在才开始特斯拉要证明的是当没有安全源没有方向盘面对数百万次真实出行时它还能不能保持足够稳定的安全性以及威梦要与特斯拉比拼的是在多地已经跑起来的无人驾驶系统能不能继续扩程扩大车队并且把成本降到真正的大规模商业化那接下来呢我们还会出一期内容将向Waymo和特斯拉的过程之战大家不要忘记关注我们的频道不要错过更新了以上呢就是硅谷101这一期视频的全部内容你们的点赞留言还有转发式支持我们做好深度科技和商业内容的最佳动力我是陈倩那我们就下期视频再见啦拜拜