特斯拉Cybercab落地德州 自动驾驶决战转向规模与成本经济战

特斯拉Cybercab落地德州，自动驾驶决战转向规模与成本经济战 特斯拉通过极限压缩硬件成本与端到端大模型实现无方向盘落地，但下半场胜负已从算法路线转向能否彻底摆脱远程人工介入的规模化商业化经济战。 节目全景复盘了特斯拉FSD从辅助驾驶走向无人驾驶Cybercab的十三年激进演化史。内容深度还原了特斯拉决裂Mobileye、自研AI3芯片破局、疫情断供强推纯视觉、以及重构BEV与3D占用网络的关键技术跨越。同时，节目首次披露了HW4研发中马斯克拍桌砍摄像头与芯片裁撤的内幕、废弃30万行C++规则全面押注端到端大模型（V12至V14）的豪赌，以及AI5芯片研发瞒报引发的高层大清洗与Dojo项目终结。最终指出，自动驾驶已跨越单纯的算法优劣比拼，正式迈入考验安全兜底、单车成本与开城扩张能力的“经济之战”。 2026年9月，特斯拉去除了方向盘和脚踏板的原生Robotaxi车型Cybercab在德州奥斯汀正式投入运营，首批车队包含67辆Cybercab和409辆Model Y，通过星链网络与后台云端坐席实现安全冗余监控。 (0:00) 特斯拉端到端自动驾驶（FSD V12）彻底废弃了积累多年的30多万行人工C++规控规则代码，将其精简为约2000行神经网络输入输出框架，直接通过模仿海量人类老司机的驾驶轨迹进行决策。 (38:08) 由于德州芯片团队瞒报研发困境导致流片被台积电判定延期至少一年，马斯克解雇了包括硬件负责人Peter Bannon在内的高管，随后叫停Dojo超级计算机项目，并推行台积电与三星“双轨赛马”制推进下一代AI5芯片研发。 (53:30) 自动驾驶下半场已由早期的算法与传感器路线之争转变为“经济之战”：Waymo依赖高成本激光雷达与高精地图稳健推进但面临扩城与成本挑战，而特斯拉则依托数百万量产车的极低BOM成本平台与端到端纯视觉模型尝试突围。 (58:53)

《硅谷101》回顾了特斯拉FSD十三年来的技术与商业进化，指出其在极致成本控制、激进自研与危机倒逼下，完成了从依赖外部黑盒到端到端大模型的跨越，但彻底剥离方向盘后的终局竞争已转向经济模型与监管合规的考验。 摆脱供应商束缚与全栈自研迭代 (3:43) 特斯拉早期因无法获取底层数据以及2016年佛罗里达致死事故，与供应商Mobileye决裂；随后因英伟达通用平台响应迟缓及德州仪器等供应商的价格博弈，坚定了全栈自研的决心。在Jim Keller与Peter Bannon带领下，团队历时18个月研发出AI3（HW3.0）定制NPU芯片，利用针对矩阵乘法的专用设计将神经网络有效利用率提至80%，算力较此前英伟达方案提升5倍以上。然而硬件研发也曾遭遇曲折，如HW4贸然采用功耗高、车规小众的GDDR显存导致容量受限，后续不得不回退至LPDDR；AI5更因试图完全摆脱三星外包而遭遇进度瘫痪与人事震荡，最终由马斯克重组为台积电与三星的双轨制协作。 感知架构的纯视觉与时空演进 (16:43) 在Andrej Karpathy的主导下，特斯拉算法经历了从独立CNN到HydraNet多任务共享主干网、时序队列短时记忆，再到基于Transformer与BEV（鸟瞰图）的统一空间投影四大跃迁。2021年疫情引发雷达供应链断裂，马斯克直接下令全面剔除毫米波雷达，倒逼软件团队通过纯视觉弥补测距与测速。2022年特斯拉进一步推出占用网络（Occupancy Network），将现实空间离散化为三维体素（Voxel）网格，直接识别任意不规则障碍物，同时利用内部搭载激光雷达的特种采集车结合自动化标注系统批量生产真值，实现了不依赖激光雷达量产车的3D感知表达。 30万行规则归零与端到端革命 (38:08) 受大语言模型爆发启发，特斯拉废弃了原本积累的30多万行C++手写规则代码，在FSD V12中转向仅约2000行代码的单体神经网络端到端架构，让模型通过模仿人类老司机的驾驶操作获得泛化直觉。屏幕上的BEV显示则演变为类似“阑尾”的独立可视化分支，不参与实际控车决策。后续V13实现了光子信息直传模型以降低延迟，V14.1参数量增长10倍并引入强化学习。针对黑盒不可控和虚假相关性风险，团队通过车端高价值数据筛选器、中间层3D世界生成以及基于生成式世界模型的闭环推演来保障系统鲁棒性。 下半场的经济模型与合规博弈 (49:50) 取消方向盘与踏板的Cybercab于2024年发布，并在奥斯汀等城市展开运营测试。与谷歌Waymo依赖昂贵传感器和高精地图的稳健开城不同，特斯拉依靠数百万量产车的消费级硬件与影子模式构建数据飞轮。但随着测试推进，早期依靠星链及战备室后台安全员远程监控的模式单公里人力成本高昂，且面临联邦监管对无方向盘设计的安全调查。业内认为，特斯拉的技术瓶颈已转变为系统验证、合规扩城以及降低后台介入比例的经济学平衡问题。 自动驾驶的角逐已由单纯的软硬件路线之争转向单车经济模型与扩城效率的较量。在方向盘与安全员完全撤除后，特斯拉纯视觉端到端模型能否在真实复杂环境中持续守住安全底线，仍是其全面兑现Robotaxi承诺的最大考验。

[13:06] Kerry刘向科: 三行代码拖半个月 [21:06] 埃隆·马斯克: 既然你不给，那我也不谈了，直接不要了 [26:48] 埃隆·马斯克: 人只有两只眼睛，放那么多摄像头干嘛？ [26:48] 埃隆·马斯克: 人进车库也看不到车头底下，人是有入库前扫描记忆的 [30:33] 只要给三颗芯片，就能把FSD彻底搞出来。 [30:33] 埃隆·马斯克: 不对，用三颗太贵了！ [30:33] 埃隆·马斯克: 我已经决定了，这是最终决定，谁也不要再商量，就是两颗！ [30:33] Kerry刘向科: 硬件团队才刚把新芯片做出来，软件团队就已经想好怎么把算力全部吃光了。 [34:04] 基本上就是一个普通iPad的价格 [38:08] Dhaval Shroff: 车用ChatGPT [38:08] 埃隆·马斯克: 没有他们团队就没有Robotaxi [41:59] 特斯拉算法工程师: 就像阑尾一样 [53:30] 台积电: 这东西根本无法流片，再做一年都不够

[0:00] 正在行驶的是一辆没有方向盘的车 [0:02] 我正坐在它的驾驶座上 [0:04] 而它也没有任何脚踏板 [0:06] 这就是9月刚在德州奥斯汀投入运营的特斯拉Cybercab [0:12] 马斯克说这就是未来交通的样子 [0:14] 其实早在我们今年5月中旬去奥斯汀的时候 [0:17] 已经发现Cybercab出没在这个城市的各个地方了 [0:21] 经过数月的测试 [0:23] Cybercab终于迈入了一个新里程碑 [0:28] 我们知道 特斯拉FSD的发展故事 [0:31] 一路上伴随着各种的丑闻、诉讼和质疑 [0:34] 自动驾驶技术还有很长的路要走 [0:37] （FSD）还是很失败 [0:39] （FSD）是史上最糟糕的软件 [0:41] 这样的舆论 伴随了特斯拉FSD十几年 [0:44] 所幸 FSD一直没有停止进步 [0:46] 但进步 是艰难的 [0:49] 在马斯克这个“抠门”老板的带领下 [0:51] 特斯拉自动驾驶的硬件研发总是反复拉扯 [0:55] 多次推倒重来 [0:56] 直到上线前还在加班修改 [0:58] 他（马斯克）就气的拍桌子 [1:00] 然后就开始F word（骂人）了 [1:02] 从供应商的决裂 [1:03] 自研芯片的豪赌 [1:04] 甚至 团队一度出现了“瞒报与欺骗” [1:07] Elon一听这个事就知道 [1:09] 你们这帮做芯片的人明显就是忽悠我 [1:12] Elon就炒了很多人 [1:13] 与此同时 软件团队永远抱怨着算力不够用、人员不足 [1:18] 却在极致的成本控制中 [1:20] 倒逼出了极致的技术路线 [1:22] 你给我10倍（算力）我都能把它用掉 [1:23] 这期视频的写稿、采访和制作横跨了几个月 [1:27] 我们对谈了在特斯拉工作十余年的工程师 [1:29] 也去现场体验了特斯拉的无人驾驶车 [1:32] 这个视频 我们从硬件和软件两条线 [1:35] 详细拆解一下 [1:37] 详细拆解一下特斯拉FSD的进化史 [1:39] 大家不要忘记关注我们频道 [1:40] 也记得给我们点个赞 [1:42] 接下来就让我们进入 [1:43] FSD的世界 [1:53] 今天是美国时间9月23日 [1:55] 我们从硅谷飞到了德州的奥斯汀 [1:58] 带大家来体验一下Cybercab [2:02] 我们的Cybercab马上就来了 [2:05] 我们也等了大概8分钟 [2:08] 其实比我们想象中等待时间要短 [2:11] 我们的Cybercab已经到了 [2:15] 然后Start Ride [2:21] 这是我第一次坐上Cybercab [2:24] 我自己是Model Y的车主 [2:25] 我之前开过Model 3 [2:26] 但很明显 整个车要比Model Y缩水一大圈 [2:30] 甚至我觉得比Model 3还要小 [2:32] 我们坐进来之后发现它只有两个人的座位 [2:35] 我坐在本来该是驾驶员位置的左侧 [2:39] 但这边没有方向盘 也没有脚踏板 没有加速板 [2:44] 说实话心里有点小忐忑 [2:47] 但我知道 在目前的运营阶段 [2:49] 特斯拉有启动安全机制 [2:51] 由于Cybercab采用了无方向盘 [2:53] 和无刹车踏板的原生无人车设计 [2:56] 车内乘客在遇到紧急情况时无法进行物理接管 [3:00] 为了确保安全 [3:01] 特斯拉在后台配备了远程工作人员来进行兜底 [3:04] 我也知道星链会进行网络保障 [3:07] 乘客也有一键紧急避险 (Emergency Stop) 按钮 [3:12] 靠边停车（Pull-over）请求 [3:14] 并自动接通Robotaxi的专属客服 [3:16] 所以我们目前的安全指数是很高的 [3:19] 截止（2026年）9月22日 [3:21] 特斯拉在美国德州登记的自动驾驶车队（Robotaxi） [3:25] 总数增加到476辆 [3:27] 除了67辆Cybercab之外 [3:30] 其余409辆仍是配备方向盘的Model Y车型 [3:35] 特斯拉的FSD是如何做到目前的程度呢 [3:38] 这一切 要从一个“黑盒”开始说起 [3:46] 2013年 已经成立了10年的特斯拉 [3:49] 开始决定做自动驾驶 [3:51] 而且最初希望合作的公司 就是谷歌 [3:54] 但是谷歌高精地图+激光雷达的方案太贵 [3:57] 不符合马斯克的第一性原理 [3:59] 同时谷歌主张一步到位 直接做L4 [4:02] 而马斯克认为 [4:03] 应该先推出L2 再迭代到L4 [4:06] 为此双方分道扬镳 [4:08] 也让自动驾驶诞生出了两条路线 [4:10] 并且争论至今 [4:13] 可是特斯拉当时的状态 [4:14] 别说自研了 连活下去都费劲 [4:17] 最现实的路径 [4:18] 就是先找个现成的供应商 [4:21] 于是他们选择了Mobileye [4:24] 2014年10月 [4:25] 特斯拉发布了Autopilot Hardware 1.0 [4:27] 全车的硬件非常基础 [4:29] 只有1个前置摄像头 1个前置毫米波雷达 [4:32] 外加12个超声波传感器 [4:34] 芯片为Mobileye EyeQ3 [4:36] 500MHz频率 256MB的内存 [4:40] 放在如今肯定是不够看的 [4:42] 因为在早期车规的技术上 [4:44] 它的局限性非常地大 [4:46] （这是）一个不得不采用的一个方案吧 [4:49] 因为你没有别的选择 [4:50] 这是Kerry Liu [4:52] 他在特斯拉工作了近12年 [4:54] 参与了能源 自动驾驶 机器人等多个项目 [4:57] 负责AI相关的硬件开发 [4:59] 他告诉我们硅谷101 [5:01] FSD 13年的研发 中间有太多的曲折故事 [5:05] 2015年 Autopilot软件正式上线 [5:08] 虽然当时只能实现车道保持 [5:10] 自适应巡航等基础功能 [5:12] 但对于当时的车主来说 [5:14] 这已经非常惊艳了 [5:15] 要知道那个时候大部分的车 [5:17] 甚至都还没有标配定速巡航 [5:20] 有的人在车里吃汉堡 有的人在副驾睡觉 [5:23] 直接把Autopilot当成了“无人驾驶” [5:27] 2016年5月7号 [5:28] 佛罗里达州一辆Model S [5:30] 撞上了正在左转的拖挂货车 [5:32] 车主当场身亡 [5:34] 事故发生的原因在于 [5:35] 辅助驾驶系统没有识别出货车 [5:37] 在此前Mobileye就警告过马斯克 [5:40] 禁止驾驶员双手离开方向盘 [5:42] 但是没有被当回事 [5:44] 这次事故是成了双方彻底谈崩的催化剂 [5:48] 为什么只是“催化剂”呢 [5:50] 这里我们先来说说特斯拉 [5:52] 第一代的Autopilot是怎么做的 [5:55] 自动驾驶主要分成3个流程 [5:57] 感知 规划 执行 [5:58] 特斯拉与Mobileye合作的时候 [6:00] 感知部分算法完全由Mobileye垄断 [6:02] 规划与控制由特斯拉自己主导 [6:04] Mobileye提供的是 [6:05] 典型的“黑盒（Black Box）”模式 [6:08] 摄像头捕捉到画面之后 [6:09] 直接输入到Mobileye的EyeQ3芯片当中 [6:12] 计算结果之后 再传递到规划层 [6:15] 当然这个可能也是当时分裂的原因 [6:17] 因为这个需要你强行两边定义一个接口 [6:21] 然后这个接口之下 [6:22] Mobileye的内容肯定是黑盒 [6:24] 不提供给特斯拉 [6:26] 那这点其实就非常阻碍特斯拉开发 [6:28] 因为有时候你想跨越这个接口 [6:29] 或者更改这个接口 [6:31] 但你没有这个控制权 [6:33] 所以真正让特斯拉和Mobileye分手的原因 [6:35] 是因为合作不畅 [6:37] 此后 特斯拉开始一手独揽算法部分 [6:40] 硬件系统也有了新的合作商 [6:43] 但是市场却不买账了 [6:47] 2016年10月 距离事故仅5个月 [6:50] 特斯拉发布了Hardware 2.0 [6:52] 这次传感器从1个摄像头变成了8个 [6:55] 芯片从Mobileye [6:56] 换成了Nvidia Drive PX2 [6:58] 你别看这个摄像头的数量它变多了 [7:01] 但是在当时的作用 并不大 [7:04] 我觉得八个摄像头 [7:05] 它可能是design for future（为未来而设计） [7:06] 就是说你未来可能想要做到全自动驾驶 [7:09] 那你不可能只有前面的摄像头 [7:10] 但就当前我觉得 [7:12] 只是要取代Mobileye的功能来说 [7:14] 未必我觉得是要用到这么多的算力 [7:17] 去把每一个摄像头的信息都处理 [7:19] 不过很快 特斯拉内部发现了 [7:21] Hardware 2.0存在缺陷 [7:23] 于是在发布10个月之后 [7:24] 又推出了Hardware 2.5 [7:26] 那这两者的核心区别 就是冗余 [7:30] 因为Hardware 2.0 [7:31] 是特斯拉第一次用英伟达的方案 [7:33] 当时英伟达也并没有 [7:35] 专门针对辅助驾驶做芯片 [7:37] 所以在结构上就是一个SoC [7:39] 再外挂一个GPU [7:41] 但问题是 [7:41] 马斯克当时已经在推全自动驾驶了 [7:44] 得考虑一个很现实的问题 [7:46] 万一芯片坏了怎么办 你得有备用方案吧 [7:50] 所以到了2.5 [7:51] 特斯拉多加了一个GPU作为冗余 [7:54] 这就是特斯拉FSD双芯片架构的雏形 [7:57] 与此同时 特斯拉也在6个月内 [8:00] 通过自研替代了Mobileye的算法部分 [8:02] 还新推出了FSD 意味着和以前大不一样 [8:06] 但是初期表现 却没有预期中那样的顺利 [8:10] Mobileye已经做了那么多年迭代下来 [8:12] 就算它技术比较落后 [8:14] 肯定也还是各方面比较完善一些 [8:16] 你一个新的团队从零到一开始做 [8:19] 刚开始有各种问题我觉得也非常可以理解 [8:21] 不过英伟达芯片也只是个过渡方案 [8:24] 接下来特斯拉FSD才真正开始发力 [8:31] 2019年4月 特斯拉发布了Hardware 3.0 [8:34] 用自研的AI3芯片 替换掉了英伟达芯片 [8:37] 其实采用自研芯片是迟早的事 [8:40] 早在与Mobileye合作的时候 [8:41] 特斯拉就开始布局这条路了 [8:43] 我们先把时间拨回到2016年 [8:46] 当年1月 马斯克挖来了 [8:47] 芯片设计界的传奇人物Jim Keller [8:50] 他在AMD设计了K7 K8架构 [8:52] 在苹果设计了A4 A5芯片 [8:55] 又回到了AMD研发了Zen架构 [8:57] 后来还去了英特尔 [8:59] 2月 Peter Bannon也加入了特斯拉 [9:01] 他的履历同样硬核 [9:03] 加入特斯拉前就有了 [9:04] 近40年的计算系统设计经验 [9:07] 曾在苹果、英特尔、PA Semi等公司任职 [9:10] 领导了苹果A4到A9处理器的开发 [9:13] 在这两名芯片大神的带领 [9:15] 以及三星团队的帮助下 [9:17] 第一款FSD芯片 也就是AI3 [9:20] 只花了18个月就设计出来了 [9:22] 并且在2017年12月首次流片成功 [9:25] 整个过程非常顺利 [9:27] 它当时甚至第一次流片出来 [9:30] 这个芯片就基本上已经没有毛病了 [9:33] 最后只是稍微小改了一下 做了第二版 [9:36] 然后就量产了 [9:38] 后面就再没改过了 [9:39] 所以Hardware 3 [9:39] 算是一个非常成功的芯片 [9:41] 因为你要知道做处理器这种芯片 [9:43] 你无论放在Intel AMD [9:45] 不管哪家公司 一次流片能够做好的 [9:48] 那是凤毛麟角 [9:50] 很多芯片第一次流片出来连开机都开不了 [9:54] 而且当时用了14纳米的制程 [9:56] 相对比较成熟吧 [9:57] 这款自研芯片的一大优势 就是性能强 [10:00] 相比Hardware 2.5 [10:02] 采用的英伟达Pascal芯片 [10:04] AI3不仅神经网络算力提升了5倍以上 [10:07] 在其他各项参数上都有了显著的提升 [10:10] 为什么能够提升这么大呢 [10:12] 是因为这是专为自动驾驶场景设计的芯片 [10:16] 和之前通用芯片架构完全不同 [10:19] 芯片算力不能光看纸面上的参数 [10:21] 像英伟达的芯片 因为是通用的 [10:23] 里面会包含线程调度 内存访问 [10:27] 分支预测等等任务 [10:28] 在执行神经网络任务的时候 [10:30] 实际利用率很难跑上去 [10:33] 而特斯拉定制的芯片 [10:34] 专为实际任务场景做了优化 [10:37] 有效利用率能够达到80% [10:39] 相比通用芯片是提升了50%之多 [10:42] 2016年 确实还没有从零开始设计的神经网络加速器 [10:47] 当时大家都在自己的CPU GPU [10:51] 或者DSP上增加指令 让它们更适合做推理 [10:53] 但没有人真正从底层开始 专门为此做设计 [10:58] 所以 我们决定自己来做 [11:00] 而就在AI3即将量产的节骨眼上 [11:02] Jim Keller离开了特斯拉 [11:04] 由Peter Bannon接手整个硬件团队 [11:07] 先别着急为特斯拉担心 [11:08] 因为在业内看来 [11:10] 他的离开早已注定 [11:12] 我跟他（Jim Keller）一些别的朋友 [11:14] 聊天这个事情 [11:15] 大家给我的一些反馈就说 [11:17] Jim Keller这个人是一个非常喜欢做 [11:20] 从0到1工作的这么一个人 [11:22] 他不喜欢做从1到10的事情 [11:26] 他之前无论在苹果还是在AMD [11:29] 他都是把这个芯片从无到有做出来 [11:32] 然后在这个芯片做出来之前 他就会走 [11:36] 那我想这可能也是为什么 [11:38] 他能够愿意来特斯拉的原因 [11:40] 因为特斯拉要做芯片这个事情 [11:42] 在当时就属于一个从0到1的事情 [11:44] 虽然AI3芯片的开发过程很顺利 [11:46] 但是鲜有人知的是 [11:48] 在整套Hardware 3.0量产前的三个月 [11:51] 特斯拉内部连轴转到几乎崩盘 [11:54] 而原因竟然是因为马斯克太“抠”了 [11:57] Elon他不喜欢招人 [11:59] 其实他到今天为止 [12:00] FSD的这个 [12:01] 包括机器人、FSD [12:03] 他的软件团队其实人都很少 [12:05] 他们要同时支持 [12:07] 已有的还在量产的Hardware 2.5 [12:09] 又要同时写着Hardware 3的这个软件 [12:13] 那他们明显就是人手不足 做不到 [12:15] 没有软件配套 [12:17] 我们很多东西 很多产品的 [12:18] 就那个芯片的测试 包括很多功能上 [12:21] 想要去跑一下什么之类的都做不到 [12:23] 所以当时我就记得印象特别深 [12:25] 我们就是各种hack（魔改） 就是自己攒软件 [12:30] 自己写一点什么指令 [12:33] 来模仿他们那个软件上的一些东西 [12:35] 然后自己跑 自己测 [12:37] 量产的前三个月 [12:39] 那时候Elon说不行了 [12:41] 必须要开始搞Hardware 3了 [12:43] 整个软件团队就只剩三个月时间 [12:45] 我们硬件团队也要配套做测试 [12:48] 你给他们三个月 [12:49] 那就相当于没给我们时间 [12:51] 所以当时就是 [12:52] 他们写一点软件 [12:53] 我们硬件就配套地相对做一些测试 [12:56] 我就记得那三个月是 [12:57] 我在特斯拉最忙的三个月 [12:59] 基本没有休息 [13:00] 三个月 可能 [13:02] 休了那么一两天 两三天 [13:08] 用上了自研芯片之后主要带来了两个好处 [13:11] 也就是成本优势和主动权 [13:13] 这背后还有两个与供应商之间的 [13:16] 周旋与冲突 [13:17] 先来说说第一个 [13:19] 众所周知 马斯克一直都非常在意成本 [13:22] 而Kerry一项很重要的工作 [13:24] 就是通过各种手段去逼迫供应商降价 [13:27] 德州仪器（TI）是车规芯片的 [13:30] 一个非常大的供应商 [13:31] 当时在2018年 [13:33] 在我们整个车上其实是 [13:35] 每年是要用大量的TI的芯片的 [13:38] 那时候2018年年底的时候 [13:39] （特斯拉）都差点破产了 [13:40] 所以当时这个成本的压力其实非常非常大 [13:43] 当时公司提出了 就是说希望TI [13:45] 把整个特斯拉用的所有的这些芯片 [13:49] 这些料通通降价 TI就一直不肯答应 [13:53] 但实际上车规芯片的利润是挺高的 [13:55] 平均那个时候的利润 [13:56] 甚至能做到50%到55% [13:58] 我就把TI这套芯片全部给它换掉 [14:01] 我就换成了ADI同等功能的一个芯片 [14:04] 其实当时要换这个东西的话 [14:06] 无论是硬件还是软件 [14:07] 都需要做很多测试和开发工作的 [14:10] 但是我就说不管 这个必须得换 [14:12] 然后我就换了 [14:13] 换了之后 [14:15] TI没有想到 [14:16] 这一套芯片对他们来讲非常非常重要 [14:18] 因为占了很大一部分的营收额 [14:21] 他们直接就开始求我们 [14:22] 然后又找我老板 [14:24] 就他们的CEO也都跑过来说 [14:26] 能不能别换 能不能有什么别的方法 [14:28] 当时采购部门直接就把那个降价表格 [14:32] 给他们发过去说 [14:33] 你只要把这个上面的所有芯片通通降价 [14:35] 我们就改回来 [14:38] TI跟我们僵持了大概好几个礼拜吧 [14:42] 最后就同意了 [14:43] 当年的时候 一年可以省大概2000万美金 [14:45] 那对于马斯克来讲 [14:46] 实际上是一个非常非常大的成本下降 [14:49] 他当时还特地发信给我们 感谢我们 [14:54] 其次 在主动权方面 [14:56] 特斯拉除了前面我们提到的 [14:57] 因为Mobileye黑盒算法吃过亏 [15:00] 就连与英伟达的合作也有一些冲突 [15:03] 一方面是因为英伟达它的芯片 [15:05] 并不是专为自动驾驶而设计的 [15:08] 其实到今天为止 你都可以看到英伟达 [15:10] 它最新的索尔（Thor）这种芯片 [15:13] 也都还是一个通用芯片 [15:15] 他不希望自己被任何一家公司牵着鼻子走 [15:18] 它肯定是不希望被局限在特定的一个功能 [15:23] 或者是算力的框架之下 [15:25] 另外一方面则是英伟达团队配合度不太高 [15:29] 这点对于马斯克来说更是无法容忍的 [15:32] （2017年）有些车子有些返修的一些事情 [15:35] 当时我们就在想 [15:36] 好像是主板上温度是不是有点过高 [15:39] 因为英伟达他们芯片有温度感应器 [15:43] 我们就说 [15:44] 你能不能把温度能够给我们显示一下 [15:47] 其实这个事情很简单 [15:48] 写一个很简单的 几行代码的事情 [15:50] 就是写个驱动 [15:52] 英伟达跟我们来来回回扯皮 [15:54] 光扯皮就扯了差不多一个礼拜 [15:57] 完了之后就开始问我们要钱 [15:59] 说要开通这个新功能请付费 [16:03] 除了付费 还要再等一个礼拜 [16:06] 三行代码就能搞定的事情 [16:08] 你已经折腾了快半个月了 [16:10] 就这样的一个合作模式 [16:12] 基本上就很难往下推进了 [16:16] 他（英伟达）也有他们别的核心的产品 [16:17] 在车载这块在当年（2017年）真的是很难做 [16:21] 效率非常地低 [16:22] 好 讲完这些小故事 [16:23] 我们再回到Hardware 3.0硬件上 [16:26] 它有一个很大的问题就是 [16:28] 虽然在2016年设计的时候 [16:30] 专为当时常用的 [16:31] 卷积神经网络（CNN）做了优化 [16:34] 但是谁都没有想到 [16:35] 一年之后 也就是2017年 [16:37] 出现了一篇改变整个AI史的论文 [16:40] 《Attention Is All You Need》 [16:45] 2017年6月 [16:46] 谷歌发布了Transformer开山论文 [16:48] 后面启发了OpenAI 诞生了ChatGPT [16:51] 与此同时 [16:52] 一个30岁的年轻人却离开了OpenAI [16:54] 他就是Andrej Karpathy [16:59] 与Mobileye决裂之后 [17:00] 特斯拉急需从零开始 [17:02] 自研基于深度学习的视觉感知系统 [17:04] 彼时的马斯克还担任着 [17:06] OpenAI的联席董事长 [17:07] 在见识到Andrej的能力之后 [17:09] 马斯克决定邀请他加入特斯拉 [17:12] 并且直接向自己汇报 [17:14] 实际上 是马斯克主动联系了我 [17:15] 他找我的那个时机 可以说非常合适 [17:19] 那时候 我真的开始有些坐不住了 [17:21] 我就觉得 这太合适了 [17:23] 我觉得我能做这件事 [17:25] 我觉得 我有能力在这里作出贡献 [17:27] Karpathy的加入 [17:28] 不仅为特斯拉带来了技术上的创新 [17:31] 更重要的是 [17:31] 当时特斯拉的自动驾驶正处于低谷 [17:35] 急需一位领头人来吸引更多的人才 [17:38] 因为他是一个 [17:39] AI和machine learning（机器学习）的标志性人物 [17:42] 所以我觉得他来 [17:43] 首先最大的一个用处是hiring（招聘） [17:45] 就是recruiting（招聘） [17:46] 因为没有他的话 [17:47] 你作为一个top AI talent（顶尖AI人才）毕业 [17:49] 为什么要去一个车厂 [17:50] 但是有Andrej 可能这些人有一个理由 [17:52] 因为大家可能都上过Andrej的课 [17:54] 随后 特斯拉在2018年到2021年间 [17:57] 对算法部分的“感知”模块 [17:59] 进行了一次次升级 [18:01] 接下来我们尽量用通俗的语言 [18:03] 来讲讲其中的四大升级点 [18:08] 还记得自动驾驶的三大模块吗 [18:10] 也就是感知 规划和执行 [18:13] 相关的基础知识 [18:14] 我们在之前的视频当中有详细的介绍 [18:16] 感兴趣的小伙伴们可以回看一下 [18:18] 而Karpathy加入的第一件事 [18:20] 就是用神经网络重构“感知”模块 [18:23] 他提出将车道线检测 车辆识别 行人感知 [18:26] 这些基础任务都交给深度学习模型 [18:29] 通过海量数据训练 让系统自己识别环境 [18:32] 这样面对从未见过的路况 [18:34] 神经网络依然能够做出合理判断 [18:37] 这又带来了另外一个问题 [18:38] 你看 系统它又要识别车辆 行人 [18:41] 还要看懂红绿灯 锥桶 减速带 [18:44] 还有施工标志等等 [18:46] 如果每一个任务 [18:47] 都要跑一个独立的神经网络 [18:49] 不仅代码量会非常大 [18:51] 车载的算力也不够用 [18:53] 这就要说到第二个升级点了 [18:55] 就是HydraNet架构 [18:57] 它的设计思路是让所有任务共用一个 [18:59] 底层的特征提取网络（Backbone） [19:02] 只在最顶端分叉出不同的“任务头” [19:05] 也就是“Head” [19:06] 这样多个摄像头 多个识别任务 [19:08] 都能共享同一个算力底座 [19:10] 就像一棵树 [19:11] 树干是共享的算力底座 [19:13] 树枝是不同的识别任务 [19:15] 各长各的叶子 但共享养分 [19:17] HydraNet不仅提升了计算效率 [19:19] 更重要的是 [19:20] 它能针对不同的识别任务单独做微调 [19:23] 不会影响其他的任务表现 [19:26] 第三个升级点 [19:27] 是从“看图片”转向“看视频” [19:29] 特斯拉的早期感知模块 [19:31] 更像是一个图像识别系统 [19:34] 摄像头拍下一张照片 [19:35] 通过CNN算法依次识别哪里有辆车 [19:39] 哪里有个行人 哪里有车道线 [19:41] 但现实世界是连续变化的 [19:43] 比如说一辆小汽车 [19:44] 被驶过的大巴暂时遮挡之后 [19:47] 摄像头在某些时刻可能无法直接看到它 [19:50] 系统就需要结合前后时刻的信息 [19:53] 继续判断这个目标是否依然存在 [19:56] 以及它可能在哪里 [19:58] 所以特斯拉团队让系统 [19:59] 从“看图片”转向了“看视频” [20:02] 利用时序信息（Temporal Information） [20:03] 学习连续几秒钟发生了什么 [20:05] 并预测物体的运动轨迹或行为趋势 [20:08] 这样系统就能够拥有短暂的记忆能力 [20:11] 第四个升级点是 [20:13] Transformer加持的鸟瞰图视角 [20:15] 也就是BEV [20:16] 过去 每个摄像头 [20:18] 更多是在各自完成识别任务 [20:20] 相互之间没有多少交流 [20:22] 比如说左摄像头和右摄像头 [20:24] 都识别到了一辆车 [20:26] 但是系统并不清楚这是不是同一辆 [20:29] 而现在 系统开始融合8个摄像头的信息 [20:32] 再通过空间变换和多视角融合技术 [20:35] 并且结合Transformer的 [20:37] 交叉注意力机制（Cross-Attention） [20:38] 把这些信息统一投射到 [20:40] 同一个俯视坐标系中 [20:42] 最终构建出完整的2.5D空间模型 [20:45] 但（BEV）这个创新也不是特斯拉独有的 [20:48] 可能更多的是整个学界 [20:49] 因为有更多的funding（资金支持） [20:50] 其实一直在去做这些研究 [20:52] 就有一些工作出来 [20:53] 说我怎么把多传感器融合 [20:55] 有了这四大升级 到2021年的时候 [20:58] 特斯拉的感知模块 [20:59] 开始真正地理解了整个道路环境 [21:02] 但马斯克又突然决定移除车上所有的雷达 [21:06] 这可苦了软件团队 [21:08] 一下又要进入作战模式了 [21:14] 虽然马斯克很早就说过 [21:15] 自动驾驶只需要摄像头就够了 [21:17] 在特斯拉内部看来 [21:19] 移除雷达也确实会带来一定的优势 [21:22] 比如说过去融合多传感器的信息时 [21:24] 会对算法带来额外的负担 [21:26] 同时因为多了额外的硬件 [21:28] 还会增加后期维护的工程量等等 [21:31] 但在2021年5月 [21:33] 马斯克决定移除车上所有雷达时 [21:35] 还是让大伙觉得这个时间点很突然 [21:38] 你可能会问 是不是因为内部团队 [21:41] 早就做好了测试 [21:42] 或者技术已经足够成熟了 [21:45] 我们刚开始也这么认为 [21:46] 但是Kerry告诉我们真实的原因 [21:48] 其实也非常地现实 就是供应链的问题 [21:52] 当时是因为疫情 毫米波雷达供不上货 [21:54] 毫米波雷达我们的供应商是 [21:56] Continental（德国大陆集团） Conti [21:57] 然后后来当时好像是谈崩了吧 [22:00] 当时疫情的时候 基本上采购团队 [22:03] 反正大家都供不上货 [22:04] 只要是这种核心的供应商 [22:06] 如果他们供不上货 [22:07] 采购的这个团队就会升级到Elon那边 [22:11] 让他去跟这些供应商的CEO直接通话 [22:15] 有的供应商非常配合 [22:17] 有的供应商就不配合 [22:20] 也许是觉得我们的量不够多 [22:23] 或者说他们有更重要的客户 [22:26] 基本上这种不配合的供应商就都被拉黑了 [22:31] Elon就直接就是说 [22:32] OK 你既然不给了 那我也不跟你谈了 [22:35] 就直接不要了 [22:36] 在此之前马斯克早就催促过软件团队 [22:39] 尽快在算法中去移除毫米波雷达 [22:42] 但是受限于软件团队人员不足 [22:45] 这件事情就一拖再拖 [22:47] 所以疫情相当于是一个催化剂 [22:50] 去掉雷达之后 测距精度会大幅度降低 [22:53] 为了弥补回这些信息 [22:55] 只能通过纯视觉来预估速度 [22:57] 软件团队也就进入了新的作战模式 [23:01] 因为雷达对速度的估计会比较准 [23:03] 而且对天气情况也没有那么敏感 [23:07] 所以很多人是反对（移除）的 [23:09] 虽然移除的过程让团队吃了不少苦 [23:11] 但是根据一些员工的回忆 [23:13] 这件事情却鼓舞了团队士气 [23:16] 因为这不仅验证了团队的能力 [23:18] 也证明了马斯克的方向是对的 [23:21] 没什么比员工对老板的信任更加重要 [23:24] 移除雷达还只是第一步 [23:26] 更重要的是如何只通过摄像头 [23:28] 去构建出三维世界的模型 [23:31] 在14个月之后特斯拉发布了这个技术 [23:38] 我们前面说到 [23:38] 2021年特斯拉发布了2.5D的鸟瞰图 [23:42] 而到了2022年的AI Day [23:44] 鸟瞰图变成了真3D [23:46] 这背后的关键技术 [23:48] 就是占用网络（Occupancy Network） [23:51] 它会把周围的空间 [23:52] 划分成无数个立体小方块 [23:54] 被称为“体素”（Voxel） [23:56] 如果某个地方被体素占据 [23:58] 就代表那里有障碍物 [24:00] 过去很多时候是用一个物体框 [24:02] 是一个长方形来表达物体 [24:04] 但很多物体 比如说一个公交车它有两节 [24:06] 它拐弯的时候它是一个非长方体了 [24:10] 还有一些可能是其他形状的物体 [24:13] 你一定要用长方形表达它就有损失 [24:15] 信息的损失 对于这个规控模块 [24:17] 比如说有个挖掘机它的臂可能能伸得很长 [24:20] 臂又有一定的高度 [24:21] 有时候你是可以从它下面开过的 [24:24] 但如果臂比较低你又不能从它下面开过 [24:26] 如果你硬要把这个挖掘机 [24:27] 表达成一个2D的东西就很奇怪 [24:29] Occupancy Network [24:30] 显然是更宽泛的表达形式 [24:32] 因为它是3D的 [24:34] 这样一来 系统不再需要“认识”每样东西 [24:37] 就能够实现避障 [24:38] 但是有一个问题 [24:39] 训练Occupancy Network [24:41] 需要海量的真实数据去作为参考 [24:44] 也就是“Ground truth” [24:46] 在训练的时候需要告诉网络 [24:47] “这个体素它被占了 那个体素是空的” [24:51] 传统的方法 [24:52] 是用激光雷达的点云去做人工标注 [24:54] 但是特斯拉量产车上没有激光雷达 [24:57] 该怎么样去训练呢 [24:58] 因为过去为什么大家不做这个任务 [25:00] 也是因为你没有ground truth（真值） [25:03] 因为你神经网络要学习需要有个标签 [25:05] 但你要说打这个3D的 [25:07] 这些所有的occupancy（占用）的标签 [25:09] 这个是非常昂贵的 [25:11] 一种方案就是你去标激光雷达的点云 [25:14] 但一是特斯拉也没那么多点云 [25:16] 因为它没有LiDAR（激光雷达） [25:17] 其次你就算去标那个点云也非常昂贵 [25:19] 因为你要人去把整个那么复杂的3D场景 [25:22] 每一个点是属于哪个物体全都标好 [25:25] 这个的cost（成本） [25:26] 可能是标物体框的10倍 甚至更高 [25:28] 也是我觉得可能算力到了一定程度 [25:31] 能够支持这个（事） [25:32] 其次比较关键的是 [25:34] 特斯拉内部也有一套自己的标注系统 [25:38] 它有这个自动标注的网络 [25:39] 它就可以通过自动生成标签的方式 [25:42] 生成很多ground truth（真值） [25:43] 这样也支持了他有能力 [25:45] 去训练这么一个Occupancy Network [25:47] 你别看马斯克一直鄙夷使用任何雷达 [25:49] 特斯拉内部还是有一些特殊的车辆 [25:52] 是配备了激光雷达的 [25:54] 为的就是去采集ground truth（真值） [25:56] 让自动标注系统更加准确 [25:59] 所以 以我们为例 [26:01] 我们做了大量的人工标注 [26:04] 但我们也在探索一些方法 [26:05] 不用人工标注 就能用这些数据训练 [26:13] 或者 你可以用传感器 [26:15] 用昂贵的传感器为数据提供更多信息 [26:17] 比如 你可以让几辆车在外面跑 [26:21] 搭载雷达或者激光雷达 [26:23] 或者任何你想用的其他传感器组合 [26:25] 让它们提供关于场景的额外信息 [26:28] 这些信息就可以作为计算机视觉的标注 [26:30] 经过以上一系列的算法更新 [26:33] 车上的算力越来越捉襟见肘 [26:35] 特斯拉内部也开始着手研发Hardware 4.0 [26:39] 而这次就不像当初3.0那么顺利了 [26:42] 内部经历了各种的反复拉扯 [26:44] 为此马斯克是急得又是拍桌子 又是骂人 [26:51] 2020年 Hardware 4.0项目正式启动 [26:54] 上一次2.5升级3.0的时候 [26:56] 只是在主板上换一颗芯片 [26:58] 并且新增安全冗余 其他结构都大差不差 [27:02] 但是这一次是全系统的重新设计 [27:05] 当然这也意味着 [27:06] 使用Hardware 3.0的老车主 [27:08] 无法再像之前一样 [27:10] 免费升级下一代的硬件平台了 [27:12] （不能升级）很简单一个道理 [27:13] 电路板已经装不下了 [27:15] 因为Hardware 4的芯片变得更大 [27:17] 整个内存要占用的位置也更大 [27:20] 内存也更多了 功耗也变得更大了 [27:22] 所以那个电源的芯片也会变得更多 [27:25] 电源供电那些线束 接口 [27:28] 也不可能跟以前一样了 [27:29] 正是因为改了太多的东西 [27:31] Hardware 4.0的研发过程 [27:33] 不断爆出各种矛盾 [27:35] 我们就先来聊聊摄像头 [27:41] 在摄像头方面 有两个很大的改动 [27:43] 第一个是像素从120万提升到了500万 [27:47] 你可能会觉得 这也太抠了吧 [27:49] 手机动不动都到1亿像素了 [27:51] 500万能干啥呢 [27:53] 这背后其实有不少的考量 [27:56] 首先 车载摄像头更看重稳定性 [27:58] 比如说耐高温 抗震动 动态范围 [28:01] 还有寿命等等 [28:02] 才是优先考虑的因素 [28:04] 其次 对于车来说 [28:05] 能够看清一定距离就够了 [28:08] 再远也没有更多的意义 [28:10] 而且车载摄像头更看重的是帧率 [28:13] 它的帧数越高 对应急事件的反应就越快 [28:16] 第三 随着像素和帧率的提升 [28:19] 对于整个系统的数据传输 计算量 [28:21] 还有电气设计都带来了很大挑战 [28:24] 这也意味着不能无脑去堆像素 [28:27] 但是等到Hardware 4 [28:29] 你都已经要做到5个megapixel（百万像素）了 [28:31] 摄像头这个CMOS sensor（传感器）的功耗就变大了 [28:33] 你这个电线就会要求变得更粗 [28:36] 实际上这个就是变相增加成本 [28:38] 而且也不利于信号的传输 [28:40] 摄像头出来的这个信号 [28:41] 要传到处理器在车的中间这么个部位 [28:45] 它可能是有1米 2米 甚至3米的距离 [28:48] 远距离的这种高速信号传输的话 [28:50] 你就不可能做到说是像手机那样 [28:53] 做一个什么1亿像素的摄像头 [28:54] 那是不可能的 [28:55] 数据量太大了 [28:56] 帧数越高的话 [28:57] 那你的数据量也会相对地越大 [28:58] 第二个改动 [28:59] 就是摄像头的位置分布有所变化 [29:02] 原本在特斯拉前挡风玻璃那儿 [29:04] 是有3个摄像头的 [29:06] 升级到Hardware 4的时候 [29:07] 却被马斯克砍掉了一个 [29:09] 当时开会说定摄像头分布的时候 [29:13] Elon又是很简单 第一性思维 对吧 [29:15] 为什么要放那么多摄像头 [29:17] 人就两只眼 你放那么多摄像头干嘛 [29:19] 你要是跟他意见不统一的话 [29:21] 他就气得拍桌子 [29:24] 然后就开始F word（骂人） [29:25] 我们就没有人敢说话了 [29:27] 这一砍 还真出事了 [29:29] 因为以前车上还是有毫米波雷达的 [29:32] 可以探测前向距离 [29:34] 移除雷达之后 [29:35] 前保险杠的位置就成为了盲区 [29:38] 比如说在一些停车场景 可能就会撞上 [29:40] 所以我们当时开会的时候 [29:42] 我们推荐的是 [29:44] 如果前面是两个摄像头 [29:46] 那你最好在车头那个位置再放一个摄像头 [29:48] 这个事情在Elon眼里就觉得 [29:50] 这东西你只要 [29:52] 你在入库之前（扫描记忆） [29:53] 你人开车你也看不到 [29:54] 你那个车头下面有什么东西 对吧 [29:57] 他的这个说法也有道理 [29:58] 因为人是有记忆的 [29:59] 但实际上车在这个判断上面 [30:01] 它其实没有想象得那么简单 [30:04] 这个记忆是需要 [30:06] 有一个模型专门去训练这个东西的 [30:09] 于是我们也看到 从Cybertruck开始 [30:11] 特斯拉又在前保险杠的位置 [30:14] 重新加上了摄像头 [30:15] Elon他这个人就是这样 [30:17] 就很多事情他自己会有一些非常强的判断 [30:21] 但是他也能意识到 [30:21] 他的这个判断可能不一定是正确的 [30:24] 但是特斯拉公司的好处就是 [30:26] 非常快地去能够弥补或者是更正这些东西 [30:30] 他是能够接受 [30:31] 他（马斯克）不会说是不愿意接受自己的错误 [30:36] 原本在Hardware 3.0的时候 [30:38] 特斯拉就用上了 [30:39] 两颗算力72 TOPS的AI3芯片 [30:42] 而到了Hardware 4.0上 [30:44] 单颗AI4芯片的算力已经翻倍 [30:47] 但这时 软件团队跑出来说 [30:49] 你看我要做到真正的自动驾驶 [30:51] 就得把模型做得更大 算力肯定得更多 [30:55] 还用两颗芯片怎么能行呢 [30:57] 当时软件团队 [30:59] 也是一开始跟Elon说 两个不够 [31:00] 只要有三个 他们就能把FSD做出来 [31:03] 然后Elon说 好 没问题 [31:06] 他说他相信他们 [31:08] 然后我们就真的把这个东西（三芯片主板）做出来了 [31:10] 三芯片其实在架构上是相对非常复杂的 [31:13] 因为它涉及到冗余的一个判定的问题 [31:16] 因为双芯片很简单 [31:18] 一个坏了 另外一个接管 [31:19] 那三芯片就涉及到到底谁接管的 [31:21] 它这个逻辑上判断就会变复杂很多 [31:25] 当时也是做了各种各样架构上的设计 [31:28] 安全冗余 包括供电 包括信号的这些传输 [31:32] 但硬件团队设计完成之后 拉扯又出现了 [31:35] 直到量产的前一两个月 [31:39] 项目管理的经理说了一句 [31:41] 说我们到底用两个还是三个 [31:44] 然后Elon就听了这个事情说 [31:48] 他突然想起这个事情了 [31:51] 估计也可能是finance（财务）的人 [31:53] 就是CFO可能跟他提过这个东西 [31:55] 他就可能觉得 [31:57] 不对 这个事情不能用三个 [32:00] 用三个太贵了 [32:03] 软件团队一听说 [32:04] 我们都已经定好用三个了 [32:06] 这个我们都已经开始做研发了 [32:08] 你现在说改回两个 [32:09] 然后Elon就说 [32:11] 好 我已经下这个决定 这是最终决定 [32:13] 谁也不要再跟我商量这个事情了 [32:15] 就不用再讨论了 [32:17] 就是两个 [32:18] 然后这个时候我们又赶紧回去 [32:21] 把那个板子重新设计 改回两个 [32:23] 因为马上就要量产了 [32:25] 根据内部人士透露 [32:26] 直到现在 特斯拉团队依然在争论 [32:29] 要不要加更多的芯片 [32:30] 为此 Kerry也是小小地吐槽了一番软件团队 [32:33] 他们内部有句玩笑说 [32:35] 新的芯片才刚刚设计好 [32:37] 软件团队就已经想好怎么全部用掉了 [32:40] 算力肯定永远都不够用 [32:42] 你给我10倍我都能把它用掉 [32:44] 这也反映了另外一个问题 [32:46] 就是模型其实有很多可以优化的空间 [32:49] 在我看来 [32:50] 我觉得不是那么的合理 [32:52] 做模型的这帮团队 [32:54] 反正至少特斯拉情况就比较明显 [32:56] 因为人手太少了 [32:59] 大家更多的是把这个模型做得更大 [33:02] 把精力放在这个事情上面 [33:03] 而没有说真正地去 [33:06] 专门找一拨人去优化这个事情 [33:08] 除了芯片数量的拉扯 [33:10] 在芯片研发上 [33:11] AI4也不如AI3那么顺利 [33:13] 前面我们说到 [33:14] 在第一次研发AI3的时候 [33:16] 有部分是三星来帮忙设计的 [33:18] 所以到了AI4的时候 [33:20] 特斯拉依然选择了和三星合作 [33:23] 而问题就出在这了 [33:25] 由于当时三星已经 [33:26] 他们在外面已经接了很多生意了 [33:30] 所以他对我们的服务就明显没有 [33:32] Hardware 3那么好 [33:34] 所以Hardware 4整个schedule（日程表）其实是有 [33:37] 比较严重的delay（延迟） [33:38] 芯片做出来的效果也不是那么的好 [33:43] 流片大概流片了三、四次 [33:47] 这也是跟我们有关 [33:48] 就是跟特斯拉也有关系 [33:49] 用了GDDR这个内存 [33:52] 大家都没有用过 [33:53] 在设计上遇到了很多困难 [33:55] 这就有个问题了 [33:57] 为什么特斯拉当时要抛弃成熟的方案 [33:59] 选择在车载端不成熟的GDDR内存呢 [34:08] 随着自动驾驶的神经网络模型越来越大 [34:11] AI3的芯片性能开始跟不上 [34:13] 而真正卡脖子的 [34:14] 却是内存带宽 [34:16] 你可以把芯片想象成一个超级工厂 [34:18] 那算力就是工人的数量 [34:20] 而内存带宽则是把原材料送进工厂的 [34:23] 高速公路 [34:25] 那如果工厂里面有100个工人 [34:26] 但是高速公路一次只能运进20个人的材料 [34:30] 那么剩下80个人就只能站着发呆了 [34:33] 所以随着模型规模以及数据量的提升 [34:36] 自动驾驶对于内存的带宽需求也越来越大 [34:39] 于是马斯克看上了GDDR内存 [34:42] 我们来简单科普一下不同的内存 [34:45] 内存大致分为 [34:46] LPDDR、DDR、GDDR、HBM这些种类 [34:50] 带宽依次提升 [34:51] 相对应的 功耗也更高 [34:53] 此前特斯拉用的是LPDDR [34:56] 常用在手机 笔记本上 [34:58] 而马斯克为了追求更高的带宽 [35:00] 选择了游戏显卡常用的GDDR [35:02] 这个思路出发点可以说是正确的 [35:05] 但是受限于行业成熟度 [35:07] 实际研发的时候带来了不少的挑战 [35:10] GDDR我们当时拿到一看就发现 [35:13] 它的功耗其实非常的高 [35:15] 而且没有什么厂商做这个东西 [35:17] 尤其车规的 [35:18] 也是第一次放在车上 [35:20] 而且是我们的自研芯片 [35:22] 而且还非常的小众 [35:24] 功耗特别大 价格也比较高 [35:27] 所以用了这么多年Hardware 4 [35:29] 你可以看到 [35:29] 其实它的内存的容量就成了一个瓶颈 [35:32] 因为没有人去给车专门提供 [35:36] 大容量的GDDR [35:38] 因为特斯拉是唯一一个公司在做这个事情 [35:41] 所以不可能因为特斯拉 [35:42] 去让美光 或者是三星 [35:45] 专门研发一款大容量的GDDR [35:47] 去给车规用的 [35:49] 其实特斯拉现在内部一直都在做 [35:51] 这个Hardware 4.3 [35:53] 把它改成用LPDDR [35:55] 然后就是说牺牲一点点带宽 [35:58] 但是提高这个容量 [36:00] 因为他们的模型现在已经越来越大了 [36:03] 所以可能在不久将来 [36:04] 你们应该看到车上会装这个Hardware 4.3 [36:06] 在当时也许有别人看出来 [36:08] 但是别人没有一个人愿意提 [36:09] 我是唯一一个提出来这个事情的人 [36:11] 但是没有人愿意听我的 [36:14] 但是我觉得这个应该是当时的一个 [36:16] 决策上的失误吧 [36:17] 虽然Hardware 4.0的研发过程充满了波折 [36:20] 但是最终在成本控制上 [36:22] 依然非常符合马斯克的作风 [36:27] 根据Kerry的透露 [36:28] 整套硬件的成本 [36:30] 甚至比MacBook Air都要低很多 [36:32] 基本上就是个普通iPad的价格 [36:34] 而且随着技术不断地迭代 [36:36] 成本还会继续降低 [36:38] 特斯拉在这个事情上 [36:39] 其实更新换代、迭代速度是非常快的 [36:42] 你外观上可能看不出这个车有什么变化 [36:44] 但实际上这个车每隔几个月 [36:46] 里面的东西都会有一个非常大的变化 [36:48] 在性能维持不变的情况下 成本降低 [36:52] 额外说一句 [36:52] 特斯拉自研的芯片 [36:54] 不管是AI3还是AI4 [36:55] 除了被用在车上 [36:57] 还被装进了服务器里 [36:59] 进一步平摊了研发成本 [37:01] （车和服务器）其实芯片都是一样的 [37:02] 只是在电脑（服务器）设计上可能有一些区别 [37:05] 接口 包括一些信号传输上面有一些区别 [37:09] 和主打训练的超级计算机Dojo不同 [37:12] 使用AI4芯片的服务器 [37:13] 主要做两个方面的工作 [37:16] 第一个是叫做 [37:17] Pixel Injection（像素注入） [37:19] 这个名字听起来有点抽象 [37:21] 我们可以换个说法 [37:22] 把它理解为类似世界模型的仿真环境 [37:25] 通过生成各种虚拟场景 [37:27] 来训练自动驾驶模型 [37:29] 而第二个就是推理验证 [37:32] 特斯拉会把真实道路上采集的视频数据 [37:35] 回传到AI4服务器里 [37:37] 让它模拟FSD系统 [37:38] 在当时场景下会怎么去决策 [37:41] 然后把决策结果和当时人类驾驶员的 [37:44] 实际操作做对比 [37:45] 用来迭代下一版模型 [37:47] Hardware 4.0在2023年2月正式装车 [37:50] 可惜的是它上车还没多久 [37:52] 又要“过时”了 [37:53] 因为它设计得比较早 [37:55] 没有针对Transformer去做优化 [37:58] 那你可能就要问了 [37:59] 为什么Transformer优化如此重要呢 [38:02] 因为这一次 [38:03] 特斯拉推翻了此前的所有代码 [38:05] 推出了端到端 [38:11] 2022年7月 Andrej Karpathy离开了特斯拉 [38:15] 由软件团队的创始成员之一 [38:17] Ashok Elluswamy接替他的位置 [38:19] 一时间 外界纷纷猜测 [38:21] 特斯拉在算法上遇到了困难 [38:23] 股价也应声下跌 [38:25] 我算是逐渐让自己进入了 [38:28] 一个有点偏管理的岗位 [38:29] 但从根本上说 [38:31] 这不是我喜欢的工作 [38:32] 但我觉得到了这个阶段 [38:34] 我已经把团队搭起来了 [38:35] 感觉它可以自主运转了 [38:36] 而我成了一名管理者 [38:38] 而我想做更多技术方面的事情 [38:40] 确实 如果按照当时的路线发展下去 [38:43] Karpathy的工作 [38:44] 将是不断地优化已有的路径 日益重复 [38:47] 但是他没有想到的是 [38:49] 年底 GPT 3.5震惊了整个世界 [38:53] 当时马斯克刚刚收购了Twitter [38:55] 想从特斯拉抽调一批工程师 [38:57] 去优化推荐算法 [38:58] 其中的一名工程师 [39:00] 名叫Dhaval Shroff [39:01] 然而他并不想离开特斯拉 [39:03] 于是他告诉马斯克 [39:04] 自己正在做“车用的ChatGPT” [39:07] 也就是用神经网络替代所有的规则算法 [39:10] 让系统通过模仿人类的驾驶行为 [39:13] 学会自己开车 [39:14] 这样一来 即使面对没有见过的场景 [39:16] 系统也能够自己避障 [39:18] 必要的时候还能做出 [39:20] 类似人类驾驶员的灵活判断 [39:22] 比如说压实线避障 [39:23] 这和过去呆板的rule based（基于规则的）方案 [39:26] 完全不一样 [39:27] Shroff的解释瞬间击中了马斯克 [39:29] 甚至马斯克都开始畅想着 [39:31] 要做一个像《007》电影一样的场景演示 [39:43] 于是Shroff是留了下来 [39:44] 后面就是我们听到的 [39:46] 特斯拉推出了“端到端”（End to End） [39:49] 把之前的30万行代码 [39:51] 精简到了2000行 [39:53] 我们采访了 [39:53] 特斯拉前AI软件工程总监Srihari [39:56] 他过去负责特斯拉Robotaxi和Optimus项目的AI工程团队 [40:01] 以及软硬件协同设计团队 [40:03] 前还因优化特斯拉车载AI计算机的性能 [40:07] 被马斯克点名表扬 [40:08] 称没有他们团队 Robotaxi将无法实现 [40:11] Srihari回忆说 [40:13] 端到端的探索在ChatGPT出现之前就已经开始了 [40:17] 而ChatGPT可能加速了这个进程 [40:19] 在ChatGPT出现之前 [40:21] 其实就已经有了一些尝试 [40:22] 去尝试类似的想法 [40:23] 和类似的方法 [40:25] 我觉得 [40:25] 我觉得 可能是ChatGPT加快了 [40:27] 其中一些尝试的进程 [40:28] 让我们 [40:29] 在某些方向上加大了投入 [40:29] 但我觉得 我们早就在尝试 [40:31] 也已经研发其中的一些部分很久了 [40:33] 算是在逐渐走向那个方向 [40:35] 好的 我听说当时是 [40:36] 一个很小的团队在做这件事 [40:38] 对 [40:39] 有多少人 [40:42] 我记得人确实很少 [40:46] 2023年8月底 [40:47] 马斯克在自己车上 [40:49] 用手机直播了FSD端到端的 [40:51] 第一次公开演示 [40:53] 当时他随机在地图上标记路径点 [40:55] 证明这不是预先规划好的路线 [40:58] 然后车就自己开始行驶了 [41:00] 虽然中间闯了一次红灯 [41:02] 被嘲笑了很久 [41:02] 但是在一些业内人士看来 [41:04] 这样的表现已经非常好了 [41:06] 我其实还是挺respect（佩服）的 [41:08] 因为作为一个全新的技术路线 [41:11] 能做到这样的程度 [41:12] 实际上已经是有很强的信号了 [41:14] 2023年年底 [41:15] 特斯拉内部员工开始批量地收到 [41:17] 端到端版的FSD V12推送 [41:20] 直到2024年1月 [41:22] 正式面向普通车主推送 [41:24] 虽然特斯拉确实是第一个 [41:26] 将端到端落地的车企 [41:28] 但这项技术理念 [41:29] 并不是特斯拉最先发现的 [41:31] 早在2016年就已经被英伟达提出了 [41:34] 甚至在学术界 [41:36] 这个概念在1989年就有了 [41:38] 那关于端到端的各种技术原理 [41:41] 有什么优劣势 [41:42] 以及各种drama（戏剧）故事 [41:43] 我们在《自动驾驶》这期视频当中 [41:45] 有非常详细的解释 [41:47] 感兴趣的话可以回看一下 [41:49] 那这期我们就不多赘述了 [41:51] 不过当时我们采访的时候 [41:52] 嘉宾们对于一点提出了很大的质疑 [41:55] 那就是既然FSD V12 [41:57] 是一整个神经网络 [41:59] 那么BEV上的显示输出是如何来的呢 [42:03] 这次我们还额外（匿名）采访了 [42:05] 参与开发的特斯拉算法工程师 [42:07] 他就这个问题提供了他的解答 [42:10] 特斯拉在整个神经网络的中间 [42:12] 额外分出了一条任务 [42:13] 也就是“head” [42:15] 去专门显示鸟瞰图 [42:17] 在推理的时候这个分支就像阑尾一样 [42:20] 除了显示之外 是没有参与其他功能的 [42:23] 说到这个“head” [42:24] 是不是很熟悉 [42:25] 就是我们前面讲HydraNet的时候 [42:27] 用到的架构 [42:28] 值得一提的是 [42:29] 尽管FSD V12几乎彻底重写了底层代码 [42:33] 但是其中也复用了不少以前 [42:35] Andrej Karpathy [42:35] 用神经网络重构感知模块的思路 [42:38] 并不是说 好 [42:39] 就把我们之前付出的努力 [42:40] 全都扔掉 [42:41] 比如 我们构建的那些网络和方法 [42:43] 为了更好的物体检测 [42:44] 占用感知等 [42:46] 可以说 它们就像是种子 [42:47] 为我们下一步想做的事情 [42:49] 打下基础 [42:50] 所以 这些工作也一直 [42:52] 对下一步有帮助 [42:53] 那我们再来解析一下 [42:54] 这两年来FSD又有了哪些新的进化呢 [43:01] 2024年11月 [43:02] 特斯拉推出FSD V13 [43:05] 它增加了模型参数 [43:06] 提升了接管里程（MPI） [43:08] 新增了“车位到车位”功能 [43:10] 同时模型还对AI4芯片进行了优化 [43:13] 更重要的是V13让摄像头捕获的光子信息 [43:17] 不加任何前置处理 [43:18] 直接输入到模型当中 [43:20] 不仅减少了从输入到输出的延迟 [43:23] 还能让模型理解场景 [43:25] 预测每个物体之间的关联 [43:27] 从而开起来更像人 [43:29] 减少了卡顿、犹豫的表现 [43:31] 此外V13还提升了摄像头输入画面的帧率 [43:34] 和分辨率 [43:36] 来解释一下 [43:36] 虽然之前Hardware 4.0更新的时候 [43:39] 摄像头已经提升到了500万像素 [43:42] 但是受限于算法模型在感知的时候 [43:44] 并没有完整地利用全部像素 [43:47] 摄像头的像素用上多少 [43:49] 这个是算法完全可以自己控制的 [43:51] 那如果说FSD V12 [43:52] 是为了验证端到端的可行性 [43:55] 那么V13的目标就是简化控制栈 [43:57] 让模型运行得更有效率 [43:59] 那这版更新甚至被内部工程师比作成 [44:03] SpaceX的猛禽V3火箭那样“clean”（简洁） [44:06] 在特斯拉我们优化的目标 [44:08] 是每瓦功耗的智能水平 [44:09] 因为车里只有一台很小的计算机 [44:11] 你要怎么让它 [44:12] 发挥出尽可能高的智能 [44:13] 所以 我们投入了很多工程工作 [44:15] 在推理这一侧 [44:16] 也在训练这一侧 [44:18] 你怎么才能真正把 [44:19] 尽可能多的智能 [44:20] 塞进它里面 能不能做到 [44:20] 所以我觉得 我们投入的这些工程工作 [44:22] 确实让我们的这些模型更新 [44:24] 带来了非常显著的提升 [44:26] 在模型迭代上取得了更大进展 [44:29] 所以 这涉及训练 也涉及推理 [44:33] 还有所有的工程、数据、基础设施 [44:36] 以及围绕这些展开的一切 [44:37] 为的是真正构建更好的模型 [44:41] 让每瓦功耗提供更高的智能水平 [44:42] 到了2025年10月 [44:44] 特斯拉直接跳过了FSD V14.0 [44:46] 推出了V14.1 [44:48] 马斯克称 [44:49] 这是继V12之后的第二大更新 [44:52] 模型参数提升了10倍 [44:54] 让Robotaxi技术 [44:55] 第一次大规模回流量产车的版本 [44:57] 还引入强化学习训练、升级视觉编码器 [45:01] 并且重写了底层AI编译器等等 [45:04] 我觉得FSD V14主要 [45:05] 是在进一步增加 [45:08] 加大对缩放定律 [45:10] 这条路线的投入 [45:11] 加大投入 看看我们究竟能做到什么 [45:12] 因为 正如我刚才说的 我觉得 [45:13] 整个物理AI领域是一个新领域 [45:16] 也就是说 [45:17] 没有关于缩放定律的文献 [45:18] 也没有关于这些问题的 [45:19] 相关文献 [45:20] 你要怎么真正构建出一些东西 [45:22] 去展示到底有哪些可能性 [45:24] 所以 真的是这样 我们必须发明 [45:26] 一整套技术栈 才能让这件事 [45:29] 在物理AI领域真正运行起来 [45:31] 那你要怎么对这些部分进行协同设计 [45:33] 因为很多已有的研究文献 [45:34] 都是为了让它适用于 比如 [45:37] 比如Transformer [45:39] 或者自回归Transformer之类的 [45:41] 但我们必须找到自己的架构 [45:42] 让它真正运行起来 [45:43] 用一句话来总结V14 [45:45] 那就是继续提升模型规模 [45:48] 打个不那么恰当的比方 [45:49] 就像种一棵树 [45:51] V12的目标是验证这棵树是否能够存活 [45:54] 那V13是剪掉一些不影响生长的枝叶 [45:57] 而V14则是继续地施肥 [46:00] 让树长得更高 [46:01] 我们也确实看到 [46:03] 此后FSD的表现是有了不少的进步 [46:06] 比如说2025年年底的时候 [46:08] 一辆Model 3从加州出发 [46:10] 经过两天的行程 [46:12] 驾驶了2700英里到达了南卡罗来纳州 [46:15] 全程使用FSD V14 [46:17] 而且没有一次人工干预 [46:19] 此前 端到端一直饱受诟病的是 [46:22] 它是一个黑盒模型 [46:23] 工程师难以验证它到底学会了啥 [46:26] 如何思考 [46:27] 而且端到端网络输入的是上亿个Token [46:31] 最终只输出了两个动作 [46:32] 也就是转向和加减速 [46:34] 这样巨大的压缩比 [46:36] 会让神经网络学到“虚假相关性” [46:38] 比如说在一条训练素材中 [46:40] 驾驶员在行驶时减速 [46:42] 是因为看到了前车刹车灯 [46:44] 而模型却误以为原因是看到了 [46:47] 旁边摇晃的树枝 [46:49] 在最近的几次分享当中 [46:50] 特斯拉的AI软件副总裁 [46:52] Ashok Elluswamy就介绍了他们的解法 [46:55] 在训练数据方面 [46:56] 虽然特斯拉有海量人类驾驶视频 [46:58] 但大部分是无聊的高速巡航 [47:00] 如果全量收集再筛选 [47:02] 成本会高到离谱 [47:04] 所以特斯拉在车端部署了筛选器 [47:07] 只将那些高价值的片段上传训练 [47:09] 比如说各种极限反应、复杂路况 [47:12] 或者遇到了特殊车辆等等 [47:14] 这样不仅能够节约成本 [47:15] 还能够让模型学到更多危险场景 [47:18] 在可解释性方面 [47:19] 特斯拉会让网络在训练过程中 [47:21] 额外生成一个3D世界表示 [47:24] 也就是前面我们提到的 [47:25] 让模型在其中一个节点 [47:27] 输出自己构建的场景 [47:28] 用于检查模型到底关注了什么 [47:31] 是否建立了正确的空间关系 [47:33] 那在可验证方面 [47:34] 其实就是我们前面说到的 [47:36] AI4服务器的作用了 [47:37] 用另一个独立的生成式神经网络 [47:39] 不断生成模拟现实的环境 [47:41] 也就是世界模型 [47:43] 同时把训练好的FSD算法 [47:44] 放到这个模拟环境当中 [47:46] 让它在里面驾驶 [47:48] 模拟环境会不断引入各种变量 [47:50] 比如说把曾经让系统犯错的片段输入 [47:53] 验证新版本是否修正 [47:55] 或者注入新的极端场景 [47:56] 测试FSD的极限反应 [47:59] 最后这点看上去 [48:00] 很像传统的仿真系统（simulation） [48:03] 但是在最近大火的世界模型加持下 [48:05] 已经有了很大的不同 [48:07] 传统仿真主要靠人工建模 [48:09] 比如说工程师手动搭建场景、定义物体 [48:12] 编写物理规则 [48:13] 然后再用渲染器把它生成画面 [48:16] 而最新的趋势 [48:17] 是用世界模型生成场景 [48:19] 就不再需要“建模-渲染”两个步骤 [48:22] 模型可以直接生成每个传感器看到的内容 [48:26] 那它的flexibility（灵活性）肯定是更高的 [48:28] 它的potential（潜力）也比较高 [48:30] 因为它可以把两个步骤合在一起 [48:32] 它可能基于一个已有的视频 [48:34] 去延续这个视频之后的rollout（推演） [48:36] 它可以把所有的建模都合并在 [48:37] 这个（神经）网络里面 [48:38] 但是基于世界模型来训练的仿真环境 [48:40] 有两个很大的挑战 [48:42] 第一是硬件性能 [48:44] 因为需要实时渲染场景 [48:46] 对计算资源要求极高 [48:48] 第二是模型表现 [48:50] 必须要确保模型生成的世界足够真实 [48:53] 每项输出得和真实世界的演变 [48:55] 有很强的相关性 [48:57] 比如说当你右转的时候 [48:58] 可能有行人在过马路 [49:00] 或者影响其他的车辆 [49:02] 这个时候如何按照现实世界 [49:04] 来模拟这些车辆和行人的反应呢 [49:07] 是非常棘手的挑战 [49:09] 在最新的FSD算法中 [49:11] 输入到模型的不光是视频数据 [49:14] 音频也会参与到决策当中来 [49:16] 目前主要是用来识别环境 [49:18] 未来还会融入到车辆控制当中 [49:21] 我们有自己的音频模型 [49:22] 目前它不是用来 [49:23] 做自然语言 [49:24] 交互的 [49:25] 它更多是用来 你知道的 [49:27] 理解车周围的各种声音 [49:28] 比如警笛 应急车辆 [49:30] 之类的声音 [49:31] 但在未来 是的 我们会 [49:33] 全面集成语音控制指令 [49:36] 用这些指令来控制车辆 [49:39] 所以这背后的思路就是 [49:41] 人类所感知到的各种输入 [49:44] 我们能不能也把它们提供给AI [49:45] 然后 你就能开始看到改善 [49:47] 在这些信息有用的场景中 [49:49] 除了量产车之外 [49:50] 端到端的FSD还让马斯克有了更大的信心 [49:53] 去推出Robotaxi [49:55] 我们的自动驾驶未来已经到来 [49:58] 正如我所说 我们有50辆特斯拉在自动驾驶 [50:00] 2024年10月 [50:01] 特斯拉发布了Robotaxi [50:03] 没有方向盘、没有踏板 [50:04] 完全为无人驾驶设计 [50:06] 而真正的Robotaxi服务 [50:08] 直到一年之后才开始落地 [50:10] 2025年6月 [50:11] 特斯拉在奥斯汀启动了Robotaxi试点 [50:14] 初期只投入了10到20辆Model Y的测试车 [50:17] 在硬件上 [50:18] 特斯拉所有的Robotaxi [50:20] 不管是Model Y [50:21] 还是没有方向盘的Cybercab [50:23] 都和量产车没有任何的区别 [50:26] 没有任何的差别 [50:27] 只是在安全冗余上 [50:29] 当时针对Cybercab [50:31] 做了一些硬件安全冗余上的优化 [50:34] 但是这个优化 [50:35] 后来也都已经放到 [50:38] 所有的（量产）车型当中了 [50:39] 而关键的区别在于软件上 [50:42] 一方面Robotaxi的软件版本 [50:44] 相比量产车更新得更频繁 [50:46] 我们现在在坐的（Model Y Robotaxi）的算法 [50:49] 或者是FSD [50:50] 其实是会比我们现在 [50:52] 自家车里面用的FSD会稍微的 [50:55] 会是比较先进的那一款 [50:57] 但并不是完全的两个技术 [50:59] 它们是基于同样一个大树上的 [51:01] 现在的这个模型 [51:02] 它就是比如说放到 [51:03] 我们现在开的特斯拉上面 [51:05] 它其实也还是L2 [51:07] 但是它这套模型放在 [51:08] 现在我们在坐的这个Robotaxi里面 [51:11] 它就是L4 [51:13] 对 或者说这几辆车 [51:14] 它的能力足够了 [51:15] 同时它也获得了政府许可的 [51:17] L4的运行资质 [51:19] 可以说Robotaxi所运行的软件版本 [51:22] 是特斯拉内部最新最强的 [51:25] 只有经过长时间测试稳定之后 [51:27] 才能够推送到量产车中 [51:30] 这就带来了一个问题 [51:31] 就是如果最新的软件测试出问题怎么办呢 [51:35] 所以另一方面的区别就是 [51:36] Robotaxi是额外引入了远程监管机制 [51:40] 在乘坐Cybercab的过程中 [51:42] 我其实对安全问题没有那么担心 [51:44] 因为我知道目前的阶段 [51:46] 马斯克和特斯拉一定会最大努力的保证每一辆车的安全 [51:50] 但真的等Cybercab扩张到几千上万 [51:54] 乃至数十万辆的规模的时候 [51:56] 如何在保证安全的情况下快速扩城 [51:59] 才是最大的挑战 [52:00] 这也是外界对特斯拉扩城速度的质疑 [52:03] 那现在我们的这个车应该是有远程监管的 [52:06] 我推测可能是有人在看着我们的 [52:08] 在最早进行的时候 [52:10] 在他们的战备室里面 [52:14] 就可以看到当时他们最早的几辆车 [52:16] 大家都是随时在盯着他们的 [52:18] 其实每一公里的 [52:19] 今天此时此刻的成本可能是非常高的 [52:21] 因为它也包含着 [52:23] 后面在盯着我们这些人的工资 [52:24] 对 [52:25] 当然在长期的情况下 [52:27] 当它能够证明自己足够安全的时候 [52:31] 那么特斯拉应该就会考虑说 [52:33] 把这些人工的比例减少 [52:34] 然后把这个成本拉下来 [52:36] 从奥斯汀上线后的一年时间 [52:38] 特斯拉已经陆续在加州旧金山湾区 [52:40] 内华达、亚利桑那等多个地区 [52:42] 获得不同条件下的运营许可 [52:45] 虽然不同地区因为法规不同 [52:47] 进度有所差异 [52:48] 但是总的来说 [52:50] 测试和扩城都在快速地进行中 [52:52] 在Srihari看来 [52:53] 现在特斯拉Robotaxi的挑战中 [52:55] 技术已经不再是问题了 [52:58] 总体来说 我觉得 [52:59] 这已经不再是一个技术问题了 [53:00] 这似乎主要涉及验证与监管 [53:04] 就目前的部署阶段而言 你能多快部署 [53:08] 你怎么获得反馈 [53:09] 你又怎么改进这个部署过程 [53:11] 因为说到底 这确实是一个扩大规模的挑战 [53:14] 而且 要在不同的地理区域 [53:16] 扩大规模 [53:18] 问题是 谁有合适的基础设施 [53:20] 能真正更快地扩大规模 [53:21] 不过想要更好的体验 [53:23] 还得看下一代的硬件 [53:24] 因为FSD V14所运行的Hardware 4.0 [53:27] 又一次接近瓶颈了 [53:30] 那么最后我们来聊聊 [53:31] 即将发布的AI5芯片的研发内幕 [53:34] 这次的难度比AI4还要更大 [53:37] 内部还出现了 [53:38] 对马斯克的瞒报与欺骗的行为 [53:44] 2025年8月 [53:45] 一条消息在AI圈炸开了锅 [53:47] 号称“全球最快的AI训练计算机” [53:50] Dojo项目被叫停了 [53:52] 同时马斯克解散了Dojo团队 [53:54] 要知道Dojo曾经被马斯克视为 [53:56] 特斯拉AI的核心基础设施 [53:58] 甚至被华尔街视为价值数千亿美元的 [54:02] 潜在资产 [54:03] 这一举措不免让业界怀疑 [54:05] 特斯拉还有训练AI的能力吗 [54:07] 而马斯克解释称 [54:09] 因为AI5 AI6芯片 [54:10] 在训练方面表现也不错 [54:12] 可以直接让自研AI芯片用到训练阶段 [54:15] 因此没有必要浪费资源 [54:17] 重复投入到Dojo上 [54:19] 可以看出后续的AI5、AI6芯片 [54:21] 关乎着特斯拉模型的成败 [54:23] 然而亲身参与AI5研发的Kerry向我们透露说 [54:27] 这款芯片的研发 [54:29] 遇到了巨大的挫折和隐瞒 [54:31] 甚至Peter Bannon的离职也与此有关 [54:34] 那故事要从AI4的研发开始说起 [54:37] 前面我们提到 [54:38] 当时AI4由三星来合作设计 [54:41] 但是双方配合的时候产生了很多摩擦 [54:43] 于是到了AI5的研发上 [54:45] 特斯拉决定停止与三星合作 [54:48] 当时特斯拉的硬件负责人 [54:49] 也就是我的老板 [54:51] 叫Peter Bannon [54:53] 他就做了个决定 [54:54] 从AI5开始 [54:55] 我们要做完全自研 [54:58] 就不再使用外包服务了 [55:01] 也就不再使用三星了 [55:03] 那跟三星分手以后 [55:07] 我们的团队明显是不足以来支撑 [55:10] 完全自研这么复杂的芯片的一个项目 [55:13] 这个决定从战略上看是对的 [55:16] 毕竟只有完全自己掌控设计 [55:18] 效率才最高对吧 [55:19] 非常符合马斯克的作风 [55:21] 但是在执行上却出了问题 [55:24] 一方面人手不够 [55:25] 虽然特斯拉为此新招了很多人 [55:27] 但是和三星这类几百上千人的 [55:29] 芯片设计团队相比 [55:31] 数量差距还是太大了 [55:33] 另一方面 经验不足 [55:35] 就算特斯拉的工程师都很厉害 [55:37] 但是从来没有完全靠自己做过一颗芯片 [55:40] 此前Hardware 3和Hardware 4的芯片 [55:42] 都是由三星深度参与 [55:44] 现在自己单干起来 [55:46] 很多环节都缺乏经验 [55:48] 在这两个因素下 [55:49] AI5的研发进展非常缓慢 [55:52] 而更致命的是 [55:53] 其中的项目主管在工作中 [55:55] 还存在着隐瞒与欺骗 [55:58] 当时也跟这个项目在德州那边的主管 [56:00] 有一定的关系 [56:01] 就是他相当于隐瞒了很多 [56:04] 研发当中的一些困难 [56:07] 他其实遇到很多困难 [56:08] 但他没有真实地反映出来 [56:10] 所以这个事情就一拖再拖 [56:13] AI5这个芯片是要交给台积电来流片的 [56:15] 因为那个时候一直说（AI5）马上就要做好了 [56:18] 一直跟他说 [56:19] 再有两个月 再有两个月 [56:20] 这个再有两个月说了快一年了 [56:24] 结果后来Elon把这个图纸发给台积电 [56:26] 台积电一看说 [56:26] 这哪是再有两个月 [56:27] 这估计再有一年 [56:28] 你们做这么久 怎么做出这么个东西 [56:30] 说这东西根本没办法流片 [56:32] 这离流片差远了去了 [56:34] 然后Elon一听这个事就知道 [56:37] 你们这帮做芯片的人明显就是忽悠我 [56:42] 没跟我说实话 [56:43] Elon就fire（解雇）了很多人 [56:44] 包括我的老板（Peter Bannon） [56:45] 还有芯片部门的领导也都被fire（解雇）了 [56:49] Kerry对硅谷101表示 [56:51] 在他的视角看来 [56:52] 他的老板Peter也算是受害人 [56:55] 他认为Peter并没有参与瞒报的过程 [56:57] 但因为涉嫌瞒报的主管直接汇报给他 [57:00] 导致Peter有连带责任 [57:02] 在此之后 [57:03] 马斯克便开始亲自接管了芯片设计团队 [57:06] 并且列出了两个方案并行 [57:09] 方案一是找了第三方的芯片设计公司 [57:12] 作为外包 [57:13] 辅助现有的AI5设计 [57:15] 并且继续交由台积电生产 [57:17] 另一个是找回了三星团队 [57:19] 让三星来帮忙做另外一款AI5 [57:22] 今年4月15号 [57:23] 台积电版本的AI5已经完成了第一次流片 [57:26] 预计将于2027年开始量产 [57:29] 根据马斯克的说法 [57:30] 这款芯片在特定任务上 [57:32] 速度将比AI4提升40倍 [57:35] 业界猜测搭载AI5的Hardware 5.0算力 [57:38] 将达到2000到2500TOPS [57:40] 这个芯片功能上 [57:42] 我想应该是非常强大的 [57:44] 而且也是用了MCM（多芯片模块）的技术 [57:47] 可以说也是一种挑战 [57:49] 这还只是第一版 [57:50] 三星的版本也在推进 [57:52] 两个版本最终都叫AI5 [57:54] 只是一个是台积电工艺 [57:56] 另一个是三星工艺 [57:58] 根据Kerry的猜测 [57:59] 最终两个版本的芯片 [58:01] 可能会在同款车型上混用 [58:03] 但是消费者是不会感知到差异 [58:05] 同一款车型 [58:06] 例如说有的用台积电的 [58:07] 有的用三星的 [58:09] 这个是没有问题的 [58:11] 它是可以混用的 [58:12] 但是它不可能在一个电路板上混用 [58:14] 但是最终反映到用户上面 [58:17] 我觉得应该不会有什么太大的差别 [58:19] 就是在FSD的这个使用体感上 [58:22] 你应该没办法去区分 [58:24] 它到底是三星的芯片还是台积电的芯片 [58:27] 不过呢 Kerry透露 [58:28] 也有最新的内部消息说 [58:30] AI5芯片也有可能不会装到车上 [58:33] 原因是马斯克认为AI4已经够用了 [58:35] AI5将主要用在算力中心和机器人上 [58:38] 但这可能也会有进一步的变数 [58:41] 所以我们届时以官方宣布为准 [58:43] 看看AI5的应用方案到底如何 [58:45] 接下来FSD的故事还在继续 [58:47] 我们也期待着AI5量产装机之后 [58:49] 看看它的实际表现到底如何 [58:56] 回到我们开头的那个问题 [58:57] 为什么是特斯拉做出了FSD呢 [59:00] 不要说传统的那种汽车公司了 [59:03] 甚至像硅谷的（公司） [59:04] 有些新的技术可能要衡量很久（用不用） [59:09] 但是特斯拉一直都是非常愿意去承担风险 [59:14] 然后能够快速使用新的技术 [59:16] 这就让我们工程师做的事情 [59:18] 就会变得非常有趣 [59:19] 管理好所有这些资源 是很困难的 [59:22] 要找到一种方式 让你不会 [59:24] 你需要押注未来的技术 [59:26] 同时 你又必须把当前的技术交付出去 [59:28] 这是一门艺术 [59:29] Srihari就认为 [59:31] 因为特斯拉内部没有繁杂的流程 [59:33] 大家专心倾注在产品打磨上 [59:35] 才能够保持快速地推进 [59:37] 我觉得 总体来说 特斯拉最好的地方是 [59:41] 它没有那么多官僚流程 [59:43] 也就是说 好 我们是不是真的在 [59:46] 试着把注意力放在那些真正能让产品 [59:49] 变得更好的事情上 [59:50] 你在很多方面都受到限制 [59:51] 算力受到限制 还有人员也受到限制 [59:53] 时间也受到很大的限制 因为你必须 [59:55] 发布新功能 [59:59] 回到13年前 [60:01] 特斯拉刚开始做自动驾驶时 [60:03] 它和Google走向了两条完全不同的路 [60:06] Google也就是后来的Waymo [60:08] 选择的是一条更谨慎的路线 [60:10] 更昂贵的传感器、更严格的安全冗余 [60:13] 先在有限区域里把无人驾驶做出来 [60:16] 再一点点地扩大边界 [60:19] 特斯拉的选择恰恰相反 [60:21] 它把摄像头装进几百万辆量产车 [60:24] 把一个还远没有成熟的系统交给真实世界 [60:27] 然后在一次次事故、争议 [60:29] 返工和软件更新中 继续往前走 [60:33] 13年之后 [60:34] 这两条路线依然没有分出胜负 [60:36] 而如今自动驾驶之战 [60:38] 正式进入了下半场 [60:39] 这场战争已经无关技术路线了 [60:42] 它的名字叫做经济之战 [60:44] 今天Waymo依然在无人驾驶商业化 [60:47] 和实际运营上保持着明显的领先 [60:50] 而Cybercab才刚刚开始 [60:51] 在奥斯汀有限区域运行 [60:54] 与此同时 [60:54] 美国联邦监管机构 [60:56] 已经对特斯拉Cybercab启动调查 [60:58] 核查设计是否满足安全标准 [61:01] 所以前方还有诸多不确定性 [61:03] 而现在还不能证明特斯拉已经赢得了 [61:06] 自动驾驶战争 [61:07] 在10月 FSD的V15应该就要发布了 [61:10] 那这无疑是一个重要的里程碑 [61:12] 目前媒体透露的消息 [61:14] 包括它的模型参数规模 [61:16] 较前代扩大了10倍 [61:18] 那这个版本 [61:19] 意在支持Level 4级别的无人驾驶 [61:22] 早期版本已经在 [61:23] 特斯拉的Robotaxi车队当中部署运行了 [61:26] 那我们也拭目以待 [61:27] V15的更新对特斯拉无人驾驶车队 [61:30] 进程的影响会有多少 [61:32] 但至少在目前 [61:33] 特斯拉已经成功地证明了一件事 [61:36] 那条曾经被很多人认为过于激进的路线 [61:39] 一直留在牌桌上 [61:40] 甚至走到了下半场的决赛圈 [61:42] 已经开始改变很多人的生活方式了 [61:45] 但也许真正困难的问题 现在才开始 [61:48] 特斯拉要证明的 [61:49] 是当没有安全员、没有方向盘 [61:51] 面对数百万次真实出行时 [61:54] 它还能不能保持足够稳定的安全性 [61:56] 以及Waymo要与特斯拉比拼的 [61:59] 是在多地已经跑起来的无人驾驶系统 [62:01] 能不能继续扩城、扩大车队 [62:04] 并且把成本降到真正的大规模商业化 [62:09] 接下来我们还会出一期内容 [62:11] 讲讲Waymo和特斯拉的扩城之战 [62:14] 大家不要忘记关注我们的频道 [62:15] 不要错过更新 [62:16] 那以上就是这期视频的全部内容了 [62:19] 你们的点赞 转发还有留言 [62:21] 是支持我们《硅谷101》 [62:22] 做好深度科技和商业内容的最佳动力 [62:24] 我是陈茜 [62:25] 那我们就下期视频再见啦 bye～