特斯拉端到端技术搅动自动驾驶 硬件缺陷与权责天堑仍阻碍L4落地

特斯拉端到端技术搅动自动驾驶 硬件缺陷与权责天堑仍阻碍L4落地 行业专家指出，特斯拉FSD V12虽靠端到端算法改善驾驶体验，但因视觉盲区与传感器限制无法升级为真正的无人驾驶 Robotaxi，L2与L4之间依然存在不可逾越的法律责任与安全硬件鸿沟。 视频深度解析了自动驾驶行业在 2024 年呈现出的技术路线分裂与共识缺失。一方面，以特斯拉为代表的纯视觉与“端到端”大模型架构试图通过算法拟人化和删除繁重规则库来重构行业；另一方面，业内专家指出了端到端带来的黑盒效应、不可解释性、灾难性遗忘以及物理视觉盲区等致命隐患。同时，行业在纯视觉与多模态融合、高精地图存废、仿真训练瓶颈，以及 L2 辅助驾驶能否进化为 L4 无人驾驶等核心命题上依然存在巨大分歧。 2024年特斯拉推送基于“端到端”AI技术的 FSD V12，打破了自动驾驶长期的技术寒冬，但行业对于端到端算法成熟度与终极路线依然高度割裂。 (0:00) 自动驾驶在感知层分为以激光雷达为核心的多模态融合派与以摄像头为主的纯视觉派，两派在成本控制、算法复杂度与传感器冗余上各有权衡。 (5:00) 纯视觉方案面临“视觉欺骗”和缺少直接 3D 深度信息的风险，且摄像头在物理机制（如像素、自动变焦等）上无法完全媲美人眼。 (10:00) 特斯拉现有的车身传感器架构存在物理视觉盲区，若要实现真正无需人工干预的 L4/L5 级别 Robotaxi，必须调整传感器位置或增加硬件。 (15:00) 高精地图（HD Maps）的存废本质上是一笔商业经济账：量产乘用车因全域覆盖与维护成本巨大推行“无图方案”，而 Robotaxi 精细覆盖核心盈利区域依然依赖高精地图。 (15:00)

特斯拉推送 FSD V12 引发了端到端技术能否开启自动驾驶“第二春”的讨论，但《硅谷101》对数十位行业专家的采访显示，业内在感知路径、算法黑盒安全性以及 L2 能否跨越至 L4 等核心问题上依然存在深刻的分歧与割裂。 感知方案与经济账：纯视觉与多模态的路线对抗 (5:00) 在感知层面上，行业长期分裂为以 Waymo、Cruise 为代表的多模态融合派，以及以特斯拉为代表的纯视觉派。多模态派依赖激光雷达（LiDAR）等传感器直接获取精确的 3D 空间坐标，降低算法难度并提升系统鲁棒性；纯视觉派则主张道路本身是为人类视觉设计，前特斯拉工程师于振华认为摄像头已蕴含足够信息，过多传感器反而会因融合复杂成为算法负累。前 Cruise 专家张行等人则反驳称，摄像头固定焦距和像素无法模拟人眼的动态变焦与跳跃式注意力，缺乏真实 3D 参照物会导致系统面临把白卡车误判为天空等“视觉欺骗”风险。 高精地图的取舍同样反映了商业考量的差异。高精地图采集成本约为每公里 5000 美元，覆盖全美需耗费逾 33 亿美元及高昂维护费，特斯拉、华为等乘用车企因而推行“无图方案”以控制成本；而 Waymo、Cruise 等 Robotaxi 企业则因全美前五大城市集中了近半出行需求，选择精细化覆盖核心区域以算清经济账。此外，业内专家一致指出，特斯拉现有量产车架构存在明确的视觉不可达盲区，若要落地 L4 级 Robotaxi 必须调整传感器或补充硬件冗余。 端到端技术重构：拟人化突破与黑盒陷阱 (20:00) 传统自动驾驶基于人工规则库（Rule-Based），面临感知到规划的信息级联损耗、无法穷尽长尾场景（Corner Cases）以及每增任务便需重构接口等不可扩展难题。特斯拉 FSD V12 率先实现了纯神经网络端到端量产，将感知、预测与规划整合至统一模型，删除了超过 30 万行人工 C++ 规则代码。实测表明其在环岛和防插队等复杂场景中的拟人化表现大幅提升，但在无保护左转等极限路况下仍需人工接管，距离真正无人化尚有距离。 与此伴生的是不可忽视的“黑盒效应”。纯端到端系统缺乏可解释性，出现致命错误时无法精准 Debug；同时存在“灾难性遗忘”隐患，新训练数据可能破坏既有技能（如 FSD 12.4.2 因混入错误接管数据导致模型退化）；且系统缺乏传统代码的硬性安全边界（Hard Rules）。行业专家刘宾燕指出，车机屏幕可视化与底层控制逻辑存在撕裂风险（如识别到行人却不减速）。此外，端到端对硬件位置极度敏感，传感器微调即需推倒重训，工程适配门槛极高。 仿真局限与常尾问题的概念解构 (40:00) 为克服数据匮乏与极端工况测试难题，行业尝试借助生成式仿真系统（Simulation）进行虚拟训练。然而专家指出，由于仿真环境难以精准还原车辆与周边动态参与者之间的复杂博弈，行业至今无法通过仿真彻底解决现实道路的行为偏移（Domain Shift）。 针对困扰行业的罕见动物或路面障碍等长尾问题，前特斯拉工程师于振华提出不同看法，认为这在工程上属于“伪命题”。他主张系统无需细分并识别所有罕见物体类别，只需将未知目标统一抽象为“路径阻挡物”，通过通用的减速、刹车或避让逻辑即可从底层解决通行安全。 责任与冗余天堑：L2 难以直接演进为 L4 (45:00) 业内专家对特斯拉现有车型通过软件升级直接跃迁至 L4 Robotaxi 持普遍悲观态度。L2 辅助驾驶与 L4 无人驾驶的本质分水岭在于法律责任主体：L2 以人类驾驶员为首要责任人，核心考量是降本普及；L4 则由自动驾驶运营公司承担事故全责，追求的是百万分之一级的故障率（MPI）、极端冗余设计乃至远程脱困协助。 前无人驾驶创业者侯晓迪直言 L2 无法演进至 L4，类比“海豚无法在人类主导的地球文明下进化出文明”，成熟 L4 建立的安全冗余壁垒远非廉价传感器方案所能替代。同时，Cruise 和 Argo AI 等 L4 企业的实践表明，L4 算法极度依赖昂贵的高精硬件，一旦剥离硬件去适配低算力乘用车，系统便无法运转，证明两者底层技术栈各有侧重，并不存在单向的降维压制。 自动驾驶行业在端到端技术的驱动下重获关注，但技术落地仍深陷黑盒不可控性、纯视觉物理盲区以及商业冗余成本的博弈之中。L2 辅助驾驶与限定区域 L4 运营各有其生存逻辑，自动驾驶究竟能否跨越法律责任与系统鲁棒性的鸿沟，仍有待更严苛的现实与商业验证。

[5:00] 于振华: 去掉毫米波雷达不是为了成本……主要的根源的原因是纯视觉已经胜过毫米波雷达了。 [10:00] 于振华: 这个世界的道路都是给人和视觉设计的……除了视觉之外，你采集的信息你可以认为都是 noise。 [30:00] 刘宾燕: 显示说他看到前面有一辆大卡车，不代表他的模型真的认为前面有一辆大卡车……如果这一点被破坏了，那将是非常非常恐怖的。 [40:00] 于振华: 对于很多常尾问题，我们是包裹成一大类问题的……见到我没见过的物体，我不知道是什么东西，它有一坨东西在我的前进路径上，我怎么处理？停车呀。 [45:00] 侯晓迪: 我不支持 L2 可以进化到 L4、L5……加一时海豚能不能进化出文明来？我觉得有可能，但是我们要知道地球文明已经容不下海豚去进化了……当人拿起这个标枪的时候，就没有海豚去产生文明什么事了。

[0:00] 无人驾驶真的能落地吗人类从1921年提出无人驾驶的幻想到研发推进已经消耗了无数的时间与资金花了那么多钱但是实际上这些钱有多少是用在探损上的到了今天事故频发烧钱股指尽进度缓慢引发了众多的不解与质疑无人驾驶是否是一场骗局甚至行业已死这个行业啊真的是我见过最分裂的行业之一了各个派系的观点各不相同互相瞧不上互相指责那神仙打架之后啊又各干各的各采各的坑各倒各的币各花各的钱那么结果就是在2024年之前啊无人驾驶走入了寒冬革命记录的低潮期啊但是呢这个寒冬啊到了2024年因为马斯克的高调入局似乎呢又出现了一些新的生机和希望2024年上半年特斯拉开始陆续更新自动驾驶系统FSD的V12版本号称通过端到端AI技术重构了特斯拉的FSD技术我觉得给自动驾驶带来第二个春天公众能够感知到特斯拉FSD的效果确实比之前的好了一大截但在我们试驾的过程当中依然出现了好几次比较惊险的需要人为接管的情况但这丝毫不影响马斯克信心大增宣布要在今年8月8号发布特斯拉的Robotaxi话说马斯克早在2019年就承诺特斯拉在2020年会拥有100万辆户人驾驶出租车可能马斯克狼来了惯了所以8月8号这个听起来不太实际的日期也没有被业内人士当真我不认为8月8号会落地这个可能性基本为零果然特斯拉Robotaxi的发布会是再次的延后了那这一次呢是延期到了10月10号我们在等待马斯克给出的这个新的时间点上他会不会再次的放鸽子的同时我们硅谷101想再次的探寻一下自动驾驶技术的发展现状特别是让马斯克信心倍增的端到端技术算是自动驾驶界的ChartGPT Moment吗我是同意这个观点我个人也非常同意我非常同意你说这个观点端到端能否带领我们走向真正的无人驾驶呢我觉得这个算法也不成熟我觉得还没有达到L4的标准自动驾驶中定义的L2与L4之间真的相隔甚远吗今天的特斯拉的FSD已经距离L4已经非常非常接近了咱们不要分享宣传FSD叫幅度驾驶它不是无人驾驶但我觉得并不是说我们的技术路线或者技术深度会比L2高如今无人驾驶技术发展到哪一步了这个技术我觉得是接近于很成熟的一个状态对于整个行业而言我从来没有这么乐观的估计纯视觉与多模态之争真的没有尽头吗可能大家殊途从归为了探究无人驾驶行业到底发展如何我们历史三个月采访了全球市场上最前沿的无人驾驶公司包括Waymo Cruise的前核心员工前特斯拉FSD工程师一二级市场投资人等多达十多位自动驾驶界的专业人士我们原本希望得到一个确定的答案却发现这个行业依然还是那个割裂的行业在很多技术路线的选择上业内并没有达成共识而非共识的科技前沿正是我们硅谷10要最感兴趣去探索的方向这期视频我们将从感知算法产品运营经济还有法律等等多个角度全方位一起来讨论一下如今的自动驾驶接触最前沿的现状那么这期视频我们分为了上下两集确实有点长但是看完之后相信会让大家对这个行业的最新进展拥有更全面的人知那么接下来就让我们开始吧首先我们来做一个概念区分无人驾驶和自动驾驶的区别是什么呢根据智能化程度的不同自动驾驶被分为L0到L5共六个等级L0为无自动化L1指驾驶原柱L2指部分自动驾驶L3指有条件自动驾驶L4指高度自动驾驶L5指完全自动驾驶即真正的不人驾驶我们之后在视频中提到的Vimo和Cruise以及侯晓迪做的无人卡车都属于L4级别特斯拉FSD属于L2级别但马斯克号称将要做的特斯拉Robot Taxi却是L4级别的所以目前在这个产业当中人们说无人驾驶一般就指的是L4的公司因为现在还没有人能够做到L5而一般说自动驾驶则是包括了所有的level是更加fine的一个称呼好了这个区别我们了解之后呢再来看一下自动驾驶产业是怎么开始的尽管早在100年前人类就开始探索无人驾驶但是公认现代自动驾驶正是起源于2004年美国军方的DARPA挑战赛经过了几年的发展之后形成了感知Perception规划Planning [5:00] 控制 control这样的运行链路其中感知模块包括了感知和预测感知层需要通过雷达摄像头等传感器获取前方路广并且预测物体的运动轨迹实时生成一张周围环境的地图也就是我们在车上常见的鸟览图再将这些信息传递给规划层由系统根据算法来决定速度和方向最终再下放到执行层控制应对的油门制动和转向机后来随着AI的兴起人们开始让机器自己去学习如何开车先让算法到仿真的数字世界里面开车等仿真训练到一定的程度就可以开始上路测试而最近这两年随着特斯拉端道端方案应用在FSD V12的版本当中感知决策控制的运行链路也开始改变这点我们在后面分析端道端的时候会讲到接下来我们重点来聊聊自动驾驶产业在感知这个层面的两派技术路线纯视觉派与多摩泰融合派那么这两个派别在过去很多年一直在打架各说各的好我们就来讲讲他们的恩怨情仇目前汽车主流的感知方案分为两种第一种是不少公司采用的多摩泰融合感知方案会将激光雷达毫米波雷达超声波传感器摄像头惯性测量单元等传感器采集的信息进行汇总融合来判断周围环境回到我们上一章说到的DARPA挑战赛2004年第一季当中虽然没有任何一辆车玩赛但是一位叫做Dave Hall的参赛者在比赛当中意识到了激光雷达的重要性在比赛结束之后他创办的Valondai公司开始从做音响展现了做激光雷达当时的激光雷达还是单线扫描只能对着一个方向测距而David Hall就发明了64线机械旋转式激光雷达可以360度扫描环境后来他带着这台旋转式的激光雷达参加了2005年的第二届DARPA挑战赛那终于有台头顶着五个激光雷达的车完赛并且取得了冠军但是这并不是David Hall的车它的车辆中途因为机械故障而退赛了不过它的表现确实让大家意识到了激光雷达确实是个外挂那么到了2007年的第三届导台挑战赛当中完赛的六支队伍当中五支都用到了王老大尔的激光雷达至此激光雷达开始成为自动驾驶界的香波波王老大尔也成为了车载激光激光雷达的龙头企业现在不管是CruiseWaymo基于F4在做的一些Solution都是基于激光雷达为主然后它可以直接拿到位置信息这样的话对于算法本身的要求就是相对会比较低一些然后很多可以直接通过Sensor来拿到这些3D的信息这样对系统的鲁帮性还有对于安全性一些Longtail Case会比较轻松另一个技术派别就是以特斯拉为代表的纯视觉方案了只靠摄像头采集环境信息然后利用神经网络将2D的视频转换为3D的地图其中就包含了周边环境的障碍物预测的轨迹速度等信息相比激光雷达方案直接生成3D地图纯视觉是多了一道2D转3D的过程那在张行看来纯靠视频这种缺乏3D信息的训练数据会给安全性带来一定的挑战它就需要大量的training data去学出这样一个缺乏3D的信息这样的话我们缺乏一个supervision因为没有一个参照物很难去拿到一个现实中的一个ground truth这样的话如果完全去通过这种半监督的学习方式想要达到系统的安全性我觉得是比较难的我觉得主要一个目的还是控制成本包括一些换挡的机制都是为了节约一些零部件方面的成本但是在特斯拉的前AI工程师于正华看来选择纯视觉路线并不只是节约成本那么简单其实特斯拉原来的增加驶系统是有毫米波雷达的传染器融合其实是一个很复杂的算法就是它做坏的并不一定好然后我当时有一辆车是最后一批有毫米波雷达的车在2023年的时候我的车进行了一次保养service工程师就自动把我的雷达给去除了我想说的这一件事情的结论是什么呢去掉毫米波雷达不是为了成本因为我的车已经有毫米波雷达了已经有在那放着了主要的根源的原因是纯视觉已经胜过毫米波雷达了所以特色在做减法把一些不他认为不需要的冗余的事情去掉或者说累赘的事情去掉那于振华就认为如果融合算法做不好或者通过纯视觉就已经能够达到足够好的效果了那么更多的传感器反而成为了累赘那接受我们采访的很多L4从业者也同意信息并不是越多越好反之传感器 [10:00] 收集到了太多额外的无效信息会加剧算法的负担那么马斯克一直倡导的光扣摄像头这一种传感器到底行不行呢那马斯克就说了既然人类仅通过两只眼睛就能够开车那么汽车也可以仅凭借图像信息来实现自动驾驶但是业内对于纯视觉派的担心一直是视觉欺骗那这在过去也确实带来了不少的事故比如说特斯拉将白色卡车识别为天空把月亮识别为黄灯又或者理想把广告台上的内容识别为汽车导致高速急杀追尾等事故这些案例是否意味着少了深度信息的纯视觉方案存在着先天性不足呢多个信息流确实能够给你提供更多的信息但是你要解答一个问题就是摄像头本身难道它的信息不够吗还是你的算法去挖掘它信息的算法能力不足比如说这种紧急的刹车在城市道路之后有这种顿挫感其实它的根源就是因为它对周围物体的速度估计它的角度估计不足如果是这个原因机关雷达确实要比摄像头要好很多因为它能够给你提供更直接的信息就是摄像头本身其实也给你信息了只不过我们的算法不足够好能够挖掘出这样的信息那于振华不认为视觉欺骗的根本原因是摄像头的信息不足够而是算法不足以处理或者挖掘摄像头给的信息他认为说特别是在特斯拉FSDV12算法推出之后人家证明了当算法得到了巨大的优化那么摄像头信息的挖掘和处理就能够得到明显的进步今天的V12它不是完美有很多的问题但是我到目前为止没有发现哪一个问题是由于传感器的不足当然在V12之前确实我很多很多是由于传感器的不足但是今天V12没有这个问题但是L4的从业人员就有不同的观点了他们认为摄像头就是有天然烈士的我个人觉得是有难度的就是不一定是算法本身的问题比如说这个camera本身它不像人眼这么复杂每个摄像头它有一些参数它有它的局限性然后就是算法本身的话其实人不需要知道这个200米范围内所有的车的动向都在哪里我只知道哪几辆车哪几个行人可能影响到我的车的行为我只关注在这几个点上就够了我也不需要很大的comput Power可能并不是短期能够能够算法来达到的这个高度我觉得激光雷达才作为是一个方式的补充从事L4研究的张行就认为摄像头无法与人眼媲美主要原因是在于摄像头的焦距和像素是固定的而人眼的精度非常高并且可以自动变焦同时人类跳跃式的思考模式短期之内也无法应用在计算机上所以使用激光雷达才能够补充时尚头的缺陷但是市面上也有其他的看法认为就算除了视觉信息其他的传感器也会带来干扰信息比如说激光雷达也存在自己的缺陷由于是通过激光测距在面对一些反射物体雨雪天气或者其他车发射的激光的时候会对激光雷达带来干扰最终造成幻觉效应我是非常坚定的纯视觉派这个世界的道路都是给人和视觉设计的也就是说除了视觉之外你采集的信息你可以认为都是noise当然你可以采集到但是那些信息提供的noise和它提供的真正的价值到底最终是什么样的分布我觉得在视觉越做越好的情况下可能反而是完全相反的如果能做好多传感器融合算法让激光雷达与图像信息互相验证或许会让系统的安全性更进一步的提升那侯晓迪爱就提出了一个形象的类比两个同等水平的学霸在考试的时候最终一定是使用计算器的学霸会更轻松只是经济基础决定了买不买得起计算器而已那么是选择纯视觉还是选择以激光雷达为主的多模态融合方案这个辩论已经持续了数年并且似乎短期内也不会有共识的答案或者对于一些创业公司来说什么路线根本也没有那么重要而成本和经济账才是最重要的我曾经被认为是视觉派的是因为当时买不到激光雷达所以逼着我们不得不去在视觉上多去找解决方案我也不反对激光雷达激光雷达是不是便宜了我第一个去排队激光雷达确实便宜了所以我也在排队买激光雷达对我来讲就是抓着HOT的都是好猫我们只要这个设备的成本足够低只要这个设备能从信息论意义上给我们提供有足够有价值的信息我们就该去用它中国的自动价值圈很快的就把这些硬件比如说激光雷达毫米波雷达我们就把它做成了白菜价那么在这种状态下是不是还要维持像特斯拉那样做纯视觉其实很多公司现在 [15:00] 那我是1000多块钱买一个固态激光雷达还是说我用纯视觉但是对算力上会造成很大的浪费我觉得1000块钱太贵了特斯拉连雨量传感器都不舍得用但是我觉得随着供应链scale的上升成本的大幅下降在激光雷达能做到和一个摄像头相似的价格的时候特别是在端到端的这样一个应用场景下是不是纯视觉还是一个唯一的路径那有意思的是随着激光雷达价格大幅度的下降业内开始对特斯拉即将发布的无人驾驶出租车是否会用上激光雷达产生了分歧那比如说张行就认为由于Robotaxi没有人类干预而且出了事儿需要企业负责那么特斯拉可能会选择更加保守的路线会用上曾经桥布上的激光雷达特别是他需要去为一些事故负责的时候他需要更加的保守我觉得它是可能是非常需要这样一个额外的 sensor从这个角度看的话我觉得就是Tesla可能会采取一些它之前鄙视的一些技术只要这个东西有用能达到它L4的目的它会逐渐去采用的最近我们也发现Tesla它在做这个L4 L5的一些方面也在考虑它也在跟激光雷达的一些厂商也在聊一些合作所以说可能大家殊途同归今年激光雷达制造商Luminar发布了第一季度的财报显示特斯拉的订单达到了10%成为了最大的客户而于正华却不以为然认为这并非是什么新鲜事首先它肯定不是为了以后量产车上使用激光雷达因为这个Lumina它这个第一季度好像是20个million它的总收入然后10%的话就是2million2million也不够装几个激光雷达特斯拉其实它的工程车上测试车上装激光雷达大家都已经发现了这也不是什么秘密了那个激光雷达的主要就是用来采集这个训练神经网络的Ground Truth那么它的Ground Truth哪里来呢那就是从这个激光雷达因为工程无法标准那个物体距离你有几米这个事情你必须要用专门的传感器来进行标注但是这个Lumina为什么在第一季度这个来披露这件事情我其实也非常confused因为马斯克当时就回应了说我们叫V12了之后我们不需要这个ground truth了因为是end to end了这个占用网络是一个是V11的一个时代的事情就我可能是觉得这里面有一些误解就是从这个财报上或者就是说它财务规则上虽然目前不确定特斯拉即将推出的Robotaxi是否会搭载西光雷达但是有一点可以确定的是以目前特斯拉的感知配置安全性还不足以达到L4或者能运行Robotaxi的程度我非常确定现有的特斯拉的这几个车型都有非常非常明确的盲区就是视觉不可达的盲区而这个盲区就造成如果它想实现最终的不管是L4 L5的增价是它的下一款车一定需要解决这个盲区问题那关于特斯拉最新的端到端技术更新以及10月份将公布的Robotaxi细节猜测我们会在第三和第四章节再详细的拆解那么接下来我们就来探讨一下感知上的另外一个重要的技术高精地图除了激光雷达之外高精地图也是自动驾驶感知端当中的成本大头高精地图就是提前去采集道路信息降低感知模块会指3D地图的压力并且提高准确性那么说来也巧最早推行高精地图的人正是2005年第二届DARPA挑战赛的冠军那个头顶了五台激光雷达的车主Mespasian Throne在2004年Dorpa挑战赛的时候谷歌正在筹备接请项目谷歌创始人Larry Page亲自到了比赛现场去物色人才在2005年比赛结束之后Page找上了Sepassian Throne邀请他下属谷歌并且将绘制地图的工作交给了他在这个过程当中Throne和Page突然就意识到如果有一种能够精确记录所有的车道线路标信号灯等道路信息的地图那将会对无人驾驶带来巨大的帮助这也奠定了高精地图在无人驾驶项目中的重要地位但是制作高精地图非常的昂贵自动驾驶公司采集高精地图的平均成本大约是每公里5000美元如果要覆盖全美国660万公里的道路光是采集成本就达到了33亿美元再加上地图频繁的维护成本最终消耗的将是无法想象的天文数字现在已经有不少车企纷纷在宣传舍弃高精地图的无图方案主要由车辆在本地构建环境地图我们匿名采访的一位自动驾驶工程师就对我们表示这些对比宣传更多的其实是出于商业模式的考量对于做Robotaxi生意的企业来说用上高精地图能够用的 [20:00] 增加安全性而对于车企来说呢舍弃高精地图能够有效的降低成本所以并不意味着舍弃高精地图技术水平就会更高这个地图采集的过程实际上是相对来说比较花时间人力成本的然后他也需要专业的这个地图采集设备所以你不可能就是说在你如果是做这个量产车的生意的话你不可能说我这边有一个地图采集车我把全中国都给你跑遍了对吧这个是不现实的像特斯拉华为理想等L2的公司抛弃高精地图是因为无法覆盖每一条大街小巷而Waymo Cruise这样做Robotaxi的L4公司选择继续使用高精地图是因为他们发现只需要覆盖一些关键的城市就能拿下足够的市场了所以是否使用高精地图成为了Robotaxi公司的经济账问题而不是技术问题如果你单看Robotaxi的这个business的话然后你把美国的这个Robotaxi的需求来划分的话你会发现前五大的城市它已经占有了全美一半的This is the volume不需要把它的全美任何一个地方都轮跑其实你就已经有一个相当大的一个市场了类似的我们采访的另一位一座L4自动驾驶卡车的嘉宾也分享到他们如果要扩大运营路线也就是扩充高精地图的覆盖范围就得先衡量一下这条路线是否赚钱否则呢也只是赔本转腰盒那这么一圈聊下来啊在赶至端上业内也没有统一的一个看法就像侯小迪说的抓到耗子的就是好猫那么接下来我们再来重点聊聊大家最近非常关注的自动驾驶算法层面的最新进展特别是特斯拉近来大肆宣扬的端到端到底是个什么技术呢它真的会改变自动驾驶的行业方向吗那在视频开头啊我们已经说到传统的自动驾驶的运行列路呢是先感知预测再规划最后再控制感知模块要先通过摄像头雷达等传感器识别道路把这些信息翻译成机器能够看懂的语言传递给预测模块预测模块就会判断其他车辆行人的行驶轨迹再把这些信息传递给规划模块去找出风险最低的一条路最后再将控制信号传递给操控系统这时候的算法主要靠规则库Rual Base来驱动工程师需要不断写入各种的规则比如说遇到行人得减速遇到红灯要停车等等为了考虑各种情况规则库就得尽可能的覆盖到各种的可能性相应的代码也就非常非常的长了这样的算法有哪些难点呢那么最大的问题就在于系统被划分成了不同的模块但是模块之间的信息传输会有所损失如果下游无法拿到全面的信息预测和规划的难度就会增加举个前线一动的例子大家都听过多人传话游戏吧10个人从头到尾传递一句话但经常这段话经过多人传递的过程细节就会被丢失或者篡改以至于到最后一个人那里的时候意思就大向径庭了那么类似的在传统的rule based模式下如果上一层模块做的不够好那么会直接影响到下一层的表现那另外一个缺点是规则都是由人工设计定义的但是有限的规则无法去覆盖无限可能的现实情况一些不常见并且容易被忽略的问题机器就难以拿出应对的解决方法了那么这被称为常委问题Longtail Case也被称为极端情况Corner Case那么这就会导致规模化落地的成本非常的高还有一个就是在分两个模块的时候我认为这个技术是很难scalable的为什么呢你每次要在一个现实的复杂场景中你如果新加一个task那么你就要新加一些借口新加一些借口你就要去改变感知改变控制规划比如说我们特斯拉你举个例子前几年NHTIC美国监管要求特斯拉能够检测到紧急车辆就emergency vehicle比如说消防车救护车之类的你在感知上你就要要求要去检测这个然后控制规划也要做这个这只是一个例子这只是一个task可能会成百上千这样的task你要去scale所以说在华为你知道有几千个工程师6000个工程师好像是这样一个数据为什么会有新的工程师因为你会有这么多不断涌现的新的task出现环境越复杂task越多我认为这不是一个scalable模式 [25:00] 那这种方法还是比较老套,虽然说看起来如果做Robotaxi行业是比较零的一个方法论,但是它不能满足乘用车几百位上千万台车将来在全世界的路面上行驶。那有什么样的办法能够解决这些问题呢?那么这时候就得聊到端到端,end to end了。在自动驾驶领域内目前主流的端到端定一时传感器收集到的信息不加任何处理传递给基于神经网络的大模型并且直接输出控制结果也就是说不再需要人为编写各种规则让算法跟着投位的数据自己学会如何开车因为我们人类开车我们脑子里并不是去判断某辆车的速度和角度的你就是通过一个复杂环境来下意识地来做出你的决策这样算法更像人因为人就是这样运转的那这样的思考逻辑正是马斯克带领特斯拉的前行方针那也能不奇怪为什么端到端技术在自动驾驶里面并不新但是却被特斯拉第一个做出来虽然2023年底特斯拉才第一次将用上了端到端的FSDV12退出但是在自动驾驶界端到端并不是什么新鲜事其实早在2016年英伟达就有论文提出了端到端的概念而现在端到端也分为两种一种是把部分模块替换成神经网络这种分模块的端到端只是一种过渡形式并不是完全体因为各个模块之间需要传递信息依然要定义各种接口造成数据的损失而在主流观点当中只有将多个模块融为了一个整体去掉了感知层预测层规划层这样的定义才算纯正的端到端2023年CVPR的最佳路文Planning Oriented Autonomous Driving就提出过过去的端到端要么只运行在部分模块上要么需要在系统中插入一些组件而这篇路文提出了UniAD的模型架构是首次将所有的感知预测规划模块都整合到了一个基于Transformer的端到端网络框架下那相比传统这种Rule Based规则驱动的执行链路端到端不再需要算法工程师去反复的完善规则库所以才有了马斯克发布FSD V12的时候宣称的其代码从30万行缩减到了2000行虽然自动驾驶当中端道端技术不是特斯拉发明的但是特斯拉确实是第一家公司把神经网络端道端技术做出来并且推向主流市场的2023年11月特斯拉发布了FSD V12的第一个测试版本但仅向选定的员工开放到了2024年年初特斯拉开始将FSD V12版本免费开放给美国地区的所有特斯拉车主这意味着每位车主都有一个月的免费使用权限FSD V12推出之后是一时间掀起了渲染大波从用户体验上我们看到大部分的舆论都认为比之前特斯拉FSD的功能进步非常之大甚至很多人认为这是自动驾驶界的Charge BT Moment真正上我觉得进步的是这个planning就是规划比如说过环岛因为这个过环岛其实是在传统的planning方向上面是挺难做的因为你要面对前面的车要cut in然后你还要出去这中间如何设置这种优先级你即使设置优先级你跟前车和旁边的车保持多少的这种距离你才能出去这是一个其实挺复杂的逻辑但是这个在新版的FSD上表现确实让我觉得很惊艳这是给我一个很大的惊喜不少体验过FSD V12的人表示这个通过人类驾驶数据来学习的系统驾驶风格非常像人不再有机械式算法带来的顿挫感但是与此同时也有嘉宾在体验之后认为FSD V12还没有好用到让人非用不可与L4之间还存在着一定的差距但是它没有好到GP4的那个moment就没有好到说这个东西让我是说我必须得用或者说我立马就要用我能够fitting在我的很多的场景里面去用Truway相对它的表现还是比较好的但在Local Road上我觉得基本上每开5个Mile左右我觉得就需要地形Gage一次尤其是在我们叫Unprotected Left Turn就是非保护性的左转它还是比较容易去做一些让我觉得不是很安全的一些行为如果你是这种MPI95的话那么你写MD Level 4的自动驾驶还有一定的距离我自己也体验了一把FSD12.4.4的版本和Waymo这类L4比起来目前的特斯拉FSD依然在某些时候会吓我一跳或者有时候会表现出莫名其妙的一些行为比如说在一个停车场出去要右转弯的时候由于它的转弯半径太大差点就撞到了对面的来车我们也不得不手动接管差点撞到对面的那个车What happened?就它这个转弯半径有点 [30:00] 然后它转弯的时候会压到对面的那个马路对面转过来一辆车所以就很危险从表现上来看端到端的FSDV12依然还有进步的空间但是从工程运营和管理的角度来说端到端的优势有以下的三点第一是能够让系统整体更加简洁去掉规则库之后只需要不断补充训练案例就可以进一步的提升模型的表现维护和升级成本也将大幅度的降低第二节省人力成本由于端到端不再依赖复杂的规则库因此就不必去配备庞大的开发团队甚至不用再依赖专家们第三能够实现更大范围的推广大家可以看到目前L4的公司只能够在限定的地区运行而抛开法规牌照的限制是因为非端到端的方案需要针对具体地区去做优化而端到端各个路况都能够应对更像一个通用的司机这也是为什么特斯拉FSD V12被比作差GPT的原因之一既然端到端有如此多的优势它能解决目前自动驾驶面临的技术问题吗我们采访的不少嘉宾认为在现阶段下进一步去发展端到端的路线是自动驾驶领域内公认的趋势但是依然存在着不少的问题这个方向是我觉得是一个正确的方向我们不可能通过一直在以打补丁的方式来做出一个scalable的L4 solution只不过是目前我觉得我们要快速达到一个L4的solution的话也不可能完全通过端到端的solution所以现在是一个矛盾的时间点为什么目前的端到端距离L4还有一定的差距那么这就要从它的不确定性开始说起了端到端就像一个黑盒子这就会带来比较多的不确定性比如说工程师无法验证输入的数据案例是否已经被模型学会或者遇到bug的时候无法定位到底是哪个环节出了问题又或者新加入的数据是否会导致已经学到的知识被遗忘或者被覆盖这种情况就被称为capastrophic forgetting灾难性遗忘比如说特斯拉的FSD12.4.2的版本那部其实早就做出来了结果大规模推送却花了很长时间马斯克就解释道因为投位的数据当中有很多人工接管的视频反而让模型的水平出现了倒退由于端到端的本质是模仿如果遇到的情况恰好在训练数据当中有相识的案例那就会表现得非常好但如果超出了已有的参考案例则会表现更差也就是说端到端对训练数据的数量和案例丰富性要求非常高就是在交通路口红灯的时候我们一定不去闯红灯就这么一个简单的路我觉得就是如果是Huristic Based我们可以很简单的就是一条EFFS我们就可以达到这样一个效果但是如果是一个完全端到端的模型它是完全Fully Learnable的最后它要学的这样一条路的话其实是非常难的所以我觉得短时间内端到端对L4是彻底的端到端还是有很大的gap我觉得这个算法也不成熟你没有一些hard rule所有的你设置的不能做的事情它都可以尝试去做一下于是就会在模拟里边就出现了很多一头撞过去的现象同时端到端带来的还有不可解释性这也是很多人担心的问题所谓的不可解释性就是改变其算法模型当中的任意一个权重节点或者层数都会让模型的表现产生难以预测的影响即使是模型的设计者或者训练者都无法知道中间的推理过程与之相对的是可解释性比如说在Rubase的模式下工程师已经写入了当检测到塑料袋飘过的时候可以继续行驶的规则那我们就不用担心遇到这种情况的时候会突然来个急刹车了大家看到V12里头它在那个屏幕上的显示也好了很多但是呢如果你仔细想一下它所谓的端到端这个显示是从哪来的如果这个显示来自于原来的这个模型那牵扯的一个问题就是我们实际上在这个模型里边已经加了一层人为定义的接口使得你可以从这个模型中的某一个位置提取出这个信息另一种我觉得是更恐怖的事情就是这个显示是完全走了另外的一个路径那也就告诉的是车上显示说他看到前面有一辆大卡车不代表他的模型真的认为前面有一辆大卡就是用来做控制的模型前面真的有一辆大卡车如果这一点也被破坏了那将是非常非常恐怖的就是说你看到他前面看到有一辆车但是他也有可能虽然说概率非常小但是你现在不能确定说是他不会撞上去了他是否是真正的端到端我实际有点怀疑或者说也许不是怀疑但是就是说这里边可能有别的危险性对于像自动驾驶这个对于安全系数要求这么高的行业来说端到端模型带来的不可解释性是不是硬币的另外一面由于目前特斯拉还没有完全公布FSD V12的技术我们并不知道FSD是否采用了多模块的策略但是我们发现已经有车主遇到了画面显示与实际行为 [35:00] 不符的案例比如说在YouTube上面的这段视频车辆构建的鸟篮图显示前方有人但是却没有表现出任何刹车的痕迹而是继续行驶过去那索性啊只是感知端的误解没有发生事故这个案例虽然可以看出在端到端算法下上层错误不会影响下层决策的优势但是也表现了规划层偶尔会不认可感知层的结果是印证了刘宾燕的担忧那不可解释性是否会成为阻碍端到端发展的一大难题呢接下来就是我们看到的第三个冲突了我认为是这样的就是AI的一个很严重的问题就是它在理论的性是远远之后的AI没有告诉你这个一定work一定不work所以说它是一个实验性的学科它不算科学我认为是一个实验性的学科就需要一个大量的验证就威时尔是全面碾压威时宜所以说这是结果说话的一个问题那难道你还去会想哎呀端到端有这个不可解释性那些什么什么什么因为它全面碾压对吧那就是一个非常无脑的你就应该往下走余真华就认为AI作为实验性的学科只要结果达到了预期就能够证明方向正确应该继续的推进而侯晓迪表示呢V12表现大幅度领先于V111只是因为V11的基础太差而表现距离真正的无人驾驶还比较远如果真的是Full Self Driving以L5来去限制的话它一定要过一些监管部门他们需要有一个可解释性或者可预测性再加上对于世界上有这么多的城市就在美国来说它每个城市它可能都会有不一样的法律法规这个车无论从硬件软件上是不是需要去适应当地的法律法规变成了能不能scale的一个很大的问题端到端不能通过人为定义规则来对模型进行微调所以能不适应不同法规成为了端到端规模化的一个挑战同样影响规模化的因素在于端到端对数据量和传感器更加的敏感端到端有一个非常严酷的问题就是它对sensor对传感器会更敏感也就是说当你换了传感器或者换了传感器的分布的时候你这个模型可以说得完全冲头去从另一个角度来说工程上不可接受或者说我们无法想象之后全世界路上跑的都是同一款车一旦更改了传感器的分布就会让模型失效得重新开始训练那为了训练又得采集大量的数据必然会带来巨大的成本美国财经媒体CNBC就报道称到2023年年初为了训练特斯拉FSD就用到了1000多万段特斯拉车主的驾驶水平而且这1000万多段的训练数据可不是随便使用的必须是驾驶水平比较高的人类司机否则只会让模型的水平越来越差所以训练端到端的模型不光要求数据多还得经过复杂的筛选那么这个过程中又得消耗大量的人力对于卖车多的特斯拉可能不在话下但是对于其他公司来说数据来源却成为了大问题很多主机厂因为盲目的追求特斯拉那套方法论导致有点被忽悠瘸了这套东西确实不适合90%的主机厂那这是否意味着其他的厂商真的无法进入端到端的领域呢虽然英伟达和特斯拉都是通过纯视觉来驱动端道端算法运行但是端道端实际上也可以接受多模态输入目前常用的毫米波雷达激光雷达超声波雷达等传感器在车辆上的位置相对固定特别是激光雷达基本上都在车顶上所以采用多模态接入的端道端就能利用不同车型采集的数据来训练模型而且留给主机场的设计空间也会更大那又这么一圈聊下来我们发现每种算法都各有前秋那种方式能够带我们彻底走向全无人驾驶的未来依然不明朗不觉得在当下有一个任何一个算法能又简单又scalable然后又能达到L4标准这个算法本身是不存在的这个领域是一个大家一起去推动的我觉得我是非常乐观大家会殊途同归虽然大家会稍稍有一点点不同的偏差无论是哪种算法最终要面对的是常类问题那么在传统rule-based的规则驱动模型下编写规则库需要庞大的团队消耗大量的精力而且还很难做到面面俱到那么有了端到端之后常类问题能够得到解决吗它解决了in general的case但是常委的问题我觉得依旧会存在明发就认为自动驾驶系统的容错率很低如果要将一个黑盒系统用在L4上那么就必须引入其他的安全机制但是这样又回到了Rubus模式下的成本问题开头我们也说到自动驾驶算法会先到仿真系统里面练习仿真训练可以及时 [40:00] 决定的成为问题吗目前还没有一个很好的方案能通过生成的这个 simulation data能够对我们的这个现实中的这个road behavior有真正有很大的帮助像自动驾驶或者机器人的领域里边这个环境是非常非常褚雅的就是你要仿真的话你仿真的不只是你自己这个车会未来怎么动主要困难的是当你自己的车的轨迹发生变化的时候你会影响周围的所有的车和人的行为也发生变化然后就是如何能够很好的仿真并且能够不出现迪士忧生 shift我觉得依旧是一个open topic既然虚拟的场景无法完全模拟出现实的这种可能那么这是否意味着目前业内没有办法解决常委问题只能靠漫长的积累经验呢某种程度上是吧但你也不用做到就是特别完美人类也不完美你要做的比人好就行人也有他的失误率你要做的比真的好就够了我觉得常委问题其实也是一个伪命题就很高兴你们提出来这个事情在我看来常委问题比如说我见到鳄鱼怎么处理我见到大象怎么处理我见到一个固定翼飞机停在高速公路上我怎么处理这些事情大家都觉得是常委问题但是实际上对于很多常委问题我们是那么的包裹成一大类问题的就见到我没见过的物体我不知道是什么东西它有一坨东西在我的前进路径上我怎么处理这种如果你把它包裹成了一个更general的一类问题的话它是很好处理的比如说我们曾经就见到有固定翼飞机停在高速公路上那我们的处理方法很简单停车呀对吧而常委问题到底是不是伪命题或者它是不是需要解决的问题这个话题可能大家都有自己的答案而常委问题对应的是L4甚至L5何时才能够大范围的铺开所以接下来我们就来看看L2和L4的激烈冲突我们在马斯克宣布推迟发布Robotaxi之前就询问了各位嘉宾的看法大家对此的看法非常统一那就是近年特斯拉的无人出租车是不可能上线的那大家观点如此统一的最大原因就是在于目前特斯拉已经有的车型达不到L4标准的无人出租车我非常确定现有的特斯拉的这几个车型都有非常非常明确的盲区如果他想实现最终的不管是L4 L5的增加是他的下一款车一定需要解决这个盲区问题而解决这个盲区问题回到我们刚才说的它一定要调整相机传感器的位置而调整这些位置立刻带来的结果就是之前这个模型会完全失效就是现有的车从视觉摄像头架构的角度来说是不可能达到可以完全无人接管的FSD的从这个角度来说它必须有一款新的硬件出现从Sensor角度它需要引入一些容易这个可能之前L2是不需要的在业内人士都不看好的情况下是什么原因让马斯克对推出Robot Taxi如此有信心呢我认为主要还是V12的几个技术突破作为马斯克他的性格他看到FV12今天这一刻在他的计划里面他就觉得Robot Taxi应该必须摆上日程所以FSD V12能够让特斯拉走向L4承担起Robot Taxi的重任吗和目前已有的Vimo或者Cruise相比起来差距有多大呢那么在采访胡小迪这个问题的时候他的回答让我们看到了行业内的另外一派的观点就是L2和L4的差距非常远首先特斯拉做的不是无人驾驶你看我刚才说了我们今天谈的是去掉人并且由软件开发公司承担责任的方案才叫无人驾驶咱们不要出下天传FSC叫辅助驾驶它不是无人驾驶所以做的不是一个东西目前被广泛应用在车企上的都是L2辅助驾驶比如说特斯拉 小米 华为等等而像Waymo Cruise 百度这样做无人出租车的企业则采用的是L4高度自动驾驶那抛开书面的概念定义这两者之间的本质区别就在谁来承担责任去掉人并且由软件开发公司承担责任的方案才叫无人驾驶假议笑话如果特斯拉撞死人了怎么办对英文化斯来讲It's not their business所以如果特斯拉想坐无人出租车就必须做到自己承担责任那辅助驾驶和自动驾驶时间从技术上又有哪些区别呢L4无人驾驶要解决的核心问题是什么是安全性是冗余是当一个系统的每一个模块都有可能会失效的时候这个系统还仍然能够保障最底线的安全这件事L4最难和最关键的部分在挣钱之前要先解决安全性的问题但是这件事情根本不是 [45:00] 另外一位L4自动驾驶研究员也分别从硬件和软件的角度分析了L2和L4之间的区别L4的解决方案首先是我们有比较强的sensor所以可能很难在L2场景里面去用起码不会用这么高精度的Linear但是它从算法角度可能L2公司更注重的是一些更有效能把成本降得很低然后不需要特别昂贵的sensor然后可能能更少的computer就可以达到这样一个效果其实L2其实不需要考虑这种百万分之一的caseL4追求的是1mm以上才需要引入一色的这个human的remote assistant就是达到追求的是这种百万分之一的case来我们来总结一下L4的方案采用的传感器精度更高芯片的算力会更加充足也能够应对的场景更加的全面但L2的方案当中首先要考虑的是成本问题所以硬件水平会稍低一些同时算法为了适应水平稍低的硬件会更加的注重效率而非安全那这样来说呢L2的接管频率就会比L4会高很多那么像特斯拉这样做L2的公司能否通过提升硬件与软件来达到L4的效果呢我不支持L2我们进化的L4L5我觉得这件事情又是一个带有很强这种外推属性的伪命题就是加一时海豚能不能进化出文明来我觉得有可能但是我们要知道地球文明已经容不下海豚去进化了因为已经有公司做出来了我这个公司就是为了能够最快速的把L4落地我落了地以后就没你什么事了这人拿起这个标枪的时候就没有海豚去产生文明什么事了在侯晓迪看来目前已有的L4公司已经筑起了技术壁垒了在激烈的竞争之下是不会给到L2公司进化的机会的同时也有人认为这并不意味着L4的技术就比L2更加的高级只是大家针对的场景的不同如果说真的L4比L2像大家所想象的在技术上是绝对的高级绝对的领先那么我想请问为什么L4技术不能够直接降级成L2事实上是在过去的很多年里面L4公司被迫由于它收入的压力它都在帮车厂去做L2但是它不能够简单的降级他基本上都要重新开发我们也知道在美国GM是拥有Cruise的L4公司福特是拥有Argo AI也是个L4公司为什么GM不能使用Cruise的技术在他的量产车上为什么福特不能使用Argo AI的L4技术在他量产车上所以说L4并不是比L2绝对高级在技术难度上我不认为你说你做L4了你就显得你非常非常高级那为什么L4的技术不能够直接降级成为L2使用呢张行对此解释说由于L4所采用的硬件规格更高而L2的算法必须要适应规格更低的传感器和算力较少的处理器才导致两者的技术无法直接的遣移那举个例子就像一位建筑设计师他被没收了电脑只给他精度不高的尺子和纸笔他也得重新适应一下新的画图方式对吧同时张航对于L2和L4的技术比较也是表现出了更加开放的心态L2铺设的范围更广需要面对的场景更多只需要解决基本的问题就可以而L4的覆盖范围有限所以关注的各种细节所以两者之间也是各有优劣的L4本身不能通过简单的去把已有的系统做简化去去容于就简单的去做一个L2的所入神但反之亦然我们L2在想做L4的标准这是一个很长的时间去磨练包括你需要很长时间的数据收集然后去积累但我觉得并不是说我们的技术路线或者技术深度会比L2高我觉得这个不一定可能很多并不是说很尖端的一些算法但是就是通过一些很细心的去design去解决这些很细节的一些常委问题屏幕前的你会支持哪个观点呢可以留言或者弹幕告诉我们在我们的采访当中这个问题在不同人的眼中都有自己的答案我觉得在普通的大众甚至一些L4公司会给大家灌输一个概念就是L4技术优于L3然后优于L2我觉得这个是一个脱开它的限制场景来误导大众我个人觉得还是会看好L4的公司因为这个逻辑上来说 [50:00] 是可以降维打击的而L2的话如果你只做这个你是升不上去的或者说非常非常难也实在上去其实在技术战上我觉得就没有说一个特别2的一个门块就比如说某家公司他今天他说他claim他做L2的公司那也许他明天他加了一些新的技术他也可以去做L4对吧就完全看他用采用什么技术或者说有一些什么新的科技突破对吧我再说一个不多驾驶要无人驾驶两个东西那由于视频长度的原因啊我们把自动驾驶的运营商业化还有宏观经济对自动驾驶行业的影响以及呢投资人如何看待特斯拉股价等等内容放在了下期的节目当中很快就会上线了大家别忘了关注我们的频道那感谢大家对我们硅谷101的支持你们的留言点赞和转发是支持我们做好深度技术和商业内容的最佳动力那我们下期视频啊接着聊自动驾驶的运营和经济片那我们就下次再见啦Bye