Ai4
Waymo证明通用大模型无法直接上车,唯有通过快慢思考双通道基础模型结合知识蒸馏与残余风险量化体系,才能在真实道路上跑赢人类安全基线并实现规模化扩张。
AI-assisted summary of Waymo's AI: Powering Safe, Superhuman Driving at Scale With Waymo — original source. Check the original for full context.
Source published:
Detailed notes
## Background 该视频由 YouTube 频道 Ai4 于 2025 年 8 月 24 日发布,主讲人为 Waymo 车载工程副总裁 Srikanth Thirumalai。视频简介指出,本场演讲深入展示了支撑 Waymo 快速增长的底层技术,阐述如何通过多模态感知、先进 AI 模型与前沿仿真技术,打造超越人类水准且值得信赖的自动驾驶系统。
## TL;DR Waymo 工程副总裁 Srikanth Thirumalai 深入剖析了 Waymo 达成超过 1 亿英里完全无人驾驶里程背后的技术架构。针对具身智能在现实世界中面临的高混乱度与毫秒级时延挑战,Waymo 研发了结合快慢思考机制的 Foundation Model,融合多模态传感器网络与驾驶专用 VLM。为了在车端与云端低成本高效运行,团队通过知识蒸馏将基础模型提炼为驾驶员、模拟器与评估器三大教师-学生体系。结合十余年打磨的量化安全就绪度框架,Waymo 在 7,100 万英里的实际运营中实现了严重人身伤害事故率降低 88% 的卓越安全表现,验证了其规模化落地的可行性。
## Atmosphere & style 整场演讲去除了繁复的客套与宣传包装,直奔硬核工程技术与底层系统架构展开,透着顶级科技巨头工程师沉稳、严谨且务实的叙事基调。演讲者以客观理性的数据开篇,随后层层递进地剖析模型拓扑与工程挑战,在穿插展示夜间行人避障与公交车盲区微弱激光雷达点云预判等震撼现实录像时,情绪从严谨推演自然升华至对具身智能关乎真实生命责任的敬畏。听众能够深刻感受到团队在面对极高安全门槛时,那种以深厚数据科学与量化指标为支撑的笃定与底气。
## Key takeaways - [00:04](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=4s) Waymo 在公共道路上的完全无人驾驶里程已突破 1 亿英里,并在旧金山、洛杉矶、凤凰城、奥斯汀和亚特兰大五大城市实现了常态化商业运营。 - [02:30](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=150s) 自动驾驶作为物理世界交互的具身智能(Embodied AI),面临不可预测的混乱现实环境、安全攸关容错率极低,以及决策必须在毫秒级内完成的三大核心挑战。 - [02:30](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=150s) Waymo 第五代硬件系统配备 29 个摄像头、5 个激光雷达、6 个毫米波雷达与 4 个音频传感器,构建全方位高精度的 3D 多模态环境感知。 - [04:55](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=295s) 通用视觉语言模型(VLM)具备常识推理优势,但因缺乏激光雷达/雷达模态、缺少底层物理控制映射且原生推理延迟过高,无法直接套用于自动驾驶。 - [08:19](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=499s) Waymo 基础模型采用“快慢思考”双通道架构:多模态传感器融合网络处理高频时空信息,驾驶专用 VLM 负责复杂语义与常识推理。 - [08:19](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=499s) 基于 Transformer 的动作解码器融合快慢双路径 Token,同步输出底层的车辆执行序列以及对其他交通参与者的运动轨迹预测。 - [11:02](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=662s) 通过知识蒸馏技术,Waymo 将庞大的驾驶员、模拟器与评估器三大教师模型压缩为轻量级学生模型,以兼顾车端低延迟运行与云端百亿英里级超大规模仿真。 - [11:02](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=662s) 模拟器教师模型(Simulator Teacher)充当高保真物理世界模型,利用闭环训练生成车祸险情、极端恶劣天气等长尾危险场景。 - [15:16](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=916s) 安全就绪度评估框架以“量化残余安全风险”为核心,利用数据科学方法将在高保真仿真中捕获的不良驾驶事件发生率外推至真实道路风险区间。 - [18:18](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=1098s) 7,100 万英里真实道路行驶数据表明,Waymo Driver 相比人类基线将严重人身伤害事故降低 88%,总体致伤事故降低 78%。 - [20:25](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=1225s) 激光雷达感知展现出超越人类视觉的极限能力,能有效应对无照明夜间突发翻越隔离带行人,或通过巴士底部稀疏反射点云提前化解盲区“鬼探头”。 - [20:25](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=1225s) 实现超级人类驾驶水准必须依赖全链路闭环工程体系:涵盖基础模型研发、驾驶场景适配微调、学生模型蒸馏与全流程量化安全验证。
## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=4s) 自动驾驶的使命与 Waymo 的规模化运营进展
Waymo 车载工程团队负责人 Srikanth Thirumalai 开场直接切入主题,省去了宣传片播放,将时间留给核心技术干货。他指出,自动驾驶之所以是一项紧迫的事业,源于一个令人痛心的数据:全球每年有超过 100 万人因道路交通事故丧生,而绝大多数事故完全是由人为失误造成的。15 年前,Waymo 作为 Google 自动驾驶项目起步,并在大约 8 年前独立拆分为子公司,始终秉承着“打造全球最值得信赖的自动驾驶系统”(World's most trusted autonomous driver)这一宏大愿景。
```mermaid flowchart LR accTitle: Waymo 商业化落地与规模化版图 subgraph Operations["商业运营城市 (Paying Service)"] SF["旧金山 (SF)"] LA["洛杉矶 (LA)"] PHX["凤凰城 (Phoenix)"] ATX["奥斯汀 (Austin)"] ATL["亚特兰大 (Atlanta)"] end subgraph Testing["极端工况与拓展测试 (Global Testing)"] Snow["暴雪极寒"] Heat["沙漠干热 (拉斯维加斯等)"] Rain["暴雨洪涝"] Global["国际化新城市"] end Operations --> Expansion["计划明年拓展至更多城市"] Testing --> Scale["超过 1 亿英里全无人驾驶里程"] ```
目前,Waymo Driver 在公共道路上的完全无人驾驶(Driverless)里程已突破 1 亿英里大关。全付费乘客服务已经在旧金山、洛杉矶、凤凰城、奥斯汀和亚特兰大五大城市常态化运营,并计划在下一年拓展至更多城市。与此同时,Waymo 正将测试拓展到包括海外在内的更广泛区域,直面拉斯维加斯酷热、极端暴雪以及倾盆暴雨等严苛天气的考验。
- **核心里程碑**:公共道路完全无人驾驶里程已超 1 亿英里(100+ million miles)。 - **已落地商业运营城市**:旧金山(SF)、洛杉矶(LA)、凤凰城(Phoenix)、奥斯汀(Austin)、亚特兰大(Atlanta)。 - **极端气候拓展**:暴雪、极端干热、强降雨及国际化多城市测试。
---
[02:30](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=150s) 具身智能的现实挑战与第五代硬件感知系统
自动驾驶不同于云端运行的传统生成式 AI,它属于在现实物理世界中直接交互的“具身智能”(Embodied AI),面临着三大本质难题: 1. **现实环境极度混乱且不可预测**:街道充满突发状况,例如乱窜的骑行者、脱离看护的幼儿、货车掉落的货物碎片、倒伏的树木、积水路段及分心的司机。 2. **安全攸关(Safety-Critical)**:系统的决策容错率极低,犯错成本极其高昂。 3. **极苛刻的实时性要求**:云端大模型可以消耗数秒生成回答,而车端具身模型必须在“数毫秒”(milliseconds)之内做出攸关生死的操控决策。
为了应对真实世界的复杂性,Waymo 采用了多模态传感器系统。当前的第五代硬件套件(5th-gen car)装备了 29 个摄像头、5 个激光雷达(LiDAR)、6 个毫米波雷达(Radar)和 4 个音频传感器,共同构建出车辆周围精准而立体的 3D 环境感知。现场展示了一段极具挑战性的街景视频:两只狗在马路中央追逐一颗球,后面还有两个人紧追着狗;系统通过激光雷达与摄像头的多模态感知,迅速捕获动态异常并指挥车辆稳稳停下。
```mermaid flowchart TD accTitle: Waymo 第五代多模态感知硬件配置 subgraph Sensors["第五代感知硬件架构"] CAM["29 个摄像头 (Cameras)"] LID["5 个激光雷达 (LiDARs)"] RAD["6 个毫米波雷达 (Radars)"] AUD["4 个音频接收器 (Audio Receivers)"] end Sensors --> 3D["全方位精准 3D 动态感知"] 3D --> Safety["毫秒级实时安全避障决策"] ```
- **第五代硬件配置清单**:29 个高分辨率摄像头、5 个激光雷达、6 个毫米波雷达、4 个音频接收传感器。 - **具身 AI 决策时延**:毫秒级响应,区别于秒级响应的云端生成式大模型。
---
[04:55](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=295s) 视觉语言模型(VLM)在自动驾驶中的潜力与局限
行业内常有一种观点认为,只需遵循 AI 的“苦涩教训”(The Bitter Lesson),直接借助前沿大模型并灌入海量数据,自动驾驶问题就能迎刃而解。但事实远比想象复杂。当前爆火的视觉语言模型(VLM)通过互联网海量数据预训练,具备广泛的世界知识与思维链(Chain of Thought)推理能力,在解析复杂语义(例如看懂极其繁杂的停车指示牌并判断“周三下午 4 点能否停车 1 小时”)上展现出惊人能力。
然而,现成的商业 VLM 根本无法直接用于自动驾驶,必须经过深度适配与微调: - **感知模态缺失**:通用 VLM 仅接受图像和文本,未曾融合激光雷达点云与毫米波雷达信号。 - **缺乏底层控制映射**:模型无法直接将感知环境转化为车辆可执行的底层动作序列(如加速度、转向角与制动曲线)。 - **实时性能不足**:原生长文本/长视频推理延迟过高,无法满足实时行车决策。
---
[08:19](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=499s) Waymo Foundation Model 架构:快慢思考结合的端到端体系
为了攻克这些瓶颈,Waymo 构建了专用的“Waymo 基础模型”(Waymo Foundation Model)。该模型采用 Encoder-Decoder 体系,融合了多模态感知网络与专门调优的自动驾驶 VLM,形成了类似于人类大脑“快思考与慢思考”(Thinking Fast and Slow)的双通道架构。
```mermaid flowchart TD accTitle: Waymo Foundation Model 双通道架构 subgraph Inputs["多模态输入源"] C["摄像头视频流"] L["LiDAR 点云"] R["Radar 雷达信号"] end
subgraph DualPath["快慢思考处理通道"] SFN["传感器融合网络 (Sensor Fusion Network)\n[多模态编码器 / 快思考]"] DVLM["驾驶专用 VLM (Driving VLM)\n[高级语义推理 / 慢思考]"] end
subgraph Output["动作生成与交互预测"] DEC["动作解码器 (Action Decoder)\n[Transformer 架构]"] ACT["底层执行序列 (转向 / 制动 / 加速)"] PRED["道路他车与行人行为预测"] end
Inputs --> SFN Inputs --> DVLM SFN -- "时空 Token 嵌入" --> DEC DVLM -- "高级推理 Token" --> DEC DEC --> ACT DEC --> PRED ```
在上方路径(快思考)中,多模态传感器融合网络(Sensor Fusion Network)对摄像头、激光雷达和毫米波雷达的跨时间流信息进行融合编码,输出高频的 Token 嵌入表示;在下方路径(慢思考)中,驾驶专用 VLM 实时解析复杂语义情境(例如前方停靠打着双闪的故障车,VLM 能推理出“该车辆抛锚受困,应当借道绕行而非死等”)。两大分支的 Token 最终汇入基于 Transformer 的动作解码器(Action Decoder),同时输出车辆动作控制序列以及对道路上其他交通参与者的行为轨迹预测。
- **双系统协同**:快路径(时空传感器融合)保证毫秒级低延迟响应;慢路径(Driving VLM)负责高层级语义常识与因果推理。 - **输出能力**:高精度车辆纵横向运动控制、他车及弱势道路使用者(VRU)行为预测。
---
[11:02](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=662s) 教师-学生大模型蒸馏体系:驾驶员、模拟器与评估器
基础模型虽然强大,但体积过大,无法直接在车端算力平台或云端数百亿英里的仿真测试中运行。Waymo 将基础模型适配并微调为三大高精度“教师模型”(Teacher Models),随后利用知识蒸馏(Knowledge Distillation)技术压缩为小巧高效的“学生模型”(Student Models),以满足实车运行与海量云端评测对延迟和成本的苛刻要求。
```mermaid flowchart TD accTitle: 教师模型微调与学生模型蒸馏架构 WFM["Waymo 基础模型 (WFM)"]
subgraph Teachers["三大教师模型体系 (Teacher Models)"] DT["驾驶员教师 (Driver Teacher)\n• 人类示范 & 1亿英里错误修正微调\n• 行为克隆 & 强化学习"] ST["模拟器教师 (Simulator Teacher)\n• 世界模型预测时空演变\n• 闭环训练 & 危险边缘场景生成"] ET["评估器教师 (Evaluation/Critic Teacher)\n• 监督微调检测危险驾驶行为\n• 结合内部 Bug 库与文档认知"] end
subgraph Students["学生模型落地 (Student Models)"] OS["车载端部署 (Onboard Latency)"] CS["云端超大规模仿真 (Cloud Simulation)"] end
WFM --> DT & ST & ET DT & ST & ET -- "知识蒸馏 (Distillation)" --> OS & CS ```
1. **驾驶员教师模型(Driver Teacher)**:以生成安全、合规、平顺舒适的行车动作序列为目标。使用海量人类驾驶示范数据进行微调,并融合了以往 1 亿英里无人驾驶里程中被算法与人工标记的错误工况修正数据,在后训练(Post-training)阶段结合了行为克隆(Behavior Cloning)与强化学习(RL)。 2. **模拟器教师模型(Simulator Teacher)**:作为高保真“世界模型”(World Model),任务是准确预测物理世界在每一个时间步的演进。它负责生成逼真多元的危险工况,包括事故、险情(Near misses)、恶劣天气、复杂路口甚至是高速公路上失控打滑的车辆,采用闭环训练(Closed-loop training)和强化学习进行优化。 3. **评估器/裁判教师模型(Critic / Evaluation Teacher)**:专注于分析、理解和自动捕捉驾驶日志中可能表征不当驾驶的异常事件。模型结合了人类标注数据以及 Waymo 内部的海量技术文档与 Bug 库,通过监督微调(SFT)精准识别行车瑕疵,判断系统在面对特定场景时原本应采取的正确动作。
---
[15:16](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=916s) 安全就绪度评估框架与量化残余风险
仅仅拥有强大的 AI 模型还不足以支撑安全的大规模扩展,Waymo 建立了一套历经十余年打磨的“安全就绪度框架”(Readiness and Safety Framework)。系统每一次软件发布与更新,都必须通过该流程对其上路就绪状态进行严格量化。
Thirumalai 强调,“量化”(Quantify)是该体系的核心。工程团队不能停留在定性分析,而是必须明确在特定软件版本中系统蕴含的“残余安全风险”(Residual safety risk)到底有多少: - **明确评估标的**:系统不仅排查碰撞事故(Collisions)、险情、不当停车与死锁停滞(Strandings),还会量化软件崩溃、安全漏洞以及整体驾乘品质。 - **构建高保真仿真数据集**:设计极具代表性的综合仿真驾驶场景,在云端大规模回放与变异测试。 - **前沿数据科学外推**:借助深厚的数据科学方法与专家经验,将在仿真环境中捕获的不良驾驶事件发生率,科学外推至现实道路运营规模下可能出现的真实概率区间。
---
[18:18](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=1098s) 真实道路安全数据与极端危险场景避险实录
基于 7,100 万英里(71 million miles)的真实道路行驶数据比对分析,Waymo Driver 的安全表现远超人类驾驶基线: - **严重人身伤害事故率降低 88%**(Reduced crashes involving serious injuries by 88%)。 - **导致安全气囊弹出的事故率降低 79%**(Reduced airbag deployment crashes by 79%)。 - **总体致伤事故率降低 78%**(Reduced overall injury-producing crashes by 78%)。
| 事故严重程度分类 | 相比人类驾驶基线的降低幅度 | |:--- |:--- | | **涉及严重人身伤害的事故**(Serious Injury Crashes) | **-88%** | | **触发安全气囊弹出的事故**(Airbag Deployment Crashes) | **-79%** | | **总体导致人员受伤的事故**(Overall Injury Crashes) | **-78%** |
除了宏观统计数据,演讲中还展示了具体的现实避险案例: - **黑夜行人跨栏翻越隔离带**:在深夜无光照环境下,两名行人突然翻越道路中央的 K-Rail 水泥隔离墩横穿马路。人类肉眼与车载摄像头在黑夜中均难以看清,但激光雷达(LiDAR)敏锐捕获到了两人的三维轮廓与移动趋势,系统提前微调航向远离隔离栏,从容规避了潜在伤亡事故。 - **旧金山交叉路口 Muni 公交车视线遮挡**:在旧金山一个繁忙路口,绿灯亮起时前方一辆旧金山城市铁路(Muni)公交车挡住了视线,系统依靠周边感知与盲区预判,在公交车驶离的瞬间提前探知被完全遮挡的行人,化解了十字路口的“鬼探头”隐患。
[20:25](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=1225s) 具身智能的安全边界与规模化落地闭环
在实际行驶场景中,Waymo 的激光雷达(LiDAR)传感器展现出了超越人类视觉的感知能力,例如能够直接捕捉到从巴士底部反射出的稀疏扫描信号。Waymo Driver 借助这些微弱且稀疏的点云反射信息,精准预测出巴士另一侧正有一位行人可能正要绕行出来。基于这一前瞻性预测,车辆会主动提前减速,从而稳妥避开行人。这些真实的行驶案例生动展示了具身智能(Embodied AI)在开放道路上面临的根本考验——这关乎真实的人与生命("It's people, it's lives.")。
仅凭单一的 AI 模型并不足以打造出真正值得信赖的自动驾驶系统。要实现超级人类水准的安全性,必须构建一套完整的全链路闭环体系:首先打造强大的前沿基础模型(Foundation Models),将其针对自动驾驶特有场景进行定向适配与微调;随后提炼并训练出轻量高效的学生模型(Student Models),使之能以更低成本在车端硬件和云端高效运行;最终再配合一整套严谨的工程评估流程,实现对车辆安全性的量化验证。正是依靠这套体系,Waymo 能够向业务的核心拷问给出确凿的肯定答案:“Waymo Driver 足够安全吗?我们能否实现规模化落地?——这两个问题的答案都是肯定的(Yes)。”
```mermaid flowchart LR accTitle: Waymo 自动驾驶安全与规模化闭环架构 subgraph ModelPipeline["模型构建与部署"] A["强大的基础大模型<br/>Foundation Models"] --> B["自动驾驶领域适配<br/>Domain Adaptation"] B --> C["蒸馏训练轻量学生模型<br/>Student Models (车端/云端降本)"] end subgraph SafetyLoop["量化与验证"] C --> D["全流程安全量化体系<br/>Safety Quantification"] D --> E["业务核心目标实现<br/>安全 (Safe) + 规模化 (Scale)"] end ```
- **超视距/遮挡感知**:利用穿透巴士底部的稀疏激光雷达(LiDAR)反射信号,提前预判盲区行人动向并执行主动减速。 - **构建可信驾驶的核心支撑**:涵盖大模型研发、自动驾驶任务适配、低成本车端/云端学生模型蒸馏,以及严密的安全性量化验证流程。 - **两大战略问题的定论**:Waymo 明确验证了其系统的“安全性(Safe)”与“可规模化能力(Scalable)”。
## Notable quotes > [00:04](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=4s) 打造全球最值得信赖的自动驾驶系统(World's most trusted autonomous driver) — Srikanth Thirumalai
> [02:30](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=150s) 现实环境极度混乱且不可预测 — Srikanth Thirumalai
> [02:30](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=150s) 云端大模型可以消耗数秒生成回答,而车端具身模型必须在“数毫秒”(milliseconds)之内做出攸关生死的操控决策。 — Srikanth Thirumalai
> [04:55](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=295s) 苦涩教训(The Bitter Lesson) — Srikanth Thirumalai
> [08:19](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=499s) 快思考与慢思考(Thinking Fast and Slow) — Srikanth Thirumalai
> [08:19](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=499s) 该车辆抛锚受困,应当借道绕行而非死等 — Srikanth Thirumalai
> [15:16](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=916s) 工程团队不能停留在定性分析,而是必须明确在特定软件版本中系统蕴含的“残余安全风险”(Residual safety risk)到底有多少 — Srikanth Thirumalai
> [18:18](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=1098s) 严重人身伤害事故率降低 88%(Reduced crashes involving serious injuries by 88%) — Srikanth Thirumalai
> [18:18](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=1098s) 导致安全气囊弹出的事故率降低 79%(Reduced airbag deployment crashes by 79%) — Srikanth Thirumalai
> [18:18](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=1098s) 总体致伤事故率降低 78%(Reduced overall injury-producing crashes by 78%) — Srikanth Thirumalai
> [20:25](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=1225s) 这关乎真实的人与生命("It's people, it's lives.") — Srikanth Thirumalai
> [20:25](https://www.youtube.com/watch?v=jrSNcEPWuhE&t=1225s) Waymo Driver 足够安全吗?我们能否实现规模化落地?——这两个问题的答案都是肯定的(Yes)。 — Srikanth Thirumalai
## Mentioned Srikanth Thirumalai, Waymo, Google, Waymo Driver, Waymo Foundation Model, Driver Teacher, Simulator Teacher, Evaluation/Critic Teacher, Muni, Transformer
## Video description Srikanth Thirumalai, VP of Engineering, Waymo
Abstracts
Get a peek under the hood of the Waymo Driver as we share about the technology that enables our rapid growth. Autonomous driving is uniquinely challenging, and this presentation will show how multi-modal sensing, advanced AI models, and cutting-edge simulation deliver superhuman driving performance. At Waymo, our mission is to build the world's most trusted driver. Discover how we go about earning that trust by pushing the boundaries of AI for the future of transportation.
[Source](https://www.youtube.com/watch?v=jrSNcEPWuhE)