NVIDIA
英伟达通过混合端到端架构与统一开源仿真工具链攻克安全可解释性短板,推动自动驾驶在单颗芯片上从全场景L2++平滑演进至2028年L4规模量产。
AI-assisted summary of NVIDIA GTC Automotive Special Address — original source. Check the original for full context.
Source published:
Key ideas
- 英伟达将当前自动驾驶定义为物理 AI 的首个大规模落地场景,全球每年 13 万亿英里行驶里程中目前仅有 0.006% 由自动驾驶承载,蕴藏巨大产业提升空间。 (7:40)
- 英伟达重塑 DRIVE 全栈为“三台计算机”(车载推理、云端训练、云端仿真)与五层软硬件服务,并推出支持 FP4 精度、性能比 Orin 提升高达 20 倍的双 DRIVE AGX Thor 车载超级计算平台。 (9:57)
- 发布 10B 参数量的端到端推理大模型 Almaro 1.5,同步开源业界规模最大的 7000 小时跨 25 国自动驾驶数据集,并将在数周内全面开放神经重建工具 NeuRAD。 (18:55)
- 英伟达在量产车型上采用结合端到端大模型与经典规则栈的混合架构,在单颗 DRIVE Orin 芯片上实现高能效部署,并在全球奔驰新车中逐步标配落地。 (32:19)
- 比亚迪、吉利、日产、现代加入 DRIVE Hyperion 生态;英伟达与 Uber 达成战略合作,计划于 2028 年在全球 28 座重点城市规模化部署 L4 自动驾驶车队。 (39:07)
Detailed notes
## Background 本内容由 NVIDIA 官方频道于 2026 年 3 月 25 日在 YouTube 发布,为 NVIDIA GTC Automotive 特别演讲视频。视频主要探讨自动驾驶作为首个大规模部署的物理 AI 智能体,汽车行业通往 L4 级自动驾驶的演进路径,并介绍了涵盖训练、仿真与车端计算的“云到车”全栈平台以及 DRIVE Hyperion 架构与产业生态协作。
## TL;DR NVIDIA 在演讲中系统阐述了其将自动驾驶定义为“物理 AI”核心载体的全新战略,并提出了由云端训练、云端仿真和车载推理构成的“三台计算机”与五层软硬件服务架构。针对端到端大模型不可解释的安全痛点,NVIDIA 详解了集成了最新 Alpamayo(Mario)1.5 推理模型与确定性经典规则栈的混合端到端架构,展现了单颗 Orin 芯片的高能效运行及双 ECU 冗余向 L4 演进的路径。此外,NVIDIA 宣布开源包含 7,000 小时实测数据、NeuRAD 神经重建仿真与 Cosmos 生成式工具链,并公布了与梅赛德斯-奔驰的量产推进、四大全球主流车企加入 Hyperion 生态,以及携手 Uber 于 2028 年在 28 座城市落地 L4 车队的重大商业版图。
## Atmosphere & style 整场演讲充满硅谷硬核技术发布会的严谨与自信,语调沉稳有力、节奏明快,极具产业引领者的宏大视野。演讲者通过真实的梅赛德斯原型车路测与“自言自语”的逻辑推演视频,将前沿的推理大模型概念转化为具体可感的技术落地点,期间穿插调侃团队“吃自己狗粮”的幽默话语,令严肃的工程汇报显得生动接地气。随着从底层芯片架构、开源工具链层层铺垫至全球量产商业合作,现场氛围从前瞻技术拆解自然推向产业落地的爆发期,带给观众一种全自动驾驶黎明破晓的振奋感与笃定感。
## Bulletin - [07:40](https://www.youtube.com/watch?v=7N38fD4ksnI&t=460s) 英伟达将当前自动驾驶定义为物理 AI 的首个大规模落地场景,全球每年 13 万亿英里行驶里程中目前仅有 0.006% 由自动驾驶承载,蕴藏巨大产业提升空间。 - [09:57](https://www.youtube.com/watch?v=7N38fD4ksnI&t=597s) 英伟达重塑 DRIVE 全栈为“三台计算机”(车载推理、云端训练、云端仿真)与五层软硬件服务,并推出支持 FP4 精度、性能比 Orin 提升高达 20 倍的双 DRIVE AGX Thor 车载超级计算平台。 - [18:55](https://www.youtube.com/watch?v=7N38fD4ksnI&t=1135s) 发布 10B 参数量的端到端推理大模型 Almaro 1.5,同步开源业界规模最大的 7000 小时跨 25 国自动驾驶数据集,并将在数周内全面开放神经重建工具 NeuRAD。 - [32:19](https://www.youtube.com/watch?v=7N38fD4ksnI&t=1939s) 英伟达在量产车型上采用结合端到端大模型与经典规则栈的混合架构,在单颗 DRIVE Orin 芯片上实现高能效部署,并在全球奔驰新车中逐步标配落地。 - [39:07](https://www.youtube.com/watch?v=7N38fD4ksnI&t=2347s) 比亚迪、吉利、日产、现代加入 DRIVE Hyperion 生态;英伟达与 Uber 达成战略合作,计划于 2028 年在全球 28 座重点城市规模化部署 L4 自动驾驶车队。
## Key takeaways - [00:09](https://www.youtube.com/watch?v=7N38fD4ksnI&t=9s) 2025 年被视作自动驾驶技术的“ChatGPT 时刻”,VLA、世界模型和推理模型(Reasoning Models)重塑了全行业研发范式,使完全 L4 级自动驾驶落地路径前所未有地清晰。 - [02:53](https://www.youtube.com/watch?v=7N38fD4ksnI&t=173s) 搭载 Alpamayo 推理模型的原型车实测展示了“边思考边驾驶”的全过程,系统在处理无保护左转、违停车绕行等长尾复杂场景时,能实时进行逻辑推演与语音交互。 - [07:40](https://www.youtube.com/watch?v=7N38fD4ksnI&t=460s) AI 发展正经历从感知型、生成式、智能体到物理 AI(Physical AI)的演进,具身汽车机器人将成为首个大规模量产部署的物理 AI 实体载体。 - [12:31](https://www.youtube.com/watch?v=7N38fD4ksnI&t=751s) DRIVE Hyperion 提供标准化参考架构,分为带全链路硬件冗余的 High 高配版与注重 BOM 成本优化的 Base 基础版,通过统一传感器套件消除跨车企的数据流转壁垒。 - [16:11](https://www.youtube.com/watch?v=7N38fD4ksnI&t=971s) Halos 统一安全软件基座整合通过 ASIL-D 认证的底层 OS 与标准化中间件,消除主机厂重复开发抽象层的工程负担,并为第三方端到端模型提供确定性安全护栏(Safety Guardrails)。 - [18:55](https://www.youtube.com/watch?v=7N38fD4ksnI&t=1135s) Almaro 1.5 新增航路点路径引导、自然语言文本提示交互及灵活多相机排布支持,并在自动驾驶多模态问答基准 LingoQA 上取得第一名。 - [21:32](https://www.youtube.com/watch?v=7N38fD4ksnI&t=1292s) Almaro 继承了 Cosmos 家族依托超 2000 万小时真实世界数据构建的物理世界常识,形成了层级递进的“数据金字塔”研发管线。 - [24:18](https://www.youtube.com/watch?v=7N38fD4ksnI&t=1458s) 开源的 NeuRAD 神经场景重建工具支持闭环视角的像素级高保真重渲染,英伟达内部研发每日基于该工具运行超过 200 万次自动化仿真回归。 - [26:52](https://www.youtube.com/watch?v=7N38fD4ksnI&t=1612s) 生成式 AI 工具 Harvester 与 Fixer 支持真实极端物体的提取、动态编辑与场景“种植”,结合 Cosmos Transfer 的一键天气风格迁移,实现训练数据的几何级扩增。 - [29:15](https://www.youtube.com/watch?v=7N38fD4ksnI&t=1755s) 英伟达全栈 DriveAV 算法早在 2025 年起覆盖除中国外的全球奔驰新车,并计划于 2026 年全面推送覆盖点到点(Address-to-Address)的 L2++ 智驾能力。 - [32:19](https://www.youtube.com/watch?v=7N38fD4ksnI&t=1939s) 坚持“端到端大模型 + 经典规则栈”的混合架构设计,在追求拟人化博弈与平顺体验的同时,严格坚守 ISO 26262 体系所要求的功能安全与决策可解释性。 - [33:19](https://www.youtube.com/watch?v=7N38fD4ksnI&t=1999s) DriveAV 混合架构已实现极高的研发迭代效率,研发一年累计迭代 3500 次,从道路采集、神经重建到闭环仿真评估的全流程周转时间控制在 6 小时以内。 - [35:57](https://www.youtube.com/watch?v=7N38fD4ksnI&t=2157s) 在遭遇骑行者变道入侵等高风险突发状况时,系统顶层的安全仲裁器(Safety Arbitrator)能在零延迟下将控制权从端到端模型无缝切换至经典规则栈。 - [37:19](https://www.youtube.com/watch?v=7N38fD4ksnI&t=2239s) L4 自动驾驶采用双 ECU 物理冗余架构,主 ECU 运行 L2++ 混合堆栈,卫星 ECU 运行经典安全备份堆栈与最小风险策略(MRM),实现同一套代码库平滑升级延伸。 - [37:19](https://www.youtube.com/watch?v=7N38fD4ksnI&t=2239s) 全球自动驾驶演进遵循清晰时间表:今年聚焦全美及欧洲核心城区的点到点 L2++ 规模化,次年开启 L4 示范车队,目标在 2028 年实现乘用量产车与 Uber 车队的规模化 L4 部署。
## Detailed walkthrough ### [00:09](https://www.youtube.com/watch?v=7N38fD4ksnI&t=9s) 自动驾驶的“ChatGPT时刻”与物理AI新范式
演讲者开门见山向参会者致意,并感叹过去一年对所有自动驾驶(AV)开发者来说都是极其非凡的一年。随着人工智能技术的突飞猛进,特别是视觉-语言-动作模型(VLA)、世界模型基础模型以及推理模型(Reasoning Models)的爆发,整个自动驾驶的研发方式在过去几年经历了根本性的重塑。演讲者明确指出,这种剧烈的范式演进不仅没有让行业放慢脚步,反而让全行业以空前的速度迈向完全自动驾驶:“And at this moment, I would say that the path to full L4 level autonomy has never been this clear.”(此时此刻,通向完全 L4 级自动驾驶的道路从未如此清晰。)让一切运动物体实现自动驾驶的宏大愿景也从未如此切近现实。
NVIDIA 攻克自动驾驶挑战已有十余年之久。演讲者回忆道,早在十年前,NVIDIA 就推出了首款代号为“Parker”的先进驾驶辅助系统(ADAS)芯片,该芯片成功驱动了行业第一代 Autopilot 功能。十年后的今天,正值整个自动驾驶行业的关键转折点,NVIDIA 团队正全力与产业生态伙伴协作,积极探索通往高可扩展性、高安全性的 L4 级自动驾驶之路。
- **2025年行业里程碑**:被定义为自动驾驶技术的“ChatGPT时刻”,核心驱动力来自前沿 AI 的加速普及。 - **关键模型架构**:融合了 VLA 模型、世界模型基础模型以及推理模型的最新研发成果。 - **历史沉淀**:NVIDIA 在十年前以 Parker 芯片奠定第一代自动驾驶硬件基础,如今迈入端到端多模态推理新纪元。
---
[02:53](https://www.youtube.com/watch?v=7N38fD4ksnI&t=173s) 实测演示:基于梅赛德斯原型车的 Alpamayo 推理模型路测
为了让观众直观感受前沿 AI 的落地形态,演讲者展示了一段团队近期的真实测试视频。车辆由合作伙伴梅赛德斯(Mercedes)的原型车搭载全新推理模型 Alpamayo,在旧金山及北湾周边道路上进行了全自动巡航。车辆不仅能够毫秒级实时评估周围交通态势,还支持乘客随时通过语音交互询问周遭环境信息。例如乘客向车机发问:“Hey Mercedes, 泛美金字塔(Transamerica Pyramid)为什么是这种形状?”车机随即准确回答,建筑师威廉·佩雷拉(William Pereira)采用锥形设计是为了让阳光更好地穿透到下方街道,避免在地面投下巨大的阴影。
测试团队特别让 Alpamayo 将其在后台持续进行的逻辑推演实时朗读出来,向外界展现其“边思考边驾驶”的全过程。在错综复杂的道路上,系统清晰播报其实时观察到的意图与应对逻辑: - “正在向右变道以遵循路线导航。” - “我想左转,但前方有对向来车,我正在等待安全空隙。” - “我方车道内有一辆双排违停的车辆,我正在绕过它。” - “前方斑马线有行人,我正在避让让行。” - “前方有车辆正在横穿我的路线,我正在避让让行。”
无论是行人过街、违停车阻挡、无保护左转,还是用户临时改道前往索萨利托(Sausalito)喝咖啡并在下个路口右转下匝道,Alpamayo 都展现出强大的情境应变能力。演讲者强调:“What sets Alpamayo apart is how it reasons through complexity, breaking down edge cases before they become problems.”(Alpamayo 的与众不同之处在于它能够剖析复杂局势,在长尾边缘问题演变成实质危险之前将其彻底化解。)视频最后,在密集城市道路、跨海大桥与多车道高速的各种仿真与实车环境下,Alpamayo 都能平稳靠边停车,并在规划的安全区域完成落客。演讲者期待在今年年底前,客户和公众就能在量产车上亲身体验到这一推理能力。
---
[07:40](https://www.youtube.com/watch?v=7N38fD4ksnI&t=460s) 物理AI时代与13万亿英里的巨大市场机遇
从计算产业演进的长镜头来看,AI 经历了从 2012 年 AlexNet 引领的感知型 AI(Perception AI),到 2017 年 Transformer 催生的生成式 AI(Generative AI),再到当前以逻辑推演驱动的智能体 AI(Agentic AI)。而如今,行业正在共同探索将此类智能融入实体载体的最终形态——物理 AI(Physical AI)。演讲者坚信,构建并安全部署物理 AI 将是未来十年最核心的定义性技术挑战。由于汽车本质上就是行驶在开放道路上的轮式机器人,自动驾驶必然会成为整个人类社会第一批大规模量产与部署的物理 AI 载体。
谈及自动驾驶背后的市场驱动力,演讲者列出了一组极具反差的数据:全球范围内各个不同交通与物流细分市场中,汽车、货运卡车与配送摩托等工具每年的行驶总里程约为 13 万亿英里(13 trillion miles)。然而在当下,由自动驾驶系统承载的里程比例仅仅只有微乎其微的 0.006%。演讲者指出,NVIDIA 坚信在不久的将来,所有在移动的物体都将走向自主化,而“13万亿英里”与“0.006%”之间的悬殊鸿沟,正是摆在整个产业与 NVIDIA 面前不可限量的历史机遇。
```mermaid flowchart LR accTitle: AI Technology Evolution to Physical AI accDescr: Timeline showing the progression from Perception AI to Physical AI and autonomous vehicles.
A["感知型 AI<br>(2012 AlexNet)"] --> B["生成式 AI<br>(2017 Transformer)"] B --> C["智能体 AI<br>(当前 推理模型)"] C --> D["物理 AI<br>(具身实体 / 汽车机器人)"] D --> E["大规模 L4 落地<br>(重塑13万亿英里)"] ```
---
[09:57](https://www.youtube.com/watch?v=7N38fD4ksnI&t=597s) NVIDIA Drive 全栈重塑:三台计算机与五层架构服务
为应对自动驾驶这道典型的物理 AI 难题,NVIDIA 将核心业务 NVIDIA Drive 架构进行了全面重塑。正如黄仁勋(Jensen Huang)此前反复强调的,物理 AI 的本质是一个“三台计算机的问题”(Three-computer problem): 1. 位于云端的**训练计算机**(Training Computer); 2. 位于云端的**仿真计算机**(Simulation Computer); 3. 部署在车辆本地的**推理计算机**(Inference Computer)。
在这三台计算机的坚实基础上,NVIDIA 进一步向上构建了自底向上的五层软硬件与云端服务架构: - **第一层(硬件层):Drive Hyperion**。提供面向全车计算平台与传感器套件的高度统一参考设计规范。 - **第二层(平台软件层):Halos**。包含底层高等级安全操作系统与中间件,连接底层硬件与上层模型,并承担未来在 Hyperion 硬件上部署端到端大模型时的安全防护网(Safety Guardrails)。 - **第三层(模型层)**:以已开源并持续快速迭代的 Alpamayo 大模型为代表的自动驾驶推理模型。 - **第四层(应用层):DriveAV**。依托 NVIDIA 自研全栈软件体系,与 OEM 及生态伙伴紧密合作,交付覆盖部分自动化到全自主驾驶能力的方案。 - **第五层(基础设施层)**:云端基础大模型与专用工具链,为开发者提供高效率的模型研发、优化、适配和验证闭环。
---
[12:31](https://www.youtube.com/watch?v=7N38fD4ksnI&t=751s) Drive Hyperion 统一参考架构与传感器冗余设计
走向可扩展 L4 级自动驾驶的基石,是实现车辆参考架构的高度统一,这也正是 Drive Hyperion 平台的核心使命。在计算架构方面,Hyperion 采用面向 L4 级整车部署的双 DRIVE AGX Thor 车载系统级芯片(SoC)。DRIVE AGX Thor 是真正的车载 AI 超级计算机,底层基于与云端训练基础大模型相同的 Blackwell 架构,完整覆盖 FP32、FP16 直至 4 位浮点数(FP4)运算。演讲者着重提到:“It also supports, you know, floating point 4, 4-bit floating point, which is very important because for in-car devices, you are always limited by memory bandwidth”(它还支持4位浮点数FP4,这非常关键,因为车载设备始终受到内存和内存带宽的严苛制约)。相较上一代基于 Orin 的系统,得益于 FP4 的支持,AGX Thor 的车载计算推理性能实现了高达 20 倍的跨越式跃升。
统一传感器套件是 Hyperion 战略的另一关键支柱。只有在不同主机厂(OEM)和车型平台之间规范统一传感器架构,自动驾驶数据在跨车队流转时才具备可共享性。NVIDIA 目前正与 Uber 紧密联手,基于全新一代 Hyperion 10 传感器方案打造专门的数据采集车队,为整个行业的数据飞轮提供冷启动加速度。针对不同商业定位,Hyperion 提供两种配置版本:
| 架构型号 | 传感器配置 | 关键设计目的与功能覆盖 | |:--- |:--- |:--- | | **High 高配版** | 14 颗高清外拍摄像头、至多 4 颗座舱内拍摄像头、9 颗毫米波雷达、1 颗激光雷达(LiDAR) | 面向高速与城市场景的高等级 L3/L4 级全自动驾驶;具备完整的传感器全链路硬件冗余设计,杜绝单点故障风险。 | | **Base 基础版** | 10 颗摄像头、3 颗毫米波雷达 | 聚焦 BOM 成本优化;依然能够凭借强大模型端到端实现高速公路、城市街道的“地址到地址”(Address-to-address)乃至“车位到车位”(Park-to-park)全程脱手辅助驾驶。 |
---
[16:11](https://www.youtube.com/watch?v=7N38fD4ksnI&t=971s) Halos 统一安全软件基座:从底层 OS 到标准化中间件
在 Hyperion 坚固的硬件底座之上,NVIDIA 构建了 Halos——专为 L4 级自动驾驶打造的统一软件安全基底。Halos 采用分层解耦的软件工程设计: - **底层操作系统(Halos OS)**:继承并深化了成熟的 DriveOS 技术资产(DriveOS 将作为 Halos 的重要组成部分继续演进),整体软件已通过行业最为严苛的汽车安全完整性最高等级 ASIL-D 功能安全认证。它完整原生集成了 CUDA、TensorRT 以及大语言模型 SDK(LMSDK)等高性能加速库,旨在赋能全球开发者以极高的算力利用率在车载端部署多模态大语言模型与 AV 策略大模型。同时,该底层对 Linux 和 QNX 双操作系统均提供了无缝支持。 - **平台中间件层(Middleware)**:在上一代基于 Orin 的研发周期中,NVIDIA 与各大汽车主机厂之间的职责划分较为割裂,OEM 往往需要额外组织耗费成百上千名软件工程师的庞大团队,专门编写一套沟通底层传感器与车辆执行器的定制化抽象层。为了彻底终结行业在底层软件上的重复造轮子,在 Halos 时代,NVIDIA 主动拓宽职责边界,将传感器与整车底盘抽象层标准化收口至 Halos OS 平台层中,为整个生态提供开箱即用的工业级接口。
[17:49](https://www.youtube.com/watch?v=7N38fD4ksnI&t=1069s) HALOS 平台与安全防护栏(Safety Guardrails)
在软件架构层面,由于这套基础软件具备跨不同 OEM 的高度通用性,能够极大减轻车企端将自身算法栈部署到 Hyperion 平台的工程负担。展望未来的 DRIVE Thor 代际,英伟达计划在系统层正式引入全面的安全防护栏(Safety Guardrails)。这不仅涵盖符合 Euro NCAP 与 US NCAP 五星标准的主动安全软件,还将部署一套经典算法栈(Classical Stack)作为系统的确定性安全兜底。英伟达希望通过这套方案,为全行业的自动驾驶开发者提供一个坚实的安全基座。
> “So in the future, hopefully for every AV developer, they can, you know, put their own end-to-end model on HALOS, you know, and the benefit from the safety foundation we have built across different layers within HALOS.”(演讲者指出,未来的自动驾驶开发者能够直接在 HALOS 上部署自研的端到端模型,并直接受益于 HALOS 各层级构建的安全基底。)
- 通用软件层有效消除了各车企重复造轮子的工程成本。 - 系统结合了五星 NCAP 主动安全能力与经典规则算法栈,为纯学习型模型提供实时校验与安全边界保护。
---
[18:55](https://www.youtube.com/watch?v=7N38fD4ksnI&t=1135s) Almaro 1.5 基础模型发布与能力升级
进入模型层,英伟达正式宣布推出 Almaro 1.5(代号 Mario 1.5)。回顾稍早前(仅两个多月前)发布的 Almaro 1.0,该模型参数量达 100 亿(10B),是自动驾驶领域首个推理型基础模型(Reasoning Model)。它在 Hugging Face 整个机器人与具身智能领域引发了巨大反响,两个多月内下载量超过 16 万次,高居同品类第二名。演讲者风趣地调侃道:“我都不知道竟然有这么多人都在搞自动驾驶。”虽然团队感到意外,但对这一开源生态成果极为满意。全新的 Almaro 1.5 依旧维持 10B 参数量,但在模型能力上迎来了四项关键突破:
```mermaid flowchart TD accTitle: Almaro 1.5 新增核心功能架构 accDescr: 展示 Almaro 1.5 模型在路径引导、文本交互、多相机支持及基准测试上的关键提升
subgraph Inputs["多模态输入增强"] A["路径规划引导<br/>(Waypoints / Nav Guidance / 矢量格式)"] B["自然语言提示<br/>(Text Prompts / 意图问答)"] C["灵活多相机配置<br/>(1/2/4 相机,不同 FOV 与安装位)"] end
subgraph Core["Almaro 1.5 (10B 推理模型)"] D["端到端驾驶策略推理引擎"] end
subgraph Eval["评测表现"] E["LingoQA 开源自动驾驶问答数据集<br/>🏆 排名第一"] end
Inputs --> Core Core --> Eval ```
- **路径引导能力(Routing Capability)**:模型支持航路点(Waypoints)、传统导航软件指令引导或矢量化路径输入,使端到端模型能严格遵循预定路线行驶。 - **文本提示与人机交互(Text Prompts)**:支持自然语言问答交互,乘客或驾驶员可直接向车辆发问,车辆能够解释自己“正在做什么”以及“为什么要这么开”。 - **多相机硬件适配**:支持单目、双目及四相机等多种传感器排布,兼容不同的视场角(FOV)与安装位置。 - **行业基准登顶**:Almaro 1.5 在开源基准数据集 LingoQA 上取得了全球第一的评测成绩。
---
[21:32](https://www.youtube.com/watch?v=7N38fD4ksnI&t=1292s) 模型背后的“数据金字塔”与全流程落地管线
深入 Almaro 1.5 的训练幕后,尽管针对自动驾驶场景仅使用了 8 万条驾驶数据进行精调,但它绝非从零起步。Almaro 的骨干网络源自英伟达开源的 Cosmos Reason 模型;而 Cosmos 作为世界级基础物理与常识模型,在底层使用互联网规模的超 2000 万小时真实世界数据进行预训练,并在此之上经历 Cosmos Predict Transfer,最终训练出 Cosmos Reason。这一层级递进的“数据金字塔”使 Almaro 完整继承了海量物理世界先验知识,具备了极强的场景泛化能力。
然而,将一个开源研究模型打磨成量产可用的工业级模型,仍需要付出极其艰巨的工程努力。从真实道路数据采集或合成数据生成(依托 Cosmos 技术),到底层的数据搜索筛选、模型训练优化,再到上车路测、回传失效用例(Failure Mode)以实现闭环迭代,每一个环节都极其依赖高性能工具链。演讲者直言,仅凭开源模型并不等同于量产,构建可泛化应对各种极端场景的闭环管线才是关键所在。
- 底层资产:Cosmos 家族模型依托 2000 万小时真实世界视频数据构建基础物理认知。 - 关键管线支撑:精调过程高度仰赖数据检索筛选(Search and Curation)工具与高精度仿真验证(Simulation and Validation)系统。
---
[24:18](https://www.youtube.com/watch?v=7N38fD4ksnI&t=1458s) 开源 7000 小时全球数据集与 NeuRAD 神经重建仿真工具
为了真正赋能行业生态,英伟达不仅开源算法模型,还宣布向社区免费开放大规模高质量训练资产。英伟达开源了在自研 DriveAV 过程中采集的 7,000 小时高质量实测数据集。这是截至目前业内规模最大的开源自动驾驶数据集;该数据集横跨全球 25 个国家和地区,具备极高的地域多样性与路况丰富度,极为适合用于算法的通用性评测与系统测试。
在仿真工具方面,英伟达宣布将在未来数周内向公众全面开放神经辐射与重建工具 NeuRAD(Neural Reconstruction)。在端到端自动驾驶模型的闭环评估中,当自车改变行驶位姿(Pose)时,仿真器必须能够无缝重新渲染并重建高精度的像素级画面。这项技术此前在英伟达内部的 DriveAV 开发中已被深度验证与应用。
> “We are running two million simulation tests based on NeuRAD on a daily basis to develop our stack. So there's a, I guess, famous phrase, we are eating our own dog food.”(演讲者谈到团队自身对工具的深度检验:“为了开发我们的软件栈,我们每天基于 NeuRAD 运行 200 万次仿真测试。正如那句名言所说,我们一直在吃自己的狗粮。”)
- 7,000 小时真实世界数据集:覆盖 25 国多元路况,专为评测与边界工况测试打造。 - NeuRAD 工业级吞吐量:支持高保真闭环视角重渲染,英伟达内部日均承载 200 万次自动化仿真回归。
---
[26:52](https://www.youtube.com/watch?v=7N38fD4ksnI&t=1612s) GenAI 资产编辑:Fixer、Harvester 与 Cosmos Transfer
NeuRAD 的能力远不止简单的轨迹回放和新视角像素重建,它与生成式 AI 模型的深度融合带来了量级跃升的数据增广手段。随着 NeuRAD 的开源,英伟达同步公开了两款专为自动驾驶场景打造的生成式 AI 工具:**Harvester** 与 **Fixer**。Harvester 能够精准“收割”真实路测场景中遇到的罕见物体(例如奇特的交通工具、特殊行人),并将其保存为数字资产;而通过场景编辑能力,开发者能够将这些稀有物体(如滑板车、异型障碍物)重新“种植”植入到其他测试视频中,甚至动态篡改物体的运动轨迹与交互行为,借此将实测采集数据的多样性提升数个数量级。现场播放演示视频时,演讲者还开玩笑地抱怨台前监视器太小,自己几乎看不清屏幕上植入的那辆滑板车。
此外,**Cosmos Transfer** 模型提供了更具革命性的环境风格迁移能力。它允许工程师通过简单的文本提示词(Text Prompts),将一段原本平平无奇的实拍行驶序列即时渲染成狂风暴雨、逆光黄昏、黑夜以及完全不同的城市与地形风貌。这种“一处采集,全球多气候复现”的技术路径,使训练数据的场景丰富度得到了几何级扩展。
- **Harvester**:道路罕见动态资产提取与数字收藏器。 - **Fixer**:在重构的动态世界中自由植入交互对象并编辑行驶轨迹。 - **Cosmos Transfer**:支持基于自然语言 Prompt 一键切换环境光照、极端天气、地形地貌与城市风貌。
---
[29:15](https://www.youtube.com/watch?v=7N38fD4ksnI&t=1755s) 英伟达十年智驾芯历程与全球量产商业版图
英伟达在车规级高算力芯片领域的产业影响力深远。回顾历史,10 年前的 Tegra Parker 芯片驱动了第一代 Autopilot 的落地;随后的 Xavier 与 Orin 算力平台,则直接引爆了中国乃至全球自动驾驶技术的规模化普及。时至今日,在中国智能电动车市场,“不具备高阶智驾能力的新车已经几乎无法在市场上立足”。当前,新一代集中式车载超级计算芯片 DRIVE Thor 已经在全球各大车企中启动量产定点(SOP),成为 DRIVE Hyperion 生态的标准车载算力大脑。
相比为人熟知的芯片业务,英伟达在自动驾驶全栈算法(DriveAV)领域的十年技术长跑则更具底蕴。早在 2017 年,英伟达就推出了极具前瞻性的 PilotNet 端到端模型。经过数年潜心研发,英伟达于 2020 年与梅赛德斯-奔驰(Mercedes-Benz)达成了里程碑式的全栈软件合作,随后捷豹路虎(JLR)和 Lucid 也相继加入该生态。
在商业交付上,2025 年迎来了真正的爆发:历经五年打磨,英伟达的技术已在全球除中国以外的所有奔驰新车上实现标配部署。在 2026 年内,搭载英伟达算法栈的全场景、点到点(Address-to-Address)L2++ 智驾功能将全面向全球奔驰车主推送升级。同时,针对 JLR 和 Lucid 客户车队的工程落地与交付工作也在全速推进中。
- 硬件迭代沿革:Parker 奠定早期辅助驾驶基石;Xavier 与 Orin 推动智驾规模化普及;DRIVE Thor 迎来全球量产定点。 - 软件全球部署:2025 年起覆盖除中国外的全球奔驰新车,2026 年内正式推送“车位到车位 / 点到点(Address-to-Address)”L2++ 旗舰体验。
---
[32:19](https://www.youtube.com/watch?v=7N38fD4ksnI&t=1939s) 混合端到端架构与单 Orin 芯片的高能效部署
在自动驾驶系统最核心的设计理念上,英伟达坚定选择了“端到端与经典规则相融合的混合架构(Hybrid End-to-End Classical Stack)”。纯端到端大模型固然带来了媲美人类老司机的拟人化驾驶平顺感与博弈能力,但在汽车工业百年演进中,整个行业的功能安全(FuSa)与质量控制完全建立在 ISO 26262 等标准所倡导的“逻辑可解释性(Interpretable Safety)”之上。若完全依赖无法透视决策机理的黑盒模型,安全底线将无法得到确定性保证。通过混合架构设计,英伟达在最大化释放拟人化体验的同时,严守了行业对安全可解释性的苛刻要求。
在现场展示的系统架构图中,量产版 Almaro(Mario)模型作为端到端决策核心在管线中稳定运行。演讲者在演讲尾声特意向全场强调了一个惊人的工程壮举:这套兼具 10B 级前沿端到端推理大模型与全套经典功能安全规则链的极其庞大、密集的软件栈,目前全部精简且高效地运行在**单颗 NVIDIA DRIVE Orin 芯片**之上。
> “Our DriveAV stack is actually a hybrid end-to-end classical stack. This is very important because we get the human-like drive experience from the end-to-end model... And meanwhile, without compromising, basically, the safety interoperability.”(演讲者强调,英伟达智驾栈采用混合端到端架构,“因为我们既能从端到端模型中获得拟人化的驾驶体验,同时又丝毫没有在安全可解释性上做出妥协。”)
| 架构层级 | 所选技术路线 | 核心工程价值 | |:--- |:--- |:--- | | **驾驶体验层** | 量产级 Almaro(Mario)端到端大模型 | 提供细腻博弈、灵活决策的拟人化“老司机”驾乘质感 | | **安全兜底层** | 经典算法栈与规则防护栏(Classical Stack) | 严格符合 ISO 26262 功能安全体系,保证决策边界可观测与可解释 | | **计算平台层** | 单颗 NVIDIA DRIVE Orin SOC | 将复杂大模型与冗余软件栈高度优化,以极限算力效率完成高阶功能闭环 |
[33:19](https://www.youtube.com/watch?v=7N38fD4ksnI&t=1999s) 混合软件架构与模型量产迭代流程
演讲者详细拆解了 NVIDIA 内部 DriveAV 的双轨软件堆栈设计。该架构的左侧是一个无激光雷达(LiDAR-less)、无高精地图(Mapless)的端到端大模型堆栈,而右侧则是 NVIDIA 积累多年的经典规则堆栈(Classical Stack)。为了在动态运行中绝对保证安全,系统在顶层引入了安全仲裁器(Safety Arbitrator)。该方案兼顾了多种功能交付,包括自主泊车、主动安全、高速公路无手(Hands-free)L2+ 巡航,以及覆盖城区点到点、车位到车位(Address-to-address / Park-to-park)的高阶 L2++ 自动驾驶体验。
在工程研发与落地实践中,NVIDIA 展示了端到端模型极快的迭代周期。该模型从研发立项至今仅约一年时间,团队就已经完成了超过 3,500 次模型版本迭代,平均每天迭代推出 10 个版本。这种速度依托于 NVIDIA 庞大的 GPU 集群计算支持。同时,端到端开发高度依赖于仿真回放与闭环验证:从道路实测采集数据,到构建神经场景重建(Neural Reconstruction),再到闭环评测与新模型就绪,目前端到端周转时间已压缩至 6 小时以内,未来数月内更将进一步降至几小时。此外,中间集成的闭环仿真引擎基于开源的 AlpaSim 构建,并增强了针对端到端模型与经典堆栈混合运行的综合评测能力。
```mermaid flowchart TD accTitle: DriveAV 混合堆栈与快速迭代流程 accDescr: 展示双轨软件架构及基于 GPU 与闭环仿真的 6 小时快速迭代循环
subgraph Architecture ["车载混合运行架构"] E2E["端到端模型堆栈 (无激光雷达 / 无高精地图)"] Classical["经典规则堆栈 (Classical Stack)"] Arbitrator["安全仲裁器 (Safety Arbitrator)"] Features["功能交付: 泊车 / 主动安全 / L2+ / L2++ 城区点对点"]
E2E --> Arbitrator Classical --> Arbitrator Arbitrator --> Features end
subgraph Pipeline ["云端训练与闭环验证流水线"] Data["道路实测采集数据"] Recon["神经场景重建 (Neural Reconstruction)"] Sim["混合堆栈闭环评测 (扩展版 AlpaSim)"] Cluster["GPU 集群模型训练 (每天约 10 个版本)"]
Data --> Recon Recon --> Sim Sim --> Cluster Cluster -->|"周转时间 < 6 小时"| Data end ```
- 研发周期:端到端模型研发启动约 1 年,累计完成 3,500 次模型迭代,每日平均发布约 10 个新版本。 - 自动化闭环耗时:实车数据采集到模型重构、回放测试、闭环评估全流程控制在 6 小时以内,目标压缩至数小时。 - 仿真基础:在已开源的 AlpaSim 基础上拓展了针对混合架构的闭环测试能力。
[35:57](https://www.youtube.com/watch?v=7N38fD4ksnI&t=2157s) 经典堆栈安全护栏(Guardrails)与 L2++ 全球扩展
现场通过一段真实路况演示解释了安全护栏(Guardrails)与仲裁器的工作机制。画面中,道路右侧出现一名骑行者,由于路肩变窄,骑行者不得不向机动车道变道并侵入车流行驶轨迹。当系统显示为绿色时,表明车辆由端到端模型(Mario)主导控制;当仲裁器检测到端到端规划的潜在风险时,会立刻判定该轨迹不够安全,判定经典堆栈给出的避让轨迹更优,并以零延迟无缝切换到经典规则堆栈,平稳完成避障。演讲者强调:“Then it will seamlessly, almost like with zero delay, it can transfer, it can transit, I would say, to a classical trajectory and to maintain safety.”
随着混合堆栈的成熟,NVIDIA 正在推进 L2++ 点到点自动驾驶的全球化规模扩展测试。实测车队已在世界各地复杂路况中展开验证。按照规划路线图,该技术将于今年年底前扩展至全美所有区域以及欧洲的部分核心城市;到下一年,L2++ 堆栈将进一步推向全球市场。
[37:19](https://www.youtube.com/watch?v=7N38fD4ksnI&t=2239s) 统一代码库演进至 L4 冗余架构
NVIDIA 现有的软件体系设计具备向 L4 级全自动驾驶平滑延伸的能力。该架构在部署 L4 时采用双 ECU 物理冗余拓扑,包含一个主 ECU(Main ECU)和一个从属卫星 ECU(Satellite ECU)。主 ECU 沿用现行的 L2++ 软件体系,同时接入来自卫星 ECU 的附加传感器信号以进一步增强感知能力;卫星 ECU 则承载安全冗余堆栈(Safety Redundant Stack),主要基于经典规则运行,并搭载最小风险策略(MRM, Minimum Risk Maneuver)。一旦主控系统发生单点故障,卫星系统能立即接管并安全泊停。
```mermaid flowchart LR accTitle: L4 双 ECU 冗余系统架构 accDescr: 主 ECU 与卫星 ECU 协同实现主控功能与故障接管的拓扑结构
subgraph L4_System ["L4 硬件与软件架构"] subgraph Main ["主 ECU (Main ECU)"] MainStack["L2++ 堆栈 (端到端 + 经典混合)"] FusedSensors["全车主传感器 + 卫星端扩展传感器融合"] end
subgraph Sat ["卫星 ECU (Satellite ECU)"] RedundantStack["经典规则安全冗余堆栈"] MRM["最小风险策略 (MRM)"] SatSensors["冗余传感器组件"] end end
SatSensors --> FusedSensors MainStack -.->|"发生单点故障"| MRM ```
这种架构的优势在于能够共享同一套核心代码库,从而同时向车企伙伴交付成熟的 L2++ 与可拓展的 L4 解决方案。根据高层路线图规划,今年核心聚焦于城区点到点 L2++ 的规模化;次年启动 L4 示范车队的初步部署;预计到 2028 年,与合作伙伴携手在乘用量产车上正式落地 L4 自动驾驶能力。
- 主 ECU 职责:运行 L2++ 端到端与经典混合堆栈,接入全系统综合传感器信号执行主路径规划。 - 卫星 ECU 职责:运行经典安全备份堆栈与 MRM 停车策略,实现单点故障安全兜底。 - 代码通用性:基于单一代码仓库(Same code repository)同步支撑 L2++ 商业化量产与 L4 延伸开发。
[39:07](https://www.youtube.com/watch?v=7N38fD4ksnI&t=2347s) Hyperion 生态拓展与 Uber 战略合作
DRIVE Hyperion 传感器与计算平台在汽车行业内持续扩大影响力。演讲者宣布,比亚迪(BYD)、吉利(Geely)、日产(Nissan)和现代(Hyundai)四家全球前十强 OEM 已经正式加入 Hyperion 生态。跨车企采用统一的传感器套件与计算平台架构,极大地降低了行业研发成本与系统集成门槛。
在共享出行与无人驾驶出租车(Robotaxi)领域,NVIDIA 正式公布了与 Uber 达成的 L4 级战略合作。双方约定,到 2028 年将在全球 28 座重点城市规模化部署搭载 NVIDIA 技术的 L4 自动驾驶车队。演讲者指出,NVIDIA 不仅是一家芯片或自动驾驶方案商,更是一家全栈 AI 公司,正通过 Omniverse 数字孪生平台与全球车企在汽车研发设计、数字化工厂制造及企业级 AI 等全生命周期展开深度合作。面对自动驾驶的长尾挑战,演讲者感慨道:“Autonomy is a daunting task. It's a grand mission, but it really needs everybody to work together.” NVIDIA 致力于联合主机厂、Tier 1 供应商以及 AV 软件开发者,合力攻克将可靠性从 0.006% 提升至 90% 以上的大挑战。
| 合作伙伴 / 类别 | 合作维度与落地内容 | 目标时间节点 | |:--- |:--- |:--- | | **BYD、Geely、Nissan、Hyundai** | 加入 DRIVE Hyperion 生态,共享统一传感器方案与车载算力平台架构 | 持续扩展推进中 | | **Uber** | 面向 L4 自动驾驶生态合作,在全球 28 座核心城市商业化落地部署 L4 车队并共建研发数据集 | 2028 年 | | **全球主流 OEM (汽车工程与工业)** | 基于 NVIDIA Omniverse 数字孪生开展整车工程设计、产线模拟与智能制造协同 | 持续推进中 |
[41:14](https://www.youtube.com/watch?v=7N38fD4ksnI&t=2474s) 总结:三台计算机、五层架构与全栈开源生态
演讲最后,发言人对 NVIDIA DRIVE 的全新战略发展阶段进行了全面回顾。当前业务演化为“三台计算机”(车载计算、云端训练计算与 Omniverse 闭环仿真计算)以及“五层服务”体系:
1. **Hyperion 硬件平台层**:吸纳尽可能多的主机厂统一传感器与算力接口,并联合 Uber 构建服务于全生态开发者的海量数据资产。 2. **DriveOS / 安全护栏软件层**:将基础操作系统显著强化为全栈安全护栏(Safety Guardrail),确保端到端模型能够高可靠地运行在 Hyperion 硬件底座之上。 3. **模型与算法层**:正式发布新一代 AlpaMario 1.5 端到端规划模型,持续打磨混合控制架构。 4. **应用功能扩展层**:今年全力推动 L2++ 技术的全球规模落地,并以同一套软件架构体系直接向上延展至 L4 级全自动驾驶。 5. **基础设施与开源生态层**:为解决仿真闭环与高质量训练数据瓶颈,NVIDIA 将持续开源核心基础模型、神经重建模型(Neural Reconstruction)以及 Cosmos 迁移生成模型,赋能整个汽车生态加速开发。
演讲者向全场观众致谢,并强调通过全栈计算、算法突破与产业生态的紧密协作,全自动驾驶时代正在加速到来。
## Notable quotes > [00:09](https://www.youtube.com/watch?v=7N38fD4ksnI&t=9s) And at this moment, I would say that the path to full L4 level autonomy has never been this clear.
> [02:53](https://www.youtube.com/watch?v=7N38fD4ksnI&t=173s) What sets Alpamayo apart is how it reasons through complexity, breaking down edge cases before they become problems.
> [39:07](https://www.youtube.com/watch?v=7N38fD4ksnI&t=2347s) Autonomy is a daunting task. It's a grand mission, but it really needs everybody to work together.
## Mentioned NVIDIA, DRIVE Hyperion, DRIVE Hyperion 10, DRIVE AGX Thor, DRIVE Orin, DRIVE OS, Halos, DriveAV, Alpamayo, Almaro 1.5, Mario, Cosmos, Cosmos Predict, Cosmos Reason, Cosmos Transfer, NeuRAD, Harvester, Fixer, AlpaSim, PilotNet, Parker, Tegra Parker, Xavier, Blackwell, Omniverse, LMSDK, TensorRT, CUDA, LingoQA, Hugging Face, Mercedes-Benz, Jaguar Land Rover, Lucid, Uber, BYD, Geely, Nissan, Hyundai, Jensen Huang, William Pereira
## Video description Autonomous vehicles (AVs) are emerging as the first mass-deployed physical AI agents, reshaping mobility and driving new demands in AI, safety, and scalable development. This special address explores the industry’s path to Level 4 autonomy and how NVIDIA is helping accelerate it. With the DRIVE Hyperion architecture, manufacturers (OEMs) and AV developers can build scalable, safety-certified autonomy solutions. NVIDIA will present its cloud-to-car platform—spanning training, simulation, and in-vehicle compute—to support developing and validating next-generation drive-policy models. The session will also touch on how agentic AI is poised to transform AVs end to end, from automating data-driven development and validation to enabling more intelligent, adaptive in-car experiences. Gain insights into L4 software architectures, the DRIVE Hyperion platform, and ecosystem collaboration across OEMs, AV developers, mobility providers, and robotaxi companies.
[Source](https://www.youtube.com/watch?v=7N38fD4ksnI)