小米推具身大脑架构打通车机训练 陈龙押注潜空间推理取代文本VLA

小米推具身大脑打通车机训练，陈龙押注潜空间推理取代文本VLA 小米具身大模型负责人陈龙指出，用显式文本推演物理动作会导致致命延迟与特征损耗，纯视觉在量产端存在测距缺陷，行业终局必须依靠融合多模态与自监督世界模型的潜空间推理。 访谈详尽还原了自动驾驶从模块化三段式走向端到端，再进一步演进为 VLA 与 XLA 潜空间推理的技术进阶全貌。陈龙深入阐述了小米 MiMo-Embodied 框架如何让高速移动的汽车与精细操作的机器人“同班上课”，借助数据互补与思维链（CoT）实现空间感知与物理常识的双向赋能，并强调主机厂自研基础大模型构筑了核心安全护城河。对话辨析了 VLA 与世界模型的路线之争，指出具身智能的 Scaling Law 必须摒弃纯开环监督学习的局限，依靠闭环自我演进与视频自监督隐式物理建模，在深水区中完成物理世界通用智能的闭环突破。 小米发布业界首个融合“智能驾驶”与“机器人任务”的通用具身大脑框架 MiMo-Embodied，基于自研 Mimo 多模态基座，通过思维链（CoT）对齐与强化学习后训练，实现了车与机器人数据的双向增强（1+1 > 2）。 (34:25) 为突破传统 VLA 显式文本生成带来的高延迟与视觉信息衰减，小米提出 XLA（Any-Modality & Any-Embodiment）技术范式，利用“潜空间推理（Latent Space Reasoning）”直接在底层连续向量空间开展多步推演。 (52:13) 陈龙警告主机厂直接拿开源模型微调 VLA 极具风险，互联网开源数据中的潜在污染在智驾面临极端 Corner Case 时易引发灾难性误判，拥有底层数据清洗权限的自研基座模型是物理 AI 的核心护城河。 (40:02) 世界模型的本质并非生成高清视频，而是在潜空间保留核心特征并预测未来状态；物理 AI 的终局路线不是用世界模型取代 VLA，而是将世界模型融入 VLA/XLA 框架以兼顾底层物理规律与人类语言常识。 (70:00)

陈龙认为，具身物理AI（Physical AI）的发展正在突破传统模块化与纯端到端架构的局限，走向融合多模态感知与本体泛化的XLA范式；通过自研基座模型打通汽车与机器人的数据协同，并以潜空间推理和世界模型弥补开环监督学习的短板，是解决物理世界长尾决策与安全泛化的核心路径。 从三段式折损到VLA引入物理常识 (5:00) 陈龙梳理了自动驾驶范式的演进逻辑：早期智驾1.0采用“感知-预测-规划”的三段式模块化设计，上游向下游传递信息时存在不可逆的特征折损（如同接力传水），丢失了前车手势等丰富的交互语义，且无法穷尽长尾障碍物。受强化学习先驱Richard Sutton《苦涩的教训》启发，去除人工规则先验、依赖数据驱动的端到端大模型成为行业趋势。 然而，纯端到端系统（Vision-to-Action）本质上是缺乏可解释性的黑盒，无法理解动态交通规则背后的深层因果（例如遇后方救护车借道避让时的合理闯红灯）。陈龙主张向VLA（视觉-语言-动作）跨越，利用大语言模型预训练沉淀的人类物理常识与逻辑推理能力，显式引导模型进行驾驶决策，从而攻克长尾 Corner Cases 的黑天鹅难题。 突破语言符号瓶颈：XLA与潜空间推理 (52:13) 针对传统VLA过度依赖显式自然语言Token生成导致的推演延迟与信息衰减，陈龙认同语言并非理解物理世界唯一钥匙的研判，指出用逐字文本指导高速规控如同“蒙眼听副驾驶念路况”。为此小米提出了XLA范式，在输入端接入全模态（视觉、激光雷达测距与听觉信号），在本体端泛化适配汽车、人形机器人乃至全屋智能。 XLA的核心突破在于引入“潜空间推理”（Latent Space Reasoning）。该机制绕开显式文本生成，直接在模型内部连续向量潜空间展开多步推演，模拟老司机在狭窄空间会车时依赖直觉脑补几何轨迹的过程。这既保证了物理控制所需的极低延迟与高吞吐量，又在底层保留了随时反解为人类语言或未来视频预测的可解释能力。 车机联合训练：MiMo-Embodied与双向增强 (34:25) 陈龙加入小米后主导研发的MiMo-Embodied具身基座大模型，首次将智能驾驶与机器人任务置于同一通用框架联合训练。两者联合的核心依据在于数据与能力的互补：汽车每天在道路行驶沉淀的海量第一视角运动轨迹，填补了人形机器人物理交互数据的匮乏；而机器人面对的多自由度三维精细抓取操作，反哺给车辆极高的三维几何空间推理能力，实现了跨任务的“双向增强”。 该方案依托自研的Mimo多模态基座，引入思维链（CoT）将复合控制拆解为离散的小型推演步骤，并辅以强化学习后训练。陈龙强调，主机厂自研基座模型是安全护城河，若直接采用混杂互联网未经清洗噪音的开源模型训练VLA，极易在关键驾驶决策时诱发灾难性系统误判。 具身Scaling困境与隐式物理世界模型 (65:00) 谈及具身智能的学习机制，陈龙指出了当前开环监督学习的致命缺陷：离线模仿学习仅依赖人类驾驶的“完美轨迹”，一旦部署到真实物理世界遭遇摩擦力突变、机构延迟或分布外工况（OOD）便无法自我纠正。具身Scaling Law的验证远难于数字模型，系统必须引入包含犯错与脱困过程的“脏数据”来学会动态应变。 针对行业关于世界模型路线的争论，陈龙明确界定世界模型的核心价值绝非生成高清外观像素（如模拟路边树叶飘落），而是在潜空间对下一物理状态（Next State）进行准确预测。他研判世界模型并不会替代VLA，终极技术路线必然是将世界模型学到的底层物理规律无缝融入到VLA/XLA架构中。 “沿途下蛋”研发观与真实世界实验壁垒 (30:00) 在技术落地策略上，陈龙团队定位于前瞻“N+2”代预研，将约60%精力投入前沿学术与顶尖人才招募，并推行“沿途下蛋”研发模式，促使前瞻探索持续孵化出可量产的技术组件。在团队分工上，叶航军统揽全局，陈光负责主流L2辅助驾驶量产，王乃妍主攻高阶自动驾驶突破，陈龙则牵头具身大脑与基座模型重构。 陈龙强调，物理AI的终极壁垒在于“真实世界实验”。纯虚拟仿真算法在面对真实光影、机械磨损与复杂物理多智能体博弈时极易失效，必须依赖实体设备严苛实测。他认为，中国凭借海量数据飞轮、敏捷的硬件制造链与极高强度的工程迭代节奏，在物理AI竞赛中构筑了关键的综合竞争力。 陈龙预期未来三年小米将推动智驾系统迈向L4闭环并加速人形机器人走入日常生活，但也提醒全行业VLA与世界模型仍处于未完全攻克的研发深水区，需警惕概念过度炒作带来的预期落差；在量产层面，单凭纯视觉仍存局限，多传感器融合与严格的底层数据清洗仍是保证物理安全不可替代的底线。

[0:00] 陈龙: 重点是每天只能做一两杯咖啡，每次可能就调一两个参数，所以需要一段时间才能调到最佳参数。 [5:00] 陈龙: 计算机视觉是计算机与真实世界唯一的接口，它第一次让机器能够看懂并理解物理世界 [10:00] 陈龙: 为什么叫‘苦涩的教训’？因为大家在探索时总是习惯加很多由人类定义的先验知识（如人工规则、特定目标检测器）。短期内，加这些东西确实能让性能稍微涨一点，迅速达到一个局部最优（local minimum）；但长期来看，它对终极目标是没有帮助的，最终胜出的一定是最简洁纯粹的结构——完全通过数据驱动范式训练出来的强大神经网络。 [25:00] 陈龙: 保持 hands-on 的一线敏锐度，用自己足够深厚的行业视野和认知，去启发并影响整个团队的航向 [40:02] 陈龙: 拿开源模型来训练 VLA 是一件非常危险的事情 [43:08] 陈龙: 绝不是去生成多么好看的下一帧高清视频 [52:13] 陈龙: 就像蒙着眼睛开车、听副驾驶一字一句描述路况再打方向盘一样荒谬 [60:00] 陈龙: 有点像人算题，从心算变成了给你一个计算器让你自己验算一下 [70:00] 陈龙: 世界模型本质是通过视频预测来解决物理世界底层运行规律的问题。现在好多人觉得 VLA 不如 World Model 火了，但实际上我们依然离不开 VLA 带来的语言常识与高级推理。人类智慧的结晶与社会规则是通过语言凝练的。最终的终极路线，必然是把世界模型融入到 VLA/XLA 的框架之中。 [75:00] 陈龙: There's always a Chinese person smarter than you and working harder than you. [80:00] 陈龙: 小米是一家非常年轻且文化包容的企业，任何人都可以站出来挑战规则。小米提倡‘共创共识’。达成共识往往是最难的一步，但也是必须跨越的一步。如果团队没有达成深刻的共识，大家缺乏信念，一旦遇到阻碍就会轻易放弃。当初我们把自动驾驶与具身机器人融为一体，业内无人做过，但正是因为团队内部坚信这个方向能成，最终克服了重重技术阻力将 MiMo-Embodied 做了出来。 [80:00] 陈龙: 如果是我真正坚信的技术方向，我肯定还是会坚持的。就算经历了三次拒绝，我依然会尽全力去争取第四次，努力去影响雷总的决策。

[0:00] 这个就是我比较喜欢的一个雕塑它是一个会飞的猪因为雷手说过一句话在风口上猪都可以飞起来我小时候就看过一个美剧叫霹雳游侠员工是有一辆汽车的那就是理想世界当中的这个汽车不能跟你小时候的梦想隔空记了个掌是的你把VLA带到蜘蛛驾驶是全球首创为什么是你伊利亚 杨勒坤 皮特尔 比尔国际上路神经网络做AI很前沿的一拨人早期投资了我们还有一套很好的做实验的方法可以快速验证很多想法那时候想过有一天会进入小米吗我当时在伦敦看完了整个发布会非常激动雷总跟我亲自聊了一个小时这是没太想到的后面看到了很多90后的面孔在小米像罗夫利王乃妍90后在小米是一个什么样的状态乃妍我是比我大几天罗夫利比我年轻我们经常一起吃饭你们俩之间会有什么交流吗Memo模型主要是罗夫利团队做的一些预训练Memo embodied是使用了Memo的模型你比较需要它的机座模型是的它也很需要你你相当于是它下游的一个feedback是的我也会有些是医生在那边去实习一下你们俩都是90后对交流有障碍吗障碍还蛮少的现在技术leader探藏的能力是非常重要的2025是一个特别的年份吗大家普遍是在探索What's next练模型啊VLAR双方学习啊这一年还是有很多成就的从VLA到XLA一倍是什么终局的目标是要把不仅是模态还有本体都给统一起来最终形成一个很大的一个居身大脑实现物理世界的一节爱微测沙灯的The Beat Lesson苦涩的教训为什么是苦涩的教训呢是因为大家探索的时候总是会想要加更多的东西最终的肯定是被简洁的一些结构越简单越纯粹越美妙对了完全使用语言来进行推理的但是可能还不是最终的暂时伦敦的跟硅谷的创业文化还是有些区别的英国可能是更偏重理论研究一些我之前硕士是在UCL读的然后UCL其实就诞生了Deep Man的做Deep Learning很出名的公司我最近刚看完Deep Mind的哈萨比斯的传记里面写到土哥不是把Deep Mind收购了吗收购了之后哈萨比斯还一直坚持Base在伦敦这还挺神奇的伦敦其实还是有很多做人工智能的一些人才的特别是Cail或者是牛津跟剑桥还是有很多人工智能包括一些比较尽端的方向的很多的人才您喝什么冰美式吧好的那小米员工买有一个味道没有的但是本身定价也比较便宜了很便宜冰美式的话就11块钱其实这么便宜了其实我对做咖啡还是有些研究的它这个咖啡机是最顶尖的咖啡机叫Lama Zoco这台是意大利产的我其实真的挺喜欢做咖啡的我家有一个手动的咖啡机英国的时候就是经常每天早上就去做一杯咖啡我觉得做咖啡其实跟训练神经网我是类似的因为它有很多参数要调整就比如说你磨咖啡豆的时候它那个粗细度包括你咖啡出多少克包括手柄它那个网红的粗细之后你把这个手柄放在这个咖啡机上水流的速度水流的温度包括出水的速度其实对你整个这个咖啡的风味都有一定的影响我觉得这个还跟室内的室内网络蛮像的重点是每天只能做一两杯咖啡然后你每次可能就调一两个酸素所以需要一段时间才能调到你的最佳的参数每一个细节都会影响你最终的很大的一个结果过去三年人们的目光聚焦在语言模型但是当下物理AI正在被热议其中VLA和世界模型是两个极具潜力但又充满争议的方向今天的嘉宾是小米智驾基座大模型负责人陈龙他是全球顶尖的华人科学家曾最早将VLA技术和智能驾驶领域融合当下这位90后正在试图打通巨生机器人和智能驾驶打造一种新的AI学习范式欢迎成龙跟大家打个招呼吧Hello 大家好 我是成龙现在在小米负责VLA大模型你是我采访过的第二位MIT的TR3535个35岁以下对科技领域有杰出贡献的人物我其实是最后一课上车因为我去年刚刚35我看了一下颁奖词是对自动驾驶的可解释性做了很多突破性的工作而且是全球首创把VLA应用在辅助驾驶领域的对吗对 是的入选了第二三十五当时有什么样的感受还是蛮荣幸的很多我之前已经很了解的一些很出名的人比如说夏斐高飞老师然后还有吴易老师他们也是当时在我们这个领域自动驾驶机器人包括大漠星方向都是做过很多前沿探索的一些人当然还有很多包括 [5:00] 脑机接口和聚变包括一些生物药物的研发方面每一个行业其实都是有那么一小拨人在使用最新的技术去推动这个行业的一些进步你是怎么来到自动驾驶这个领域的好像刚开始毕业的时候并不是直接进入这个行业的对是的其实我刚开始是进入到了增强现实的一个领域其实也是可以追溯到我之前的一些经历我小的时候特别喜欢计算机我小学的时候其实我特别幸运我父母给家里买了第一台计算机我特别喜欢比较新的事物然后自己去自学了很多编程的一些东西所以我在大学选专业的时候就没有去选计算机这个学科因为我想学习更多的一些东西当时是选了比较偏生物学工程的一个学院然后我们当时做的是一些计算机视觉,包括医学通常处理的一些工作,就一直在计算机视觉上面做一些深耕。然后我觉得计算机视觉它其实是计算机跟真实世界的一个接口,因为它是第一次让计算机能看到的这个世界,让它理解的世界。回到刚才这个话题,我就其实一直在计算机视觉上面做了很多的探索。博士毕业之后去了第一家公司,也是做计算机视觉的一个增强现实的平台。主要是一些AR互动的一些东西然后当时也非常的幸运刚加入这家初创公司大概不到6个月就被美国的一个头部网约车公司给收购了用我们这些技术来做自动驾驶然后当时非常的兴奋因为其实我非常喜欢比较尖端的行业我在网约车公司做的工作其实就是使用公司的一些数据的优势我们当时在每个汽车上面放了一个摄像头可以采集人类开车的一些习惯记录外部的视角记录车是怎么运动的其实就是行车记录仪然后我们使用了一些计算机视觉技术,得到了人类驾驶的一些轨迹,包括在什么样场景应该怎么开。我当时立了一个项目,就是使用这些数据来训练一个神经网络,也是验证了一个当时的scaling law,就是从这些大量的可能算是比较低质量的数据当中去学习人类驾驶的行为,之后把它用在自动驾驶的汽车上面。一个小的scaling law,那是哪一年?Transformer这个架构刚刚被发明这件事情是不是一个基础就是你们想要用神灵网络让汽车去学习对我们当时也是使用了Transformer最新的一个架构这个项目其实对我之后的影响还蛮大的因为自动驾驶是一个研究了比较长时间的一个行业可能有几十年时间的历史了传统大家的做法都是分模块的就要检测车的位置人的位置在哪里会有一些规则去定义包括一些搜索的算法来找到一个最优的路线让你不撞人让你比较舒适让你安全的到达这个目的地我做的工作其实是打破了这些传统算是比较早去探索两段式的自动驾驶的一个工作因为自动驾驶产业经常会说从两段式到一段式包括我们后来说的端到端是一个什么样的眼镜轨迹自动驾驶大体上可以分为三个阶段前期的做法是使用了刚才讲到分段式的网络的架构也是受限于当时的技术当时其实还没有特别深的神经网络它是一个流程三段式的结构你可以理解为三个小模型串联在一起每个模型做不一样的事情第一个模型周围的车在哪知道人在哪,第一个模型叫感知第二个模型叫预测,我要预测周围车怎么开,周围的人怎么走然后第三个模型就是规划,当我有了这两个信息之后我可以大体上去做一些搜索策略或者是一些规则如果前面有说要cut in的话,我就减速前面没有车的话,我就正常行驶因为当时没有很深的神经网络大家可能会比较工程的方式去思考这三个模型的作用和功能跟今天VLA对应的是差不多的感知判断和执行对可以这么讲VLA只不过把这个过程给内化了它不会去显示的说我要输出这些东西所以那是三段式的对这个是自动驾驶的第一个阶段我们也叫自动驾驶1.0阶段之后大家发现了这么做的一些缺点首先感知的话你需要人为定义很多的标签比如定义了这个是车这个是人嗯但是有一些更奇怪的东西一些障碍物你没有见过的你可能就很难定义它是什么样的还有一点就是分模块的自动驾驶它中间是有很大的信息的损失的第一个模块输出的是人的位置车的位置到我第二个模块的时候甚至到第三个规划的模块的时候我只能看到这些位置但是我缺失了很多图像上的信息打个比方说前面车里的人向你招了招手这个信息在分段式的过程当中是完全丢失掉的人类看到招招手可能就会理解为要让我先过完之类的因为他在采集的时候他只采集车的状态的信息没有办法采集到人所以这个信息被折损掉了对算法的原因是因为它是分段是每一段它都做自己的一些输出所以它损失掉了很多原始的一些信息本质上还是rubase的人要穷尽所有的场景但其实人没有办法穷尽物理世界里的所有的场景对是的所以大家也发现这些算法酸可以开但是开的很不拟人当有这些比较微小的一些互动的时候很多信息是丢失的说一下我的理解三段式其实很像三个人接力传水第一个人摇起一盆传给第二个人的时候就只有半盆了对非常行 [10:00] 什么时候从三段式变成两段式呢?所谓的两段式从传统的模块化进化到自动驾驶2.0的时候,当然也是受益于神经网络发展,Transformer这个架构的一些提出,让数据有一个更好的Skating的一些特性。我刚才讲的一些经历,我是使用了很多网约车的数据来训练一个神经网络,这个也是两段式的,还是有一些感知的模块,但也是受限于当时的算力或者是数据,很多的公司没有坚持下来。但是我上一家公司非常以第一行为原理来出发。领域里面的第一性原理是什么因为开车的话它不是一个要去规则定义的一个行为而是需要从人类驾驶的经验当中获得一种直觉对对对 是的当时还有另外一个东西叫做Richard Chatton 的 The Beat Lesson苦涩的教训我们其实也特别崇尚这个想法就是我们一定要去掉很多人类定义的一些行为因为传统在计算机视觉领域就是有很多人类注入的一些鲜艳比如说开车大家可能之前想的是出发点来想的开车一定要知道我们周围的车在哪里然后一定要user to 他下一秒要怎么开我们当时是想要转换到完全数据驱动的一个范式不需要人类定义任何的规则也不需要使用的计算机视觉去检测周围的物体在哪里完全是使用一个神经网络来模拟人类驾驶的行为相当于学习一个人类的大脑直接从视频的输入直接输出action当时这个做法算是非常非常的激进那是哪一年的事情我是21年左右加入的这家公司,但是他从2018年就开始做这件事情。2018年对于整个深度学习领域来说都还是非常早期的一个阶段。对,是的。你刚才讲到Sutton的The Bitter Lesson这个论文,我觉得很有趣啊。从一个非专业的技术人士理解这篇论文,我理解最大的意义是他讲述了Scaling Law的影响。像你描述的,在前一个时代更多的是人教AI怎么去学习。是什么样的当你遇到什么样的情况你该做什么样的反应但是深度学习可能是直接把它推到社会上让它去经历在经历当中学习也就是你讲的数据驱动Bitter Lesson它重点是讲机器它的学习未必是完全按照人类学习的方式去进行的让机器自己去探索可能会获得更好的智能让我总结了对不对对总结了比较精辟你当时是怎么把这篇论文跟你在做的自动驾驶领域去结合起来的这个Lesson其实为什么是苦涩的教训是因为大家探索的时候总是会想要加更多的东西加了一些东西可以性能稍微长一点,达到一个local的minimum,但最终你是发现加了这些东西的话,它对最终你的目标的影响是不大的,最终的肯定是最简洁的一些结构,使用完全数据驱动的一些范式来学习出来一个很强大的神经网络来做这个事情。你刚才讲的话让我想到数学家许晨阳他在采访当中就讲过一个最简单的principle,就是越简单越纯粹越美妙。很激进的探索一段式用神经网络去训练自动驾驶的时候,你们的算力数据够用吗?当时的话,说实话不太够用,一个初创企业来做这么大的一件事情,其实资源是没有那么多的,而且当时很多人不相信这个东西,但我们内部其实是一直坚信的,虽然其实也有过一些动摇,因为经常这个事情就不work,大家也不知道怎么去改进。单数量的scaling up 还包括大元模型啊 世界模型啊之类的 我们也发现使用端到端是可以得到一个很好的自动驾驶效果的 如果用最简单的逻辑描述一下你之前所在的那家公司为什么坚信用神经网络端到端的方式是能够带来至少在自动驾驶领域更高的智能 上一家公司真的以research迭代为目标来推动我们这样产的一些发展 我们有一个非常好的学术的环境 它是一个做学术来迭代的一个公司 我们有一套很好的这个baseline有一套很好的评价是不要会做大量的实验来发现我们哪一个参数最好包括我们也会结合最新的一些技术包括大约模型还有世界模型来把它融入到自动驾驶里面去探索它对自动驾驶的影响当时我们这个模型结构非常的简单只有一个神经网络来直接把视频映射到了自动驾驶的行为上面所以当很多新的技术包括新的模型出来的时候我们可以很快的去融入到我们这个模型上面然后内部迭代也是非常的快中途也有动摇过的时刻就是你一直是发现没有效果的时候可以这么干过吗对对那在动摇的时候怎么办呢当时确实有很多的动摇因为大家做了很多实验发现这个还是不太work 就在想要不要加一些规则或者是改成分段式的架构但是我觉得很好的一点就是因为公司的创始人是Alex Kendall是建造大学出来的一个学术派非常赞成用神经网络来解决一些问题他之前其实有很多 [15:00] 比较出名的工作,比如说用神经网络来做分割,神经网络来做定位,它给了我们很强大的信心,短期内不work也没关系,可以继续的做一些实验,然后继续的去迭代。回望你自己信仰建立的那个过程,因为不管当时的CEO或者同事们如何相信那是他们的事情,最终有没有某一个moment是让你自己也坚信可能走神经网络那一套,这一套是work的。有没有这样一个 moment对我觉得这个 moment 是逐渐建立起来的,因为我们当时研发的时候也会自己去坐在车里体验我们训练出来的神经网络,包括之前我去华班区也试过vamo自动驾驶的车辆,我也试了。对,其实vamo它是比较偏模块化的,因为它这个产品是要保证绝对的安全性,慢慢发现我们训练出来端到端的神经网络,它驾驶起来是非常的丝滑,非常的拟人,这个时候其实是非常的激动人心的,就感觉我们是在推动辅助驾驶边界的进步,慢慢你做很多的实验,发现你会有很多的经验,效果越来越好还是挺开心的如果总结一下你这些年在做的事情就是努力的让智能驾驶这件事情从人类教他怎么做慢慢变成车AI自己能够学习怎么做甚至做的别人更好是的 是这样一个过程你前面那家公司有一个很有远见很有信仰的CEO一个非常学术的氛围在这样的氛围当中有没有养成什么做事的方法论和你的世界观确实上一家公司对我的影响还蛮大的整个以实验为驱动的研发的范式跟现在大模型的范式也是类似的你一定要设置好一个很小的based line一个很好的评测指标然后去做大量的实验验证你的想法来做一个快速的迭代这个其实跟我们现在在小米做的研发范式也是比较类似的包括research taste的方面其实也是在前司学到了很多特别是低性原理还有the bitter lesson这个方式来思考bitter lesson它其实讲的就是局部雕花可能在短期内你能够获得一个看起来更漂亮的结果但其实于长期而言是无异的所以要尽可能的抵抗住短期雕化的诱惑是的是这样的我查了一下好像全球首个完全有神经网络驱动的自家系统其实是特斯拉的FSD是吗真正量产的算是特斯拉的FSD那个时候你在做什么我当时还在上一家公司然后我们内部其实还蛮开心的其实也是验证了我们当初坚持的方向是对的自己的想法被一个世界级的大佬做出来了对对验证了我们这个想法是正确的就是感觉他做了还有我们什么事呢?是的,但其实是走的是不同的路线,我们其实更像是一个开源的路线。2023年FSD退出了之后,2024年国内自驾爆发了,我不知道你当时在伦敦有没有感受到国内无论是新能源车还是自动驾驶行业是非常火热的?感受到了,我当时在伦敦,我是看完了整个发布会非常的激动,因为我大学的时候我实际是小米1的用户,我是看完雷总发布小米1之后,立马就下单了小米手机一代,我当时觉得它是一个颠覆性的产品。当时是大学生码可能比较穷当时诺基亚的手机可能都要四五千块功能机有键盘没有触屏当时雷总发布了小米手机一代1999全触屏的一个手机包括它的配置啊处理器啊内存啊都是用的全球最好的供应商包括它的系统MIUI当时就觉得这个东西真的是颠覆性的所以就立马下蛋了1999在当时感觉还是蛮贵的相当于两个月的生活费时隔十几年之后苏七发布的时候你觉得它的颠覆性体现在哪不亚于小米手机因为小米手机一发布的时候其实还没有那么多的国产的手机但是小米速7发布的时候新的元气车已经是一片红海对但它还是做出了一个很有特点的产品还有使用了最安全的一些结构我觉得都是非常的为用户所着想的那时候你有想过有一天会进入小米吗当时其实还没想只是感觉我特别喜欢这辆车如果在英国能够买一辆那太好了因为当时也是在自动驾驶行业就想如果我的车能有自动驾驶的功能那就太好了后来怎么样有机会跟小米接触上的呢其实是集团这边的高招联系了我其实当时也没有太有回国的计划想要继续再做一些事情做一些比较前沿的一些探索然后当时就收到小米的邀请其实小米之前也有很多家公司联系我没有到个人想要回国的时候但是小米联系了我我是想要聊一聊的因为最后聊到雷总也跟我亲自去聊了一个小时这个其实我没太想到了雷总跟你面试的时候聊了些什么呀其实李总他对技术上面其实是有很强的认知的他其实本人也是投资人所以他对最新的技术包括端到端呀包括比较早期的VLA其实还是比较了解的大多数是我在问他吧然后他其实问了我一些问题不太记得了好像问了做VLA这个东西需要多少资源呀之类的但我真正打动我的是他对未来终局的一些看法包括小米人车家的这些布局智能设备这个连接AI对他们所有 [20:00] 这些设备的赋能这些中举确实是打动了我感觉在小米能有更大的一些作为而且可以为国家做一些贡献面完之后你最大的感受是最大的感受是小米真的是在AI方面有很大的投入包括对未来物理的人工智能看得非常的清楚它是要大力投入AI方向包括把AI进入到物理世界来赋能所有的设备想得非常的清楚那是2025年的事情吗我其实当初聊了挺久的嗯开始接触,对。对。对你来说做这个决定花了多久?可能有大半年的时间吧既然决定加入小米你想在你的职业生涯当中做什么样的突破我还是更想把这些最新的技术做成一些量产的产品来推送到你用户手中进入千家万户的生活对对对是的这个可能是最让我开心的明白你是2025正式加入小米对吗大概是2025年3月加入小米的2023到2025其实经历了整个大模型浪潮技术的演进因为我们一会要聊VLA和世界模型巨人的肩膀就是AOAM过去三年在技术上不停的跨越一个又一个台阶。对,是的,Transformer的出现其实造就了不仅仅是语言模型,还包括很多视觉的仿对式model,加速了很多智能化的一些进程。2023到2025整个大模型的眼镜对于这家领域到底是产生了什么样的影响?从2022年底ChalletGPT出来之后,我觉得对所有的行业都有一些比较深远的影响。我还记得23年初的时候,我们就开始尝试使用ChalletGPT来做的。在当时也是比较激进的语言模型就更加的激进了24年之后Tesla转型到端到端之后端到端方向是首先火了然后慢慢的VLA方向啊世界模型方向也慢慢的火了起来从技术上看2025是一个特别的年份吗2025肯定是一个很特别的年份因为2025的话大家普遍是在探索what's next就是端到端之后如何让辅助驾驶变得更好更加智能然后大家也大力的去投入了这个前沿的一些探索的工作包括世界模型包括VLA包括强化学系这些其实非常学术的前沿的方向这一年还是有很多的成就的从端到端到VLA它跨越了什么我觉得更多的是一个认知化缘,因为端到端虽然它有很多的好处,它是完全一个数据驱动的范式,可以直接从数据当中去学习,但它并不具有可解释性,它是一个完全黑合的模型,我们并不知道它内心是怎么想的,有可能它会输出很奇怪的行为。我们说的模型幻觉是吗?对,有时候就不是特别的可控,还有就是它虽然知道在什么场景应该怎么开,但它不会真正的去理解这个世界,它知道看见红灯我要停下来,我不能传红灯。我不能闯红灯在某些情况下你是需要闯红灯的比如说你后面有一个救护车你挡完它到了这个时候你是可以稍微闯一下红灯这个也是将会规则允许的但是这种数据可能在你的训练当中根本没有,这个是非常常委的一些场景。刚才所讲的这些对于物理世界的理解,就是VLA当中L,就是这个Language能够去做到的什么?对,是的。所以从端道端到VLA是从VA到VLA吗?是,可以这么理解,就是把这个语言的能力融入到了端道端的模型当中,因为大语言模型它是使用了互联网上的语言的模态做的一个预训练,还有很多对世界的一些常识,我们想要做的就是让辅助驾驶的模型拥有这些常识。所以这个可解释性是基于语言模型背后的逻辑推理才做到可解释吗对,它是基于语言模型,它这个判断是可以去显示的去说出来的。你把VLA带到辅助驾驶这个领域是全球首创吗?为什么当时其他的公司没有做这样子的探索或者做成?为什么是你?我觉得这是个很好的问题,其实我也一直在复盘,我感觉可能是几个方面吧。第一个方面是,我之前的公司是比较看重学术领域的,包括创始人啊,早期员工很多是researcher,包括他早期投资人也有很多这个行业里面做AI前一页方向的。甚至伊利亚也是我们的投资人还有Yang Lecun也是还有Peter Abil都是国际上做神经网络做AI很前沿的一拨人他们也对我们之后的发展有很多的影响跟建议第二点也是得益于我们有一套很好的工程的团队刚才讲的有一套很好的做实验的方法我们的模型特别的简单从你训练模型到部署特别的方便一个人就可以自动化的去训练一个模型去部署到车辆上面然后你训练好模型第二天就可以上 [25:00] 车去体验你自己训练的模型这一套流程都特别的简单听起来组织也很扁平对组织是特别的扁平所以你可以去快速验证你的很想法包括一些很新的idea你都可以去快速的实现但我理解你的上一家公司因为它还是一个创业公司属性更重做的更多是前沿技术的探索没有那么追求规模化和量产落地是的所以在这样的一个前提下比较容易维持我们刚才讲的扁平和开放的组织和文化对对是的但当你要把一个技术成果落地它其实就面临着规模化的问题就像你现在进入小米它是一个上市公司拥有更复杂组织的一个环境会不会有些改变呢?是的 改变还是蛮大的其实我在小米学知道了很多前思的话还是比较偏学术的考虑的东西可能也会少一些但是当一个技术做成一个产品的时候你要考虑的东西会更加的多不仅要考虑你这个技术的成熟度还要考虑安全的问题包括拥付体验的问题你要考虑的东西会更加的多你在前思也是核心科学家吗?华人科学家多吗说实话不是特别的多英国的话我感觉华人还是稍微少一些的肯定比硅谷少这种做research欧洲的或者是印度的人会比较多一些你觉得你身上有欧洲风格吗我觉得肯定是会因为毕竟也待了十几年你身上的中国人基因和欧洲风格是怎么体现的这是个比较好的问题我觉得中国人基因还是比较拼的从小教育的环境成长的环境其实也是决定了所以我在前四也是晚上会经常的加班,但这些其实都是自发的,因为我也真的对这些东西很感兴趣。相反这些欧洲人啊英国人啊,他们可能是比较放松,比较chill的一个环境。晚上五六点就走了,就下班去接孩子了。欧洲文化的话,他对做成一件事情,可能他觉得你不需要一定要出结果。这个是我在欧洲学习的重要的一个东西。需要足够享受过程。对,就是过程很重要,特别是做研究方面,其实很多东西是会失败的。是没有结果的但这个时候其实你就要接受这个结果而且心态一定要好不能受这些失败的影响然后去找到你下一个目标他们其实不会特别的生气特别的懈怠而是去转向另外一个目标足够享受过程的时候发现只要时间足够久结果几乎是自然而然就会带来的对 是的但这就是一个很有意思的问题了当你带着长时间在欧洲生活给你留下的世界观的烙印回到国内这片非常卷的市场的时候我很好奇你内心有没有一个肯定会有的 因为毕竟文化还是稍微有些区别的 你觉得小米有想保护你身上这一部分的影子吗 我觉得肯定有 我觉得我是比较幸运的 我还是在小米被保护的比较好的 老板们也没有给我特别大的压力 而是给了我一个就是比较宽松自由的环境去做一些比较前沿的一些探索 我觉得还是很幸运的 在技术层面小米期待你的加入能够带来什么 我觉得更多的是带来一些思想上的转变 小米并没有特别期待说我一定要把什么东西在什么期限内完成而是更多的是带来视野跟认知上的一些提升其实我当初回国之前跟我们航军总聊的他期待的就是我可以去设计一个比较前沿的一个统一的框架去把自动驾驶跟机器人这两种任务统一在一起我当时觉得这个思想非常的好而且这个是真的我想做的事情也是我当初回国的一个原因既然你提到了航军总我也想跟你聊一聊小米支架的梦之队外界是把小米支架称为梦之队的在这个非常庞大的组织当中四个人为核心的科学家画像包括您刚才讲的小米元老叶航军博士还有陈光博士还有原来图森未来的首席科学家王乃妍还有你很好奇你们平时梦之队的日常生活是什么样自己人会有交流吗我们交流还挺多的但称之为梦之队我觉得有点过了我们可能是在各自不同方向上的一个技术的leader我觉得现在技术leader其实还蛮重要的因为在传统行业leader往往是比较偏管理的人但现在比较新的行业包括自动驾驶机器人大模型其实更偏重于技术型的一些leader能够真的用自己对比较憨憨而且可以用自己在这个领域当中的一些视野去影响团队做的事情我觉得这个是很重要的当然航军总还有乃烟还有陈光其实我们交流非常的多他们人都非常的nice当然我们做的方向可能不太一样我跟陈光博士可能交流会比较多一些因为他是带领我们整个主流驾驶的一个团队L2的一个团队最先应用在L2上面然后乃岩老师是带领我们L3的一个团队然后杭军总就是总主管对总经理他自己其实也是不仅很关注最新的技术而且他还会真的去用一些前沿的工具你刚才的表述当中有一句话现在的技术负责人是需要更多用自己的视野去影响整个团队能不能解释一下这句话的含义因为现在前沿的技术发展特别的快不仅变化很快而且还需要你对整个行业需要比较深的一些理解很多深耕的一些人来作为leader的特别是在大马 [30:00] 方向因为大模型最近几年才刚刚发展起来他特别是需要你是真正去手动训练过这些大模型的人你才能知道当中是需要什么问题怎么解决所以肯葬的能力是非常重要的你们现在会有技术路线的争论吗技术路线的争论其实还蛮多的不管是内部还是外部其实都有蛮多讨论的今天所有在面临激烈竞争的公司都面临着同一个问题就是技术变化很快可能一个更好的技术或者更有前景的方向悄然的出现但是在一个非常强竞争的环境内去负责这个时候怎么兼顾短期结果和长期的一些不同路线的探索怎么既保持手上的works是有效的高效的同时还有余力能够去看得够远这个其实就要求总经理级别有很好的视野能够既在量产方面有很多的投入又在很多前沿的方向去做很多的探索当然也有一些比较长期的目标比如说你要去探索下一代的范式去做一些更新的功能因为量产跟预言其实不应该分家去沿途下旦在运营的过程当中产出一些量产的结果能交付到用户手中这个是比较健康的一种模式具体回归到你自己日常时间的分配会花多大比例的时间去关注你刚才讲的一些细节方面的调话花多大的时间去follow前沿用什么样的方式我可能现阶段60%左右的时间是花在比较前沿的一些探索包括读paper 还有跟很多的research 去交流包括对人才的招聘可能这些花的时间会久一些自动驾驶这个领域好像现在看起来90后是一个主力军为什么对这个是个很好的问题自动驾驶其实还是一个比较前沿的行业首先在学术界上有很多新的idea是从学术界上产生的学术界在自动驾驶活跃的都是比较年轻的一些老师可能是一些90后啊什么的为什么我个人感觉可能比较新的老师会更喜欢自动驾驶的一些方向,可能一些比较established的一些教授,他们可能会更容易去沿着自己传统的研究方向去延续下去。他们可能在上一个时代最热门的应用方向已经聚集了。对,是的,他们已经有很多的成就了,所以可能很难去转型到一个比较新的方向。明白,同时我们也看到了很多90后的面孔在小米,包括像洛弗利,90后现在在小米是一个什么样的状态?他们是胜利军吗?算是,其实我跟王乃元博士年龄差不多,他比我大几天好像是,蛮巧的。我觉得小米一直以来都是一个比较年轻态的公司,包括雷总还有这一众高管,其实对外的形象都是很年轻的。传说中需要身材管理是吗?对,当然雷总他平时健身也很多,经常在微博上贴健身的一些照片什么的。我觉得在AI这个高压的环境当中确实是需要注意自己的身体,就不仅仅是身材吧,整个健康其实都是需要着重注意的。你有感受到他对你们这些90后啊95后投入更多的观察或者经历吗对我感受到了其实雷总对这些比较尖端的人才他都会亲自的下场去聊包括对这些科学家们其实也很宽容提供资源也很多你已经是全球顶级的科学家的画像带着这样的全球级的成果来到小米的时候你会有压力吗压力肯定是有一些的但压力也可以转换为动力吗而且我感觉这个东西是我真正喜欢去做的所以整体还好工作时间确实是比之前在英国长了一些最近有和雷军总交流过吗?上一次发布会的准备上面其实也交流了挺多的,雷总当时也亲自帮我,就在我旁边用他的电脑去改了这些稿子,也给我做了很多演讲的维训。你能感受到他对你们这些年轻管理者的期望是什么?他对这些年轻的管理者,科学家其实挺宽容的,当然肯定也是有一些期待的,他也不停地去鞭策你,虽然会给你提供很多资源,当然也会要求你阶段性的阐述一些结果,还是定期要review的。对,这个肯定是的。他对你们和更原来的,老级的管理者会有风格上的不同吗我觉得是有一些不同的我跟他交流的时候其实感觉他非常的nice我觉得雷总是非常和蔼可心的而且是真的会教你一些东西而且给你很多机会的我们接下来聊一聊你真正来到小米之后的成果这次发布会是带着你们的巨身的机座模型Memo Embodied亮相能不能一句话给大家解释一下这个模型是做什么呢刚才也讲了当初来小米的一个目标就是想要提出一个框架把自动驾驶跟机器人这两种任务MemanguBuddy的就是在这个方向的第一个尝试也是业界依次把自动驾驶跟机器人这两种任务融合起来的一个聚生大脑的框架为什么是智能驾驶和聚生智能为什么是车和机器人?当然我知道车是最简单的一种机器人。您说的特别对,车它实际上也是巨神智能的一个本体,车跟机器人它都是巨神智能。我们把它融合起来的原因,其实有几点考虑吧。第一点是,现在机器人普遍数据比较少一些,它没有辅助驾驶这么多的数据,所以我们把驾驶跟机器人当中融合起来之后,可以 [35:00] 去提升机器人的一些表现还有我们也想把像人类一样学习的过程注入到我们整个框架里面因为其实人我们在小的时候也会跟很多的物体进行一个交互在这些交互当中我们是学习到了这些物理世界当中的一些规律比如说物体应该怎么样运动它的视角的变化是怎么样的我们是通过不断的跟物体交互去学习到了对空间的一些感知还有空间的一些推理的能力当人类有了很强的能力之后而且开起来会更加的安全听起来是原本两个行业自驾的做自驾机器人的做机器人相当于是给车和机器人分别开小班专攻教学但是小米现在是试图把车和机器人放在一个班上课是的最终就是我们希望能有更多的数据去训练一个更加强大的神经网络也是因为在Transformer就很好的scaling的一个特性当我们放入不同的数据的时候它会产生很多结同的效应我们刚才也聊了这些connecting the dots虽然有些不相关的一些事情但是我们通过一个统一的训练可以把它结合起来体现在这两种能力的各自的加强上面我理解它其实也是一个非常大胆的探索因为你凭什么相信把原来看起来两个班的学生拉到一个班能够保证比小班教学更出色了对是的这个就是需要我们去做大量的实验因为我们当时有这个想法的时候到底能不能相容?对,因为一个是室外的辅助驾驶,一个是室内机器人的操作,而且他们视角,包括不同输入跟输出的模态差别都是比较大的,然后业界内也没有一个之前的探索,来探索这两种模态到底能不能融合。所以我们也是做了很多初期的验证工作,包括做了很多的创新,最终是通过多阶段的一个学习,包括制作了很多COT的thinking的过程,把这两种模态的知识统一起来。是具有协同效应的自动驾驶的数据是可以增强机器人的一些任务的然后机器人的数据也是可以增强自动驾驶的一些任务的这个双向增强是怎么发生的其实就是需要你去设计一些精巧的多阶段学习的一些方式我们这个Memo embodied 它是使用了我们自研的Memo的模型Memo模型主要是罗夫利团队做的一些预训练VLA当中那个L的部分对吗对它是L它首先是训练了这个L的部分训练了一个大语言模型出来就是它也可以接收图像多模态对多模态我们是拿这个机座模型之后再做了一个continued pre-train就是持续的预训练我们是把这个空间感知跟空间推理的能力进一步的加强了当然我们是分阶段做了第一阶段是增强了很多居身机器人能力之后是增强了自动驾驶的这个能力最后还使用了很多COT的数据把自动驾驶跟机器人这两种通过COT连接了起来之后还有一个强化学习的后训练让它进一步在这两种任务上面达到骚踏所谓的COT是SVLIN吗?对,思维链,因为刚才也讲了,模态差别非常大,但是你的思考过程其实是可以统一起来的。能举个例子吗?巨身的模态数据是什么?自动驾驶的模态数据是什么?怎么通过一种思维方式把两者结合起来?比如说机器人看到的画面,比如说我们看到一个桌子,上面有一个手机,然后我们让他把手机抓起来,然后他就会做一个抓起的动作。如果我们没有思维链方式的话,它是靠一个直觉去做推理的,这个是需要专有的训练的。也会大大的增强也就是说它会在内部有一些思考的过程比如说它会先思考我看到一个桌子上面有一个大概是手机的样子的物体用户给我的目标是要把手机抓起来然后它会进一步的去推断手机的坐标然后下一步怎么做它实际上是把一个比较大的任务把它分解成了每一个小的任务然后去扶助驾驶的话可能跟刚才讲的过程也是类似的就是扶助驾驶看到一个画面小的思考的段落当你把这些大的任务拆解成小的任务的时候这些小的任务是可以产生协同的效应的其实是可以把自动驾驶跟机器人这两个大的任务统一起来的机器人能教车什么车能教机器人什么机器人数据它提供的更多的是空间感知跟空间推理的能力因为机器人是比较强交互的一个场景我要移动各种不同的物体包括抓取移动还有各种物体的交互它能够从机器人数据当中学习到更多与不同物体交互它的空间感知跟空间推理的能力会更强一些所以机器人交给辅助驾驶的就是空间感知跟空间推理能力然后辅助驾驶交给机器人可能更多的是对物体的感知的一些行为因为自动驾驶是在室外第一视角驾驶的一个场景不同的速度可能不同物体的运动的方式都不同物理状态物理轨迹对它更能从驾驶的时候不同物体运动的方式学习到一些钢体的行为或者是一些柔性物体的行为能从这个海量的数据当中学习到这些东西它是不是更接近next state prediction [40:00] 就是下一个物理状态的预测对是的他通过最终的目标你要怎么开然后会隐式的学习到就怎么判断你这个距离或判断它的速度这些可能在机器人的数据上面会比较缺失刚刚讲L的这个基座语言模型的部分是罗芙利训练的你们俩之间会有什么交流吗对我们之间交流还挺多的因为它要提供比较强大的基座模型我们会利用这个强大的基座模型进行一个持续的训练拓展到我们去生理领域最终让它应用到我们这个垂直的领域比如驾驶上面所以我们也经常给他有很多的反馈基础模型需要具体什么样的能力当然我们在数据上面也有一定的反馈会把一些数据反馈给他们团队他们团队也会用最新的数据去迭代他们的极左模型来增强我们还有任务的一些表现你们俩都是90后对交流有障碍吗我觉得障碍还蛮少的,对,他应该是比我年轻一些的,但是我觉得罗夫利的能力还是挺强的,不仅在管理上面能力很强,在整个大模型职业上面,我觉得他也是非常有见解。我们经常会一起私下的去交流,一起吃饭什么的。你比较需要他的机座模型吧?是的,我觉得有一个自研的机座模型团队对做驾驶是非常必要的。因为现在其实有这种能力的车骑并不是特别的多,因为训练机座模型,他需要大量的资源包括大量的人才还有很多know how其实普通设计可能不会具备这样的能力也没有这么多资源来从头做一个基础模型的预训练但我个人判断这个基础模型对持续最终的追身智能是很有必要的因为现在很多车企其实是拿开源的模型来训练VLA的我感觉这是一件非常危险的事情因为你不知道它在做预训练的时候混入了什么样的数据因为互联网上有很多抽象的内容危险的东西如果你把这些抽象的内容泄露到了你的预训练数据当中有可能这些微小的数据在你最终辅助驾驶做决策的时候会影响一些关键的决策来造成一些危险的行为当你有了训练机做模型的能力之后你是可以做更多的筛选包括怎么样把更好的高质量的数据甚至是你下游任务的一些比较corner case 的数据把它反补到你的预训练当中让它实现更安全的一个辅助驾驶还有最终的机器的屈身智能的一个操作明白但我觉得他也很需要你因为你相当于是他下游的一个feedback对对对是的我们也还有一些项目上的合作然后我也会有一些实习生在那边去实习一下会有一些具体的下游会有什么样的任务比较难去解决然后反馈给他们所以在Memo in body的这个基座模型当中肯定是有VLA我们刚才已经讲到了这当中有世界模型的影子吗我感觉世界模型跟VLA其实本质是不分家的因为世界模型这个概念可能比较宽泛一些我感觉语言模型其实也是世界模型因为它是可以利用语言来进行未来的思考跟预测的所以它本质上也是一个世界模型这如果很好奇的VLA它是不是世界模型的一部分因为大家对世界模型的定义其实就挺纷繁复杂的其实世界模型有比较宽泛的定义也有比较搭窄的定义搭窄定义可能就是之前杨勒坤一直在从上的给定一个action之后可以预测未来的状态当然现在很多东西也叫世界模型比如说李飞飞做的那些基于3D重建的工作大家也叫世界模型包括辅助驾驶之前有很多世界模型工作它其实是基于很多模拟器包括3D重建或者是生成式重建然后可能还有一些叫所谓的Word Action Model,就是我可以在生成的时候去预测下一个状态,然后再生成Action,这个可能也叫世界模型。所以大家其实对世界模型到底是什么样的模型,并没有一个特别明确的一个定义。那你对世界模型的定义是什么?我认为世界模型还是要偏向于生成下一个状态。我觉得生成下一个状态更像是类似于人类思考的方式,因为我们去想象的时候并不会把整幅画面给描述出来。很多信息是比较好。高频的信息这个例子在自动驾驶上面我们能预测未来要发生什么很重要但是你说预测这一帧的叶子到下一帧去提到怎么变化这个对你最终决策是没有影响的但是现在视频生成模型是需要把这些显示建模起来的所以我觉得最本质的不是要生成比较好看的下一帧的视频而是要有一个比较好的一个表征去预测未来的比较本质的一个状态这个才是比较有用的一个实践模型所以VLH你觉得它能够带来更多对于下一个物理状态的预测该做什么的一个判断在这方面在做一些探索,如何把预测未来状态的能力把它融入到VLA的框架里面。因为VLA的框架里面,它没有一个比较显示的对未来状态预测的一个过程,它更多的是使用L来解释,或者是进行一些未来的推演。它使用的是一些符号化的语言来进行推演。为什么人事件模型和VLA会在当下被热议?虽然他们可能 [45:00] 也出现很久去生智能包括自动驾驶这两个方向现在非常的火而且这两个方向说实话还是一个research的问题还没有真的被解决而且现在这些大家使用的端端甚至是VLA范式可能还不是最终的范式现在也没有统一所以大家对一些新的技术出来之后可能会有比较大的cap就觉得新的范式能解决现在的所有的问题所以会被炒得很热但是我觉得还是应该多回到技术的本身因为每一个新的技术出来可能解决一些问题但它肯定还是有很多他自己的问题,当我们把它炒得过热的时候,反而这个技术,大家对他期待过高,反而可能发现他并没有我们想象中这么厉害,反而会错过一些东西。我觉得最直观的就是之前大家觉得端到端一无是处,然后又觉得端到端特别的神奇,后来又发现端到端有很多缺点,很难做,然后就可能再推崇下一代的技术。但可能我们真的是应该把一个技术迭代好,打磨好,然后他才能去解决我们最终的所有的问题。都声称自己在做VLA但是可能业内人会觉得实际上本质它还是VLM它并没有实施到这个Action的这一步大家只是声称自己在用VLA像我们节目前几期的嘉宾王欣欣他曾经也公开的去说过VLA当下的问题所谓的最后一公里就是Action的这一步它在辅助驾驶领域会比智升领域稍微好一些吗我觉得辅助驾驶是有一些数据上的优势的因为辅助驾驶的数据可以很好去获得我们已经有了一个比较成熟的产品,用户在驾驶的时候也会做很多反馈,反馈一些宝贵的数据去迭代性,它不像现在机器人领域,大部分还是需要自己去采集数据的。所以不管是成本还是数据多样性方面都跟辅助驾驶差的很远,这也是为什么辅助驾驶的VLA的落地可能会更加快一些。还有语言数据的标注方面,辅助驾驶其实也是有一套成熟的标注的标准的,我们有很多感知的数据,这些感知的数据可以很容易的去让它去生成一些具体决策的目的。所以生成这个语言数据会很快这个也推动了辅助驾驶的VLA的一定的发展我觉得还有一个方面的因素车还是相对最简单的一种机器人它的自由度比人型要简单的多那个Action没有机器人那么复杂比如说我们要送人型机器人进工厂打工它面对的决策的复杂度可能比自动驾驶要高很多是的 辅助驾驶它的Action Space会更加的小一些它本质上是一个2D的输出机器人更多是一个3D的输出而且是多关节的一个输出可能会更加难一些其实是更加可控的一个环境因为道路的结构其实包括交通规则其实都没有差的特别的多所以小米是看到了辅助驾驶它其实是跑得比巨星之能快的但是未来他们可能描向的是同一片大陆现在是在两个岛屿直接打通了希望跑得更快的这条跑道能够带动跑得更慢的这条跑道是这样吗是的数据是一方面还有如果把更多的数据融合在一起它可能会产生更多的涌现行为在不同的领域都产生一些协同的效应创造出更加智能的一个大脑当然最终的目标肯定是把所有的这些物理设备都连接起来最终会有一个聚身的大脑来控制不管是汽车还是机器人还是家里的这些智能设备它其实更像是未来我们想象的一个个人的助理不仅能帮你开车也能帮你做家务然后帮你做各种的事情这是整个基座对这个可能是我们的小米整个集团的一个目标你刚才讲到说希望能够为它更多的数据不管这个数据是聚身领域的还是原来辅助驾驶领域的更多的数据能够带来一种涌现我们刚才讲Sutton那个Bitter Lesson的这个精神你不要太多的去做细节的调花,你只是需要去给他更多的数据,更大的算力,让机器自己去学习,而不是人教他如何去学习,这是大方向大处置。是的,其实现在我们已经可以看出一些端倪,现在很火的龙虾,OpenCloud Agent,他现在有很强的状况性,可以去操作电脑,他甚至可以自己去编程来解决一些问题。做一些小的任务最终实现你给它一个大的任务我觉得最终它进入到物理世界肯定也是这样的最终是有一个很大的模型去做一些调度然后帮你去开车帮你去收拾家务然后最终实现这个物理世界当中的寄爱我们上一期嘉宾他就在讲agent区别于大模型的AI能力一个最大的区别就是agent是角色化的他有一个任务有一个目标当AI有了任务和目标之后他就可以不停的自进化他的能力就会迭代可能就会出现一些涌现对本质的逻辑肯定是一样的但是进入到物理世界会更加的难一些受限到数据比如说传感器刚刚说VLA嘛V是感知的那部分感知就需要很多传感器人身上眼睛五官都是传感器现在在硬件传感器的部分有什么缺的要补的吗传感器方面肯定是我们之前大家想的传感器越多越 [50:00] 好,所以我们有各种模态当然传感器数据越多的话,对数据量的要求也会更多就是你需要更加多的不同传感器的这些数据来训练出一个更加强大一些模型本质上来讲的话,辅助驾驶的话是可以通过纯视觉来解决的但是如果现在去用纯视觉解决辅助驾驶肯定会存在一些风险的所以我们希望我们有各个维度的模态来辅助我们来最终做一个决策这也是我最近在相比学习到量产跟预言的区别可能预言它只通过视觉预言 action 这三种最简单的模态就可以实现一些功能但是当你真的进入到量产的时候你发现只用视觉在现阶段是一个智能化的水平是不够的你肯定是需要其他更加直接的一些模态来辅助做一些角色除了视觉还有什么样的模态啊比如说雷达雷达它是一个很好传感器直接获得你的这个物体的一个距离一个真实的距离然后这个是视觉是不具备的因为视觉每个像素大概距离是多少是有一定的奇异的人眼跟摄像头的感知就不一样其实雷达可能类似于蝙蝠但蝙蝠是通过声波来测距的然后雷达是通过激光来测距的它能获得一个更加准确的距离雷达是在一些比较高速的场景上面很关键的所以你一定要获得最准确的距离然后辅助你做一些安全的操作这就呼应了我们刚才讲的辅助驾驶中它有精准的感知这个精准的感知如果给到机器人就能够提高它干活的能力更好的传感器肯定能让你的测距更准,获得一个更高的精确度。还有智能问题,大脑的问题,他要知道要怎么做,包括他做错的时候要知道怎么恢复。你刚才说有很多模态,包括雷达还有别的吗?声音其实也很重要,大家之前会比较忽视,其实人开车的时候,声音还是一个比较重要的,帮助你开车的一个模态。为什么?我之前也以为声音不重要,但是自从我戴耳机开车,感觉没有安全感之后,我就觉得声音其实还蛮重要的。因为你是可以听见,你周围有没有车的包括别人叮你的话辅助驾驶可能也是需要这一部分信息的刚才说了所有信息叫无损的传递吗还有吗还有就是导航的一些信息啊辅助驾驶也是需要这一部分输入的我有一个疑问如果各种模态的信息打架了怎么办哎这是个很好的问题因为在传统的规则的时代比如说我的这个Ladar还有激光摄像头激光如果检测出来目标不一致的话确实是需要做一些判断的但我们在这个端道端时代如果使用一些前日融合的方式会自己去做一些决策因为其实人类也有一个过程刚才举的例子就是比如说我们没看到前面有个东西但是我们听到了前面可能有一个东西视觉跟清觉的一致大家对大家那这个人人会怎么办人肯定会提前减色再观察一下再看一看到底应该怎么办包括这个人也会通过知心度来做一些判断就比如说我们可能更相近视觉一些我们看见前面有个车虽然我们没听见他会根据你这个知心度包括你所在这个场景做一个进一步的判断你冲突是不需要来人去来考虑的刚才是V的感知的部分现在聊一下L目前为止大家会把L理解为language它还是基于语言模型的逻辑推理能力而产生的一系列的能力但是我们也看到有很多争议比方说语言到底是不是推理的钥匙是不是理解物理世界的唯一的钥匙你也是被在伦敦过其实伦敦有另外一个很领先的AI团队就是DeepMind它的创始人哈萨比斯就一直坚持语言不是全部你应该也了解。嗯,对,语言确实不是全部,但它是一个很好的推理的模态,因为它是一个比较抽象的表征,它的表征特别的本质,就是因为你用语言几个词就能描述出一个很本质的画面,但是如果用图像的话,你可能需要很多很多的像素才能去描述一个东西,而且它对这个长时间的记忆也非常的好,因为语言它没有一个明确的时间的限制,但是如果你用视频或者视觉的话,缩前面很多真的一个信息,所以我觉得语言首先它不是全部,但它是一个比较抽象,比较好的一个模态。它是人类目前最能够善用的工制之一。对,而且最主要是人类之前所有结晶都浓缩在语言上面,因为文字很早就出现了,我们是可以用到人类过去几乎所有的这些知识,包括很多推理的一些东西都可以通过语言来学到。当然视觉其实也是很重要,但是相机啊,录像机其实也没有发展多少年,所以互联网上存在视频信息是比语言信息少很多的。有人觉得语言会成为瓶颈,我理解它指的是当你用语言去进行一系列推理的时候,它未必是最优的,而且它可能会成为瓶颈,有些事情可能语言解释不了。对,有些事情语言确实解决不了。而且语言刚才讲了它是一个比较抽象模态,它肯定会损失一些信息。当然我们在设计维长A的时候,肯定是不希望把视觉转发成语言,然后完全通过语言转化成Action。就像你蒙着眼开车一样,你的副驾给你讲现在发生什么情况,你去做一个决定。 [55:00] 产生信息量的增加然后之后共同通过V跟L来做出一个action的决策现在语言模型已经探索到一定阶段了这种通用泛化能力就是对现实世界的理解能力它可以直接被加进来做一个增益对人类的一些常识还有一些价值观它是融入到语言里面的我们是希望把这些知识再融入到我们这个VA里面它具有这一部分推理的能力我留意到你们没有说自己的技术路线是VLA而是XLAX就代表任意模态来进行输入然后第二点就是X还代表不同问题的信息我们不仅仅加入了辅助驾驶的数据还加入了机器人的数据还包括互联网上很多图像文本这些数据自身智能跟辅助驾驶可以打通这是不是我们现在看到很多友商也在同时既坐车又坐机器人的一个小秘密比如说像小朋友我们也看到他在做人形是的这其实是一个行业的一个趋势包括Tesla呀小鹏啊其实都是在往这个方向上面去统一不仅你的硬件可以做更多的复用你最终的大脑包括大模型机座模型肯定也是要做一些复用互相的增强的特斯拉先做的特斯拉算是一个但我们这个机座模型还是比较领先的因为特斯拉他虽然硬件上面做了一些统一但是他并没有发布一个很强的模型把辅助驾驶和居生智能融为一体的这个路线小共识但一定也有不走这条路线了他们不走是因为他们不相信还是其他的因素首先同时有自动驾驶还有机器人业务的公司就比较少,可能只有Tesla,小鹏,还有Sumi,可能还有一些比较小的厂商在做,这几个主流的大公司都在走这个路线,因为确实这样不仅效率会更高,而且我们可以发现它是有一些协同的效应的,终局的目标肯定是要把这一系列的东西都融合起来。所以从DLA到XLA意味着什么?意味着不仅是模态还有本体都给统一起来,最终形成一个很大的居身大脑。然后实现李奇姐的AGI 把巨生的感官打通对那在架构上面跟传统的支架架构会有什么不同吗其实我们这个XLA是下一代的认知驱动的一个模型我们是没有用传统的GLA使用语言来进行推理的浅空间推理吗是的虽然刚才讲语言是个很高效的一个推理的模态但是现在算力可能还不能承载非常多的语言来进行推理现在主流的做法就是有的厂商是输出一大段文字然后输出action这样的话它的延时会很高而且不太可控在厂商在宣传我不输出语言但这个就没有利用到推理的能力它可能就是一个VA了然后我们是使用了一个比较创新性的做法没有使用显示的语言而是使用了浅空间推理的一个模式浅空间推理相当于我们使用了底层的一个机器语言进行一个多步的推理它的优点就是更加的实验会更加的可控所以它思考的过程会更加的快而且它不存在要把它转移成语言的情况所以它信息量会更加的大所以它不仅想的更快也想的更全面一些当然我们浅空间也是可以去解码成语言的是怎么想的特别巧我们过往有一些嘉宾是田园栋他发的paper有一篇是专门讲浅空间推理的我自己还是行外的理解就是我们人在做出一个事情的判断的时候并不是总是自己要过脑子的他有可能是一种直觉这个浅空间就有点像人的潜意识里面推理的过程他并不一定非得要占用你现在特别多的贷款要把这个事情从头倒给捋一遍对对是的田园栋老师发的那个文章我也其实去年也第一时间看到了然后我特别赞成这个理念现在完全使用语言推理的情况其实是受制于我们这个训练数据,因为大部分思考是通过语言,互联网数据是通过语言发生的,但人类思考的时候其实可能你并不需要在内心去一个字一个字的思考,对,有的时候我们可能甚至是很快速的做一些思考,是使用这个视觉来做一些思考,比如说我们开车的时候前面路很窄,我们到底能不能过去呢,然后我们可能会在脑海里想象一下我们的车放在前面这个窄的地方,预测一下它这个画面是怎么样的,会不会通过,空间推理,它并不一定是语言逻辑推理。是的,所以现在完全使用语言来进行推理的这个范式可能还是不是最终的这个范式。当然我们现在也在做很多的探索的工作。我们是使用浅空间推理,然后最终做一个决策。但是我们的浅空间是可以把它解码成语言,还有未来的画面的。这个解码是什么? [60:00] 是为了白核化吗?对,它不仅是为了白核化之后可以去调查一下它内心是怎么思考的而且也是给了它思考的一些guidance,指导一下它具体应该怎么思考,因为你毕竟要有一些监督才行,这个语言跟视觉是同时做了一定的监督,也就是说我们这个思考是融入了对未来的想象还有对未来语言过程的一个推演有点像人计算变成给你一个计算机让你自己验算一下对明白嗯那从VLA到XLA具体到用户身上他能够有什么样增量的体验呢这是一个非常好的问题我们发布的这个XLA认知大模型呢他首先在复杂场景上面是可以运用到推演的能力做出一些更安全的行为包括可能道路上面可能有大型障碍物的时候我们是可以利用浅空间推理去快速做一个决策比如说一些绕行的操作都会做的更加丝滑人类接管的情况也会更少一些还有使用语音这个模态来控制车辆我们叫语音控车的功能你可以直接通过小爱同学让他加速减速向左转向右转或者是并线的一些操作最后我们还是有一些创新性的功能比如说商场的车位级的导航当你下地库的时候你可以告诉小爱同学你想要去哪家店铺他可以把你带到这家店铺电梯最近的位置上可用的车位是的这个功能非常的实用因为我每次去商场都不知道在哪停车的驾驶agent提供了非常多想象刚才所讲的XLA它需要一个新的架构,它用的架构是什么架构还是transformer吗?对它底层还是Transformer我们使用了也是一段是XLA的一个架构这个是行业独创吗?各家的实现的方式可能都不尽相同,我觉得我们的实现方式相当于是行业最优的。我们来聊一下Memo InBody的训练。刚才讲的就是把车和智能驾驶融为一体,但是怎么样才能够把两套数据放进一个架构并且让它一起训练呢?车跟机器人的数据确实差别是有一些的,不仅仅是输入的模态,最终Action的模态也不太一样。我们是采用了一个混合训练策略,不仅把车的数据,机器人的数据,机器人的数据,是有些的。不仅仅是输入的模态,最终Action的模态也不太一样。我们是采用了一个混合训练策略,不仅把车的数据,机器人的数据,机器人的数据,是有些的。还包括很多通用的一些视觉语言的数据混在一起训练,这样训练的好处是它既保留了大模型的通用的能力,也能在车跟机器人这两个锤域上面有更好的一个表现。我们比较创新的地方是我们使用了COT,但罗弗利那边也给了我们很多的帮助,也知道了我们具体要怎么样去标注这些COT的数据。最终我们还是加入了强化学的后训练的一个过程,让它更加的以结果导向去激发出它COT的能力。AI从数字世界迈向物理世界我觉得当AI进入物理世界的时候它更接近于人在成长过程当中的一个学习方式因为人类很多能力的构成其实并不是来自于书本而是来自于对真实世界的感知理解和判断让我想到二三年的时候国内的一个AI大会上当时雷昆和亨特都空降了他们俩同时都讲到了一个共同点就是当下在语言模型层面其实AI的学习方式跟人并不太相似缺了一些东西今天其实越来越多的看到AI在像人类一样去学习当然这可能不是终点所以你对于AI学习的路径有一个路线图的想象吗他到底是会和我们人很相似还是最终会先经过和人相似的阶段再探索出一种比人更高效的方式我其实也听过Sutton的一些讲座我觉得他还是对深度学习有一定理解的包括未来具体怎么学习的方式其实我也是很同意他的想法我觉得现在所谓的supervised learning确实是有一定缺陷他虽然是促进了深度学习的发展因为他统一了一个离线的数据基因然后使我们迭代做时间的方式更加的高效更加的快但他其实加了一些学习范式的限制你现在训练出一个模型然后这个模型具有这个能力,它不能去持续的去迭代。所以我感觉它这种学习方式是没有人类的学习方式能力强的。虽然它可以在短时间内达到一个很强的能力,短期结果。但它是没有一个持续学习能力的。我觉得最终的话,人工智能肯定是需要一个持续学习的能力的。特别是在巨深这个领域,因为巨深是涉及到跟你的硬件本体的一个融合。硬件本体其实软件之间都会有一定差异。在路上行驶的时候,轮载跟地面的摩擦力是不一样的,你的算法是没办法感知到这件事情的。所以它肯定会犯一些微小的错误。这些错误的,当你的算法没有一个持续学习的能力的话,你会局限在过去的世界。端到端,它有一个典型的问题,就是OOD你的数据分布外的场景是没有很好的一个泛化能力的。所以回到刚才那个话,因为有居身智能,你的本体还有环境的一个变化。所以它对你的软件的适用性会非常的强。但是监督学习的范式,它数据采集的过程,现实在是一种更多的。你只能去收集完美的一个数据就比如说自动驾驶我只能收集高质量的数据但是当你在一个错误的状态的时候你是不知道怎么恢复的所以你肯定是需要一个像人类一样持续学习的环境 [65:00] 去反复的在真实世界当中去练习去回正去纠正你的错误但是现在supervised learning的范式的话你要再学习新的东西你就要重新做一遍预训练其实是很麻烦的这个过程是从监督学习到强化学习吗强化学习是解决了一些问题但是本质上还是需要更前沿的一些学习的范式比如说self evolving我自己去不停的去迭代去学习所幸人类也不要给他设定激励了就让他自己学习对或者是在这个真实的环境当中让他去自由地做一些探索他学习出来一些东西反而是更加稳定的一个学习范式但总体来说你仍然认为下一个里程碑就是像人一样全面的学习是的而不是有一天他会完全把人类学习的方式全部抛掉探索出一套更适合机器我们所说无限机器学习的一个范式不排除这种可能但是就是沿着现在的人工智能的发展,我觉得是需要它自我迭代的一种范式沿着现在的道路它可能更promising一些如果突然出现一些自己就会学习到很多东西那肯定是一个重大的突破了所以Memo Embodied的比起你刚才最开始讲的Lingo它的本质区别是一个是VLA一个是XLA吗感知层面加入了更多模态还有什么本质区别吗还有刚才提到的潜空间推理还有我们最终的产品结合世界模型和强化学习做了一个过训练更像一个完整的产品,Lingo的话其实更像一个实验室的Demo。你之前有一个判断,我们讲大力出奇迹,就是对算力对数据的Scaling Low,它在语言模型和视觉领域都已经得到了验证吗?但你认为在聚身领域要迎来这个Scaling Low是难得多的,为什么?是的,其实我之前也验证过一些Scaling Low,如果你加入更多的数据,你训练起来得到的Loss会更低的。然后它是符合这个呃原模型bo transformer 上面出现Skin in law 的特性的但是你会发现当你部署到真实世界当中它的这个性能不会完全符合你训练的时候这个Skin in law 本质的问题就是我刚才也透露了一些就是我们这个居身智能它本质上是一个系统工程它不仅是软件还有硬件上面的一些东西它会不可避免的去产生一些错误如何从错误的状态恢复出来这个能力是在你的Skin Law上面是没有体现的因为Skin Law就是你开环的训练你只是学习到了在这个场景应该做什么它是学习到了一个完美的轨迹你更加需要的是学习在不同的状态特别是出错的时候要有一个怎么样的表现随机应变的能力高阳老师前段时间也说过屈身智能不需要高质量数据反而需要很脏的一些数据然后你才能知道在这些很错误的状态上面回到正确的状态上面但是它还是需要大规模的应用对吗?对,首先前提是你要有一个大规模的应用场景你还说居身模型的Scanning Low可能接下来最快会来自于视频?是的,现在我们对语言的开发是很充分的但是还是有很多视频的数据还没有进行一个很好的利用也是各种原因吧因为视频数据的语言标注实际上是缺失的所以我们没法训练一个很好的视频语言模型上面做一个自监督的学习当然这个范式就是比较类似世界模型的范式了就是它在一个虚拟空间里做训练是什么我们就不停的去预测下一针长什么样我们已经有下一针的视频了然后我们可以用这个来做一个自监督这种方式虽然感觉很简单但实际上它是可以学习到很多的能力的因为你如果要预测下一个像素应该往哪边变化的话你是要预测出来物体的位置一共包括你自己的速度,还有他自己的变化的速度然后还包括他属性,因为假如比如说在道路上面一个行人下一秒会在哪里,这个行人他可能能跑多快是小孩还是年轻人他离你有多远,他是要内在学习很多,理解很多的信息但是这些信息我们不需要标准,只需要去预测他未来在哪里,其实就可以去隐识的去学到的所以世界模型如果通过大规模的训练是可以学习到很多物理世界的一些本质的怎么叫影视习得物理规律如果要显示的去学习的话我们就要给它很多的监督的信号包括我们要做很多的标注影视的学习的话就是我不直接给它标注我直接让它预测你未来到哪一个是rule based的把条条框框各种各样的场景都限定好了告诉你每个场景该怎么做就是老师给你上课但是后者就是你进入社会之后会学到很多的lessons就会有一些自己对这个世界的理解它就是你说的影视推理本质还是bit lesson的课程明白两个领域的融合这种跨域训练已经看到它一加一大于二了对吗是的我们是在Memone Body的技术报告上面其实已经证明了我们这两种模态是可以互相促进互相融合的刚才你有提到强化学习之外现在还有很多新的学习范式这些学习范式是不是对你们来说是很重要的探索有哪些新的学习范式我们团队 [70:00] 定位其实就是比较偏预言一些去探索N+2的一些事情N+2是这一代叫N代然后N+1是下一代然后N+2是往后两代对往后两代我们会不断的去发现最新的架构包括不断去引入学术界的一些成果到给下一代产品一些建议啊包括对一些比较热门方向的一些投入啊能够在这个技术成熟之时把预言的项目转发成我们就量产的产品无论是居身领域还是制价有两个词是会经常被提及的一个是模仿学习一个是强化学习的占比大概是多少?近阶段的话,我们其实也是类似于大语言模型现在的训练范式模仿学习训练的比重会更加的多一些,因为我们数据是有很多的,skin in law的特性也是在模仿学习这个范式上面去体现的,强化学习更多的是去激发出它的一些特性,还有跟人类的偏好来做一个对齐,这个跟人类的教育也是类似的,因为大部分时间你是学习书本上的一些知识,当你有了一定的智能的程度,你再通过一些特定的reward去激发出来,干中的,继续学对对对当然这个reward的信号可能是比较稀疏的因为你大部分的时间是在学习整体的所有的知识所以这一切仍然是基于神经网络对吗这一切的前提就是我们有一个很scalable的一个网络也就是transformer我经常听到一句话支架进入深水区这个深水区指的到底是什么我觉得可能有几点第一点是这个支架它越来越像一个科技的产品了它不仅仅是把你从A点带到B点更加拼的是你聚能化的水平包括你有没有能不能有一些比较高级的功能这个首先是一个深水区第二点是现在自驾越来越好之后需要接管的场景越来越少但是这些接管场景越来越难就是看你能不能解决最后的这个百分之零点几的这些困难场景这个是一个比较深水区的一个地方所以2026我们会看到更多关于自动驾驶聚生智能语言模型三元的协同的进化吗其实也看这个公司具体的业务我觉得小米是有很大优势的智能还要大模型这三个最终肯定是要融合起来来实现一个最终的物理世界的AGI也就是大叔的这个Physical AI你说到Physical AI这年GTC大会上王仁勋的演讲里面就有一张折线图从生成是AI下一步就到Argentic AI最后才到Physical AIPhysical AI是最远最高点就意味着它可能难度最大难度大的背后除了我们刚才讲到的数据两周有很大的区别之外还有哪些方面的智库需要打破吗现在其实发现他已经做的非常的好特别是一份cloud出来之后我们发现你给他一个任务他是可以去不断的去探索最终把这个任务做完开源的力量物理世界AI更难的地方就是首先数据非常的少第二点就是他不会从真实世界当中去试错去学习为什么物理AI还无法持续学习可能也是我们监督学习的发展太快了学术界其实还是很长一段时间是在监督学习的范图上面做探索真的去探索在线学习的学者还比较少一些都意识到了这个问题最终的居身智能肯定是需要在物理世界当中进行一些迭代和优化的所以你的意思是在AI界大家已经为大模型而转身了但是在原来的物理AI学界转身的人没有那么多其实也是受制于硬件的限制因为软件的话是很好去迭代的世界都是扁平的但是硬件的话可能产业链对未来的优势肯定是在中国因为我们离这个产业链非常的近那你会怎么定义制价接下来沿着这个方向它短期要功课的挑战是什么制价的话首先要把节管率进一步的降低实现一个更高级的自动驾驶的产品谢谢大家就是我们进化到L3甚至L4的一个产品进入到真水区之后进一步利用VLA世界模型的这些技术来进一步解决这些更加常委的一些场景然后让它实现不需要接管的目标实现一个最终的robotaxia之类的一些应用Visical AI 接下来如果要更上一个台阶的话现在有哪些技术路线是你比较看好的我觉得现在比较好的路线可能就是这个Word Model如何融入了VLA的框架里面因为Word Model它本质是通过视频的来让它拥有一些预测的能力,它解决的是物理世界的一些运行的规律的问题。现在好多人感觉VLA没有World Model火了,或者是这个VLA不行了。但实际上我们还是需要VLA,包括语言的一些常识的能力。因为这些更多是人类定义的一些规则,包括人类智慧的一些解禁是通过语言形态可以去表示的。所以我最终觉得是就要把世界模型跟VLA这两种框架统一起来,既能用到World Model底层物理规律的一种。一个标准,以能使用到人类语言智慧的一些技能来进行一些推理,最终才能实现终极的屈身智能。听你讲完这些,我有一个理解不知道对不对,听起来,世界模型它像是探索物理智能的一种范式,一种训练方式,你是通过这种方式获得对物理世界的智能,但是要把这个物理智能应用起来,也许现阶段看VLA这个架构, [75:00] 是一个比较好用的架构是VLA它本质上是一个框架word model的话它也可以作为一个推理的方式来融入到这个框架里面但最终的话认知推理角色我觉得这个框架是没有错的有哪些标志性的派别吗标志性的派别我觉得VLA这三个方向可能都有一些不同的探索包括V的话可能大家更讲的是如何有一个很好的表征,然后做一个表征的学习,包括多摩泰的一些融合。然后L的话是如何高效地进行推理,如何用语言推理,甚至用视觉推理,或者是在浅空间进行一些推理。然后Action的话就是如何去输出一些更好的Action,包括使用离散的Action的Token,或者是使用Flow Matching。这三个各自的方向其实都有一些探索。我觉得华人团队其实是比较有优势的在动物泰领域至少是这样子之前一个北大的学者还跟我说因为中国有大量的短视频的数据对于动作它的训练是更有注意的这个肯定是毫无疑问的国内首先现在科研的话是越来越扁平的开源但模型也促进了我们做科研的能力所以感觉现在全球大家做科研的水平都基本上拉齐了但是国内是还是有很多的优势包括我们数据的优势产业链的优势再加上开始讲中国人具有刻骨的精神迭代起来速度会更快而且我们现在创新性也不差未来更多的创新性的工作可能会在中国首先产生我知道你最近这段时间也回过伦敦你在回伦敦的时候有没有试图跟原来圈子里的一些学者朋友们聊天回到中国之后带来这些10日有没有一些比他们更多的增量和更高频的信息涉入你有感受到吗有的有的很早就感受到国外他们有一个谚语叫什么There's always a Chineseperson smarter than you and working hard than you就是总有一个中国人比你更聪明但是又比你更刻苦海外大家其实也意识到了中国的崛起这也是为什么我回国的一个原因我也是进一步的看到了国内不仅硬件发展的很好软件包括智能化 AI的发展也是取得了很多的领先的成绩在国内的话可以进一步的去快速迭代验证一些想法把它做成产品推送到用户的手中这个给我的成就感会更加的多一些全球现在很多团队都在做物理AI你觉得最终决定差距的会是哪些因素这个我觉得不是特别好预测在真实世界当中做一些实验才能验证你的想法其实过去的话我觉得自动驾驶界很多论文其实在真正使用起来可能效果不是那么好是因为自动驾驶有个问题就是它有很多的这个benchmark它尝试在虚拟世界当中建立一些评测指标当然也促进了我们大家在学校里对自动驾驶的研究但其实最终发现很多的这些方法都不是特别的work所以我觉得最终是你需要在物理世界当中去做一些实验一定要在真实的环境当中去做实验去验证你的想法才能更快的达到我们这个物理世界的人工智能明白最后来聊聊人才去年观察到一个现象你肯定也留意到了就是非常多置价领域的人才要不就是出来做居身创业了具身领域这两个行业本质上在共用一批人才你有观察到这两个领域融合人才的现象吗训练现在都有一个大一统的趋势了这两个行业会越来越重合吗是的 我觉得支架确实面临了一个问题就是支架有好多人才的流失仅仅是学生还包括很多的老师教授纷纷去转向了机器人这个方向首先支架跟机器人这两种其实都是具身智能所以它转换起来会非常的快然后还有就是具身智能它可能造就了更多的初创的公司所以大家薪水炒的也比较高也导致了很多学生去往居身智能机器人转型最终肯定是没做的但是我觉得自动驾驶还是非常有意思的我在自动驾驶其实也探索了这么多年嘛我特别喜欢在车里去体验自驾算法给你带来的微妙的感觉你坐在车里去感受到你的模型控制车来做的任何一个动作其实都可以给你带来很大的一个震撼你的成就感会更加的高机器人的话你可以让他去做一些任务两观上面刺激会更少一些,就是你可以让他给你按摩,对对对,是的,当然现在也有很多人就是想要找一些统一的一些范式,把这个自驾跟取身统一起来,你们不就是吗?对,是的,这个会成为你们号召人才的一个武器吗?对,当然很多人对这个大模型啊,自动驾驶,取身智能,这三个方向其实都很感兴趣,然后所以我们招招人才的时候,其实这三个方向只要你做过两个方向,我觉得都是很适合的所以你们招人的时候会有什么样的青睐吗我们特性的话就首先肯定是需要招比较高潜的你们怎么定义高潜主要看之前有没有做过参与过一些比较好的项目或者是有一些比较好的idea包括对这个新事物的认知 [80:00] 有没有对新事物探索的潜力你加入小米之后说过小米的企业文化很好具体体现在哪里?小米价值观是真诚热爱,我们是真的去热爱这个方向,去热爱这个目标。今天AI领域对于人才的争夺比以往任何时候的激烈,你觉得一个组织该释放什么样的信号才能吸引到真正的优秀人才?首先你的组织有没有在这个方向进行一个大力的投入,候选人对这些企业的筛选的一个很大的一个指标。当你有了一个很长期的很重视的一个投入的时候,这个方向肯定会越来越火。出一些比较有名的一些工作啊比如说发一些技术报告啊或者是有一些影响力的论文呀这些都是对吸引人才比较重要的还要就是价值观的一些吸引我觉得小米在这方面做的还是不错的我问一些大家都会比较感兴趣但是可能会比较尖锐的问题啊任何真正的创新都可能会面对旧规则的阻力而一家越大的企业就意味着它的旧规则可能会越多越深嗯你在小米碰到过吗我觉得这种事情在各个公司肯定都有海外的公司其实也有很多这种事情但我觉得小米还是一个比较年轻的企业然后而且小米崇尚的文化也比较开放任何人都可以去挑战这些规则限制啊现在越来越多像你这样的90后的他们在承担这样的一个责任扮演很重要的角色,大家在这个过程当中会怎么样去践行?杨幂有一个价值观是共创共识,就是他会听取所有人的意见。但共识往往是最难达成的。是的,是最难达成的,但是我觉得也是最需要去达成的,因为如果你没有达成一个共识,就去做一些事情的话,就以下的成员不认可这个方向,大家也没有一个动力,遇到一些困难的话,就会轻轻地去放弃。比如说把自动驾驶跟屈身指动去融合虽然之前没有人做过但是其实大家都对这个方向特别感兴趣很想去验证这个方向然后我们大家都有一个共识就觉得这个东西能做成这个信念之后也是克服了很多的阻力把这件事情做成了所以这个共识虽然很难但是是非常重要加入响语之后印象最深的事情是什么印象最深的就是我们发布Memo Embodied的时候这个模型其实也是我们花了很大的劲去训练出来的很多团队去协调一起来做的一个工作我们跟罗夫利团队和机器人的硬件团队有很多的合作克服了一些困难把所有的数据融合在一起然后使用了我们强大的机座模型然后也是耗费了很多的资源然后之中把它训练出来然后我们也看到他在这些benchmark上面打到的效果也非常好然后也特别的开心雷总也在咱们微博上面做了一些转发然后觉得这个事情特别的有成就感接下来的三年你最期待的是什么首先我希望看到更高阶的自动驾驶的一个落地特别是我们L4到Robotaxi的服务能够实现真的人的服务驾驶第二点就是能看到机器人在生活当中更多的应用其实也就是大模型进入到物理世界能够帮我们做更多的事情比如说帮我们做咖啡那你不是少了很多乐趣吗你不是很爱做咖啡吗对对但我们可以知道这个机器人怎么做更好的咖啡刚才在楼下你带我转游你们园区的时候你想到你小时候看的第一部美剧是霹雳游侠他讲的是一个汽车如何真的成为你的copella你的伙伴你的助理我们也说到这件事情可能很快就会发生了你觉得距离霹雳游侠当中描述的这种场景来到我们现实生活当中还要多远呢觉得已经其实现在已经非常接近了在小米汽车里面你可以跟小爱同学进行自由的交流我们最新的版本也有语音控制功能跟美区里面描述的场景已经非常的接近了其实接下来就看我们能不能把它能力做得更好把它扩展到更多的设备上面还是有一个问题想追问一下刚才你说如果一件事情跟雷总讨论三次他都拒绝的话就不会有第四次了假如现在你非常非常相信一个技术方向你已经争取了三次但是雷总仍然没有同意但你真的非常非常相信会有第四次吗对你来说我觉得我肯定还是需要坚持的如果我相信一个事情的话我觉得我是可以去影响雷总做一些角色的会尽力地去影响但是可能不能完成说服雷总但是肯定会去尽力去增取的