OpenAI与谷歌等巨头押注世界模型路线以攻克LLM物理感知瓶颈

OpenAI与谷歌等巨头押注世界模型路线以攻克LLM物理感知瓶颈 杨立昆与李飞飞等学者指出大语言模型因缺乏物理世界建模能力而面临发展死胡同，AI必须通过多模态感知与环境互动构建世界模型才能真正实现通用人工智能。 视频全面拆解了世界模型与大语言模型的本质区别，指出其核心在于具备表示世界、预测未来和规划行动的能力。内容详细梳理了世界模型的三层架构，对比了以Sora和Genie为代表的“视频生成”与以World Labs为代表的“3D空间生成”两条世界生成路线。同时，视频探讨了Google SEMA的虚拟训练实践与杨立昆的JEPA非生成路线，并展望了该技术在机器人、自动驾驶等领域的产业落地前景与系统级幻觉风险。 随着大语言模型Scaling Law面临瓶颈，世界模型被视为通往AGI的关键路径，其继承自心智模型与Dyna架构，依托视觉、记忆与控制三大模块赋予AI理解、预测并推演现实世界的能力。 (0:00) 在世界生成路线上，行业分化为以Sora与Genie 3为代表的2D视频隐式概率建模，以及李飞飞World Labs主张的显式3D空间智能几何重建两条核心路径。 (14:59) 在顶层智能体训练实践中，Google SEMA通过虚拟生成环境探索具身控制，而杨立昆提出的JEPA架构则坚决摒弃像素级生成，专注在高维潜在空间中进行因果与结构预测。 (29:59) 世界模型成熟后将深度颠覆机器人Sim-to-Real迁移、自动驾驶预判与动态内容生成，但若误判物理规律和因果链，也可能引发难以察觉却更具灾难性的系统级幻觉风险。 (34:59)

节目系统梳理了世界模型的核心演进逻辑与路线分野，指出当前AI受困于缺乏对物理环境的理解与推演能力；尽管学界对生成路线与非生成表征路线存在根本争论，但构建具备物理表征、未来预测与行动规划能力的世界模型，已被研究者普遍视为通往通用人工智能（AGI）的必要跃迁。 从心智模型到物理预测：与大语言模型的本质分歧 (4:59) 世界模型的概念源自1943年肯尼斯·克雷克提出的“心智模型”及1991年强化学习的Dyna架构，并在2018年David Ha与Jürgen Schmidhuber的论文中被提炼为视觉（V，特征编码压缩）、记忆（M，内部物理推演）与控制（C，策略训练）三大模块。真正的世界模型必须具备三大特质：理解环境关系的物理表征、基于时空规律的未来预测，以及在推演后的行动规划能力。与大语言模型（LLM）依赖静态图文预测下一个Token不同，世界模型强依赖动态视频及传感器时序数据，目标是预测下一帧画面、动作或物理状态变化。 关于两条路线的前景，业内分歧显著。Meta首席AI科学家杨立昆断言“大语言模型是死路”，认为其仅在拟合语言概率而未解决莫拉维克悖论，并预测5年后GPT类模型将被弃用，机器人的智能达到狗的水平乐观估计也需5至10年；李飞飞与Richard Sutton亦批评LLM缺乏物理世界经验。嘉宾陈宇博则认为世界模型并非颠覆LLM，而是为其补齐物理维度的底座，二者未来有望形成互补。 世界生成之争：2D视频流与3D显式空间 (14:59) 在宇博提出的“思维与范式层、世界生成层、智能体训练目的层”架构中，生成层是当下产业投入最密集的领域，主要分化为两大技术方向。第一类是以OpenAI Sora和Google Genie 3为代表的视频生成路线。该路线依托海量互联网视频与Scaling Law，Genie 3已能支持每秒24帧的实时渲染与长达数分钟的物理一致性交互。但其本质属于“隐式理解”，模型仅掌握像素维度的概率分布，无法直接输出物体的三维几何长宽高或精确被遮挡结构。 第二类是以李飞飞创办的World Labs为代表的3D空间生成路线。该方案主张AI进入物理世界必须具备空间智能，其Marvel模型利用高斯泼溅等技术将图像或视频重建为包含显式三维网格的结构，易于与经典物理引擎对接。然而，该路线受限于3D训练数据的高昂成本与极端匮乏，在处理流体、柔体及碰撞时计算量呈指数级增长，目前多采用自回归或扩散模型生成低分辨率结构后再进行局部超分辨率放大的折中策略。 目的层实践路径：虚拟环境训练与JEPA抽象表征 (29:59) 在让AI学习行动的顶层，研究者同样走向了截然相反的实践路径。Google SEMA路线将世界生成作为低成本的虚拟演练场，其SEMA 2模型嵌入Gemini内核，在Genie 3生成的多样化游戏世界中执行跨环境迁移和长程规划探索，以此为具身机器人积累泛化经验。 相反，杨立昆坚决反对像素层面的世界生成，认为生成细节画面是在光影、材质等无关紧要的像素上浪费巨额算力，并据此提出JEPA（联合嵌入预测架构）。JEPA主张放弃像素预测，直接利用编码器将感知压缩至高维潜在空间，再通过预测器推演未来结构。Meta先后推出了面向静态图的i-JEPA与面向时序的v-JEPA。然而，JEPA路线亦面临推演不可视、缺乏现成像素对齐标签以定义自监督优化目标，以及行业欠缺成熟评估基准等技术困境。 产业范式重塑与系统级幻觉风险 (34:59) 在产业落地方面，世界模型有望为多个领域带来根本性变革：机器人可借助内部物理引擎推演操作风险，降低从仿真到现实（Sim-to-Real）的迁移成本；自动驾驶领域，Waymo正探索将其转化为基础模型以推演意图并覆盖长尾边缘场景；消费电子领域，穿戴设备可从被动记录转为具备空间推断的主动助理；游戏与内容产业则能实现基于生态规则的实时场景自主生长。 然而，世界模型也伴随着更为严重的系统级风险。首当其冲的是“世界模型幻觉”——该幻觉不同于文本胡编或视频画面崩坏，而是对重力、碰撞或因果关系的结构性物理误判，在实体控制中可能直接导致灾难性事故。此外，多模态训练对算力和数据的极端依赖可能导致核心推演能力被少数科技巨头垄断，而智能体黑盒决策过程的不可见性也为未来的技术监管与安全对齐带来了巨大挑战。 尽管行业内存在2026年全面爆发的乐观预测，但世界模型在显式3D计算开销、非生成表征的评估标准以及物理结构防幻觉机制上仍面临诸多未解瓶颈；该技术能否彻底弥合莫拉维克悖论，仍取决于底层架构与跨环境泛化验证的持续突破。

[4:59] 杨立昆: 大语言模型是死路 [4:59] 杨立昆: 再过5年，GPT之类的语言模型就不会再有人用了 [4:59] 李飞飞: 黑暗中的文字匠人，能言善辩却缺乏经验，知识渊博却脱离现实 [14:59] 李飞飞: 真正的世界不是2D的，而是3D的 [0:00] 万物皆可世界模型 [0:00] 看到未来 [14:59] 世界模拟器 [34:59] 一砖一瓦搭建 [34:59] 规则生长 [34:59] 随身的世界理解引擎

[0:00] 2026年将会是世界模型全面爆发的一年如今的AI看起来似乎无所不能它能写深奥的论文复杂的代码做出顶级的画面和视频但是它依然缺乏理解世界预测世界以及在世界里推演并且行动的能力而为了解决这个问题OpenAI 谷歌 微软等大公司人乐困 李飞飞等顶尖学者都开始抢着研究同一件事情那就是世界模型很多人认为随着多模态走向普及和成熟如果这条技术线完全跑通它将彻底重塑整个AI格局但是我们也注意到世界模型的爆火也带来了新的问题那就是仿佛整个AI圈一夜之间都变成了世界模型做视频生成的是世界模型做机器人的是世界模型做自动驾驶的是世界模型做游戏开发的是世界模型AR VR是世界模型Agent仿真训练环境只要跟世界站了边几乎都是世界模型它们看起来完全不一样但是现在全都被叫做同一个名字我觉得这个也是大家很喜欢去神化世界模型的一个事情其实很多现在世界模型它就是一个视频模型业界看到的这个世界模型其实它更多的是世界模型的表现形式如果一个world 个温文帽子我们真的已经笑不掉了那我们现在科研的方向似乎就没有意义那么世界模型到底是什么它跟大语言模型有什么样的区别呢这些看起来完全不同的路线是在做同一件事情吗世界模型的到来又会给各行各业以及整个社会带来什么样的改变以及呢它会是人类通往AGI的终极密码吗大家好我是硅谷101的陈建那今天这期视频就让我们一起走近世界模型什么是世界模型呢关于它的定义啊其实目前依然还没有一个非常清晰的被所有人都认可的说法但是呢我们可以先来聊一聊这个概念的起源以及呢它究竟想去解决什么样的事情那么先从一个再简单不过的问题开始你是怎么知道一杯水放在桌边它可能会掉下去的呢科学家们认为人类之所以能够预测杯子会掉落门往哪开球会顺着蟹波滚是因为从很小的时候我们就在脑子里面固建了一个世界怎么运作的模型我们能够预判下一秒会发生什么能够想象如果我这么做会怎么样并且在脑海中提前排演各种可能性在认知科学中这被称之为心智模型mental model早在上个世纪科学家们就已经开始研究人类的心智模型了1943年Kendis Craig在其著作《解释的本质》中就提出人在对现实做出反应之前会先在大脑中构建一个小规模的世界模型用它来模拟可能发生的过程再据此选择行动也就是说我们每个人的脑子里面都有一个看不见的小世界那么既然人类智能依赖于这样的内部世界很多AI研究者也开始追问说机器要想具备真正的智能是否也需要一个属于自己的世界呢于是在AI和强化学习的早期研究中这个思想以不同的名字反复出现比如说在1991年Richard ShattonDoina Precup和Satina Shane在论文当中提出了后来被称为Dyna架构的设计思路Dyna的核心在于智能体在学习行动策略的同时也要学习model of the world也就是当我采取某个动作之后世界会如何变化这也是第一次将世界模型明确确立为智能体内部的一项基础能力在此之后世界模型并没有沿着单一路线发展而是在不同研究领域当中被不断的拆解强化和改写比如说在强化学习和机器人中它体现为forward model在自动控制和工业系统中则是发展出了model predictive control模型预测控制这些理论的名字虽然不同但是背后其实共享着同一个核心假设那就是智能体之所以能够做出更好的决策不是因为反应更快而是因为它能在行动之前在内部世界中先看到未来在此后很长一段时间当中世界模型更多停留在偏理论偏算法的层面直到深度学习和表示学习逐渐成熟在2018年Google Brain的David Ha和深度学习原老吉教父Jorgan Schmidhuber共同发表了论文World Models这篇论文正式提出了世界模型World Models这个精炼化的名称同时还给出了一个比较简洁的世界模型理解框架世界模型等于观察世界D加预测模型M再加在内部世界中学习行动C对应的是视觉Vision记忆Memory和控制Controller三个核心模块我们用一个简单的例子来解释一下想象一下你是一个从未打过乒乓球的新手 [4:59] 站在球台前眼睛接收到的是大量复杂的视觉信息视觉模块V并不会记住每一个像素而是会自动的提取出对决策真正重要的部分它将原本上百万像素的画面压缩成仅有几十个数字的精华编码记忆模块M接收到这些编码之后便立即开始内部模拟经过多次练习你的大脑已经建立起对乒乓球运动规律的理解记忆模块就像你内心的物理引擎能够预测如果我这样做会发生什么所以当球飞来的时候视觉模块提取特征记忆模块模拟方案而控制模块C就主要是在记忆模块M所创造的内部世界中进行训练你并不需要真的挥拍100次试错而是在记忆模块的梦境中找到最佳策略之后再在现实中只执行一次最优解而这种想象规划行动的认知过程正是人类智能的核心特征在这篇论文当中他们也做出了一个有意思的demo让模型在完全虚拟的小世界当中学会了玩一款赛车游戏证明了AI可以像人类一样通过内部世界的想象来进行学习那么总结下来世界模型到底是什么呢研究者们普遍的认为他们应该具有三大特质第一呢表示世界representation也就是说模型能够理解所处的环境里面有什么物体在哪以及物与物之间的是什么关系第二呢是预测未来prediction它能够对事件进行模拟和宣承如果我推一下杯子打开一扇门往前走两步世界会发生什么样的改变第三是在世界里规划和行动Planning and Control能够预测接下来会发生什么之后我应该如何采取行动它是一个把你把一个世界抽象到一个潜在的空间里然后它是被压缩过的然后在这个潜在空间里你能够通过学到的物理规律然后去做对未来的预测然后形成一个对真实世界的一个模拟器相当于它是一个模拟系统有点像是一个缩小的平行宇宙这感觉就是你如果有一个真正的AI大脑它将能够就是它有自己的一个AI的世界观然后呢因为你可以做预测所以你就可以去做未来的推演然后你可以做决策世界模型的本质就是想让AI从一个只会回答问题的语言机器走向能够真正像人类一样会观察会推理会行动的真正智能体但是问题来了作为一个上个世纪就开始被研究的概念为什么突然在最近一段时间活起来的呢它跟我们现在所熟悉的大语言模型又有什么样的区别或是联系呢让我们把世界模型和大语言模型来做个对比从主要任务和预测目标来看大语言模型的目标是生成在语言维度上最合理的序列预测的是下一个词或者token比如说你问杯子会从桌子上掉下来吗他回答会因为这是在无数文本里面出现过的正确答案而视线模型的任务是预测下一秒世界会变成什么样子预测的是下一帧画面下一步动作下一次的状态变化它需要理解物理规律空间关系和动态变化从序列数据上来看大语言模型主要依赖文本数据也包括一些图像和视频数据特点是以静态内容为主而视线模型则主要依赖视频等动态数据包括摄像头看到的画面机器人的传感器反馈动作的结果环境的变化数据特点是动态的时序性的从输出的结果来看大语言模型输出的是语言或者图像等内容视线模型输出的是对未来状态的预测对行为的模拟以及可执行的行动方案从学习方式来看代言模型是通过语言间接理解世界更像是一个知识容器而世界模型是通过交互和推演直接理解世界不仅能看见还能预测和干预因此代言模型更适合对话写作翻译问答而世界模型对应的则是机器人自动驾驶物理模拟和决策系统这些必须进入真实世界的任务。此前,李菲菲也曾经在采访当中精练地总结过两者在目的和训练模态上的不同。所以这些是非常不同的语言虽然大元模型和世界模型是两条不一样的技术路线但是他们的终极目标其实是一致的那就是要实现通用人工智能那么我们现在为什么要突然这么去观众世界模型呢是因为大模型是一种不同的 [9:59] 这条路线已经走不动了吗其实关于这个问题研究界目前依然存在着不同的观点一些研究者们旗帜鲜明的提出大元模型是死路这派的代表人物之一就是杨洛昆离开工作了12年的Meta之后这位65岁的图领奖得主深度学习先驱并没有选择退休而是回到巴黎创立了一家名为Advanced Machine Intelligence公司他要做的事情与硅谷主流的大模型路线截然不同他在最近的采访当中就表示AI领域的Moravac悖论一直存在所谓的Moravac悖论就是指AI可以轻松的处理对人类极其困难的高智力任务比如说下期微积分读论文但是直觉性的感知社交等人类和动物轻松能够完成的初级技能对机器却极为的困难耶勒库就认为这个悖论至今未解决就是因为我们研究AI的路线错了人类智能的核心在于不依赖海量数据就能够自主学习现在的LLM就是在拟合语言的统计对现实世界几乎没有直接建模能力如果继续沿着LLM路线去堆量最多只能做出一个更会说话更会写字的模型他甚至放言称再过5年GPT之类的代言模型就不会再有人用了而关于大家都在憧憬的AGI很快到来他也认为是一种幻想最乐观也要5到10年机器人的智能才能够勉强地接近一只狗而除了杨洛昆之外学术界当中有不少的大老级人物也都持有类似的观点比如说图灵奖的获得者强化学习之父Richard Shatton李飞飞最近也在密集的发声她说大语言模型依然是黑暗中的文字匠人能言善变却缺乏经验知识渊博却脱离现实所以大模型这条路线是不是真的走不通了呢严格来说现在还没有标准的答案但是有几件事大家开始有了越来越多的公识首先单纯把模型做得更大已经不会再像过去那样带来立竿见影的突破了规模继续上去当然可以变强但是在算力数据能源成本这些应约数下它的性价比正在迅速的下降其次AI需要更加直接的去接触真实世界语言世界太干净了它无法提供现实世界里面那种混乱连续充满不确定性的因果经验AI想继续往前走需要新的输入方式需要多模态感知需要去和环境互动此外呢大家普遍认为说世界模型和大模型将会是一个互补的关系陈宇伟就在访谈当中提到说世界模型它并不需要完全将大语言模型推翻重来而是在为大语言模型去补上现实世界的维度在语言中我们有了GPT的话就是说预训练当运气链的好处达到一定程度的时候它可以被快速地变成任何的Done Stream Application那么世界模型的话你可以认为是一个大号的它包含了感知 包含了控制然后如果我们也在这儿能获得根本上的成功的话那么在未来我们的所有的机器人所有的这个智能体都可能以这样预训练和后训练的方式来产生这有可能会radically的unlock一些AI的applications那既然世界模型如此的重要为什么最近的一段时间它才突然被行业普遍的讨论和关注呢第一个原因就是我们刚才所讨论的大模型的原生能力遇到了天花板但人们对AI在现实生活中的期待却越来越高另外一个原因是随着多模态时代的到来让我们第一次有能力训练真正的世界模型训练世界模型需要含量的视觉与动作数据多模态传感技术入大规模视频模型能力以及足够强的算力来支持世界推演这些条件直到最近几年才逐步成熟总的来说因为大模型的天花板已经显现因为全行业都在迈向居身智能因为我们现在有了让AI看世界理解世界的技术基础世界模型就顺理成章的成为了下一轮AI竞赛的核心舞台而这些尝试很快就在行业里面分成了几条不同的技术流派虽然世界模型的最终目标看起来是相对精细的但是落实在实践探索层面却常常会让人感到困惑比如说有的在做视频生成有的在做3D场景有的在做机器人有的在做智能体他们都叫做世界模型 [14:59] 但是在做的事情似乎完全不同那我们究竟应该怎么去理解现在整个行业到底在做些什么呢关于这个问题我们的嘉宾一起就结合世界模型的理论知识以及他在Meta的一些实践观察在采访当中提出了一个我们认为非常有帮助于大家理解的框架就是把整个世界模型领域拆成了三层结构在这个架构中底层是世界模型的思维与范式也就是我们之前所讨论的世界模型的抽象预测规划特征以及它要解决的问题这一层涉及到目前很多研究层面的创新第二层是世界模型的当前表现形式是指模型到底是用什么方式来表示世界和预测世界世界应该如何被生成出来的第三层是世界模型的目的层也就是智能体训练让AI最终能在这个世界里面行动做任务完成决策Latant MDP Gel Learn Dimensions Simulator三的结合起来就是我们说的底层的世界模型的核心的layer但是它这个东西都是抽象的你也看不到那你要让人和AI看到你需要有一个表现形式那么这个表现形式现在我们是需要AI去给我们生成出来所以说它就是这个生成的这个层级就是会比它这个layer稍微高一点生成完了以后我AI大脑里有了世界观然后我又可以看到了这个世界那接下来我这个世界里面就要有东西了我就有人有东西然后人和AI我都活在里面所以我们就会有agent就是智能体在里面的存在的方式就是我终于有了一个宇宙了所以我要在里面玩啊我在里面学习啊然后我要对这个世界造成影响就我和这个世界它有一个交互然后世界对我有影响我对世界有影响如果我们把当前产业界的主要尝试放在这个框架当中去看的话他们其实很多都是聚焦在第二层级也就是世界深层这也是目前整个领域最热闹的地方为什么要先做世界深层很多研究者就认为构建世界模型的第一步不是让AI直接推理或行动而是让它能够去深层世界这看似简单却是世界模型的根基所谓理解世界本质上是理解世界如何随时间和行为变化物体如何移动光线如何变化风吹过的树叶会发生什么而要获得这种对世界演化的直觉最直接的方式就是让模型能够先生成一个可以连续变化的世界此外强大的世界生成模型能为智能体提供廉价的训练场比如训练一个机器人倒咖啡让它在现实中倒起万次打碎几千个杯子显然性价比太低而地震 火灾 车祸这些边缘场景也可以在虚拟世界中自由进行反事实推理的实践因此世界生成既是世界模型的外壳也是整个体系的入口而在世界生成这件事情上目前主要有两大计时路线第一类是用视频生成的方式去重建世界包括OpenAI的Sora,谷歌的Genie等等第二类则是用3D空间生成的方式去显示建模世界其中的代表就是李飞飞的World Labs视频生成应该是目前最具代表性的也是最为大众所熟悉的世界模型路线它的目标很直观就是尝试让AI直接生成一个能动起来的世界并让这个世界随着时间流动,演化,变化OpenAI在发布SORA之初它们就将其定义为一个世界模拟器SORA并不是简单的把一段视频用静态图像一张张拼出来而是让画面里面的事物能够随着时间连续的演化这些视频细节之所以让人震撼是因为人们发现模型似乎开始真的了解了事物变化的背后规律它知道光线线在材质上如何变化,知道一个物体在受到外力之后该怎样移动,目前与Sora类似的还有Sedence,Vio,可灵等一系列视频生成模型,如果说Sora的模型是能够去播放一个世界,那么Google的Genie系列模型则是让我们能够去探索一个世界,Genie 3当中模型能够根据用户的文本或者图像提示,实时生成可供用户及智能体进行互动的虚拟环境相比前代产品Gen3的核心突破在于其实时交互性和长时间一致性用户可以跟模型进行长达数分钟的互动G3它和传统的视频生成模型的不同的点就在于它生成出来的内容你是可以去跟它实时交互的就是你生成出来一段视频然后我说我在这个黑板上写了字然后呢 我又走到别的地方去回来这个字还在黑板上就说明虽然说它还是有一个frame by frame的这种生成方式但是它其实是已经能够记住它这个世界里面的这些状态Genie 3的这种可控性意味着模型内部不再只是预测下一帧是什么而是已经在模拟未来的世界状态它让视频生成从播放走向交互开始从 [19:59] 电影式生成 走向 游戏式模拟更接近一个真正的世界引擎也更接近智能体将来需要使用的环境就在纪念1月谷歌还推出了基于Genie 3打造的实验室原型Project Genie首次将Genie 3的能力第一次封装成了一个人人都可以直接上手体验的产品形态它的强大在于多模态的深度协同由Gemini提供逻辑支撑Nano Banana Pro生成高精度的场景与角色再由核心引擎GENI 3将静态设计激活为可互动的3D世界依托GPU V5的算力Project Genie实现了G20P每秒24帧的实时环境渲染同时允许用户对同一个世界进行重新混减具有长达60秒的强一致性疾疑Project Genie的发布意味着世界模型或许开始真正从PPT走进现实它不再只是个会变魔术的算法而是通过一句话就变出一个可运行的小型游戏世界的生产力工具从行业视角来看视频生成路线有一个非常明显的优势那就是它的结果看得见我们能直接观察世界模型是否具备物理一致性是否理解时空结构而且它能够快速商业化目的影视广告教育游戏都能立刻使用从接触角度上来看视频生成的优点也很突出首先训练数据相对容易获得互联网上有大量知识世界的视频为模型学习世界规律提供了训练空间其次它对Scaling Law非常敏感模型规模越大数据越多视频的一致性和物理合理性就成指数级的提升此外视频数据天然包含多样化场景模型的泛化能力也更强正因为这种可观察性和可规模化训练的组合让视频生成路线在过去一两年成为了世界模型最引人注目的方向但是视频生成的局限也同样明显最重要的一点是虽然它的输出是显示的但是内部对世界的理解是隐世的我们无法直接的读取也无法直接的移植到机器人或者决策系统当中视频生成路线其实和大语言模型很像两者都是典型的skill driven模型语言模型通过学习互联网文本掌握语言统计规律视频模型通过学习含量视频掌握视觉统计规律那区别在于视频数据天然包含物理运动加速度重力等物理特征因此视频模型能够更加直接的看到真实世界的运动方式但是和语言模型一样视频模型理解的世界规律依然藏在权重里语言模型预测下一个token视频模型预测下一帧但都很难告诉你世界内部的结构是什么比如说你让Sora生成一辆车的行驶视频造型和光影可能很逼真但是如果你问这辆车的长宽高是多少被挡住的轮胎在哪里它打不上来因为Sora并没有构建一个3D的几何车辆模型它只是学到了像素组合的概率分布所以视频生成虽然是目前最直观最能够应用落地的一步但是它目前也只是画出了世界的一层皮它告诉我们世界可以被生成但是还缺少有血有肉的框架那么如何才能够勾勒出世界表层下的框架呢李飞飞提出来的思路是3D生成也就是空间智能与视频生成相比3D生成路线走的是一条截然不同的技术选择不是把世界画出来而是把世界建出来这也是李飞飞领导创建的World Labs目前的技术路线他们不追求画面有多逼真或电影集的连续性而是更关注世界的结构包括物体在哪里空间的几何关系是什么物体之间如何互相影响深层的世界是否能够被进入与操作World Flaps最新发布的模型叫做Marvel它的特点是给它一个语言指令一张图片或者视频就能够通过高丝波建技术重建出完整的3D场景结构简单来说Marvel就像是建筑师看到图片的时候不只是看到像素而是能够看到背后的三维结构比如你同样问他图片里面汽车的长宽高他能回答出是长4.5米宽1.8米还能够输出3D网格文件那么为什么李飞飞如此强调3D呢因为他认为真正的世界就不是2D的而是3D的AI必须理解空间才能够理解世界人类能够抓住的物体避开障碍技术空间是因为我们天生具备构建3D模型的能力机器人要抓取物体需要知道形状体积位置自动驾驶要理解空间和距离这些都不是二维像素能够表达的AI要真正进入现实世界首先要知道世界的三维结构从技术层面上来看3D生成路线有个巨大的优势与视频模型的一样 [24:59] 是物理直觉不同它生成的是显示结构模型知道每个物体的具体位置因此物理模拟规划控制都更容易实现一旦掌握这些显示信息它就能够继承传统物理引擎的优势确保碰撞遮挡湿力等表现严格正确成为可操作世界模型的底座此外3D生成在游戏影视制作室内设计等场景也能够快速落地让它能够在商业转化上具有优势不久前WorkLabs宣布了最新一轮10亿美元的融资估值达到了50亿美元短短一年半时间它的估值飙升了5倍之多一定程度上也反映了市场对于3D生成这条路线潜力的认可虽然3D生成对世界模型的发展有着巨大的战略意义但是它的实现难度也要比视频生成大很多首先是训练数据稀缺互联网是巨大的2D视频矿山但是3D数据却很少高治疗3D数据主要靠LIDAR结构光扫描仪等专业设备采集不仅设备贵 流程还繁琐标注成本也比2D高出一个量级其次是几何结构难见3D模型需要确保生成的物体封闭无穿模 无破损而预测柔体 流体 链式碰撞等复杂3D动态交互则难度更大了此外 3D生成对算力需求很大无论是训练中的3D渲染还是实时物理模拟计算量都远超2D模型直接推高了研究门槛比如说我们如果生成一张图片那一张图片大家可能知道也就是比如说1024乘1024大概是1M就是100万个像素但是你如果要生成一个3D的模型的话呢最大的挑战就是你多出来一个新的维度那你不太可能直接用1024乘1024再乘上一个1024这样的一种表示去做3D的这种生成要不然计算量确实是太大了所以在这个里面大家就发明了很多新的创造性的方法就比如说我们Meshi在用的技术路线还是基于Diffusion或者AutoReactive的Model去生成这个模型可能会生成一个比较低的分辨率的版本然后我们再去把它upscale然后在这个upscale的过程中呢我们就会发现其实有一些区域它不属于我们关心的范围所以在这种情况下我们就可以把计算量集中在我们特别关心的区域那么总结来说就是3D生成路线能够更加真实的去还原世界但是它实现难度更大成本也更高不过我们以上讨论的其实都还是如何把世界给生成出来但是光有生成还远远不够因为世界模型真正的目标不是去生成一个世界而是要让AI在这个世界里面行动而这就是世界模型的目的层就是智能体训练如果世界生成是为了让AI看见世界重建世界那么智能体训练就是要让AI能够在这个世界里做事从世界长什么样走向我能在这个世界里做什么目前业界主要有两种探索路线那第一条路线就是直接把世界生成模型当成训练环境让AI在虚拟生成的世界里不断去犯错探索总结最终学会一套可以迁移到真实世界的能力这一类的代表就是Google SEMASEMA的思路就非常的直接那就是既然现实世界太复杂这使得训练太昂贵那我们就用虚拟世界来教AI如何去行动而游戏成为了它最佳的训练场视频游戏作为复杂可交互实时反馈的环境一直都是AI发展的摇篮从早期的Atari到AlgaStar在星际侦办2中打到世界前0.2%DeepMind一直用游戏训练更智能的AI而SIMA的训练方式就是把AI放进很多不同类型的游戏环境中去练集最新的SIMA2还将Gemini嵌入内核首次使用Ginni 3生成的游戏视线进行了训练SIMA 2是展现出了几个令人瞩目的能力突破首先它不仅能够跟指令做事还能够自己思考它可以理解复杂多部抽象的生活在陌生环境中自主探索规划行动寻找解决方案其次它具有强大的泛化能力能够在从未见过的游戏环境中表现出色比如说在Gini实施生成的世界中依然能够合理的辨别方向理解指令采取有意义的行动此外啊SEMA 2被设计为能跨游戏跨环境执行任务的通用智能体这也为将来的巨身机器人迁移奠定了基础那SEMA想做的事情显然比玩游戏本身要更大游戏呢只是现实世界的缩影它最终想要实现的是让AI能够在任何3D世界里面行动 探索 推理 还有解析问题然而对于这个目标不是所有的研究者都认为要行动就必须先生成一个世界那比如说就以Yanlo Koon为代表的另一派就选择了一条完全不同的路线Yanlo Koon实现世界模型的思路是不用去把世界画出来而是让AI直接去学习世界的抽象结构在他看来 [29:59] 不管是深层图片深层视频还是深层3D世界深层式模型都有一个共同的问题那就是消耗了大量算力去画细节却未必真正的理解了世界的结构比如说人类学习走路的时候我们只需要知道地面在哪里障碍物在哪里下一步该怎么走理解世界的模型比深层世界的外观更重要那这正是杨洛琳所提出的JEPA理论的核心思想JEPA不预测图像不预测像素也不重建视觉内容他做的事情是把真实世界压缩成一个抽象的高维的潜在表示然后在这个潜在空间里进行预测预测的目标可以是空间上被遮挡的区域也可以是时间上的后续状态我们来举个简单的例子如果你轻轻推一个球视频模型要预测的是下一帧里球的位置阴影 光照 材质 反射而JEPA不关心这些他只关心球会往哪个方向滚速度会怎么变会不会撞到障碍物哪些变化与任务和决策相关它学习的是未来的结构而不是未来的画面JPAR的基本结构可以拆成三件事首先用encoder将视觉和动作压缩成抽象表征然后用predictor预测这些抽象状态在未来如何变化最后将预测结果与真实未来状态的编码进行对齐让模型学会捕捉世界的关键因果结构基于JEPA架构Yanloquen在Meta也先后发布了iJEPA和vJEPA前者让AI理解静态图像的结构后者则是让AI学习视频中世界随时间变化的规律JEPA的路线背后有非常重要的技术动机首先生成像素既昂贵又低小而绝大多数的像素信息与行动决策无关JEPA不画世界因此计算成本更低其次由于只保留关键结构信息JEPA更容易捕捉因果关系也更具场景跨任务的泛化能力更重要的是这种抽象结构化的世界表示更接近机器人和巨神智能真正需要的可操作世界比如说对于机器人来说它不需要知道物体的光影魂里它只需要知道物体的可达性跟自己的位置关系以及下一步该做什么而JEPA输出的就是这种结构化的抽象信息其实早在几年前杨洛昆就已经在为JEPA路线摇旗呐喊了但是它至今依然没有能够成为世界模型的研究主流背后的原因是因为JEPA路线在实际推进中面临了很多现实的问题首先它是不可见的Sora能用逼真的画面震撼所有人Genie可以生成可探索的游戏世界World Labs能够用3D场景告诉你我理解了的空间结构但是JEPA学到的所有东西都藏在一个抽象的潜在空间里这意味着我们难以直接看到和验证模型到底理解了什么其次它的自监督目标极难设计JEPA不像视频生成那样有现成的目标你给它一帧让它预测下一帧JPAR想预测的是未来的结构但什么才是结构哪些因素该保留哪些该忽略目前仍然没有统一的答案最后缺乏统一的评估和规模化推进体系JPAR的表征质量藏在潜在空间里研究社区多依赖下游任务或行为表现来评估模型缺乏类似图像生成或语言模型那样统一的benchmark这也使不同设计路线之间的效果比较变得更加困难而正是因为这些限制接怕更像是一个世界模型的前额叶圆形方向很可能是对的但是距离成熟落地还依然有一段距离到这里我们把世界模型最核心的几条技术路线都已经梳理了一遍了有人用视频把世界画出来有人用3D把世界搭出来有人在虚拟世界里训练行动智能也有人干脆不画世界想让AI直接学习世界的结构当然还有一些我们没有展开的路线比如说Dreamer这一类以动力学为核心的世界模型更加专注于控制与想象有的是图从物理规律出发用可微分模拟器去逼近真实世界也有越来越多工作正在模糊世界模型预测模型与决策模型之间的边界这些路线看起来方向不同但是它们正在指向同一个未来那就是让AI不再只是输出信息而是真正的去理解世界推理世界在世界里行动D7就表示因为目前世界模型在落地层面还在早期的阶段并没有看到哪一条路线具体的商业应用形式所以包括Meta在内的大厂们实际是在各个路线上都在做布局和研究Meta在这个世界模型的路线上因为它有不同的技术路线全部都做了主要是原因是因为用户场景啊还有它的那个不同的这个垂直场景它需要的不同嘛所以说为游戏服务的我们就做了这个AI的这个游戏引擎叫Meta Horizon Studio然后为了内容创作来服务的话呢我们就会做这个纯视频方向然后你说我们是为了这个数字重建 [34:59] 3D重建的话那我们就做了高丝破茧的方式的所以一般来说我们会是希望去把那个方方面面都能够概括进去就是各种场景都使用了但是我相信其他的公司也是会有类似的情况吧不过呢可以预见的是当世界模型真正成熟对产业带来的改变绝对呢不会只是让视频生产效率更高这么简单它将是一次横跨软件硬件制造娱乐等等众多行业的系统性冲击那如果说有哪个行业会最直接的被世界模型撬动那就一定是机器人行业了过去几十年机器人的发展受制于硬件算力和应用场景等多重因素但更深层也更关键的瓶颈在于他们还不懂世界因此难以实现跨环境的迁移和泛化今天的绝大多数机器人看起来都很厉害但他们做的一切本质上都是被编成好的动作所以只要环境稍微变化他们就能够立刻失能机器人行业过去一直难以扩张的原因就在于每一项新任务都意味着一次新的工程项目而世界模型带来的是让机器人拥有世界的内部模型他们能看到现在也能预测未来知道物体怎么动也能够推断自己的动作会产生什么样的后果他能先在脑子里模拟再决定要不要执行比如他可以模拟箱子会不会翻倒门把的角度能否顺利的转动路径是否足够安全抓取是否会失败不需要花工程师几十个小时调餐的任务现在机器人在模拟世界里面自主练习就能够掌握更重要的是机器人开始具备迁移能力他不需要每次换一个物体换一个场景换一个任务都重新试教一遍他能把虚拟世界里学到的规律迁移到现实世界尽管仿真到现实的迁移至今仍是一个开放难题世界模型有望大幅降低这道门槛让机器人面对从未见过的物品时仍然能做出合理决策这对机器人来说是一次范世级的改变无论是家庭服务机器人仓储机器人工厂协作机器人餐饮零售机器人还是专业级的巡检建筑医疗辅助手臂世界模型都可能成为他们跨过智能门槛的那把钥匙大约从五年前开始马斯克就开始讲L5要来了但是为什么时到今日L5级的自动驾驶依然没有全面普及呢背后原因之一就在于系统虽然看得见世界却还难以真正预测世界我们现在常说的L2 L3自动驾驶本质上依赖的仍然是感知预测规划的分层体系识别车人车道线交通灯再通过规划系统给车辆下指令特斯拉更强调用大规模真实道路数据通过端到端方式不断逼近人类驾驶而WIMO则是长期在高度结构化的系统中追求可验证的安全性但是无论是哪种路线都面临着一个共同的问题他们对现在的感知已经很强但却很难稳定的理解接下来会发生什么再加上极端天气、突发事故、不规范行人等常委场景在真实道路中极其稀少也成为制约自动驾驶规模化的关键瓶颈而这正是世界模型开始真正进入工程体系的地方比如说WiMo在最近的技术博客中就提出他们正在将自动驾驶系统的核心构建成为一个Foundation Model它采用了分段式端到端的架构内部可以进行端到端训练和反向传播同时又保留了对世界的结构化表达这个模型不只是完成单一任务而是学习世界如何运转它被要求输出物体与艺术性和道路结构等中间表征让系统在出错的时候能够定位问题出在世界理解的哪一层这些结构化世界信息也支撑起更高质量的仿真系统,不仅还原场景还能够在不同假设下预设交通参与者的行为,并且在内部同时推延大量可能的决策路径,从中筛选出最安全最稳定的一条。这不再只是识别,也不只是反应,而是让自动驾驶系统开始具备一种接近人类驾驶的预判能力。也正因为如此,世界模型被认为是推动自动驾驶从局部可用,走向可验证安全的大规模商业化落地的核心技术之一如今我们所熟知的可穿的设备本质上还是停留在记录层面看上去很智能但实际上却不能理解你周围的环境世界模型会让这一切发生质变一方面它能够让设备真正的读懂你的3D世界实施推断空间结构、物体关系和潜在风险 [39:59] 数字内容自然融合进现实环境另一方面它的预测和规划能力会让可穿戴设备从工具变成你的数字伙伴理解你在什么环境看什么可能要做什么比如提前提醒路面湿滑在厨房识别缺少的食材甚至在你开口前就意识到你需要帮助从更长远来看这不只是设备升级而是一种新的人际关系世界模型会让可穿戴设备从信息终端变成随身的世界理解引擎眼镜耳机手表都可能进化为与你共同生活共同行动的智能体而这也可能会是下一代计算平台的起点如果说机器人自动驾驶等等聚身智能是世界模型在现实世界的落地那么内容相关的产业就是世界模型在想象世界里的爆发基点了如今我们已经看到视频生成模型所带来的一些震撼效果而世界模型的到来可以让未来的内容创作只需要给一个世界观一个任务一个出时状态模型就能自动长出一个世界比如说在影视行业一个导演不需要去反复的搭景重拍做模型只要定义这是一座被雨水淹没的城市AI就能够生成整个城市的状态变化而在游戏行业世界模型带来的改变更是颠覆性的过去的游戏世界需要一砖一瓦搭建地形天气物理引擎NPC行为任务链我们需要数百人的团队花费几年时间才能够做出一个开放世界但是世界模型意味着游戏世界不需要制作而可以自动生成和进化一个设计师只需要规定规则 生态 冲突AI就能够生长出森林 河流 生物 文化 经济系统甚至是NPC的性格 记忆和引化方向大家以前玩的游戏都是这种静止的游戏所谓静止游戏就是我这个游戏所有的规则都是提前被写好的然后有一个游戏设计师和游戏程序员去实现这一些的规则但是如果说我们能用现在的这种生成式的AI的技术放到这种游戏场景当中去我就可以实现我所有的内容是on the fly生成的然后每次玩都不一样然后包括像你看像Google的Genie 3你就是按上下左右键它可以on the fly去生成你下一秒看到的东西然后我们在做的事情就是我们先用3D的这个model我们自己再做一个多模态的大模型然后这大模型可以去先生成这个角色它的appearance后面我们其实可以给它加上它的logic它的性格它的各种各样的形式的逻辑我们通过这条路径其实也可以实现一个世界模型所以对于整个内容行业来说世界模型带来的不仅仅是制作效率的提升而是一场叙事方式创作方式内容形式的全面冲写世界模型的到来还会加速AI agent的进化当我们今天在聊AI agent的时候很多讨论其实都集中在Agent能不能更聪明规划能力够不够强工具调用做的够不够好但是如果我们退一步去看会发现一个更底层的问题一直没有被真正的解决那就是Agent到底是在什么样的环境里面学会行动的从强化学习的视角来看Agent的一切能力都来自于与环境的交互执行动作接受反馈但是真实世界太昂贵太缓慢也太危险几乎不可能支撑大规模试错而世界模型解决的正是环境本身的问题它通过学习真实系统的数据在模型内部构建一个可运行的世界当agent采取行动的时候世界模型可以直接推演这个动作可能带来的结果这样一来agent就可以在世界模型中进行大规模训练如果这个世界足够接近真实那么在虚拟环境中学到的能力就可以稳定的迁移到现实系统中世界模型并不是让agent立刻变得聪明而是第一次为agent提供了一个可训练可视作接近真实的内在世界这层世界底座才是真正决定AI agent能否走向现实世界的关键所以世界模型它改变的不只是某一个行业某一个产品某一个形态而是整套人与世界互动的方式陈宇北在采访当中就谈到说如果世界模型真的从根本上走通了甚至有可能创造出一种新的文明如果你能实现文文模特我记得推演的所有的问题都解决了然后你已经包罗万象把这个世界所有的规律都已经掌握了而且可以泛化泛化到能产生新的数学产生新的science超越human的程度不是简单的外言然后能够在比较根本的程度上来泛化那么这个模型似乎已经具备了当然给定了一定的意识的话似乎已经具备了建立一种新的文明的能力了当然任何足以改变技术版图的突破都会带来新的风险而世界模型的风险不再只是胡说八道那么简单首先 [44:59] 隐蔽也更危险的模型幻觉无论哪条路线世界模型本质上都是在给AI构建一个高度逼真的梦境让它在其中模拟和推演但是虚拟世界永远无法完全覆盖真实世界始终存在Semite Real Gap语言模型的幻觉是编造实实视觉模型的幻觉是画面错误而世界模型的幻觉出现在整个世界结构里比如说误判物体重量高估动作可行性低估碰撞后果甚至构建了错误的因果关系这些问题不一定立刻会被察觉却会直接影响智能体的决策与行动进而导致机器人市场自动驾驶偏离甚至关键系统被系统性护导所以当世界模型出现幻觉错误将是系统级的这也是更难发现更难对齐的风险其次是世界模型带来的权力集中问题未来可能只有极少数机构具备构建和运行世界模型的能力而成熟的世界模型意味着前所未有的预测能力对市场社会行为群体反应的高精度推演可能带来新的信息垄断也可能会被用于更高效的社会操纵与商业操纵而更重要的是当世界模型越来越真实虚拟与现实的边界也会越来越模糊自主智能体的到来也加大了AI不受控的风险一旦AI真正理解并且模拟世界深入伪造和虚假场景将进入超真实阶段AR VR世界可能与现实几乎无差甚至更具吸引力与此同时当越来越多真实系统开始依赖这些模型现实世界本身也可能反过来对其模型的假设而当世界模型变成决策底座内部状态难以审计退理过程不可见我们甚至很难判断它究竟理解了什么在朝什么方向演化这也意味着它所带来的监管挑战将远高于今天的大模型所以世界模型潜力巨大但是带来的风险也比我们过去面对的任何AI技术都更加的危险它不只是内容层面的风险而是会真正的影响到现实世界当AI不只是看世界、画世界而是开始在现实中演行动做决定,我们需要从系统、对齐、伦理、监管所有的层面去重新的讨论这件事。在过去一两年,我们看到AI在语言、图像、视频上的急速爆发,仿佛一夜之间AI已经无所不能了。但是呢当你开始思考AI是否真的理解世界能否真的预测未来是否能够像人类一样在世界中行动你会发现现在的大模型其实依然还停留在表层智能的一个阶段而世界模型向我们提供了真正能够走向深层智能的可能性它让AI从看到世界走向理解世界从预测句子走向预测未来从深层画面走向在世界里行动这不仅会改变机器人制造业自动驾驶内容产业也会改变我们和数字世界的关系甚至改变我们对智能本身的理解当然世界模型的道路还很漫长它面临巨大的技术挑战也伴随着新的风险目前我们依然不知道哪一条路线会最终的胜出但是我们知道的是当AI能够真正的理解世界模拟世界在世界里面试错和行动的时候它距离通用智能也就是我们一直在寻找的那个终极目标又会进了一大步而这也许就是AI时代真正的拐点而我们现在正在见证它的开端最后呢我们还想补充的是因为世界模型本身啊还是一个没有被学界和产业完全统一的定义所以呢我们这一期的内容并不是想给世界模型下一个标准答案而是希望从我们的视角为大家梳理出一个理解世界模型的框架那不同的团队不同方向的每一条路线背后其实都是牵涉到大量具体的技术细节方法选择以及仍然在快速演化的新尝试那么接下来我们也会持续的围绕着这个主题做更深入的拆解和系列的内容那也感谢大家收看本期视频以上就是这期的全部内容了你们的点赞关注和评论是支持我们贵国101做好深度科技和商业内容的最佳动力我是陈倩那我们就下期视频再见了Bye