OpenAI Sora引发硅谷世界模型定义争论

硅谷101

学界泰斗直指Sora缺乏反事实推理而非真正世界模型，但科技巨头正加速利用视频生成技术构建虚拟模拟器以攻克具身智能机器人的训练瓶颈。

AI-assisted summary of 各方大佬 “大打出手”：Sora是万众期待的“世界模型”吗？ — original source. Check the original for full context.

Source published: 2024-03-18

Detailed notes

## Background 该内容由Bilibili频道的“硅谷101”于2024年3月18日发布。视频简介指出，OpenAI将Sora称为“世界模拟器”引发了硅谷AI业界对它能否成为真正“世界模型”的巨大争议，本期节目结合了学界、业界、影视特效及机器人创始团队等多方观点，具体探讨世界模型的定义、它如何引领人类走向AGI，以及生成式AI视频大模型的竞争与未来走向。

## TL;DR 视频深入探讨了OpenAI新推出的Sora是否符合“世界模型”的科学定义。节目首先解析了世界模型源自系统动力学和Yann LeCun的四大核心元素定义，随后展现了学术界与业界的激烈交锋：杨立昆和本吉奥等学者痛批Sora缺乏反事实推理与物理理解，只是大数据暴力的视频工具，而英伟达的范敬凡则认为它是被动观察的世界模型。最后，视频指出视频生成技术对具身智能和模拟器训练具有深远意义，谷歌推出的Genie也昭示了科技巨头在游戏引擎与虚拟训练场上的更大野心。

## Atmosphere & style 整个视频呈现出一种前沿、思辨且极具科技深度的叙事风格。它并不是盲目追捧技术热潮，而是以客观、中立的视角，将观众带入硅谷顶尖AI科学家们的头脑风暴与学术论战之中。在严谨剖析复杂理论的同时，通过“小狗Ruben”等生动的科普案例，营造出一种既硬核深奥又通俗易懂的对话氛围，让观众能切身感受到通用人工智能（AGI）前夜那份充满未知、争议与雄心的时代脉搏。

## Key takeaways - [00:00](https://www.bilibili.com/video/BV1K1421Q77V?t=0s) OpenAI 将 Sora 称为“世界模拟器”在学术界引发了巨大争议，“世界模型”这一概念再次成为硅谷 AI 业界关注的焦点。 - [00:00](https://www.bilibili.com/video/BV1K1421Q77V?t=0s) “世界模型”的概念最早源于机器人领域，2018 年 David Ha 与 Jürgen Schmidhuber 的文章将其类比为人类大脑中用于预测未来的简化“心智模型”。 - [00:00](https://www.bilibili.com/video/BV1K1421Q77V?t=0s) 图灵奖得主 Yann LeCun 对世界模型给出了明确的四元素定义：观察、状态估计、动作建议和潜在变量建议，核心组件包括编码器与隐藏状态预测器。 - [00:00](https://www.bilibili.com/video/BV1K1421Q77V?t=0s) AI 视频生成公司 Runway 曾以小狗 Ruben 为例通俗地解释了世界模型：即利用视觉、声音等已知数据来预测特定结果并调整自身行为的内部模型。 - [07:39](https://www.bilibili.com/video/BV1K1421Q77V?t=459s) 在理想状态下，世界模型能理解数据背后的物理和人际情绪因果关系，影视特效等行业对其寄予厚望，希望以此让机器触及真实世界的框架。 - [07:39](https://www.bilibili.com/video/BV1K1421Q77V?t=459s) Yann LeCun 等学界质疑派认为 Sora 远未达到世界模型标准，批评其缺乏“反事实推理”能力且无法精确操控，本质上只是一个视频工具。 - [07:39](https://www.bilibili.com/video/BV1K1421Q77V?t=459s) 图灵奖得主 Yoshua Bengio 同样质疑 OpenAI “大数据、大模型、大算力”的暴力美学路线，认为其无法穷尽现实世界的复杂性与多样性。 - [07:39](https://www.bilibili.com/video/BV1K1421Q77V?t=459s) 英伟达研究员 Jim Fan 则持乐观态度，认为 Sora 在潜在空间中运行了世界模拟，属于一种在无操作（被动观察）状态下的世界模型。 - [15:59](https://www.bilibili.com/video/BV1K1421Q77V?t=959s) 视频数据捕捉的物理世界关键信息，对 AI 智能体、机器人、环境模拟器及生成游戏环境等科学与工程研究具有重大的推动价值。 - [15:59](https://www.bilibili.com/video/BV1K1421Q77V?t=959s) 英伟达组建了由 Jim Fan 领衔的 GEAR 团队，发力机器人、游戏 AI 和模拟领域，通过虚拟模拟器解决现实中训练机器人成本高、速度慢的难题。 - [15:59](https://www.bilibili.com/video/BV1K1421Q77V?t=959s) Google DeepMind 的研究科学家提出“视频生成之于物理世界，就如同语言建模之于数字世界”，指出了视频在物理决策中的核心地位。 - [15:59](https://www.bilibili.com/video/BV1K1421Q77V?t=959s) 业内普遍认为 Sora 目前虽领先于 Runway 和 Pika，但尚未迎来自己的“ChatGPT时刻”，目前可能只相当于“GPT-3时刻”。 - [15:59](https://www.bilibili.com/video/BV1K1421Q77V?t=959s) 谷歌 DeepMind 发布的可交互视频模型 Genie 能将文本或草图转化为可玩游戏，其背后的游戏引擎和虚拟环境训练野心才是科技巨头更看重的方向。

## Detailed walkthrough ### [00:00](https://www.bilibili.com/video/BV1K1421Q77V?t=0s) 什么是“世界模型”？从系统动力学到 Yann LeCun 的定义

OpenAI 在发布 Sora 的技术文章时，使用了一个在学术界引发巨大争议的词汇——“世界模拟器”（World Simulator）。这让“世界模型”（World Models）这一概念再次成为焦点。世界模型的概念最早且最常出现在机器人领域的论文中。2018 年，学者 David Ha 和 Jürgen Schmidhuber 发表了名为《World Models》的文章（该文亦被 Sora 的技术论文引用）。虽然作者未给出单一的明确定义，但他们引用了系统动力学之父 J. Forrester 在 1971 年关于人脑“心智模型”（mental model）的文献来进行类比。Forrester 指出，人类通过有限的感官感知世界，并在大脑中建立起一个内部的、简化的世界模型。我们所做的决策和行动都基于这个内部模型，它不包含现实世界的所有细节，而只包含被我们选中的、互相关联的概念。

这种简化的模型不仅帮助我们理解世界，更重要的是，我们还会根据它来预测未来的走向。世界模型也采用类似的思维模式，在有限且有选择性的信息基础上进行有效的预测。更重要的是，它不仅需要预测眼前的立即结果，还要能够预测更长时间序列的后果，这对于理解复杂环境和规划长期策略至关重要。

具体到模型架构上，图灵奖获得者、Meta 首席 AI 科学家 Yann LeCun（杨立昆）对世界模型给出了明确的定义，指出它应该包含以下四个元素： 1. **观察（Observation）**：在给定时刻对世界的看法或感知。例如在视频游戏中，你看到角色站在一个平台上，这就是观测。 2. **状态估计（State Estimate）**：模型对当前世界状态的估计。就像你在游戏中有关于一切所在位置的“心理地图”，即使你现在看不到地图的全部。 3. **动作建议（Action Proposal）**：模型可能提出的行动方案，即对下一步要做什么的建议，比如决定跳跃到另一个平台上。 4. **潜在变量建议（Latent Variable Proposal）**：用于表示当前观测不能完全解释的未知信息。例如游戏中有风，跳跃时风可能会把角色吹偏，你虽然看不到风，但知道它会影响跳跃结果。

Yann LeCun 认为，世界模型有两个核心组成部分：一个是**编码器**（将观测转换为模型可以高效工作的表示格式），另一个是**隐藏状态预测器**（利用编码后的观测、当前世界状态、考虑中的行动以及未知因素，来猜测并预测世界的未来状态）。这种定义下的世界模型之所以强大，是因为它模仿了智能生物与世界的互动方式（观察、理解、预测和行动），并考虑了未知因素，是一个可以应用于从玩游戏到导航现实世界等各种复杂环境的综合框架。

为了更通俗地解释这个复杂的概念，AI 视频生成公司 Runway 在 2023 年底发布了一段非常有趣的科普视频。视频以一只名叫 Ruben 的小狗为例：Ruben 脑子里也有一个基于已知信息的内部世界模型。它知道往这边走去公园的概率更高，往那边走会遇到一只眼神奇怪的狗；它知道哪里经常有路边掉落的鸡肉碎，哪家宠物店有它喜欢的零食。一旦到了公园，那就是它“闻其他狗屁股”的社交时刻。凭借这些视觉、声音和事物关联的数据，小狗 Ruben 已经学会了如何预测特定结果并调整自己的行为。

- **核心文献**：David Ha & Jürgen Schmidhuber (2018) 《World Models》；J. Forrester (1971) 关于心智模型（mental model）的系统动力学文献。 - **Yann LeCun 定义的四大元素**：观察（Observation）、状态估计（State Estimate）、动作建议（Action Proposal）、潜在变量建议（Latent Variable Proposal）。 - **世界模型两大组件**：编码器（Encoder）、隐藏状态预测器（Hidden State Predictor）。

---

[04:59](https://www.bilibili.com/video/BV1K1421Q77V?t=299s) 学界对 Sora 的争议：它是真正的世界模型，还是“暴力美学”的视频工具？

在理想状态下，训练出来的世界模型不仅能够复制它所看到的数据，更能够理解数据背后的因果关系，并在全新的情况下做出有效的预测。如果将这个概念套用到视频生成领域，就意味着模型能让机器像人类一样对物理世界产生全面而准确的认知，从而生成更加流畅、符合逻辑且时间更长的视频。在 GPT 和 Diffusion（扩散）模型路线此前无法达到业界商用标准时，好莱坞等影视团队和行业内人士对世界模型寄予了极大期待。因为世界模型的核心是让机器真正认识到“不可约化”的东西，并认识到自身的边界。真实世界的框架来自于大量的物理事实和人际关系的情绪事实，如果仅仅从语言的角度去理解世界（如 GPT-4 级别的语言模型），是无法触及这个真实框架的。

然而，按照 Yann LeCun 的定义，Sora 目前远未达到世界模型的标准。许多学术界大佬甚至认为 OpenAI 有夸大宣传的嫌疑。Yann LeCun 本人就曾多次公开狠批 Sora，直言“生成视频的过程与基于世界模型的因果预测完全不同”。他指出，现有的 LLM（大语言模型）和视频生成系统在推理、持久内存和规划方面能力非常原始，并没有真正理解物理世界。仅仅让 AI 通过观看视频是无法学会世界运行规律的。在 Yann LeCun 看来，真正的世界模型必须能够进行“反事实推理”（Counterfactual Reasoning），即即便对于数据中从未见过的决策，也能推理出其结果。而 Sora 生成的视频只能通过模糊的提示词引导，难以进行精确操控，因此它只是一个视频工具，无法回答“如果……会怎样”（What if）这类反事实问题。

另一位图灵奖得主 Yoshua Bengio 也表达了类似的质疑。他提到，如果按照目前 OpenAI 所采用的“大数据、大模型、大算力”的暴力美学路线，是不可能构建出能够广泛适用于现实世界所有情况的模型的。因为现实世界的复杂度和多样性，远远超出了任何模型通过有限数据所能学习到的范围。

不过，业内也有积极的声音。英伟达（NVIDIA）研究院高级研究员 Jim Fan（范敬凡）则持有相反观点，他认为 Sora 已经算是一个世界模型。Jim Fan 在 LinkedIn 上转发了 Yann LeCun 对世界模型的定义并评论道：Sora 本质上就是一个世界模型，虽然目前“无操作”（被动观察）是唯一允许的操作——即你可以设置世界的初始状态，在潜在空间中运行模拟并被动观察发生的情况，现在还没办法主动干预，但它确实包含了世界模型所需的元素。

- **学界质疑派（Yann LeCun, Yoshua Bengio）**：认为 Sora 无法进行反事实推理（Counterfactual Reasoning），缺乏对物理世界的真正理解，无法进行精确操控，且“大算力+大数据”的暴力路线无法穷尽现实世界的复杂性。 - **业界乐观派（Jim Fan）**：认为 Sora 已经在潜在空间中运行了世界模拟，属于一种被动观察的世界模型。

---

[09:59](https://www.bilibili.com/video/BV1K1421Q77V?t=599s) 具身智能的星辰大海：从模拟器到谷歌 Genie 的游戏引擎野心

无论 Sora 是否算得上完美的世界模型，Jim Fan 对其前景的乐观是不难理解的。AI 视频生成的用途绝不仅仅局限于娱乐和艺术创作。视频数据能够捕捉到难以用语言表达的物理世界中的关键信息，这将在 AI 智能体（AI Agent）、AI 机器人、计算引擎、环境模拟器以及生成游戏环境等科学与工程研究中，极大程度地推动相关科研的发展。

最近，英伟达宣布 Jim Fan 将在内部领导组建一个新的研究小组，名为 GEAR（Generalist Embodied Agent Research，通用具身智能体研究）。Jim Fan 在推特上写道：“2024年将是属于机器人、游戏 AI 和模拟（Simulation）的一年。”在现实世界中训练具身智能机器人不仅极其困难，而且采集数据的过程太慢、太昂贵。因此，在模拟器中进行训练成为了极其重要的研究方向，这也是斯坦福大学著名人工智能学者李飞飞教授这一流派所长期倡导的（Jim Fan 在斯坦福时正是李飞飞的博士生）。随着苹果 Vision Pro 等空间计算设备的推出，业内人士认为未来将有更好的仪器来采集现实空间数据。如果 Sora 能够成为现实世界的模拟器，将极大地助力机器人和智能体行业的发展。这一观点也得到了斯坦福热门炒菜机器人团队 Aloha 创始成员的肯定。

此外，来自 Google DeepMind 的研究科学家 Sherry Yang 及其团队在一篇题为《Video as a New Language for Real World Decision Making》（视频作为现实世界决策的新语言）的论文中，探索了视频生成技术在机器人、自动驾驶及各类科学领域中的重大用途。他们总结道：“视频生成之于物理世界，就如同语言建模之于数字世界。”

由此可见，Sora 或许还不是一个成熟的商用产品，它甚至还没有迎来自己的“ChatGPT 时刻”，目前可能只相当于“GPT-3 时刻”。但 OpenAI 的官宣让大家看到了生成式 AI 视频最前沿的技术进步，以及通过高算力和大参数实现“涌现”的技术突破。与此同时，生成式 AI 视频大模型的竞争才刚刚开始。虽然 OpenAI 展示了绝对的领先地位，远超 Runway 和 Pika 等创业公司，但谷歌也在紧追其后。2024 年 2 月 28 日，谷歌 DeepMind 发布了新的可交互视频生成模型 Genie。Genie 可以接受简短的文字描述、手绘草图或图片，并将其转化为一款可玩的 2D 平台电子游戏（风格类似于《超级马里奥》）。虽然 Genie 目前只是一个内部研究项目，暂不对外发布，但业内人士认为，3D 版本的 Genie 以及基于视频生成的游戏引擎很快就会到来。这清楚地表明，谷歌等科技巨头的野心绝不仅限于娱乐视频，在虚拟环境中训练机器人，才是他们更为看重的星辰大海。

- **英伟达新团队**：GEAR（Generalist Embodied Agent Research，通用具身智能体研究），由 Jim Fan 领衔。 - **核心观点**：视频生成之于物理世界，就如同语言建模之于数字世界。模拟（Simulation）是解决具身智能机器人训练数据昂贵、缓慢问题的关键。 - **谷歌新动作**：DeepMind 于 2 月 28 日发布可交互视频生成模型 Genie，能将草图或文字转化为可玩的 2D 游戏，预示着未来视频生成游戏引擎的发展方向。

## Notable quotes > [00:00](https://www.bilibili.com/video/BV1K1421Q77V?t=0s) 人类通过有限的感官感知世界，并在大脑中建立起一个内部的、简化的世界模型。我们所做的决策和行动都基于这个内部模型，它不包含现实世界的所有细节，而只包含被我们选中的、互相关联的概念。 — J. Forrester

> [04:59](https://www.bilibili.com/video/BV1K1421Q77V?t=299s) 生成视频的过程与基于世界模型的因果预测完全不同 — Yann LeCun

> [04:59](https://www.bilibili.com/video/BV1K1421Q77V?t=299s) 现有的 LLM（大语言模型）和视频生成系统在推理、持久内存和规划方面能力非常原始，并没有真正理解物理世界。仅仅让 AI 通过观看视频是无法学会世界运行规律的。 — Yann LeCun

> [04:59](https://www.bilibili.com/video/BV1K1421Q77V?t=299s) 如果按照目前 OpenAI 所采用的“大数据、大模型、大算力”的暴力美学路线，是不可能构建出能够广泛适用于现实世界所有情况的模型的。因为现实世界的复杂度和多样性，远远超出了任何模型通过有限数据所能学习到的范围。 — Yoshua Bengio

> [04:59](https://www.bilibili.com/video/BV1K1421Q77V?t=299s) Sora 本质上就是一个世界模型，虽然目前“无操作”（被动观察）是唯一允许的操作——即你可以设置世界的初始状态，在潜在空间中运行模拟并被动观察发生的情况，现在还没办法主动干预，但它确实包含了世界模型所需的元素。 — Jim Fan

> [09:59](https://www.bilibili.com/video/BV1K1421Q77V?t=599s) 2024年将是属于机器人、游戏 AI 和模拟（Simulation）的一年。 — Jim Fan

> [09:59](https://www.bilibili.com/video/BV1K1421Q77V?t=599s) 视频生成之于物理世界，就如同语言建模之于数字世界。 — Sherry Yang

## Mentioned OpenAI, Sora, David Ha, Jürgen Schmidhuber, World Models, J. Forrester, Yann LeCun, Meta, Runway, Ruben, Yoshua Bengio, NVIDIA, Jim Fan, GEAR, 李飞飞, Vision Pro, Aloha, Google DeepMind, Sherry Yang, Video as a New Language for Real World Decision Making, Pika, Genie, 超级马里奥

[Source](https://www.bilibili.com/video/BV1K1421Q77V)

中文简报

OpenAI Sora引发硅谷世界模型定义争论学界泰斗直指Sora缺乏反事实推理而非真正世界模型，但科技巨头正加速利用视频生成技术构建虚拟模拟器以攻克具身智能机器人的训练瓶颈。视频深入探讨了OpenAI新推出的Sora是否符合“世界模型”的科学定义。节目首先解析了世界模型源自系统动力学和Yann LeCun的四大核心元素定义，随后展现了学术界与业界的激烈交锋：杨立昆和本吉奥等学者痛批Sora缺乏反事实推理与物理理解，只是大数据暴力的视频工具，而英伟达的范敬凡则认为它是被动观察的世界模型。最后，视频指出视频生成技术对具身智能和模拟器训练具有深远意义，谷歌推出的Genie也昭示了科技巨头在游戏引擎与虚拟训练场上的更大野心。 OpenAI 将 Sora 冠以“世界模拟器”之名引发硅谷学术界激辩，图灵奖得主 Yann LeCun 指出真正的世界模型需具备观察、状态估计、动作建议及潜在变量建议四大要素，而 Sora 仅凭观看视频无法习得物理世界规律。 (0:00) 学界质疑派 Yann LeCun 与 Yoshua Bengio 认为 Sora 缺乏反事实推理能力且无法穷尽现实多样性，本质仍是视频工具；但英伟达研究员 Jim Fan 持乐观态度，视其为一种在无主动干预状态下的世界模型。 (4:59) 视频生成被视作物理世界决策的“新语言”，英伟达正组建由 Jim Fan 领衔的 GEAR 团队以模拟器加速具身智能机器人研发，解决现实数据采集缓慢且昂贵的痛点。 (9:59) 视频大模型竞争已延伸至交互与游戏领域，谷歌 DeepMind 发布的 Genie 可将草图转为可玩游戏，巨头们不仅着眼于影视娱乐，更意在打造用于机器人训练的虚拟世界引擎。 (9:59)

Reading summary

OpenAI 将视频生成模型 Sora 称为“世界模拟器”，在人工智能领域引发了关于其是否为真正“世界模型”的激烈争议。学界专家质疑其缺乏因果理解与反事实推理，而产业界研究者则看好其作为物理环境模拟器在具身智能训练中的深远潜力。世界模型的理论溯源与架构标准 (0:00) “世界模型”概念最早频繁出现在机器人研究中。David Ha 与 Jürgen Schmidhuber 于 2018 年发表的论文《World Models》引用了系统动力学奠基人 J. Forrester 在 1971 年关于心智模型（mental model）的论述，指出智能体需要依靠内部建立的简化模型在有限感知下进行决策并长序列预测未来。 Meta 首席 AI 科学家 Yann LeCun 对该架构给出了具体定义，认为完整的世界模型包含观察、状态估计、动作建议和潜在变量建议四大要素，并通过编码器与隐藏状态预测器两大组件运行。该机制旨在模拟智能生物对未知因素和环境交互的感知与推断，从游戏到物理导航均具备普适性。学界与业界的定性交锋：因果推理 vs 潜在模拟 (4:59) 图灵奖得主 Yann LeCun 多次公开反驳 Sora 是世界模型的说法。他指出视频生成过程与基于世界模型的因果预测存在本质区别，现存模型缺乏推理、持久内存和规划能力，无法进行“如果……会怎样”（What if）的反事实推理，仅仅是受模糊提示词引导的视频生成工具。图灵奖得主 Yoshua Bengio 亦提出，“大算力、大数据、大模型”的暴力美学路线无法穷尽现实世界的复杂多样性。相对地，英伟达高级研究员 Jim Fan 持积极态度。他认为 Sora 本质上已符合世界模型特征，虽然目前仅支持“被动观察”而无法主动干预，但用户通过设定初始状态即可在潜在空间中运行物理模拟，展现了世界模型所需的基础要素。具身智能的新范式：视频模拟与交互引擎 (9:59) 视频生成技术的价值不仅在于娱乐视效，更在于为机器人与智能体提供物理世界决策的关键信息。Google DeepMind 研究科学家 Sherry Yang 等人在论文中提出，“视频生成之于物理世界，就如同语言建模之于数字世界”。针对现实中机器人数据采集缓慢且昂贵的痛点，英伟达成立了由 Jim Fan 领衔的 GEAR（通用具身智能体研究）团队，斯坦福大学李飞飞流派及 Aloha 机械臂团队同样倡导将虚拟环境模拟作为具身智能的核心训练场。科技巨头正在加速布局交互式模拟生态。Google DeepMind 于 2024 年 2 月 28 日发布了可交互视频模型 Genie，能将草图或提示词转化为可操作的 2D 平台游戏。这一技术路径预示着未来基于视频生成的交互引擎将直接用于机器人的无风险低成本虚拟训练。 Sora 现阶段被视为类似“GPT-3 时刻”的技术涌现节点，而非成熟的商用物理世界模拟器。争论的核心并非单纯的名词定性，而是生成式视频能否突破纯感知拟合，演进为真正理解因果并在具身智能中承担环境模拟基座的系统。

Source quotes

[0:00] J. Forrester: 人类通过有限的感官感知世界，并在大脑中建立起一个内部的、简化的世界模型。我们所做的决策和行动都基于这个内部模型，它不包含现实世界的所有细节，而只包含被我们选中的、互相关联的概念。 [4:59] Yann LeCun: 生成视频的过程与基于世界模型的因果预测完全不同 [4:59] Yann LeCun: 现有的 LLM（大语言模型）和视频生成系统在推理、持久内存和规划方面能力非常原始，并没有真正理解物理世界。仅仅让 AI 通过观看视频是无法学会世界运行规律的。 [4:59] Yoshua Bengio: 如果按照目前 OpenAI 所采用的“大数据、大模型、大算力”的暴力美学路线，是不可能构建出能够广泛适用于现实世界所有情况的模型的。因为现实世界的复杂度和多样性，远远超出了任何模型通过有限数据所能学习到的范围。 [4:59] Jim Fan: Sora 本质上就是一个世界模型，虽然目前“无操作”（被动观察）是唯一允许的操作——即你可以设置世界的初始状态，在潜在空间中运行模拟并被动观察发生的情况，现在还没办法主动干预，但它确实包含了世界模型所需的元素。 [9:59] Jim Fan: 2024年将是属于机器人、游戏 AI 和模拟（Simulation）的一年。 [9:59] Sherry Yang: 视频生成之于物理世界，就如同语言建模之于数字世界。

Original transcript

[0:00] SORA的技术文章发布之后OpenAI用的一个词却在学界引发了不少的争议那么这就是世界模拟技World Simulator那么什么是世界模型为什么大家的期待这么的热烈呢世界模型的概念最早也最常出现在机器人领域的论文当中2018年两位名为David Ha和Jürgen Schmidber的学者发布了一篇名为World Models的文章这篇文章也被Sora的技术解释论文所引用在这篇文章里作者并没有对World Models给出一个明确的定义但是却引用了一篇系统动力学之父J.Forester发布于1971年的有关于人脑mental model的文献来进行类比Forester指出人类使用有限的感官感知世界并基于这些感知建立起一个内部的简化的世界模型我们所做的决策和行动都是基于这个内部的模型在这个mental world当中并不包含世界上的所有信息或者细节而只是包含了被我们选中的某些互相关联的概念换句话说人们在头脑中构建的世界图像是现实世界的一个简化版这个简化的模型不仅帮助我们理解世界更重要的我们还会根据这个头脑中的简化世界决定预测未来的走向而世界模型也采用往类似的思维模式在有限的有选择性的信息基础上进行有效的学测和预测更重要的是和人脑一样世界模型不仅需要预测立即的结果还要能够预测更长时间序列的后果这对于理解复杂环境和规划长期策略至关重要那么具体到模型架构上根据图林奖获得者MATA的首席AI科学家Yan Lecun的定义一个世界模型应该包含以下的元素那么第一是观察这是你在给定时刻对世界的看法或者感知想象一下你在玩视频游戏看到你的角色站在一个平台上那么这就是你的观测第二是状态估计模型对当前是些状态的估计就像你在游戏中有一个关于一切所在位置的心理地图即使你现在看不到全部的地图那么第三就是动作建议模型可能提出的行动方案这是对下一步要做什么的建议比如说决定跳跃到另外的一个平台上第四就是潜在变量建议由于表示当前观测不能完全解释的未知信息那么这就有点接受了它代表所有未知的因素那么这些因素可能影响你行动的结果那么想象一下游戏中有风当跳跃的时候风可能会把你的角色吹偏你看不到风它是未知的但是你知道它可能会影响你的跳跃严格库认为世界模型有两个组成部分首先是编码器这个函数接受你的观测并且将其转换为模型可以更有效工作的格式或者表示还有就是隐藏状态预测器利用编码后的观测当前的世界状态你正在考虑的行动和未知因素来猜测接下来会发生什么以此来预测世界的未来状态天鹅困定义下的世界模型之所以强大是因为它是从模仿智能生物与世界的互动方式也就是观察理解预测和行动同时也考虑未知的事物和因素它是一个综合的框架可以运用于从玩视频游戏到导航现实世界环境的各种问题目标是创建能够学习以对未知因素具有适应性和鲁棒性的方式导航与复杂环境交互的模型是不是觉得以上的解释非常的复杂和难懂没关系AI生成的视频公司Runway在去年年底是出了一个还挺有趣的视频的更加简单易懂的解释了世界模型我们来给大家讲一下Rubin also has an ihe video company Runway in the year of 2020 was released a quite interesting video of a more simple way to explain the world. I'll show you guys the video. Ruben also has an internal model of the world based on things he knows. And it looks something like this. He learned that if we go this way, there's a higher chance of us going to the park. And if we go that way, there's a dog that kind of looks at him funny. He knows that there's usually sidewalk chicken scraps right here, and that these stores, known as pet stores, that have the treats that he likes. Once we get to the park, this is where all the butt sniffing happens. With all of this data, the sights, sounds, relationships of things, Ruben has figured out how to predict certain outcomes and adjust his behaviors, just like the general world model. and the results of the future. The most important thing is that the world's image can be able to make the world's new and can be made by the future. It can be made by the world's new and by the future. It's just that my dog will only do it at least in the time to live in the water, but also will be able to drive me to the world's most love. And it will also [4:59] 从来没吃过的东西流口水或者会拽着我去一家他从来没去过的宠物零食店所以呢在理想状态下训练出来的世界模型不仅能够复制他所看到的数据更能够理解数据背后的因果关系并且在新的情况下做出有效的预测如果把世界模型的概念套用到视频生成领域呢则可以理解成这个模型能够让机器像人类一样对世界产生一个全面而准确的认知从而生成更加流畅更符合逻辑时间更长的食品所以就在此前GPT和Diffusion的模型路线无法达到能够让业界商用的标准的时候很多行业内人士是对世界模型抱有了极大的期待这就包括了好莱坞等的影视和小团队就是世界模型的开发应该会接下来会是一个神话的上下为什么因为世界模型最大的一个核心其实是让它真正的认识到那些不可约化的东西还有以及认识到自身的边界在哪因为你做任何的事情它是有一种框架性你真实的世界就是这样的真实的世界它的框架来自于大量的物理事实和人际关系的情绪事实这个世界运转的时候的一种政治路由这是几种很多东西这是你的世界的框架你如果只是从语言的角度去理解世界的时候你就发现不了这个世界真实的那一个框架这部分现在我觉得在经济四的级别上因为它是一个语言模型它没有达到说后面的开放式的世界模型的级别那看起来OK应该一直在回报的努力以Yan Laquan的定义SORA目前是远不能达到世界模型的标准的而更多的学界大佬则是认为OpenAI有夸大宣传的嫌疑Yanloquan本人就曾经多次的公开狠批SORA表示生成视频的过程与基于世界模型的因果预测完全不同去找人的想法去找人的想法去找人的想法去找人的想法去找人的想法去找人的想法这些是最重要的想法去找人的想法人的想法去找人的想法LNM的想法都可以做到一种方式e of those, or they can only do them in a very primitive way, and they don't really understand the physical world, they don't really have persistent memory, they can't really reason, and they certainly can't plan. And so, you know, if you expect the system to become intelligent just, you know, without having the possibility of doing those things, you're making a mistake. He said that only to make AI watch videos is no longer able to learn about the world. It is a matter of like Sora's videos and the demo videos and the data of the data. the data of data. and also the other way to makctual reasoning即便对于数据中没有见过的决策在世界模型中也能够推理出决策的结果他认为Sora生成的视频仅能够通过模糊的提示词引导而难以进行准确的操控因此他觉得Sora就是一个视频工具难以作为反事实推理的工具去准确的回答What is这样的问题那至于OpenAI未来究竟能不能推出真正的世界模型Yellowcon和Tulet都表达了质疑的态度抽雷就提到说如果按照目前OpenAI所采用的大数据大模型大算理这样的暴力美学的路线是不可能构建出能够广泛适用于现实世界所有情况的模型的因为现实世界的复杂度还有多样性远远超出了任何模型通过有限数据所能够学习到的范围然后业内也有一些积极的声音在英伟达研究院高级研究员Jim Finn看来Sora已经是一个世界模型了包含了世界模型所需要的所有元素Ginfan在LinkedIn上面也转发了YellowQuinn对世界模型的定义并且评论到说Sora本质上是一个世界模型无操作是唯一允许的操作你可以设置世界的初始状态在潜在空间中运行模拟并被动观察发生的情况现在没办法主动干预但是 [9:59] 不主动干预OpenAI官方似乎也有一些不同的说法但无论如何Jim Fan对于Sora能成为世界模型的乐观是可以理解的那么AI视频生成的用途绝不仅仅在娱乐还有艺术创作上视频数据可以捕捉到难以用语言去表达的物理世界中的重要信息和数据那么这将在AI智能体AI机器人计算引擎还有环境模拟器以及生成游戏环境等等科学和工程研究中极大程度去推动相关科研的发展那最近英伟达宣布Jim Fenn将在英伟达内部领导组建一个新的研究小组DEAR是Generalist Embodied Agent Research的简称那中文是通用聚身智能体研究Jim Fenn在推特上写道2024年将是属于机器人游戏AI和模拟的一年那如果大家去看一下硅谷101之前推出的AI机器人那期节目在结尾的时候我们就说到智身智能机器人在现实世界训练太困难采集数据太慢太昂贵而在模拟器当中的训练将是重要的研究方向包括了斯坦福著名的人工智能学者李飞飞教授就是这一流派的倡导者而Jim Fan当时在斯坦福的时候正是李飞飞的博士生顺便说一句现在苹果的Vision Pro也出来了电内人士认为这将是很好的采集现实空间数据的仪器因此模拟simulation对于机器人和智能体行业都将有着重要的意义而Sora如果能够成为现实世界模拟器将极大的助力这个行业的发展那么这一点我们也从斯塔福目前非常热门的炒菜机器人团队Aloha的常识团队那里得到了肯定它告诉你,无论是白色,或是褶色,或是透明的,方法是同样的。所以,我会以为世界模式的形象来自于世界模式的形象。那么,最近来自Google DeepMind的研究科学家Sherry Yang以及其团队,电影所业内资深研究员在一篇题为《Video as a New Language for Real World decision making视频作为现实世界决策的新语言的论文当中也是探索了视频生成技术在机器人自动驾驶还有各类科学领域研究的重大用途并且总结说视频生成至于物理世界就如同语言建模与数字世界所以到这里我们可以总结一下Sora可能并不是一个成熟的产品它甚至没有到XGPT时刻现在可能还算得上是GBT30克但是OpenAI对SORA的官宣让我们看到了生成式AI视频最前沿的技术流派进步以及用高算理和大参数也能够达到涌现的技术突破同时在AI机器人和巨身智能等学术和研究的领域大家很期待SORA能够助力更多更加高效的研发而至于SORA距离商用还有多远我们得先等SORA正式的发布大家都用起来才能够知道了但同时生成式AI视频大模型的竞争才刚刚开始虽然OpenAI目前展示了绝对的领先地位元超Ranway和Pika等一众的创业公司但是谷歌也是紧追其后就在2月28号谷歌Deepmind是发布了新的可交互视频生成模型Genie这款名为Genie的新模型可以接受简短的文字描述,手绘草图或者图片,并且将其变成一款可玩的电子游戏。游戏风格有点类似于超级马尿这些经典的2D平台游戏。虽然Genie只是一个内部研究项目,也暂时不会对外界发布,但是业内人士认为我们很快可能就会看到Genie的3D版本,也会有基于视频生成的游戏引擎。而这也清楚的向外界透露说和OpenAI一样谷歌等一众科技巨头在深城市AI视频上的野心绝不仅限于视频用于娱乐而在虚拟环境中训练机器人才是更加重要的星辰大海好了以上就是我们硅谷101对于SORA以及深城市AI视频大模型发展的简单梳理那为了更加简明的解释技术我们是将很多的技术细节稍微的省略和简化了如果有描述不准确类比不合适的地方也欢迎大家多多的指证和探讨你们的留言点赞关注和转发呢是我们硅谷101做深度科技和商业内容的最大动力那顺便预告一下我们会在三月份受邀参加英伟达在硅谷的GTC大会以及呢我们也会进一步去聊聊芯片产品的大热门的公司和技术关注我们不要错过更新哦 [14:59] you