OpenAI发布Sora视频模型 引入DiT架构颠覆Runway路线

OpenAI发布Sora视频模型 引入DiT架构颠覆Runway路线 视频生成领域在Sora发布后正式确立大模型算力堆叠路线，AI视频竞争终将演变为科技巨头间的资金与GPU算力军备竞赛。 视频深度剖析了AI视频生成技术的演进历程与最新突破。早期AI视频饱受时长限制与物理逻辑缺陷的困扰，而Sora通过时空补丁、GPT语义加持以及Diffusion Transformer（DiT）架构的结合，实现了超长生成时间与极佳的场景一致性。节目详细对比了扩散模型与Transformer路线的优缺点，指出Sora的成功标志着两大技术路线的融合，并确立了视频生成领域同样适用大算力堆叠的Scaling Law。 OpenAI 发布的 Sora 打破了此前 Runway 和 Pika 等早期模型仅能生成 3-4 秒且缺乏物理逻辑一致性的局限，成为 AI 视频领域的标杆。 (0:00) Sora 实现了长达约 1 分钟的生成时长、极佳的场景一致性、多模态双向扩展、多尺寸自由适配、远距离时间连贯以及对简单物理世界的模拟能力。 (4:59) AI 视频发展曾分化为两大技术路线：扩散模型训练稳定且画质高，但面临显存与训练成本瓶颈；基于 Transformer 的大模型路线跨模态与扩展性极佳，但逐个预测 Token 带来巨大的计算消耗。 (9:59) Sora 采用 Diffusion Transformer（DiT）架构，将视频切分为“时空补丁”，结合 GPT 的语义扩写能力，印证了视频生成领域同样遵循算力驱动的 Scaling Law。 (24:59)

OpenAI 发布的视频生成模型 Sora 凭借时空补丁与 DiT 架构突破了早期 AI 视频的时长与物理逻辑瓶颈。该模型证明了扩展定律在视频生成领域的有效性，同时也表明 AI 视频赛道正演化为依赖庞大算力与资金的科技巨头角逐。 早期 AI 视频的瓶颈与 Sora 的六大突破 (0:00) 在 Sora 发布前，以 Runway Gen1/Gen2 和 Pika Labs 为代表的生成式 AI 视频受限于 3 到 4 秒的时长限制，在画面延长时极易出现变形，并在重力、摩擦力及手部构图等物理与逻辑一致性上存在明显缺陷。视频生成的难度在于其不仅是二维空间图像，还加入了时间轴维度，需要解决连贯性与物理合理性等一系列逆过程问题。 2024 年 2 月 15 日 OpenAI 发布的 Sora 实现了关键突破：能够直接生成长达 1 分钟且场景与主体一致的视频；支持文本、图像和视频的多模态输入与双向扩展；自由适配 16:9 横屏与 9:16 竖屏等多尺寸；在物体被遮挡后再次出现时保持远距离时序连贯；并具备模拟笔触留存或咬下汉堡等物理动态的通识能力。尽管 Sora 仍会出现小猫长出三只爪子或跑步机方向跑反等逻辑瑕疵，但其综合表现大幅超越了以往模型。 技术路线之争：扩散模型与 Transformer 的权衡 (9:59) AI 视频的技术演进经历了从 GAN、VAE 到两大主流派系的转变。以 Runway、Pika 以及 Stable Diffusion 原始团队为代表的扩散模型阵营，通过前向逐步加噪和反向神经网络去噪来还原画面（如谷歌 Imagen 通过 T5-XXL 编码并逐级放大至 1024x1024）。扩散模型的优势在于训练稳定、图像逼真且不易模式崩溃，但缺点是逐级去噪耗时较长、训练成本高昂，且长视频极易占满显存。 另一大派系是基于 Transformer 的大语言模型路线，代表为谷歌 2023 年底推出的 VideoPoet。该路线将图像切为类似 16x16 的视觉方格并转化为离散 Token，通过预测下一个 Token 建立连贯帧。其优势在于跨模态理解能力强，且遵循扩展定律（Scaling Law），性能增益不会像 CNN 架构那样容易见顶；但其复杂度为宽高乘积，不仅逐个预测视觉 Token 的计算量远大于文本，且速度显著慢于仅需数步迭代的扩散模型，同时生成质量存在波动。 Sora 的终极解法：Diffusion Transformer 架构 (24:59) Sora 结合了两大技术路线的优势，采用了 Diffusion Transformer（DiT）底层架构。其核心运作分为三步：首先将三维视频按时间与空间切分成“时空补丁”（SpaceTime Patches），并压缩至隐空间中进行扩散训练；其次借助源自 DALL-E 3 的技术为视频自动生成详尽标注，并利用 GPT 将简短提示词扩写为细节描述，以提升语义理解与对齐精度；最后在成像端用 Transformer 的自注意力机制替代传统基于 CNN 的 U-Net 架构。 业内从业者评价，传统扩散模型去噪如同米开朗基罗剔除多余石料做雕塑，而 Transformer 的自注意力机制则让时间线上各节点产生关联，使雕塑在时间维度上活动起来。该架构既保留了扩散模型的高画质，又吸纳了 Transformer 强大的长序列处理与跨模态扩展能力。 结合 Transformer 与扩散模型并非 OpenAI 独创，但 OpenAI 抢先发布未成熟且未公测的 Sora 确立了技术领先地位。OpenAI 技术报告指出视频模型在大规模训练中展现出“涌现”能力，证实了扩展定律在视频领域的适用性，也意味着未来的 AI 视频竞争将高度依赖参数规模、GPU 算力与重度资金投入。

[0:00] 硅谷的 AI 视频论文作者: 毋庸置疑的 No.1 [0:00] 讲述人: 一眼难尽 [0:00] 讲述人: 超级玛丽奥漫步于沙漠中 [0:00] 讲述人: 雨夜大街上一群人走在商铺窗户檐的伞下 [4:59] 讲述人: 女孩漫步东京街头 [4:59] 讲述人: 一键转换 [4:59] 讲述人: 堆算力、堆参数的大力出奇迹 [9:59] 张宋阳: 墨水滴入水中 [9:59] 讲述人: 骑火箭的男孩 [14:59] 张宋阳: 我爱说实 [14:59] 张宋阳: 像切豆腐一样横竖切成小方块 [24:59] AI 从业者: 只是把石头上不应该存在的部分去掉 [24:59] AI 从业者: 从石座上走了下来 [24:59] OpenAI 技术文章: 涌现

[0:00] Sara,OpenAI的人工智能AI生成式视频当模型在2014年2月15号一经发布就引发了全球关注硅谷AI视频论文作者这样评价道相当好这是毋庸置疑的No.1那么Sara好在哪里?生成式AI视频的发展挑战在哪里?OpenAI的视频模型一定是正确的路线吗?所谓的世界模型达成共识了吗?这期视频我们就通过与归谱一线AI从业者的采访深度来聊聊生成式AI视频大模型的不同派系发展史大家的中意还有未来路线AI生成视频这个题我们其实在去年就想做了因为当时跟很多人聊天啊包括跟VC的投资人聊的时候发现呢其实大家对于AI视频模型和XGBT这种大语言模型的区别呢并不是非常的清楚但是为啥没做呢就是因为在去年年底市场中做的最好的也就是比如说Runway这家公司旗下的Gen1和Gen2这两种的视频生成视频以及文字生成视频的功能但我们生成出来的效果呢确实有点一眼难尽哈比如说呢我们又Runway生成了一个视频Prompt提示词是Super Mario Walking inrompt提示词是超级玛丽奥漫步于沙漠中结果呢出来的视频是这样的怎么看怎么像玛丽奥是跳跃在月球上无论是重力还是摩擦力物理学在这段视频里面好像突然不复存在了然后呢我们就尝试了另外的一个提示词a group of people walking down a street at nightwith umbrellas on the windows of stores雨夜大街上一群人走在商铺窗户檐的伞下那这段歧视词呢也是一个投资人Gariel Harrison尝试过的结果呢出来的视频是这样的你看这空中漂浮的雨伞是不是很诡异但是呢这也就是去年代表着最领先技术的runway了那么之后呢我们知道华人称使人Demi郭昌利的Picolapse也是火了一阵被认为比runway效果稍好一些但是依然受制于3到4秒的长度显示并且生成的视频依然也存在着视频里面的理解逻辑 手部构图等等的缺陷问题所以在OpenAI发布Sora模型之前生成式AI视频模型并没有像Charge UT还有Me Journey这样的聊天还有文生图应用一样引发全球关注其中很大原因就是因为生成视频的技术难度非常高视频是二维空间加时间从静态到动态从平面到不同时间片段下面的平面显示出来的立体效果不但需要强大的算力和算法还需要解决一致性连贯性物理合理性还有逻辑合理性等等一系列的复杂问题所以深层视视频大模型这个选题一直都在我们硅谷101的选题清单上但是一直拖着没错就像等新城市AI视频模型有一个重大突破的时候我们再来做这个选题结果没想到这么快这个时刻就来了It's from a new tool just announced a few hours ago by OpenAI called SoraThat is f***ing insane, dudeThat is absolutely f***ing crazyThis does feel like anotherChatGPT Dolly moment for AISora的展示毫无疑问是吊打此前的Runway和Pika Labs的那么首先呢最大的突破之一很直观的就是生成视频长度是大大的延长了之前啊Runway和Pika呢都只能生成出三到四秒的视频太短了所以呢之前能够出圈的我们看到的AI视频作品啊就只有一些快节奏的电影预告片因为其他需要长一些素材的用途根本就无法被满足而在runway和pica上如果需要更长的视频就需要自己不断提示提加视频时长但是我们视频后期总结师Jacob就发现就会出现一个大问题痛点就是你在不断往后延长的时候它后面的视频会出现变形那就会导致你前后视频的画面不一致了那这张素材就用不了了而Sora最新展示的论文和demo中就表示可以根据提示词直接生成一分钟左右的视频场景与此同时Sora会兼顾视频中人物场景的变换以及主题的一致性那么这让我们的剪辑师看了之后也直呼兴奋它其中有一个视频是一个女孩走在东京的街头的那个视频那个是真的让我觉得直接秒了之前全部的视频的AI模型了因为它一边走你会发现它背后的那些广告牌上面的信息是不怎么变化的其他的一些视频生成一个天空呀大自然这样的一些场景它都未必能够保持到你视频第一秒跟最后一秒有一个一致性在里面这次的SOLAR它是全程广告牌这么细节的一些画面都能够 [4:59] 保持着连贯性所以就算在视频动态的运动情况下随着空间的移动和旋转SORA视频中出现的人物和物体也会保持场景一致性的移动那么第三SORA可以接受视频图像或者提示词作为输入模型会根据用户的输入去生成视频比如说公布出来的demo中一朵爆开的云那么这意味着SORA模型可以基于静态图像来制作动画做到时间上向前或者向后来扩展视频第四呢Sara可以读取不同无论是宽屏还是垂直的视频进行采样也可以根据同一个视频去输出不同尺寸的视频并且保持风格稳定那比如说这个小海龟的样片啊然而其实对我们视频后期的帮助呢是非常大的那么现在YouTube还有B站等等1920x1080p横屏的视频呢我们需要重新的去剪辑成垂直的1080x1920的这个视频来适配抖音还有TikTok等短视频平台但可以想象呢之后也许就可以通过Sora一键AI转换这也是我非常期待的功能了第五远距离相关性和时间连贯性更强了那么此前呢AI生成的视频有个很大的困难就是时间的连贯性但是Sora能够很好的记住视频中的人和物体即使被暂时挡住或者移住画面之后再出现的时候也能够按照物理逻辑的让视频保持连贯性那比如说Sora公布的这个小狗的视频啊当人们走过它画面被完全挡住再出现它的时候呢它也能够自然的继续运动保持时间和物体的连贯性那么第六Sora模型已经可以简单的模拟世界整台的动作了那比如说画家在画布上留下新的笔触那么这些笔触呢会随着时间的推移而持续的存在或者呢一个人他吃汉堡的时候呢会留下汉堡上面的咬粉那么有比较乐观的解读就认为啊这意味着模型具备了一定的通识能力能够理解运动中的无理世界也能够预测到画面的下一步会发生什么因此呢以上的这几点索然模型带来的震撼更新而是极大的提高了外界对于深城市AI视频发展的期待还有兴奋值虽然SORA也会出现一些逻辑错误比如说小猫出现了三只爪子街景中有不符合常规的障碍物人在跑步机上的方向反了等等但是显然比起之前的试试视频无论是RUNWAY还是PICA还是谷歌的VideoPoetSORA都是绝对的顶先者而更重要的是OpenA似乎通过Sora想要证明堆算理堆参数的大力出奇迹的方式也可以适用到生成式视频上面来并且通过扩散模型和大一元模型的整合那么这样的模型新路线来形成所谓的世界模型的基础而这些观点也是在AI界引发了极大的争议和讨论那么接下来我们就来试图回顾一下生成式AI大模型的技术发展之路以及试图解析一下SOR的模型是怎么运作的它到底是不是所谓的世界模型呢好 大家做好小本本拿出来接下来我们就开始讲模型了AI生成视频的早期阶段主要依赖于Gaith生成是对抗网络和VAE变分自编码器这两种模型但是这两种方法生成的视频内容相对属性相对的单一和静态而且分辨率往往不太行完全没有办法去进行商用所以这两种模型我们就先不讲之后AI生成视频就演变成了两种技术路线一种是专门用于视频领域的扩散模型一种则是Transformer模型我们先来说一下扩散模型的路线那么跑出来的公司就有Runway还有PicaLabs等等扩散模型的Ulan是Diffusion Model很多人不知道如今最重要的开源模型Stable Diffusion的原始模型就是由Runway和慕尼黑大学团队一起发布的而Stable Diffusion它本身也是Runway的核心产品视觉编辑器Gen1和Gen2背后的底层技术基础Runway的Gen1模型在2023年2月发布允许大家通过文本或者图像改变原视频的视觉风格例如将手机拍摄的现实接近变成赛博世界而在6位方Renway是发布了Gen2进一步的能够将用户输入的本本提示词直接生成为视频那扩散模型的原理大家一听这个名字扩散模型就能够稍微的get到是通过逐渐扩散来生成图像或者视频那为了更好的给大家解释模型的原理我们也是邀请到了之前Meta的make a video模型的论文作者之一目前在亚马逊AGI团队从事视频生成模型的张宋阳博士来给我们做一个解释制作用扩散这个名字是源于物理性教比如说我们把一个墨水滴到一杯水里面去它的那个墨水它会一个会散开这个东西叫扩散然后这个过程本身物理上是不可以是不可逆的 [9:59] 我们AI可以学习这么一个过程 把这个过程给秘管类比到图片里来说我们可以一个图片是不定问加造声 不能加造声 不能加造声然后它会变成一个类似于马赛克这样的一个效果它是一个纯造声的一张图片然后我们学习怎么把这个造点如何变成一张原始的图片我们训练这么样的一个模型然后直接去一步完成的话 这个可能会很难它分成了很多步 比如我分成1000步我比如说我加一点点噪声它能够还原它的驱逃生出来什么样子然后噪声加的比较多的时候我该怎么去用这个模型怎么去预测噪声然后逐渐的去把这个噪声慢慢的去掉你比如说原来是一个水跟墨已经完全混合在一起了你想办法就是怎么去预测它一步一步它如果再变回之前的那一滴墨水的样子就是它是一个扩散的一个逆过程张宋岩博士解释的很形象扩散模型的核心思想是通过不断的向原始噪声引入随机性逐步生成逼真的图像或者视频而在这个过程分为了四步第一是初始化扩散模型开始于一个随机的造身图像或者视频针作为初始的输入第二就是扩散过程也被称为前向过程Forward Process扩散过程的目标呢是让图片变得不清晰最后变成完全的噪声第三步啊叫反向过程reverse process又被称为backward diffusion那么这个时候呢我们就会引入神经网络了那比如说基于卷积神经网络CNN的unit结构在每个时间部预测要达到现在这一阵模糊的图像所添加的噪声从而通过去除这种噪声来生成下一帧的图像以此来形成图像的逼真内容第四步就是重复步骤直到达到所需要的生成图像或者视频的长度以上就是video to video或者picture to video的生成方式也是runway的gen1的大概的顶层技术运行的方式但是如果要达到输入提示词来达到text to video那么就要多加几个步骤了比如说我们拿谷歌在2022年周旬发布的Imagine模型来说明一下取个例子我们的提示词是A boy is riding on the rocket提着火箭的男孩那么这段提示词会被转换为topen标记并且传递给编码器Text Encoder谷歌Imagine模型接着会用T5XXLLM编码器将输入文本编码为嵌入embeddings那么这些嵌入代表着我们的文本提示词但是以机器可以理解的方式进行编码之后这些嵌入文本会被传递给一个图像生成器Image Generator那么这个图像生成器会生成64x64分辨率的低分辨率图像那么之后Imagine模型会利用超分辨率扩散模型将图像从64乘64升级到256乘以256然后再加一层超分辨率扩散模型最后生成与我们的文本提示词紧密结合的1024乘1024的高质量图像那么简单总结来说在这个过程当中扩散模型从随机造声图像开始在去造过程中使用编码文本来生成高质量的图像那么问题来了为什么生成视频要比生成图片困难这么多呢它的原理实际上还是一样的只不过唯一一个区别就是多了一个时间轴就是刚刚我们说的图片它是一个2D的它是高度跟宽度视频它多一个时间轴它就是一个3D的它就是高度宽度还有一个时间然后它在做这个学习这个扩散的逆过程的过程当中呢就是相当于以前的是一个2D一个逆过程,现在变成一个三迷的逆过程就这么一个区别所以说图片上的存在的问题比如说你像这些个生存的人脸是不是真实啊那我们如果图片存在这样的问题,我们视频也一样会存在这样的问题对于视频来说,它有些太有些独特的一些问题,就比如说那个画面它那个主体它是不是保持一致的我觉得目前对像风景这样的,其实效果都还可以然后但是如果涉及到人的话,因为人的这些要求可能会更精细人的这个难度会更高然后还有一个目前的一个难点我觉得也在努力的一方向就是怎么把视频变得更长因为目前来说的话只生成两秒三秒四秒这样的视频其实远远满足不了现在的应用场景扩散模型比起之前的GAN等模型来说有三个主要的优点那第一呢就是稳定性训练过程啊通常更加的稳定不容易呢陷入模式崩溃或者模式塌陷的问题那么第二就是生成图像质量扩散模型可以生成高质量的图像或者视频尤其在训练充分的情况下生成的结果通常比较的逼真第三就是无需特定的架构扩散模型不依赖于特定的网络结构兼容信号很多不同类型的神经网络都可以拿来用然而扩散模型也有两大主要的缺点包括首先训练成本 [14:59] 与一些其他生成模型相比扩散模型的训练可能会比较的昂贵因为它需要在不同造生程度的情况下学习去造需要训练的时间更久其次生成花费的时间更多因为生成的时候需要逐步的去造生成图像或者视频而不是一次性的生成整个样本我们其实现在无法生成长的视频一个很重要的原因就是我们的显存是有限的你生成一张图片是可能编略了一些部分的显存然后你如果生成这张图片它就占了可能差不多就把这些图片给占满了当你需要生成更多张图片的时候你就得想办法怎么去继续考虑之前已经生成的这些信息然后再去预测后面该生成什么样的信息它是在首先在模型上面就提了一个更高的要求当然算力上面也是一个问题就是或许过很多年之后我们的显存会非常的大可能我们也就不存在这样的问题了也是有可能的但是就目前来说当下我们是需要一个更好的一个算法但是可能这个问题如果有更好的印线可能这个问题就会存在所以这注定了目前的视频扩散模型本身可能不是最好的算法虽然Runway和PicaLabs等代表的公司一直在优化其算法那么我们接下来来聊聊另外一个派别基于Transformer架构的大语言模型生成视频技术路线谷歌是在2023年12月底发布了基于大语言模型的生成师AI视频模型VideoPoet那么这在当时被视为是生成视频领域当中扩散模型之外的另外一种解法和出路那么它是怎么个原理呢那么大语言模型生成视频是通过理解视频内容的时间和空间关系来实现的谷歌的Video Point是一个利用大一元模型来生成视频的例子那么这个时候让我们再次的挺出生成式AI科学家张宋阳博士来给我们做一个生动的解释模型这个东西最一开始是用在但我原理还完全不一样的它最一开始是用在文本上面文本上面就是说下一个单词是什么就比如说我爱说实话然后它这个最后有我爱说实然后你最后一个字是什么你猜是什么字然后你可能你给的这些前面的字越多你可能越容易刷到后面但是如果你给的字比较少你可能就发现空间会更多然后这个思路带到视频当中那就是我们就是可以学一个图片的词汇或者说是视频的词汇就是说我们可以把图片横着些比如说横着些16刀竖着些16刀然后把每一个小方块当成一个词然后把它输到这个大语言模型当中然后你去学习怎么大语言模型的这些词跟这些文本的词或者视频的词进行一个交互它们之间的进行一个它们关联是一个什么样的关联去学习一个这个东西然后这样的话我们就可以大语言模型让它再重新它也可以去做一些视频的任务或者是文本的一些任务那么简单来说基于大语言模型的Videopoint是这样运作的那么第一输入和理解首先呢Video Point接收文本声音骨片深度图光流图或者呢有待编辑的视频作为输入那么第二呢就是视频和声音的编码因为文本天然就是离散的形式大语言模型自然而然呢就要求输入和输出必须是离散的特征然而呢视频和声音是连续两那么为了让大语言模型也能够让图片和视频或者声音作为输入和输出那么这里呢Video Point将视频和声音编码成离散的token在深度学习当中token是一个非常重要的概念它是指一组符号或者标识符用于表示一组数据或者信息中的一个特定元素那么在videopoint的例子当中通俗一点可以理解成视频的单词和声音的单词第三模型训练和内容生成那么有了这些token词汇就可以根据用户给的输入像学习文本token那样训练一个transformer去学习整个预测视频的token那模型就会开始生成内容对于视频生成这意味着模型需要创建连贯的帧序列这些帧不仅在视觉上符合逻辑还有在时间上保持连贯性那第四就是优化和微调了生成的视频可能需要进一步的优化和微调以确保质量和连关性这可能包括调整颜色光照还有针之间的过度等等Bidipoint利用深度学习技术来优化生成的视频来确保他们既符合文本的描述又能够在视觉上吸引人第五就是输出最后生成的视频会被输出供最终的用户来观看但是单元模型生成视频的路线也是优点和缺点并存的首先来说说优点那么第一就是高度零件能力基于Transformer架构的代语言模型能够处理和理解大量的数据包括复杂的文本还有图像信息那么这使得模型能够具有跨模态的理解和生成能力能够很好的学习到文本和图片视频不同模态之间的一个关联的能力那么这使得他们再将文本描述转换成是 [19:59] 你内容的时候能够生成更准确和相关的输出那么第二就是处理长序列数据由于自注意力机制Transformer模型特别擅长于处理这种长序列的数据那么这对于视频生成尤为重要因为视频它本质上就是长序列的一个视觉的表示那第三就是Transformer的可扩展性通常来说模型越大拟合的能力就越强但是当模型大到一定程度的时候卷积神经网络性能受模型增大带来的增益就会放缓甚至停止但是Transformer依然能够持续的增长那Transformer在大语言模型当中已经证明了这一点如今在图片和视频生成这领域也慢慢的被验证了那么再来说一下缺点第一就是资源密子型用大语言模型生成视频特别是高质量的视频需要大量的计算资源因为用大语言模型的路线是将视频编码成Token往往会比一句话或者一段话的词汇量要大得多的多同时如果一个一个的去预测会让时间的开销非常之大也就是说这可能使得Transformer模型的训练和推理过程会变得非常的昂贵和时间消耗有一个问题我就挺本质的就是Transformer它不够快这个是很本质的问题Transformer它一个小方块一个小方块一侧我扩散模型我直接一张图就出来了所以说它会肯定Transformer肯定会比较慢的它慢了有一个具象的这样的一个数据就是能慢多少就比如说我一张图我直接出一张图那就是第一个人比如说一张图就是一然后比如说我用四步就是四步去生成出来就是那就是四现在目前做的好的话四步我看做的效果还是不错的然后但是你要是用Transformer的话比如说你画19x16个方格那就是16x16那就等于256了四是相当于我去做去造去造了迭代的次次然后Transformer的话它是相当于我去预测一张图片比如说16x16的话我就预测256个词他们的量纲肯定不一样但是他们的复杂度也是可以看出来的Division模型它的复杂度是一个常数题但是Transformer的复杂度它实际上是一个宽度成高度所以说从此来说肯定是固化模型会更优异些我觉得这东西可能你如果是铺片越大的话增变率高的话Transformer的问题可能会越大Transformer模型的另外一些问题呢还包括质量波动尽管Transformer模型能够生成创造性的视频内容但是呢输出的质量可能不稳定特别呢是对于复杂的未经过充分训练的模型那么第三点啊是数据的依赖性Transformer模型的性能呢在很大程度上取决于训练数据的质量还有多样性如果训练数据有限或者有偏差那么生成的视频呢可能就无法准确的反映输入的意图或者在多样性上存在限制那么第四就是理解和逻辑限制了那么虽然Transformer模型在理解文本和图像内容方面是取得了进步但是呢他们可能依然难以完全的把握复杂的人类的情感幽默或者细微的这个社会文化信号那么这可能会影响生成视频的相关性还有性能力那么第五就是伦理和偏见问题了AN视频生成技术呢可能会无意中复制或者放大训练数据中的偏见导致伦理问题不过说到第五点突然想起来最近有这么一个新闻有说谷歌的多模态大模型Jimmy Night当中无论你输入什么人出来的都是有色人种包括美国的开国元勋还出现了黑人女性版的教皇维京人也是有色人种生成的Elon Mu也是黑人那这背后的原因呢很可能也是谷歌为了根正Transformer架构中的偏见给加入了这个AI道德和安全方面的调整指令啊结果调过头了就出了这么一个大乌龙啊但好巧不巧呢这个事情发生在了OpenAI发布Sora之后确实呢又让谷歌被群嘲了一番不过业内人士也指出以上的这五点问题呢也不是Transformer架构所独有的目前啊任何的生成模型都有可能存在这些问题只是不同模型在不同的方向的优劣是稍有不同所以呢到这里总结一下扩散模型和Transformer模型生成视频都有不甚令人满意的地方那么身为技术最为前面的公司OpenAI他们是怎么解决的呢也许你已经猜到了这两个模型各有千秋那我们就把它们结合在一起会不会一加一大于二呢于是SORA也就是扩散模型和Transformer模型的结合说实话目前外界对SORA的细节还是未知的现在也没有对公众开放连waiting list都没有开放只邀请了业界和设计界极少数的人来使用那么阐述的视频也都在网上公开了 [24:59] The technology is more than the results of OpenAI for the effect of the effect. OpenAI has a more complicated technology to explain. But at a high level, it's just trained to generate videos of the real world and of digital worlds and of all kinds of content. Text Condition Diffusion Models And also using the right-wing image of the space-time patches to use the transformer structure So Sora design design may include the first one the first one the first one the first one the first one In the second one we mentioned那么这里SORA也是采用了相同的想法视频是一个三维的输入也就是二维空间加一维的时间这里将视频在三维空间中均分成一个一个小的token被OpenAI称为时空补丁SpaceTime Patches那么之后还需要用到一个训练好的encoder和decoder将视频数据进一步的压缩到影空间laden space里面去进行训练那么这里也会用到一个影空间扩散模型laden diffusion model那么第二步就是文本理解了因为SORA有OpenAI文身图模型Dali3的加持可以将许多没有文本标注的视频自动进行标注并且就如视频生成的训练同时因为有GBT的加持可以将用户的输入扩写成更加详细的描述使得生成的视频获得更加贴合用户的输入并且Transformer架构能够帮助Sora模型更有效的学习和提取特征获取和理解大量的细节信息增强模型对未见过数据的泛化能力在一起蹦跆吧等等等等来发挥联想能力解释输入的prong所以GPT能够展开的解释和细节丰富程度将会决定Sora生成的有多好而GPT模型就是OPEN AI它自家的不像其他AI视频startup公司呢还需要去调用GPT模型啊那么OpenAI给SORA的GPT架构的这个调取效率还有它的升广度肯定啊都是最好最高的那么这可能也是为什么SORA会在语音理解上做得更好那么第三步啊就是Diffusion Transformer成像了SORA呢是采用Diffusion和Transformer结合的方式之前我们在基于大语言模型的视频生成技术当中啊就提到过Transformer呢具有较好的可拓展性意思就是说这个Transformer的结构它会随着模型的增大效果会越来越好那么这一特征并不是所有模型都具备的比如说模型大到一定程度的时候我们刚才也提到过这个卷积神经网络性能就会受到模型增大带来的增益都表现出稳定的能力是远超之前的RunwayPicaStable Video等等基于Diffusion模型所呈现出来的视频模型还记得我们在说扩散模型的时候也说到视频生成的挑战在于生成物体的稳定性还有一致性那么这是因为虽然Diffusion是视频生成技术的主流但是之前的工作一直局限在基于卷积神经网络的结构并没有发挥出Diffusion的全部潜力而Sora可能是很巧妙的结合了Diffusion和Transformer这两者的优势让视频生成技术获得了更大的一个提升而更深一步的说Sora生成的视频连续性可能是通过Transformer Self-Attention自注意力机制获得的Sora可以将时间离散化然后通过自注意力机制理解前后时间线的关系而自注意力机制的原理就是每个时间点和其他所有时间点去产生联系那么这是Diffusion Model所不具备的目前外界有一些观点猜测在我们之前说到了扩散模型的第三步骤当中Sora选择将Unit架构替换成了Transformer [29:59] 这让Diffusion扩散模型作为一个画师开始逆扩散画画的时候在消除噪音的过程当中能够根据关键词特征值对应的可能性概率在OpenAI海量的数据库中找到更贴切的部分来进行下笔那我在采访另外一位AI从业史的时候他用了一个非常生动的例子来解释这里的区别他说扩散模型预测的是噪音从某个时间点的画面减去预测的噪音得到的就是最原始的没有噪音的画面也就是最终生成的画面那么这里更像是雕塑就像米开朗基罗说的他只是遵照上帝的旨意将石料上不应该存在的部分去掉最终他才从中创造出伟大的雕塑作品而Transformer则是通过自主力机制理解时间线之间的关联让这尊雕塑从石座上走了下来是不是还挺形象的最后呢Sora的Transformer加Diffusion Model将时空古丁生成图片然后图片再拼接为视频序列那么一段Sora的视频就生成了那么说实话Transformer加扩散模型的方法论并不是OpenAI独创的在OpenAI发布Sora之前我们在和张颂阳博士在今年1月份进行采访的时候他就已经提到说Transformer加扩散模型的方式已经在行业当中开始普遍的被研究了目前因为能看到一些把Transformer的模型做到多根体面结合然后效果可能也不差甚至可能都没有先说的可能会更好所以说这个东西我不确定以后模型会怎么发展我觉得可能是两者结合的一种就是Transformer比如说他预测下一个视频对天然的优势就是它可以预测变长的一些东西Diffusion它的虽然质量高但是Diffusion它目前很多做法还是深层固定真数的怎么把两个东西结合在一起是一个我们会研究的一个过程所以这也解释了为什么OpenAI现在要发布SORA其实在OpenAI的论坛上官方也澄清说SORA现在并不是一个成熟的产品所以它不是已发布的产品也不公开也没有等候名单没有waiting list也没有预计的发布日期外界也有分析认为SORA还不成熟OpenAI的算力也不一定能够承受SORA被公开同时还有公开之后的假新闻安全还有道德等等问题所以SORA不一定会很快的正式发布但是因为Transformer加扩散模型Diffusion已经成为了业内普遍尝试的方向那么这个时候OpenAI需要展示出Sora的能力来在目前竞争日益白热化的生成式AI视频领域中去重申自己行业的领先地位而有了OpenAI的验证之后我们基本可以确定的是AI视频生成方向会转变到这个新的技术结合而OpenAI在发表的技术文章当中也明确地指出在XGBT上的巨量参数大力出奇迹的方式被证明在AI视频生成上那么OpenEye在文章当中说我们发现视频模型在大规模训练时表现出许多有趣的涌现功能这些功能使Sora能够模拟现实世界中人动物和环境的某些方面那么这说明Sora和GPT3的时候一样出现了涌现emergence而这意味着与GPT大语言模型一样AI视频也需要更多的参数更多的GPU算力更多的资金投入Scaling Law依然是目前生成式AI的绝招而这可能也意味着生成式AI视频也许最终也会成为大公司的游戏我觉得可能更直观的就是相当于你比如说你一个视频你可能等一下来是几十个Gb然后可能到大语言模型就得大1000倍了就得上Gb了就是大概是这么个意思但我觉得我觉得应该能看到这样的一个趋势的虽然现在视频的参数量只是在B电极但是像图片里面他们之前Stable Diffusion模型他们后来出了一个Stable Diffusion XL他们也是把模型做大的然后也带来了一些比较好的一个效果然后也不是说比较好的效果就是他们能做更真实的那图片然后效果就会更明显一些我觉得这是一个趋势就是未来肯定会把参数量做大的但是说它带来的增益会有多少也取决于你目前的这个模型的结构以及你的数据量你的数据是什么那么以上呢就是我们对SORA非常初步的分析那么再次的说明一下因为SORA非常多的技术细节没有公开所以呢我们的很多分析呢也是从外部视角去做了一个猜测和解读啊如果有不准确的地方也欢迎大家来纠错指证和探讨因为视频长度的关系我们讲业界对世界模型的争议和探讨放在了下期视频当中其中非常简明易懂地阐述了Yan Laquan等AI领军人物对世界模型的思考以及我们试图来回答一个问题Sora到底是不是世界模型大家记得关注我们硅谷101不要错过下集的更新哦