MiniMax发布新语音模型 击败OpenAI登顶全球榜单

MiniMax发布新语音模型 击败OpenAI登顶全球榜单 零样本克隆技术的普及将语音产业重心从质疑逼真度转向效率提升，并倒逼声音检测与三要素追溯等版权合规标准的建立。 视频系统性地梳理了AI语音合成（TTS）技术的四大技术流派与里程碑：从2017年奠定端到端基础的TacoTron，到2019年大幅提升速度与可控性的Fast Speech，再到2021年实现自然情感演绎的VITS，以及2023年开启3秒克隆的VAL-E。2025年，中国大模型公司MiniMax推出的Speech O2模型在多语种、无口音及长文本平稳输出上超越国际同行，问鼎全球榜首。随着该技术在口语陪练、有声书等商业领域的爆发性落地，行业也正通过声纹检测和水印技术积极构建高效合规的语音新生态。 文本转语音（TTS）技术经历了四大里程碑演进，从2017年谷歌推出首个端到端模型TacoTron，到2019年微软与浙大发布提速数百倍的非自回归模型Fast Speech。 (0:00) 2021年问世的VITS引入对抗训练与Flow模块，推动了“AI孙燕姿”等高自然度声音演绎，而2023年的VAL-E则开启了仅需3秒音频的零样本声音克隆时代。 (4:59) 2025年MiniMax发布的Speech 02在全球专业榜单超越OpenAI与ElevenLabs登顶，彻底攻克了传统模型在中文生成中的外国口音难题，并支持地道粤语与20万字长文本输出。 (9:59) 依托更低的商业化成本，MiniMax正推动Voice Agent在口语陪练与有声书等场景落地，同时行业也通过声纹鉴定与不可见音频水印技术积极应对声音版权与安全挑战。 (24:59)

《硅谷101》梳理了文本转语音（TTS）自2017年以来的四大技术流派演进，并指出以MiniMax Speech O2为代表的最新模型已进入“零样本”时代，在多语言表现与商业化落地方面取得实质突破，同时也引发了版权与安全追溯机制的跟进建设。 从单一自回归到端到端表现力：前三代TTS演进 (0:00) 2017年谷歌推出的TacoTron是首个端到端神经网络语音系统，它利用注意力机制将字符映射为梅尔频谱图，再通过声码器还原波形；但其存在逐帧自回归合成速度慢、仅支持单一专业说话人且无法克隆声音的硬伤。2019年微软与浙大提出的Fast Speech改为非自回归并行架构，引入持续时间预测器和长度调节器强行打上发音时长标签，解决了跳字与重复问题，推理速度较TacoTron大幅提升，在语音合成速度上提升了38倍。 2021年韩国研究者发表的VITS模型成为行业新标准。该模型引入变分推断、Flow模块与生成对抗网络（GAN），摆脱了人工标注对齐数据的需求，实现了根据剧本生成多变情感与语调的一对多映射。社交网络上流传的“霉霉说中文”与“AI孙燕姿”等现象级应用均基于VITS技术栈构建。 零样本模仿与MiniMax Speech O2的技术特性 (9:59) 2023年微软推出的VAL-E将语音合成转化为语言建模问题，通过神经编解码器提取音频Token，实现仅需3秒音频即可模仿音色与情感的零样本学习。2025年，MiniMax发布Speech O2模型，并在Artificial Analysis Speech Arena及Hugging Face TTS Arena榜单上登顶。该模型融合了自回归Transformer、音色提取器（Speaker Encoder）与潜在流匹配模型（Flow VAE），使大模型能够自发涌现出跨语种与跨音色的组合能力，无需为特定音色单独建模。 针对前期Eleven Labs在长文本中文生成中存在的外国口音与情绪控制档位受限问题，《硅谷101》后期团队的实测显示，MiniMax在处理复杂政策文本时稳定性明显提升，支持最高20万字的长文本输出和喜怒哀乐等情绪调节，并涵盖包括粤语在内的32种语言。此外，该工具配备声波分离功能，能在数秒内从带背景音乐的素材中提取纯人声。 成本优势驱动落地与版权追溯体系构建 (24:59) 在商业化定价上，MiniMax Speech O2的调用价格仅为Eleven Labs Flash V2.5的一半、MotaLimbo VR的四分之一。低成本与高表现力推动了Voice Agent的发展，例如高途采用该技术上线了“吴彦祖带你学口语”24小时互动陪练，影视旁白、播客补录、客服与无障碍阅读亦是其应用场景。 与此同时，零样本门槛的降低加剧了版权与伦理风险，例如OpenAI曾因GPT-4o音色引发斯嘉丽·约翰逊抗议。产业界目前正在推进不可见声学水印与声纹鉴定技术，建立包含“声音主体、说话内容、授权状态”的三要素可追溯机制，以此确保生成音频的合法合规。 MiniMax团队认为，AI语音技术的普及不会颠覆声音的真实性，而是会促成管理、认证与水印标识标准的建立；行业关注焦点正从技术逼真度转向实际生产力与合规交互的推进。

[0:00] 陈倩: 语音产业正迎来革命性的时刻。 [0:00] 这就像朗读演员的提示器，在每一步生成时，解码器都会向注意力模块确认下一帧该读什么，从而动态、柔性地控制对齐过程。 [0:00] 因为非常喜欢吃墨西哥夹饼（Taco），所以随意地将其命名为 TacoTron。 [4:59] 先预览整段文字，了解每个字的发音时长，然后一次性并行朗读出来。 [4:59] VITS 就像一个“老戏骨”，能够根据剧本（文本）演绎出不同的情感、语速和语调，实现了一对多的映射，让声音听起来极其自然。 [9:59] VAL-E 就像一个天分极高的模仿大师，只需要听三秒钟的某人说话，就能模仿其声音、语调和情感来朗读任意文本。 [9:59] Jaco: 听起来像地铁广播，带有明显的“老外口音”，且文本越长口音越重。 [9:59] Jaco: 情感控制极其有限，其情绪滑块只有两个单位，拉到头也只是“稍微激动”或“稍微平静”，缺乏表现力。 [9:59] 实现了“任意语言、任意口音、任意音色”的无穷组合，且不需要为每个音色单独建模，而是通过大模型自然涌现了这些能力。 [24:59] MiniMax 团队: 正如修图软件没有毁灭摄影本身一样，AI 语音的普及不会带来真伪混乱，反而会催生出更多的管理、认证和标识标准，让声音从混乱走向“有据可信”。 [24:59] AI 语音的价值正在从“质疑其逼真度”转向“如何更好地利用它来提升效率”。 [24:59] 电影《Her》中那种人机无缝语音交互的时代，正以超乎想象的速度向我们走来。

[0:00] Hello everyone, welcome to Guigui 101. My name is Chen Chen, co-founder of Valley 101. In the previous episode, I've been able to introduce the model of the CUNO as the代表 of the CUNO. In the same way, even the models of the CUNO's synthesis of the CUNO are quickly evolving. In this episode, we'll talk about the development of KI-Sprach models and the latest mark trends. Hey, I just heard the sound of the CUNO. It's not all I'm saying, but it's from AI-synchemy. The use of Minimax is the highest-level of OpenAI and Eleven Labs and the world's most famous Minimax Speech O2. As a creator, we always have a lot of attention to AI. We always use different products. But the last-level of the language of the AI, the change is really惊讶. It is a lot of power. It is not only in the previous video, but the way we can do different language, different language, 人生的模拟和生成 来我们来试试训练我自己不同情绪的音调啊 比如说我们试一下一个温柔的陈倩 大家好欢迎收看硅谷101 好像还不错欢迎来到万众期待的硅谷101哇好我们最后来试一下一个很假的陈倩不许不看给我认真看完这是硅谷101最最最最好看的节目了我真是鸡皮疙瘩的起来了有点难以想象我自己会这么说话好了先不玩了但是你看这一下就把有我的音色但是不同情绪和场景下的人生给表演了出来我感觉真的是到了一个语音产业革命性的时刻了所以这个视频我就来解析一下语音模型过去几年的技术更迭试图用简单的语言解释一下AI语音是如何做到的最新的模型有什么样的技术创新在哪些2B和2C的商业应用上有爆发性的需求以及人们关注的声音版权问题有如何的解决方案呢那首先呢我们做了一下研究发现Text to Speech文章语音又被简称为GTS模型的发展其实也就集中在过去而自2017年Transformer架构出来之后技术迭代就变得非常的快而在那之后呢这个领域主要有四个流派与里程碑的时刻第一个流派和里程碑时刻就是2017年谷歌发布的Tecotron模型这也是有史以来第一个合成语音的神经网络Taco Trunk是第一个端到端神经网络语音合成系统它将文本直接转换为语音显著简化了传统语音合成的流程顺便来说一句这个取名字非常有意思据说这篇论文中的不少作者很喜欢吃墨西哥甲饼Taco所以给取名叫做Taco Trunk也是非常随意了如果我们来做一个类比你可以把Taco Trunk想象成一个聪明的朗读演员这个演员从一串文字开始一步一步把它变成你能够听到的自然语音对应的在模型上它包括了以下的步骤首先Tucker Trump把输入的文字比如说Hello World这句英文变成字符它就像声音的照片描述了每个时间点的频率能量分布但要注意的是解码器并不是一次性输出全部语音它是一针一针的生成梅尔平普图所以Tekotron模型中在编码器和解码器中间是插入了Attention注意力机制它就好比是朗读演员的T4器在每一步生成的时候解码器都会问注意力模块我下一针该生成什么了下个字该说什么了这个时候注意力模块就会扫一遍输入文字的所有编码器项量算出一组权重来供解码器输出你可能就要问了为什么Tekotron语音模型中要插入注意力机制呢这是因为在语音合成当中呢你输入的文字长度并不等于输出的音频帧数量那比如说输入的文字是Hello World这两个词哈但最后输出的音频效果可以说是Hello World也可以是Hello World这个也是有点做作哈但是呢我的意思是每个词出来的持续时间和长度呢可以不一样那么中文也是一样的所以呢注意力机制呢就用来动态 [4:59] 柔性的控制对气过程那么它的最核心的一个挑战就在于输入的序列和输出序列的长度是不一样的在这个text to speech就更明显了我输入的文字可能就是五个文字然后输出音频的每个文字它可能长度都不一定是多少秒在最早的我们看到的那种transformer那种论文里面也都是用这种sequence to sequence去做机器翻译那么Tuttle Trump它就是像一把这样一套思路给用在了语音和声上面在输出平谱图之后呢Tachotron最后再通过一种称之为Gravenland的声打器Volkoder把这种梅尔平谱图反转成为真正的音频波形也就是可以播放的人声但是业内从业者就告诉我们Tachotron之所以后来被新的模型范式所替代因为呢它有两个弱点但它有两个缺点吧一个缺点是什么呢就是它假设输入的文字和输出音频是存在意义对应的关系的那么其实在我们今天的角度看这个是不合理的因为文字是固定的但是你输出音频它会有很多因素来决定比如说说话人特点比如说这个情绪还有这个声调这些都是可以控制输出音频的一些参数但是泰国厂自己它的基本假设就是文字可以转化成音频所以它训练的模型就是针对一个专一的说话人去训练的模型在当时的做的研究都不能去支持多说话人也更不可能去做声音课等然后它第二个缺点就在于它的合成的速度非常的慢因为这种sequence to sequence model这个过程就是我们一般所谓的这种自回归的生存方式所以它不可能很快的去合成出诊断语音所以它的速度它的资源消耗它都是当时的一些没办法解决的难点TacoTron的语音生成灵活度不高并且还慢还消耗资源所以我们看到很快2019年的时候微软推出的Fast Speech模型就替代了TacoTron成为了业界的新范式而Fast Speech不愧取的这个名字是比TacoTron是快了270倍Fast Speech是微软与浙江大学在2019年提出的一种TTS模型目的就是想要解决语音合成中的速度慢不稳定还有难以控制的问题我们来看看它在模型上做了哪些更新比起之前的TakotronFast Speech更像一个更高阶的朗读者之前的传统方式是逐字逐句的阅读每读完一个字才能继续下一个字这也是自回归模型逐步生成语音的过程而Fast Speech的方式更像是先预览整段文字了解每个字的发音时长然后一次性的把整段的文字给朗读出来那么这种方式不仅更快还能够根据需要来调整语速和语调在模型的关键步骤上在编码器之后Cast Speech用了一个叫做Duration Predictor持续时间预测器的技术通过预测每个因素的持续时间来解决文字与语音长度不匹配的问题也就是说在这一步就决定了语音节奏和语速之后加入Length Regulator长度调节器根据上一步预测的持续时间通过重复或者拉伸编码器输出的特征向量让输出的语音长度和实际讲话时间一致之后就再到解码器和将梅耳频谱图转换为可播放的音频波形的深马奇Vocoder的步骤来生成语音这种结构使得Fastfeach能够并行生成整个语音序列是显著提高了合成速度相比起自回归模型Fastfeach在梅耳频谱图的生成上是提升了270倍在语音合成上是提升了38倍而且它生成的稳定性高通过非字回归结构是避免了传统模型中常见的跳字和重复问题同时有着更强的可控性可以根据需要调整语速来实现更加自然的语音合成这个机制它其实就是能够以一个间接的方式去学到每一个字符它输出的程度比如说我今天要让它输出一句话说今天天好蓝的那么Tagletron在输出的过程中首先它从左到右的顺序它要先尝试输出经这个字然后它可能它一开始它决定说经这个字它学到说大概要0.3秒的时间然后天的时候它会基于之前输出结果去判断下一步输出多长就这个它是以一个见解的方式学到了这个长度的特征而Fast3就是相当于是强行的给它一个标签就是金这个字应该是念三秒天是念二秒给它强行的表情让它去学这样它能够更快的它不会依赖于之前输出的内容它是同时的金年天好栏的六个字同时的往前生成这样就相当于把速度提升了很多很多倍好接下来我们再来看一下第三代里程碑的模型论文是2021年出现的 [9:59] WIT在2021年一群韩国研究者就发表了论文推出了WIT端到端语音合成模型之后是迅速成为业界广泛采用的新标准大家看一下这个模型图就知道这整个架构是加入了很多复杂的结构组成加了很多料使得这一代的PPS模型可以根据文本演绎出不同的语速语调和情感的语音实现一对多的映射同时呢生成的语音也更自然更加接近人类那如果代入上面我们提到的朗读演员的类比那么这次呢就更加像一个老戏古能够根据剧本也就是文本演绎出不同的情感语速还有语调的表演它的演技呢也能够更加的自然它标志的把各种小模块把它给串联起来的这种TBS系统然后转向了一个基于这个flow matching框架去统一的进行一个概率建模这样一个整合的阶段那么WITZ这套系统它也被广泛的应用在各种开源的模型甚至它被用在了声音转换这种变声器上大部分的变声器都是基于WITZ来实现的而在技术创新上WITZ是加入了名为鲜艳网络来预测这段化肥后的潜在变量这些变量决定了说话方式比如说语调 速度 情绪等等之后在后验网络中用真实语音来推断特定的文本到底用了哪些潜在因素帮助模型学得更加的精准同时flow模块能够让模型灵活应对不同表演风格比如说将一个简单的你好就能够演绎成所谓的温柔版机械版还有傲娇版等等只需要稍微的调整一下变量还有模型中加入了对抗训练那么熟悉大模型技术词汇的小伙伴们对GAN这个词生成对抗网络不陌生那Vistiaq通过GAN来让解法器相当于演员判别器相当于观众让两者去对抗训练提升语音的自然度另外值得一提的呢还有自动追齐的技术就像这位老戏古演员他不需要导演告诉他每个字要在哪一秒说出他自己就能够把台词和语音自然的对齐了那在模型上自动对齐机制让模型学会自动把文字和语音对定上无需人工标注的对齐数据第一个创新在于它不再依赖于一个外部的这个长度预测器因此呢他自己就有一套这种关于文字到语音对齐的一个建模系统在训练的过程中你不再需要去提供说每一个字符它需要输出多少长度第二个创新呢在于它是一个真正意义上的像AI模型因为它里面存在一个随机采样的过程它是一个概率分布中它会有一个随机性就导致它每次都是千变万化的它相当于是使用了你叫Flow Matching还有VEE这套框架去对文字的字符转换到语音的很复杂的过程进行了验模就是在这个过程中比以前的sequence to sequence的太过程还有这一次回归的发 speech来讲它就更具有灵活性总的来说Viz模型的提出为语音合成领域带来了显著的进步也使得语音生成更多变更灵活更自然更大的个性化而不知道大家是否记得前段时间在社交媒体上是一度引发病毒式传播的Taylor Swift说中文你知道的其中的一些角落有很多不未认知的地方但是我认为确实存在这样的事情或者刚说英文相声AI孙燕姿等等这些电音视频都是基于WIT做出来的好 接下来就到了2023年微软呢是推出了VAL-E翻式2023年的时候微软在一篇录文当中提出了新的TTS模型方法称为VAL-E将语音合成任务呢转换为语音建模问题利用离散的音频编码Token来生成高质量的语音我们之前在Suno音乐模型的那个视频当中啊解析Text to Music文身音乐的时候啊就提到过类似的模型机制到了23年的时候微软他发了一篇看起来非常简单的paper就是他们称为ValE想法非常非常的简单简单到什么程度呢就像XGPT一样它其实就是一个很简单的模型对吧它就是一个transformer然后你输入很多的文字文字转成token然后token上面去互相的注意力机制然后就能够以自回归的方式去输出token那时候这个XGPT可以说是已经出来了所以把这样一套思路把它给用在这个语音合成上也是理所当然的比起之前的几代模型Liao Yi可以说是一个天分极高的模仿大师这样的演员他只需要听三秒钟的某人说话就能够模仿其声音 语调还有情感朗读任意文本 [14:59] 中间的两个创新是音频编码和语言建模其中音频编码使用的神经音频编解码器比如说Incodec将语音信号压缩为离散的音频token保留说话者的声音特征而语言建模则是训练一个语言模型学习在给定文本和音频提示的条件下生成目标语音的音频token序列这使得VLE的优势包括所谓的零样本学习ZeroShot Learning只需要几秒钟的音频提示就可以模仿任意说话者的声音高效的训练利用离散的音频token简化了模型训练过程提高了效率同时生成的语音自然流畅保留了说话者的情感和语调整个架构本身就是一个巨大的创新然后当一旦你有了一个这种Transformer的架构之后你可以把各种模态都转换成它的这个语音token的空间里面比如说我们刚举例的是用文字就可以Text to Speech你甚至可以什么Image to SpeechVideo to Speech它只要你能够转换到这个模态它都能做它就是一个很统一的一个架构就具有很强的拓展性那发展到这里呢语音模型其实已经可以说是非常成熟了可以有一系列的应用了所以从2023年开始我们从谷歌从OpenAI甚至一些初商公司比如说11 Labs的多模台功能上就可以看到TPS技术已经是被运用在了配音数字分身语音助手等等方向开始出现爆发式的增长而技术进步并没有停止那么最近2025年MiniMax的语音模型MiniMax Speech O2一发布就在Artificial Analysis Speech Arena和HackingFace TTS Arena等专业榜单上是超过了OpenAI和Eleven Labs排名全球第一这个模型它实际上是实现了任意的语言成语任意的口译然后再成语任意的音色是一个无穷多的一个组合我们实际上是没有付和任何一个音色然后我们并没有像传统的团体一样每个东西都做一个模型而是说我们通过大约的模型来很自然的实现了这一点那他们又是怎么做到的是成效果如何模型当中有什么样的创新之处呢那接下来我们硅谷101团队的视频后期负责人Jaco先来给大家展示一下我们的测评大家好我是硅谷101的剪辑后期Jaco那么接下来就让我来带大家一起体验一下就是minimax最新的模型以及它的各种应用那么我这两年其实一直都在尝试各种Text to Speech的产品那一个最主要的应用呢就是克隆主持人的声音用来补录或者是快速的改稿因为经常会发生这些主持人比如说欠解在录制完出镜之后呢我们需要对稿件进行一些修改的情况那这种时候如果说你临时要欠解再去补录一段音频那一来一回呢其实就会耗费我们后制的一个时间所以我一般会直接用克隆的欠解的声音来替换某个词或者是句子那第二个应用就是视频中的盆白在往期我们制作的故事里面你或许有看到过这样的一个段落UBS风险经理Brian Fairbanks后来在法庭上作证的时候说My gut sunkI knew UBS was going to take a very large loss又或者是这样的我的医生Dr.Rixey每天都给我吃任何说常见对身体有害的人都是杀子那这个就是我们为了能够让观众进一步的去了解一个事件会用盘白去复原某人说过的话那这个时候呢比起以前你得去雇一个专业的配音演员现在你就可以把这个任务叫AI把生成的VO直接剪进去你的片子里面但是我们之前用过的比如说像11labs这样的软件它有一个很致命的问题贸易粘是如何影响苹果上下游的一系列的供应商供喊与供人接下来我们来以一分析苹果的供应链到底是如何像这样的生成出来的普通话段落它听起来很像地铁广播而且还大有点老外的口音而且当你输入文本越长呢这个问题就越明显所以这也导致我们之前也仅限于在一些简短的语句里面才敢用它去生成其次就是你对语音的表现力并没有一个很好的控制11labs的勤管滑感它就两个单位两边拉到头也只是有点激动或者是稍微平静一点但对于克隆的声音并没有太多的变化供应选择这点就很扣分但我发现上面的问题在这次适用的minimax的最新模型中无论是中文还是英文还是其他语言都要很好的提升OK那我接下来就给大家演示一下我用同样的一段声音样本上传到minimax来克隆出欠解的声音同样是一段40秒左右的样本大众汽车和大众集团是两个概念我稍微区分一下语言选择普通话好那么很快呢这个声音就克隆出来了 [19:59] 我们接下来拿一段同样的文字然后选用刚刚克隆好的倩解的声音点击生成贸易战是如何影响苹果上下游的一系列的供应商工厂与工人接下来我们来一一分析苹果的供应链到底是如何运转的那么不用多说大家可以明显感觉到Mimax生成的普通化效果有很大的一个提升那无论是自然度还是那个整体的稳定性都做了比11labs的版本要出色贸易战是如何影响苹果上下游的一系列的供应商公喊与工人接下来我们来以一分析苹果的供应链到底是如何运转的贸易战是如何影响苹果上下游的一系列的供应商工厂与工人接下来我们来一一分析苹果的供应链到底是如何运转的我们这次的对比主要在中文效果上Eleven Labs的英文效果是要远胜于中文效果的不知道这是否是跟训练数据的差有关那么我们接下来用一段更长的文本来试一下那么在此之前我是从来没有用过这么长文本的语音生成的我们来看一下这回的效果如何最后印度政府朝令夕改导致企业很难形成一个长远的策略过去几十年里几乎没有一个品牌在印度没有遭遇不公平待遇三星小米谷歌等等公司在印度都被政策罚款过尽管莫迪承诺退还25%的设备投资提供免税工业用地但企业很快发现这是幻想联邦与各邦层层加征的地方税随时变更的劳工法案以及针对外企的突击罚款都让外企们如履薄冰在印度政策红利往往伴随着难以预见的合规风险这个效果其实有点出乎我的意料整个过程很平稳很稳定语音语调也很自然像这样一段话的话我其实是可以直接拿放在视频里面用的那么右下角的字数这里呢如果你打开这个LongTest常文本那它的字数限制呢它显示最高是可以去到20万字的那基本上这个长度你可以拿它去做一本有声书都可以了那minimax还有一个我个人认为设计的很好的一个地方就是它对声音的修改功能很完善比起11laps仅有四个属性来调节生成的语音风格minimax做多了一步它让你可以根据你想要的情绪喜怒哀乐来生成各种语音就像我们视频开头做的效果用的其实就是这个功能除此之外你还可以调节克隆声音的特性以及添加各种特殊的效果除了中文之外这次speech02的模型还支持30多种不同语言的生成包括针对粤语的优化感觉本三集都还广东养了我都很想自己可以离风鸣的养力所以都准备了一段文字拿去考考它发音还挺准的算是我目前用过最好的粤语生成效果而且除了有听起来比较正式的音色你也可以选择更口语化更自然的版本使用起来还是挺灵活的完全可以满足大多数人的需要我们这次推出的CP02要有三个亮点超拟人、个性化并且支持32种多语言很多人理解超拟人是超级像人但是我们这里说的超你人是超过真人首先从错误率上来说我们的模型比真人的更低意味着我们的模型更古棒生成出来的声音更稳定另外一方面的话它的相似度或者表现力和真人一样不仅是音色然后它的一些口音一些方言一些不同的情感的表达甚至韵律上就比如说我们的停顿然后中毒还有一些联读省略后我们模型生成出来的声音和真人说的话听起来基本上是一样的对甚至比真人不同句子之间的声音gap更小一些那最后除了text to speech之外呢minimax这次还引进了一个声波分离的技术那这个对我来说也是一个保暂功能因为有时候我们引用的新闻素材时常会伴有一些很烦人的BGM这个时候就可以用上这个功能使用方法也很简单就是你把音频文件突然进去然后一键分离音频几秒钟的时间算法就可以把人声给分离出来Sam is a rare visionaryhe's shoulders incredible那总的来说minimax这次推出的speech02的模型在很多维度上是给了我很大惊喜的无论是普通话的自然度英文还有多语言的发音准确性长文本的稳定输出还是语音情绪还有音色调节的丰富度基本上都能够满足我日常剪辑的需求甚至连配音演员的那个戏感 [24:59] 很难的点呢它现在也可以通过AI来辅助达成那如果说我们有观众你也是从事视频或者是播客制作的话那我推荐也可以亲自的去体验一下好的非常感谢JCOP的测评那感觉接下来我们的视频和播客制作流程当中会有很大的效率提升我再也不用半夜被抓起来普遍旁白了那我们接下来呢再来说说MiniMax在模型上是如何达到这样的效果的我们是业内首个实现任意音色灵活控制的模型有点像用户就是导演音色就是演员用户可以根据自己想要的效果通过文字来控制音色的表演可以让每一个音色都有很好的自然度和情感表现力从minimax speech02的技术报告中可以看出来几个重要的创新点首先模型在编码器上有一个升级将编码器Encoder变成了一个会学习的音色提取器Speaker Encoder能够将任意长度的音频片段转化为固定尺寸的条件向量从而实现高质量灵活的声音表达并且能够支持32种多语种那么这样的Speaker Encoder与后面的AR Transformer自回归transformer协同训练能够让语音合成的效果有明显的提升其次minimax SpeechO2效果让人惊艳的另外一个绝招是零样本训练ZeroShot Learning那么这一点之前在速诺音乐模型那期我们也提到过传统声音克隆需要大量声音样本加文本标注那minimax这个技术的强大之处正是不需要大量声音样本和多次调整仅凭几秒钟任意声音样本就能够合成出你的声音并且能做到非常逼真的效果另外的模型还有一个重磅技术就是使用了潜在流匹配模型这在我们视频前面提到的Viz模型上是做出了升级也是让语音合成更加自然更加可控的关键模块Flow VAE是融合了VAE也就是变分字编码器和Flow皈依化流前者负责学习说话风格的潜在空间后者让这个潜在空间的表达能力更强更灵活那这样的架构提供了比传统的美尔平普图信息更丰富的音频表征之后的Flow matching则是能够准确的建模这些音频表征的分布点而言之Flow和VAE的结合能够帮助模型学会用不同的语速情绪语调去说话而且保证听起来像人那这个具体的模型细节真的还挺复杂的我们就不展开了但是总结来说MiniMax的语音模型创新也是目前代表TTS最前沿的模型已经可以做到提供任何语言任何口音任何音色的无线组合很大程度上是丰富了语音深层的多样性灵活性情感的表达准确性以及非常低的自错率而与此同时MiniMax V702这个模型还做到了价格更低分别是11labs的Flash V2.5与MotaLimbo VR的一半与四分之一的价格因此我们看到技术的更新以及价格的下降也是让更快的商业应用落地成为了可能更好的科技其实能拓展它的应用边界声音作为一个非常重要的内容载体因为我们更好的技术的一个问世然后相信非常多的垂直领域都会把声音作为一个很重要的媒介所以当大语言模型很聪明的时候语音我也要更像真人它才更匹配它拓展了非常大的所谓voice agent这个市场就是我们的语音助手现在终于到了可用级别所以这个是一个非常激动人心的时刻而这将打开很大的市场想象空间比如说饮食配音播和制作客服中心教育联益助手等等应用都会受到颠覆性评价一个很有意思的案例是前段时间火爆全网的吴彦祖带你学口语的视频这个课程内容是由高途推出主要是由无言组本人录制但是由AI生成的AIR组培练环节的语音聊天模式背后的技术支持正是来自MiniMax的语音模型是构建了24小时可定制化AI语音培练系统可以让用户和AIR组练习口语对话语音聊天极大程度提高了课程的互动感所以这个市场是非常大的那偏好玩音用也是一个巨大的市场那它第一有内容的制作无论是传统的视频配音还是新的这种交互式开放世界的游戏或者娱乐型的这样子的应用这都有很大的市场再到一些有声书的制作以及说历史上因为成本原因你没法把它作为有声化的提供给残障人士不识字的人士的一些内容你全都可以变成有声书化这样的 [29:59] 打开的空间其实是非常多的也是让更多人享受到技术带来的一些福利那从以上给大家展示出的AI语音模型能力来看我们预计马上就会有很多AI语音新玩法会席卷市场但同时呢随着AI语音模型的进步与AI语音产品的陆地应用特别是ZeroShare Learning这样的技术呢让语音克隆变得更加容易那这会让人们更加担心安全与语音的版权问题那比如说呢之前OpenAI在展示私欧与英东模态产品的时候就因为声音过于像美国演员斯嘉丽·约翰逊而被后者抨击但目前呢产业中有不少公司正在积极地推进解决方案和相关的立法让技术能够变得更加合规这也会让技术更容易大规模落地我们要解决的问题是让谁的声音谁说的话是否被授权这三件事都可以查证有据可疑大众需要知道就是他现在正在听到的这个声音首先它是属于一个真人发声还是AI生成声那这是我们公司的第一个产品就是检测一个声音它是否有AI生成然后第二个产品就是来解决这个OK如果一个声音是AI生成的那么在我们这个公司的这个平台上生产出来的声音那么我们刚才说到的是谁的声音谁是谁想说的话是否被授权这三件事情都是有据可查的用的是现在的就是一个声音水音你会听你听不出来但是如果进行检测的话是可以把这个兴趣从这个里面提取出来的这相关的技术呢就包括了声门鉴定和声签授权让声音作为版权在将来能够被更好的保护也能够让技术被更合法更合理更广泛的应用和落地上亿就认为短期来看语音模型能力的进步将在一定程度上改变人类对语音内容的交互范式但是在长期来看恋爱语音的普及将会带来新的社会公式从一开始的时候我们确实是经历到这个冲击但是长期以来的话应该是不会的这就像是修图软件也没有毁灭摄影本身一样我们反而是催生了更多的这个管理啊认证啊然后标识啊这种标准啊这种东西然后声音也会从真为混乱走向有据可信而我们现在所提供的这个解决方法也是希望人类和机器说话的便捷变得清晰透明而且都被尊重不可否认的是AI语音的价值呢正在从人们对它的逼真程度的质疑展现如何更好的利用这个工具来转移就像我们硅谷101这样的内容制作团队就已经用起来MiniMax等一众的AI产品和应用了真的能够帮我们提升效率创造更多的创意点子而在未来无论是2B还是2C产品AI语音都会有着非常大的潜力而那个著名电影HER中呈现的丝化效果人类对语音的交互新范式或许正在比我们想象中更快的速度到来我们也拭目以待好了以上就是我们这期硅谷101的全部内容了你们的留言点赞和转发是支持我们做好深度科技和商业内容的最佳动力我是陈倩那我们就下期视频再见了Bye