Suno完成1.25亿美元融资 音乐巨头提起集体诉讼阻击AI侵权

震动的艺术:AI音乐大模型背后的技术突破、版权诉讼和资本蛋糕【硅谷101】 — 硅谷101

硅谷101

分层压缩技术突破虽推动AI音乐普及并蚕食低端罐头音乐市场,但其因版权缺乏和情感缺失仍无法取代人类头部艺术家的核心创作。

AI-assisted summary of 震动的艺术:AI音乐大模型背后的技术突破、版权诉讼和资本蛋糕【硅谷101】 — original source. Check the original for full context.

Source published:

Detailed notes

## Background 该视频由“硅谷101”于2024年7月22日发布在Bilibili平台,主要探讨了今年在硅谷爆火的AI音乐大模型。视频简介指出,Suno AI凭借简单的提示词就能生成高水平音乐而全网爆火,并迅速完成了B轮融资,但随后也遭到了三大唱片公司的集体版权诉讼,节目将深入解析其背后的技术 breakthrough、行业反应与产业重塑。

## TL;DR 2024年以Suno为代表的文生音乐模型迎来爆发,引发了产业重塑与版权风波。技术上,谷歌和Meta在音频Token化、采样压缩以及分层机制上的技术突破,极大地缓解了大模型的上下文压力,让高质量AI作曲成为现实。在行业冲击上,AI将迅速取代数亿美元规模的罐头音乐市场及低质短视频口水歌,并催生了如《COPIED Act》等版权保护法案。然而,专业音乐人对此持谨慎乐观态度,认为AI虽然高效,但依然缺乏人类演奏中独一无二的情感共鸣与文化积淀。

## Atmosphere & style 整期节目呈现出一种客观严谨又不失前沿敏锐度的科技纪实风格。主持人以冷静、深度的叙事语调,将观众引入一场关于“空气震动”的技术探索之旅。在剖析硬核音频压缩算法时,内容显得严密而具有极客感;而在探讨音乐人态度与艺术本质时,字里行间又流露出一种对人类感性、不完美与创造力的温情致敬。它不仅是一场对AI技术演进的理性拆解,更像是一次人类艺术与冰冷算法在时代浪潮下交锋与共存的深刻思想碰撞。

## Key takeaways - [00:00](https://www.bilibili.com/video/BV1Jx4y1s75B?t=0s) 2024年5月末,AI音乐公司Suno完成1.25亿美元B轮融资,估值达5亿美元,用户数超1000万,其被业内称为AI音乐的“ChatGPT时刻”。 - [00:00](https://www.bilibili.com/video/BV1Jx4y1s75B?t=0s) Suno等初创公司面临合规训练数据极度匮乏的困境,因为一线歌手的流行音乐、影视原声及乐团演奏的古典音乐均受版权保护,导致其因涉嫌使用版权音乐进行训练而遭到三大唱片公司和美国唱片业协会的集体诉讼。 - [04:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=299s) 音频大模型的核心技术瓶颈在于音频信息量巨大,3分钟的CD标准歌曲包含近800万个采样,直接进行Token化会导致计算量超出模型承载极限。 - [04:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=299s) 技术突破的核心在于音频采样压缩技术,如谷歌的SoundStream和Meta的EnCodec,它们能将音频采样压缩几十甚至上百倍,并用数字码本表示。 - [04:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=299s) 分层压缩及解码机制(Global Transformer与Local Transformer结合)解决了音频大模型的上下文压力,替代了早期通过频谱图和扩散模型生成音频时导致的细节丢失问题。 - [14:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=899s) 专业音乐人认为AI目前只能达到音乐界的平均水平,缺乏承载人文情怀、态度和引发情感共鸣的能力,在处理复杂的交响乐或钢琴复格时依然显得缺乏灵魂。 - [14:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=899s) 音乐演奏的魅力在于其即时性、不确定性与独一无二性,不同演奏者通过控制弓速、力度所产生的情感流动是冰冷的算法难以模拟的。 - [19:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=1199s) AI音乐将对细分市场产生分化影响,数亿美元规模的罐头音乐市场和短视频平台的低质口水歌将最先被AI彻底取代,但具有极强个人品牌和创意的头部艺术家市场地位依然稳固。 - [19:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=1199s) 2024年7月美国参议院提出《COPIED Act》法案,旨在通过强制商用AI标注来源、禁止未经授权的版权训练来加速立法监管,提升内容透明度并确立赔偿机制。 - [19:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=1199s) 零样本训练(Zero-Shot Learning)技术的发展允许AI仅凭几秒音频就能复制特定音色,这种数据与学习方式的解耦给版权监管带来了全新的技术挑战。 - [29:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=1799s) 艺术的珍贵在于人类在不确定性、感性和“一万小时定律”中所展现的不完美,当算法能让完美唾手可得时,人类对音乐的顶级创造力反而更不会被替代。

## Detailed walkthrough ### [00:00](https://www.bilibili.com/video/BV1Jx4y1s75B?t=0s) AI 音乐的爆发与 Suno 的崛起

音乐对人类而言如同水和空气,是表达情感、传达作曲家意图并融入个人诠释的语言。然而在 2024 年,AI 音乐模型和产品的爆火给出了不同的答案。以 Suno 为首的 AI 音乐工具,让用户只需输入简单的提示词,就能在几十秒内生成包含作词、作曲、演唱的高质量曲目,其效果震撼了整个行业。这引发了人们对 AI 音乐技术细节、其是否能取代人类音乐家,以及对整个音乐产业影响的深度探讨。

2024 年 5 月末,总部位于波士顿的 AI 音乐公司 Suno 在社交媒体 X 上宣布完成了 1.25 亿美元的 B 轮融资,投后估值达到 5 亿美元。这家于 2022 年才成立、在 B 轮融资前仅有 12 名员工的公司,其用户数量已快速增长至超过 1000 万。Suno 在 2024 年 3 月的突然爆火,标志着文生音乐(Text to Music)能力的巨大提升,被业内惊呼为 AI 音乐的 "ChatGPT 时刻"。其生成的曲调、歌词和唱腔,甚至让音乐小白和唱歌走调的普通人都觉得远超许多网络口水歌。

然而,这种颠覆性的技术迅速动了传统音乐资本的蛋糕。美国唱片业协会(RIAA)等机构对 Suno 提起诉讼。业内人士透露,Suno 效果如此惊艳,很可能是使用了有版权的音乐进行训练。相比之下,谷歌和 Meta 等科技巨头为了规避版权问题,花费天价雇佣音乐创作人专门为其创作不同类型的音乐来训练模型,这种高昂的成本是 Suno 等初创公司无法负担的。即使是公有领域(Public Domain)的交响乐,虽然曲谱没有版权,但各大乐团演奏录制的版本依然受到版权保护,无法直接用于 AI 训练。

- **Suno 融资数据**:2024 年 5 月完成 1.25 亿美元 B 轮融资,估值达 5 亿美元,用户数超 1000 万,此前公司仅有 12 人。 - **版权训练困境**:一线歌手的流行音乐、影视原声及各大乐团演奏的古典音乐均有版权限制,导致合规训练数据极度匮乏。

---

[04:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=299s) 音频 Token 化与压缩技术的突破

要理解 AI 音乐的生成原理,首先需要将声音这一空气中的振动(频率和幅度)转化为电信号,并在基于 Transformer 架构的大语言模型中进行 "Token 化"。在音乐中,节奏、速度、和声、调性、旋律、歌词及唱腔音色等一切维度皆可被 Token 化。然而,音频中的信息量极其庞大。以 CD 标准的 44.1K 赫兹(每秒 44100 个采样)计算,一首 3 分钟的歌曲包含高达 793.8 万个采样。如果将每个采样都对应一个 Token,其计算量对于模型训练而言是天文数字。

技术突破源于 Meta 和谷歌在音频采样压缩技术上的进展。谷歌推出了 SoundStream,Meta 推出了 EnCodec,这些技术能将音频采样压缩几十甚至上百倍,并能将 Token 还原为基本无失真的音频。通过这些技术,音频被压缩成以毫秒级(如 20 毫秒)为单位的 Token 序列,并用数字(Codebook,码本)来表示。如果码本太小(如仅用 1000 个数字表示所有声音),失真会非常严重;如果码本太大,虽然保真度高,但 Token 序列依然过长,超出了大语言模型的上下文承载极限。

在早期,由于无法直接用 GPT 模型处理如此庞大的 Token 量,AI 音乐通常采用将音频转化为频谱图(Frequency Spectrum),再利用扩散模型(Diffusion Model)生成图像的方式来制作音频,但这种模态转换会导致严重的细节丢失和失真。直到第二层音频压缩技术——分层压缩及解码的出现,这一难题才得以解决。研究人员将 3 分钟音乐压缩后的 36000 个 Token 每三个分成一组,打包压缩至 12000 个,输入 Global Transformer 处理,输出后再通过 Local Transformer 展开。这种分层设计极大地减轻了大模型的上下文压力,使 AI 音乐大模型得以风靡全球。

- **音频采样计算**:3 分钟 $\times$ 60 秒 $\times$ 44100 采样/秒 = 7,938,000 个采样点。 - **核心压缩技术**:Google 的 SoundStream 和 Meta 的 EnCodec,可将 3 分钟音频压缩至 12000 个 Token 左右。 - **分层压缩机制**:通过 Global Transformer 处理压缩后的 Token,再由 Local Transformer 展开还原,降低计算延迟与模型上下文压力。

---

[14:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=899s) 音乐人的态度:AI 无法取代的情感共鸣

尽管 AI 音乐在技术上取得了飞跃,但许多专业音乐家和演奏者对此并不过分担忧。哈佛大学音乐学院打击乐讲师、纽约百老汇全职演奏家冯建鹏(Dodo Fung)指出,AI 目前只能达到音乐界的平均水平。那些能够流传下来的经典音乐,其核心在于承载的人文情怀和体现的态度,能让听众产生情感共鸣。AI 虽然能通过精细的提示词控制乐器和节奏,但在处理复杂的音乐形式(如钢琴复格、交响乐)时依然显得“有点傻”,缺乏灵魂。

冯建鹏对 AI 音乐持“谨慎乐观”的态度。他认为历史发展的洪流无法抗拒,AI 作为工具能够极大地解放生产力,帮助作曲家快速呈现灵感、降低低成本音乐的制作门槛,从而让创作者有更多时间专注于核心创意的构思。然而,人类拥有两千年来积累的有迹可循的文化积淀和严谨的逻辑思考能力,除非人工智能真的发展出自我意识、创作动机和真实情感,否则很难真正威胁到整个音乐行业。

对于演奏家而言,音乐的魅力在于其不确定性与独一无二性。同样一张乐谱,不同的演奏者、甚至同一位演奏者在不同时刻的演绎都是不可复制的。大提琴演奏者在演奏巴赫大提琴套曲时,可以通过控制弓速、力度来呈现或深沉、或轻盈飘逸的音色,这种即时的情感流动是冰冷的机器和固定的算法难以模拟的。

- **行业观点**:AI 音乐能达到行业平均水平,但缺乏传达态度与情感共鸣的能力。 - **工具价值**:AI 可作为高效的创作辅助工具,缩短从灵感到 Demo 的制作周期。 - **艺术独特性**:人类演奏的细微差别、即兴发挥和情感波动构成了音乐最珍贵的部分。

---

[19:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=1199s) 市场冲击与版权立法的博弈

从市场角度来看,AI 音乐将对不同的细分市场产生分化影响。首先,价值数亿美元的罐头音乐(Stock Music / Production Music)市场——即为视频、广告提供免版税(Royalty-Free)背景音乐的行业,因其对个性化和艺术性要求不高,将最先被 AI 彻底取代。其次,国内短视频平台(如抖音)上大量充斥的、套用固定和弦公式的低质量“口水歌”和网红歌曲,也将迅速被 AI 替代。然而,像周杰伦、Taylor Swift、Billie Eilish 或 Coldplay 这样具有极强个人品牌和创意的头部艺术家(Top Artists),其市场地位依然稳固。

在立法层面,针对 AI 侵权的监管正在加速推进。2024 年 7 月 12 日,美国参议院提出了《内容来源保护和完整性防止编辑和深度伪造媒体法案》(COPIED Act)。该法案旨在制定规则来标记、验证和检测生成式 AI 产品(包括文字、图片、音频和视频),提升内容透明度,并明确禁止 AI 厂商在未经授权的情况下使用有版权的作品来训练模型,同时设立了明确的赔偿机制。这一法案得到了各大工会、唱片协会和新闻联盟的强烈支持。

然而,技术与法律的博弈仍在继续。例如,学术界和工业界正在发展的“零样本训练”(Zero-Shot Learning)技术,允许 AI 模型在无需特定歌手或乐器样本训练的情况下,仅凭几秒钟的音频输入就能迅速复制其音色。这种数据与学习方式的解耦,使得版权监管变得更加困难。正如 OpenAI 在发布 GPT-4o 时,其语音因极像电影《她》(Her)中的配音演员斯嘉丽·约翰逊而引发巨大争议,尽管约翰逊此前已明确拒绝了 OpenAI 的合作邀约。

- **受冲击市场**:数亿美元规模的罐头音乐(Stock Music)市场,以及短视频平台的低质口水歌。 - **COPIED Act 法案**:2024 年 7 月提出,强制商用 AI 标注来源,禁止未经授权的版权数据训练,并确立赔偿机制。 - **零样本训练(Zero-Shot Learning)**:无需特定样本预训练,仅凭数秒音频即可模仿特定音色,给版权监管带来新挑战。

---

[29:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=1799s) 结语:不完美中的完美

人类的创作充满了不确定性——有感性、有随心所欲、有喷薄的情感,也有为了追求完美而付出的“一万小时定律”,甚至有为了与众不同而进行的铤而走险。在演奏中,人类会犯错,但正是这些不完美和错误,才让最终呈现的完美显得更加难能可贵。当完美可以通过算法唾手可得时,艺术便不再是众人的信仰。AI 的能力会持续进步,但人类对音乐的追求和顶级的创造力将永远不会被替代。

## Notable quotes > [04:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=299s) 一首 3 分钟的歌曲包含高达 793.8 万个采样。如果将每个采样都对应一个 Token,其计算量对于模型训练而言是天文数字。

> [04:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=299s) 这些技术能将音频采样压缩几十甚至上百倍,并能将 Token 还原为基本无失真的音频。

> [14:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=899s) AI 目前只能达到音乐界的平均水平。那些能够流传下来的经典音乐,其核心在于承载的人文情怀和体现的态度,能让听众产生情感共鸣。 — 冯建鹏

> [14:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=899s) AI 作为工具能够极大地解放生产力,帮助作曲家快速呈现灵感、降低低成本音乐的制作门槛,从而让创作者有更多时间专注于核心创意的构思。 — 冯建鹏

> [14:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=899s) 人类拥有两千年来积累的有迹可循的文化积淀和严谨的逻辑思考能力,除非人工智能真的发展出自我意识、创作动机和真实情感,否则很难真正威胁到整个音乐行业。 — 冯建鹏

> [14:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=899s) 音乐的魅力在于其不确定性与独一无二性。同样一张乐谱,不同的演奏者、甚至同一位演奏者在不同时刻的演绎都是不可复制的。

> [19:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=1199s) 价值数亿美元的罐头音乐市场——即为视频、广告提供免版税背景音乐的行业,因其对个性化和艺术性要求不高,将最先被 AI 彻底取代。

> [19:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=1199s) 国内短视频平台上大量充斥的、套用固定和弦公式的低质量“口水歌”和网红歌曲,也将迅速被 AI 替代。

> [29:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=1799s) 人类的创作充满了不确定性——有感性、有随心所欲、有喷薄的情感,也有为了追求完美而付出的“一万小时定律”,甚至有为了与众不同而进行的铤而走险。

> [29:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=1799s) 在演奏中,人类会犯错,但正是这些不完美和错误,才让最终呈现的完美显得更加难能可贵。当完美可以通过算法唾手可得时,艺术便不再是众人的信仰。

> [29:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=1799s) AI 的能力会持续进步,但人类对音乐的追求和顶级的创造力将永远不会被替代。

## Mentioned Suno AI, Suno, 索尼唱片, 环球唱片, 华纳唱片, 谷歌, Meta, 美国唱片业协会, Transformer, SoundStream, EnCodec, Codebook, Global Transformer, Local Transformer, 冯建鹏, 巴赫, 周杰伦, Taylor Swift, Billie Eilish, Coldplay, COPIED Act, OpenAI, GPT-4o, 斯嘉丽·约翰逊

[Source](https://www.bilibili.com/video/BV1Jx4y1s75B)

中文简报

Suno完成1.25亿美元融资 音乐巨头提起集体诉讼阻击AI侵权 分层压缩技术突破虽推动AI音乐普及并蚕食低端罐头音乐市场,但其因版权缺乏和情感缺失仍无法取代人类头部艺术家的核心创作。 2024年以Suno为代表的文生音乐模型迎来爆发,引发了产业重塑与版权风波。技术上,谷歌和Meta在音频Token化、采样压缩以及分层机制上的技术突破,极大地缓解了大模型的上下文压力,让高质量AI作曲成为现实。在行业冲击上,AI将迅速取代数亿美元规模的罐头音乐市场及低质短视频口水歌,并催生了如《COPIED Act》等版权保护法案。然而,专业音乐人对此持谨慎乐观态度,认为AI虽然高效,但依然缺乏人类演奏中独一无二的情感共鸣与文化积淀。 2024年5月,仅有12人的AI音乐初创公司Suno完成1.25亿美元B轮融资且估值达5亿美元,但因合规训练数据匮乏并涉嫌使用受保护音乐,遭到三大唱片公司的集体诉讼。 (0:00) 针对3分钟歌曲含近800万个音频采样导致的计算瓶颈,行业借助SoundStream、EnCodec压缩编码及Global与Local分层Transformer架构,攻克了音频大模型的上下文承载难题。 (4:59) 专业音乐人认为AI已能达到行业平均水平并大幅解放制作效率,但在处理复杂交响乐以及传达人类独一无二的情感共鸣与演奏细节上依然无法取代人类。 (14:59) AI音乐将率先颠覆数亿美元规模的罐头音乐和短视频口水歌市场,促使美国提出COPIED Act强化版权保护,但零样本训练(Zero-Shot Learning)等新技术亦对监管提出了新挑战。 (19:59)

Reading summary

随着以Suno为代表的文生音乐大模型实现跨越式突破,AI音乐正迅速重塑免版税配乐与短视频工业,但其惊艳效果背后严重依赖有版权数据训练,正引发严厉的法律诉讼与立法监管;与此同时,专业音乐人指出算法虽能达到行业平均水平,却依然无法替代人类演奏中的即兴情感与文化积淀。 资本爆发与数据版权的合规泥潭 (0:00) 2024年5月,初创公司Suno宣布完成1.25亿美元B轮融资,估值达5亿美元。在融资前该公司仅有12名员工,其文生音乐工具却已吸引超过1000万用户,能够在数十秒内生成包含词、曲、唱的高质量曲目,被业内视为AI音乐的“ChatGPT时刻”。这种爆发式成长迅速触动了传统音乐巨头的核心利益,美国唱片业协会(RIAA)等机构随即对Suno发起侵权诉讼。业内普遍指出,Suno的高质表现极可能来自于大量受版权保护音乐的喂养。相比之下,谷歌与Meta等科技巨头为规避法务风险,需花费高昂成本雇佣专业音乐人定制数据,而这类成本是初创团队难以承受的;即使是公有领域的古典交响乐曲谱,各大知名乐团的演奏录音版本同样享有独立录音版权,导致合规的AI音乐训练数据极度匮乏。 音频压缩与分层Transformer架构 (4:59) AI生成音乐的核心难点在于高维音频信号的Token化。以CD标准的44.1kHz采样率计算,一首3分钟的歌曲包含高达793.8万个采样点,庞大的数据量远超大语言模型的上下文承载上限。早期AI音乐尝试将音频转为频谱图再借助扩散模型生成图像,但该模态转换造成了严重的细节失真。Meta推出的EnCodec与谷歌的SoundStream实现了关键转折,通过码本(Codebook)技术将音频采样压缩数十至上百倍且基本无损。在此基础上,研究人员引入了分层压缩与解码架构:先将3分钟音频压缩得到的36000个Token每三合一打包压缩至12000个,交由Global Transformer进行全局宏观生成,再由Local Transformer展开还原细节。这种分层机制显著减轻了模型上下文计算负荷,奠定了文生音乐爆发的技术基石。 市场两极冲击与零样本技术的监管博弈 (19:59) AI对音乐市场的重塑呈现显著的分化格局。市值数亿美元的商业罐头音乐(Stock Music)市场因偏向功能性与免版税需求,以及短视频平台上套用固定和弦的低质网红口水歌,将首当其冲被AI彻底替代;然而,具备极强个人艺术品牌与深厚创作力的头部艺术家(如周杰伦、Taylor Swift等)在短期内地位稳固。在立法层面,美国参议院于2024年7月12日提出《COPIED法案》,强制要求生成式AI工具提升透明度并标注来源,明确禁止未经授权使用受版权保护作品进行模型训练,并确立了赔偿机制。然而学术界与工业界正在推进的“零样本学习”(Zero-Shot Learning)技术带来了全新监管挑战——模型仅凭数秒音频即可瞬间仿制特定声音音色(如OpenAI GPT-4o语音引发的斯嘉丽·约翰逊配音争议),这种无需预先针对特定歌手大量训练的技术手段,正让版权溯源与合规认定变得更加复杂。 人类演奏的情感共鸣与艺术壁垒 (14:59) 尽管生成质量惊人,哈佛大学音乐学院打击乐讲师、百老汇演奏家冯建鹏等专业从业者仍持“谨慎乐观”态度。冯建鹏认为,AI现阶段展现的仅是行业的“平均水准”,在处理复杂的交响乐或钢琴复格等音乐形式时依然显得呆滞;能够流传下来的经典作品,核心在于其承载的人文精神与真实动机,而AI本身并不具备自我意识和情感驱动。对于舞台演奏家而言,艺术的魅力恰恰来自不可复制的动态与细微差别,例如大提琴家在演奏巴赫组曲时对弓速、力度的微妙把控,每次演绎都伴随着即兴心境的流动。AI能够充当高效的生产力工具、极大压缩从灵感到Demo的产出周期,但机器算法生成的冰冷标准音,难以复制人类历经两千年文化积淀的严密逻辑与情感共鸣。 人类艺术创作的价值恰恰蕴含在追求完美的漫长试错、“一万小时定律”的严苛打磨以及不可预知的现场瑕疵之中。当完美的和弦与编曲可以被算法唾手可得时,艺术的崇高感便回归至那些不可复刻的“不完美”与真实情感;AI音乐大模型虽将长期作为解放低阶生产力的强力工具,但在版权确权机制未明与缺乏自我意识的约束下,其无法替代人类对音乐灵魂的顶级诠释。

Source quotes

[4:59] 一首 3 分钟的歌曲包含高达 793.8 万个采样。如果将每个采样都对应一个 Token,其计算量对于模型训练而言是天文数字。 [4:59] 这些技术能将音频采样压缩几十甚至上百倍,并能将 Token 还原为基本无失真的音频。 [14:59] 冯建鹏: AI 目前只能达到音乐界的平均水平。那些能够流传下来的经典音乐,其核心在于承载的人文情怀和体现的态度,能让听众产生情感共鸣。 [14:59] 冯建鹏: AI 作为工具能够极大地解放生产力,帮助作曲家快速呈现灵感、降低低成本音乐的制作门槛,从而让创作者有更多时间专注于核心创意的构思。 [14:59] 冯建鹏: 人类拥有两千年来积累的有迹可循的文化积淀和严谨的逻辑思考能力,除非人工智能真的发展出自我意识、创作动机和真实情感,否则很难真正威胁到整个音乐行业。 [14:59] 音乐的魅力在于其不确定性与独一无二性。同样一张乐谱,不同的演奏者、甚至同一位演奏者在不同时刻的演绎都是不可复制的。 [19:59] 价值数亿美元的罐头音乐市场——即为视频、广告提供免版税背景音乐的行业,因其对个性化和艺术性要求不高,将最先被 AI 彻底取代。 [19:59] 国内短视频平台上大量充斥的、套用固定和弦公式的低质量“口水歌”和网红歌曲,也将迅速被 AI 替代。 [29:59] 人类的创作充满了不确定性——有感性、有随心所欲、有喷薄的情感,也有为了追求完美而付出的“一万小时定律”,甚至有为了与众不同而进行的铤而走险。 [29:59] 在演奏中,人类会犯错,但正是这些不完美和错误,才让最终呈现的完美显得更加难能可贵。当完美可以通过算法唾手可得时,艺术便不再是众人的信仰。 [29:59] AI 的能力会持续进步,但人类对音乐的追求和顶级的创造力将永远不会被替代。

Original transcript

[0:00] Music What is your name? It's like water and air. For me, music is like a language to express how you feel or to portray a certain mood or a certain feeling that the composer had intended, and also adding your own interpretation to that original score. I also liked these experiences from my childhood. But in 2024, I heard a different answer. The sound of the sound is organized. It's a little bit of a movement. It's a different volume, different volume. It a different way of playing the sound If you use a little bit of a movement it a different way of playing the sound That a good thing果不其然在2024年以Suno为首的众多AI音乐模型和产品爆火这就用简单提示词几十秒就能生成的AI作词作曲演唱曲目效果好到让人大为震撼那么音乐AI模型是怎么发展起来的中间的技术细节是如何实现的AI音乐目前能否代替人类歌手或者音乐家呢以及AI浪潮将会如何影响整个音乐产业市场那么这期视频呢我们采访了AI音乐模型的从业者打击乐教授乐队还有各种乐器的演奏者试图和大家一起来共同探索一下AI音乐的颠覆与技术的边界2024年5月末总部位于波士顿的AI音乐公司Suno在社交媒体X上面宣布成功完成了1.25亿美元的B勒融资投后估值达到了5亿美元优估数量快速增长到超过1000万2022年才成立在B论融资之前的公司仅有12人在2024年3月Suno突然爆火Tax to Music文圣音乐的能力巨大提升让大家惊呼AI音乐的ChatGPT时刻就这么到来了那你看啊乍一听真的就觉得AI作曲呢已经非常好听了不管是他的曲调还是歌词还是歌手唱腔那我作为一个音乐小白和唱歌经常走调的人我觉得这些歌已经非常的好听了远超现在的一些什么18线歌手的网络口水歌那你说这会不会掀起音乐市场还有唱片公司这些资本方的腥风血雨呢答案是当然会啦 Industry Association of AmericaRIAA AI GENERATED MUSIC IN A NEW LAWSUIT那这个官司打出结果呢可能还需要一段时间不过呢我其实对这起诉讼呢也并不感到太意外首先啊AI音乐的出现势必会动到传统音乐资本的市场蛋糕肯定呢会引发抵触那么这个市场蛋糕具体是哪一块我们会在第四章分析那么其次啊在Suno刚活起来的时候就有AI模型的业内人士对我们表达过怀疑他们认为呢Suno的效果这么好可能是因为用了有版权的音乐去做了训练那我们在这里不做任何的结论只是单纯的传达出业内人士的困惑那他们认为说AI音乐这个产品很多科技公司比如说谷歌还有Mata都在做并且做了很多年但是效果都不如苏诺AI那难点不在于模型本身那难点是在于可以用来训练 [4:59] 训练的参数也就是没有版权问题的这些歌曲那比如说一线歌手的流行音乐不能用有版权影视作品的音乐不能用有版权就连已经算作public domain公有领域的交响乐只有曲谱是没有版权问题的而被各大乐团演奏出来的版本呢依然是有版权限制的也是不能拿去做AI训练的也就是说呢可能人类目前最顶尖的这些音乐作品很大一部分都无法摆脱版权问题而直接拿去给AI做训练那么谷歌和Meta是怎么解决这个问题的呢那作为科技巨头啊他们是花了天价去雇了一群音乐创作人专门给他们自己创作不同类型的音乐然后用这些没有版权顾虑的音乐去训练自己的AI音乐模型那么这个成本显然是Suno等小创业公司无法去负担的那么这场官司会如何发展Suno到底有没有用有版权的音乐去训练他们的模型我们也会继续的关注视台的发展不过我们来继续聊点好玩的来深入的拆解一下AI音乐到底是如何生成的那Roger就告诉我们用机器学习做音乐这件事情已经做了好几年了在业界大家已经意识到如果音乐的定义可以被理解成声音在空气中的振动产生不同的频率和幅度那我们就可以把声音去标记成为电信号我们知道在如今基于Transformer架构的大语言模型当中Token代表模型可以理解和生成的最小意义单位是模型的基础单位而在音乐中各种音乐维度都可以表达成Token序列包括节奏速度和声调性段落旋律歌词还有唱腔音色等等一切皆可Token化但是这里的技术难题是音频中的信息太丰富了举个例子音乐被录制下来之后如果用离散的数字来表示每秒钟通常是有44100个采样如果大家仔细去看一下之前买的CD上面会标注44.1K赫兹的字样就是这个意思如果一秒钟有44100个采样那么三分钟的一首歌就会有3乘以60乘以44100等于793万8000这么多个采样那如果把每个采样都对应一个token那么这对于模型训练来说简直就是天文数字于是如何将音频给token化这成为了AI在音乐模型上发展的难题直到几年前Meta和谷歌在音频采样压缩技术上出现了技术突破能实现将音频采样转化为更少量的token其中的压缩幅度达到几十几百倍因此AI音乐的发展才能够开始提速Google那边叫做SoundStreamMeta这边叫做Encode Deck然后最近还有更好一点叫做Descripts总之都是做类似的事情就是他们都能够把音频转换成TokenToken又能够还原成音频现在就是做到基本的人耳听不出来有任何的失真了它可以把音频压缩很多很多倍然后另外一项技术就是说怎么样把各种各样的称为modality比如说像这个文本像这个音乐里面各种的维度比如说像这个节拍是四四拍还是四三拍它的速度BPM是120还是90或者说它的和弦进行这个C major A minor这样的进行调性情感的流派啊用的乐器啊歌词 音高它的长度还有这个歌手的这个风格都能够能转成token刚才说的这些各种各样的模态 可能有十一种二十一种你都可以把转成token之后然后用一个统一的大元模型框架去让大元模型学会某一些模态跟音频的token的对应关系那么这个框架就非常非常强大Google的SoundStream以及Meta的Incodec技术能够让三分钟音乐的793万8千的采样被大幅度压缩到以几毫秒甚至几十毫秒的长度来计算的token序列每一个token都可以用一个数字对应来表示20毫秒对于人来讲根本听不出来什么东西就是啪啪啪可能全都是那样的事情但是你把它组合起来就是一个完整的音乐那么每20毫秒我们都用一个数字来表示像这20毫秒可能它是一个稍微安静一点的这种钢琴的声音它的这个表示数字就和一个比较吵的电吉达声音会不一样但是如果很相似的钢琴声音它可能就用同一个数字表示用数字表现音频这位称为codebook 马本在实际操作中人们发现当把音乐转换成一串数字的时候它有一种 [9:59] 程度的时针也就是说马本的大小会决定音频的质量假如说我们一共只用1000个数字来表示天底下所有的音频的话那么它时针会非常严重但是如果用100万个那可能时针就不那么严重了然而虽然从事AI音乐的研究员们意识到大语言模型理解和生成token的方式是一种新的生成音乐方式但难点是音乐的序列很长即使谷歌和Meta的压缩技术已经将三分钟音频的798,000个采样的信息量压缩到了三万六千个token已经缩小了这么多倍但是依然这样的token量对于大语言模型来说还是太大了那么这就形成了一个悖论马本小是真严重效果不好但是马本大它是真不严重效果好但是token量太大而没有办法拿去GPT生成那就是一个比较天真的想法吧但是最早人们可能会做这样的尝试但是发现像用GPT这样的模型去做生成的时候它的上下文是不能无限的长的但是这个对大语言模型的压力是非常巨大的就是你需要去考虑到36000个过去发生的事件来决定下个5毫秒甚至一个什么样的token这个是一个非常有挑战的而且如果你要训练这样的模型你需要可能几个billion参数就是很大的模型了那么训练起来你肯定也需要花那么几百万美金才能训练这样的模型也不实用那由于这么大的token量无法用GBT模型来完成在AI音乐的前几年效果一直没有那么敬艳当时AI生成音乐的普遍做法是把音频先转换成频谱Frequency Spectrum就是这种图然后再用图片的方式从扩散模型Diffusion Model去生成那扩散模型的AI生成原理我们在之前讲Sora视频生成的时候就详细的讲过感兴趣的小伙伴可以翻到我们的首页往前翻翻去看一下那一期但是用扩散模型生成出来的音频效果非常的不好因为模态转换期间会有很多的细节信息丢失导致生成成品的实针而如果要用GPT模型那就必须要去解决音乐序列场Token太多的问题这个时候又一个重要的技术出现了突破第二层音频压缩技术简单来说在基本无损音频信息的情况下人们发现音频Token还能够被继续压缩首先研究员们发现音频的Token可以进行分层压缩以及解码来减小大模型当中Transformer架构的上下的压力我们刚才说三分钟的音乐有36000个Token如果将这些Token序列三个分成一组先将它们打包在这一层做一个小小的压缩36000个Token就被压缩到了12000个Token然后放进Global Transformer大元模型等模型输出了一万两千个Token之后再把每个Token通过Local Transformer展开成三个原来的Token数量所以这样将Token先压缩分层再展开的方式让大模型的上下文压力减小也能够让生成的时间变得更快从最开始的三分钟音乐的793万8千个采样到如今的一万两千个Token这么多倍的压缩才有了AI音乐大模型的风靡全球而我们不排除以后有技术可以把音频token量压缩的更小让音乐生成更快更顺滑有更多的细节和信息来我们来总结一下先是将音乐token化的技术加上近年来音频压缩技术的出现和发展伴随着GPT这样的大元模型能力的增强还有Text to Speech文声语音模型的进步使得AI音乐的能力得到了飞速的提升无论在作曲作词还是在演唱上都越来越逼真越来越拧人这也造就了Suno AI的爆火那么从Roger跟我们的分析来看只要AI学了足够多的参数和曲目就可以生成任何风格的作品总之我们把这Token把它给串起来然后告诉这个大元模型当你看到这样的Token的时候你需要输出这样子的音乐只要这个大元模型能够接受到这样子的字对一的对应关系它就能够在听了足够足够多的音乐之后它就能够去生成出你想要的这种歌手演唱的这种效果所以如果你是一个音乐从业者的话面对如今AI音乐的能力你是否担心自己的工作不保呢AI音乐会对我们的娱乐产业造成颠覆性的影响吗音乐家和歌手们的饭碗还能不能够保得住呢那我们跟一众的音乐家们聊了聊但是好像大家并没有太担心被取代这件事情那么AI取代的会是谁呢 [14:59] 那么在做苏乐和AI音乐的选题这前后几个月的时间我自己也在尝试不同的作曲去试试各种的prompt词还有条里面的一些变量还是挺好门的我也会去听一下苏乐或者其他AI音乐平台的那个榜单去听一下别人用AI创作的歌真的非常的不错我也建议大家都去试玩玩看但是呢听久了我会发现一个问题就是我会发现AI创作出来的歌曲虽然乍一听还不错但是不会有那种让我一遍又一遍觉得很上头的音乐不会让我特别的有感情上的共鸣那风格也慢慢变得很雷同可能是训练参数的匮乏让AI音乐很难创造出人类顶级水平的歌曲因此我很难想象这些AI音乐会在五年或者十年之后有任何一首能够经得起时间的解研还能够在人们之中口口相传那么Suno在专业音乐人的眼中是如何的存在呢能够掀起什么风浪的我们就采访了知名音乐博主Dodo Fung也是我自己很喜欢看的一个频道Dodo他的原名是冯建棚是美国哈佛大学音乐学院打击乐讲师也是纽约百老汇全职的演奏家他认为啊AI目前可以达到音乐界的平均水平但是这样的水平呢不足以在这个行业当中出调很多音乐或者说之所以经典的音乐它可以流传下来其实更多的是因为它承载的人文和它体现的态度所带给的所有人的共鸣那么我们觉得我们可以带入到这个歌的情绪里面所以有一万首摇滚的歌可能有那三首就成了传世的佳作但是目前AI的这个就是至少咱们测试出来的这个结果它缺乏的是最终的那个让我们能感觉到共鸣的那个态度所以它可能能够写出来但是很难在行业里面出类拔萃因此在这个程度上来说它还没有完全的能够代替人类作曲家的这种情感老道红建鹏在自己的频道上也做了多期用AI作曲的视频尝试了各种的曲风包括更加细节严谨的prompt来控制乐器节奏音乐风格等等那他的结论是AI作曲还有非常多的缺陷包括苏诺无法理解钢琴的复格特定乐器的要求呢也没有能够达到甚至复杂一点的音乐形式比如说交响乐效果就非常的差就是我对他评价就是基本上我要求是满足了但是写作水准评价就是有点傻这我要给他打分的话就是说质量的打分这我都不好意思给他打分了那他认为之后AI模型的能力肯定会越来越强但是距离替代音乐人还早但如今音乐从业者也不用抗拒AI反倒是可以利用AI来做更好的创作工具我自己的整体的态度是谨慎乐观就是我觉得呢第一就是我们没法抗拒这个洪流就是历史发展就是必然它的工业化的这种程度是一定能够解放人类的生产力的我现在写一首曲子我可能需要写有一个很好的一个主意一个idea然后我需要花很长的时间把它写成一首曲子吐出来然后再花很长的时间去录出来然后这个project这个项目才能完成那么现在有了这个AI以后呢可能可以迅速的提高我这个速度那么作曲家能有更多的时间真的去想那个曲子而不用担心那些细枝末节的东西所以等等吧就包括一些低成本的这些音乐制作然后我觉得它真的是可以的非常好的就是很有发展前景但是同时呢我对这个事也不是特别的恐慌是在于人类还是有一些自己独特的一些特性目前AI至少说它的这个模型这个算法可能暂时做不到很多的音乐其实它是有很严谨的明确的逻辑在里面的那么如果我不能从这个方式去思考的话那我只能是去模仿一个形式但是人类的真正的这个思考的这个能力以及我们2000年来攒下来的有迹可循的这些文化上的积淀人类也是在这个程度上持续在发展的那么还是有一定的优势的所以除非人工智能真的发展出了智能它有自己的意识它有创作的原因它有这个情绪有创作的动力那么人类可能才会真正的受到威胁就做一个整个行业当然个人可能已经有人会受到威胁了这个我认为是的但是整个这个行业说取代人类的话我觉得我不担心所以我对它是保持谨慎的乐观我觉得它是一定会对我们是有帮助的我们没法抗拒但是距离对我们有不够的威胁完全取代我们那个路非常非常长 [19:59] 屡次提到的音乐态度和情绪也是我们跟众多的音乐演奏者们聊天的时候他们提到的最多的关键词他们认为说这是人类在演奏乐器或者演唱的时候最重要的元素了就如同同样的一张乐谱不同的演奏者会有不同的解读还有表现方式而就算是同一首曲子同一个演奏者他的每一次表演都是不同的都是独一无二的而情感的共鸣是对于接受音乐 欣赏音乐的作为观众的我们来说 最珍贵的那个部分我之前看到AI玩CELLO 和Robot玩CELLO我觉得现在只能做到一种方式但每个CELLO都会有点不同每个演出都不同 每个演员都不同所以我认为了解析能有所需要的东西在高音乐的演奏,像是鞋子可能是最初的方法是可以玩的BachCello Suite是可以玩很高的,很低的,例如...作曲 中文字幕 very slow and deep and for example or some people prefer with some more momentum an airier sound that way you have more flow, right? A lighter sound. So for example... At least for now, your job is kept... I would like to think my job is very safe for a very long time. I would buy a bill to watch the album to watch the album or the song but I wouldn't buy a bill to listen to the equipment so the problem comes from AI music if we look at the current ability what market market is? The Matamusic and Copyrights team of the board member of the Kwan Halk told us that the music and the music will be the market market and the music market will be the market market I think it would be a good market market call的市场叫stock music或者叫production music就是专门有这些公司提供一些royalty free的音乐然后你跟他付订阅费或者是付版权使用费然后你可以用他们的歌做任何事情这个market大概有个有个几个billion这个样子我觉得完全可以被AI取代它相对于这个AI music可能既没有quality上的优势又没有一个Discovery上的优势AI Music能够让你很轻易的拿一个Profit就输入几句话能够生成想要的歌这个优势是完全没法去beat它第二阶段我觉得就是说这些做口水歌的网红歌手可能就没了其实在国内抖音上面几乎是被口水歌这种非常低质量的口水歌完全占据了这些歌你拿来用来做视频是非常有意思因为它的节奏一般很宽快然后它的旋律实际上是大众都已经熟知的那几个那些和弦对吧我觉得这些广红歌这种口水歌可能会被这一块很快的被替代掉那什么是没法或者说很难去替代呢就是有这种很强的这种artists就是比如说周杰伦有Taylor SwiftBeley Eilish这种Coplay这些我觉得都很难所以非常有创意的这些音乐我觉得还是有它存在的价值但是可以看得到其实对音乐人我觉得对整个音乐人的整个市场我觉得是有很大的挤压的因为音乐是一个非常头部的一个市场可能就是top的artists这些top的音乐人占了可能99%几的这种份额然后剩下的都是一大堆的这种non-tail的一些artists那我觉得其实对于这些non-tail artists可能是一个很大的一些挑战那对于音乐创作者和演奏者来说呢音乐的功能性和商品性也许会慢慢被AI提担但是音乐的精神共鸣层面永远属于个人对我来讲音乐就相当于是更高级的一个交流语言所以它没有办法像一个商品一样或者是什么东西把它generate出来它更多的是两方面一方面是音乐人自己他有一个表达的诉求这部分是AI100%没有取代的可能性另一方面如果你把作为一个商品来讲的话那我觉得AI做得已经相当好它在一个非常好的道路上它在慢慢地 [24:59] 向前代走我觉得非常有可能取代很多商业音乐那音乐人的诉求是什么音乐人的诉求更多的是自己的一种发泄与表达因为它是像我说的建立在可能语言之上的一种表达方式你可以不只跟人类交流可以跟你心里的各种各样的不一样的生灵和一些你心里创造的生物在交流那种感觉所以就是很抽象的很不一样的表达方式那我们现在清楚了在音乐创作上和市场冲击上AI音乐技术的边界而在立法上大公司们以及政策制定者们也正在行动而这将更加的规范AI音乐的未来发展在2024年7月12号美国参议院的三位国会议员提出了一个针对AI版权的新法案全称是The Content Origin Protection and IntegrityFrom Addited and Defake Media Act直级过来是内容来源保护和完整性防止编辑和深度伪造媒体法案这个法案的目的主要就是制定完善的规则来标记验证和检测生成式AI产品包括了文字图片音频还有视频提升生成内容的透明度防止被非法乱用以及保护公众的个人数据和隐私同时也保护记者音乐人演员还有其他的艺术商业群体的利益并且保留对非法使用数据训练AI大模型的法律追究的权益比如说法案就规定任何商业生成式AI产品必须要让用户知道这是AI生成的比如说XGPT生成的广告文案或者社交媒体帖子一旦是商用范畴就必须要明确标注是由AI生成并且禁止任何人故意移除或者篡改AI生成的标注信息另外这个法案重要的一点是给出了明确的赔偿机制明确禁止AI厂商在未经明确知情同意的情况下是用具有售版权保护作品的数字内容来训练AI大模型和算法如果侵犯便需要进行赔偿那大家可以想象得到这个法案一出是受到了各种工会唱片协会新闻联盟等等组织的大声叫好所以我们在开头提到的苏诺被三大唱片公司起诉的关系可能就会根据这个最新的法案来宣判指导我们也会为大家继续的关注这方面的法律进展但毫无疑问的是技术和法律的关系有时候总是很模糊其实上有政策下有对策比如说我最近就学习到AI音频上还有一个技术被称为零样本训练Zero Shock Learning它在学术上的解释是训练AI模型来识别和分类对象或概念而无需事先见过这些类别或者概念的任何实例那么简单一点来说就是把数据和大模型的学习方式给解偶合那比如说你告诉大模型我要生成一个跟某位歌手很像的声音或者是呢一段这个乐器音色很像的曲子那么通过零样本训练大模型呢虽然没有见过或者通过这个特定样本训练但是呢它就可以模仿进行输出那么零样本训练目前在音乐生成上还没有被广泛的应用但是在语音合成上已经很成熟了所以呢我们可以预见啊以后如果用户啊拿着几秒钟的音频文件作为粒子大模型就可以迅速的复制粒子的音色那么这样来说这样的技术对产权保护就更加的难以监管了我就突然想到前段时间OpenAI在发布产品GPT4O的时候语音的音色被认为很像电影HER里面的配音演员斯嘉丽约翰逊而约翰逊就爆料说之前OpenAI的CEO Sam Aound of the sound was considered like the band in the film Her, Siasli, and Yohan Hsien. And Yohan Hsien just announced that the CEO of Sam Altman was really looking for him to use his voice for 4-O. But he refused to do it. But the sound of the sound of 4-O was released from the sound of Her, one said, it was like the sound of Her. That's right, I do need a name. 都需要一些新的公式 但我想不变的依然是人类对音乐的需要 无论是听众还是演奏者 无论是大师还是演奏者 [29:59] 我这样主要为了自嗨的野鱼小白人类的创作是充满不确定性的有激进有感性有随心所欲有喷波而出的情感有为了追求完美的一万小时定律也有为了追求与众不同的铤而走险人类是会犯错的没事没事没事没事I messed that one up a little bit但就是因为有这些错误才让完美更加难能可贵而当完美唾手可得那艺术也不再是众人的信仰了AI的能力会持续进步但人类的音乐追求也会持续进步顶级的创造力将不会被替代那么在这期视频的最后呢我用Suno写了一首歌Prompt词案大概是我们硅谷101从事科技与商业内容制作的愿景那很短的Prompt用几十秒就生成出来了来欢迎大家鉴赏一下记得留言给我们你们的看法好那这就是我们这期视频的所有内容了大家的留言点赞和转发是支持我们硅谷101做好深度科技和商业内容的最佳动力那我们就下期视频再见了Bye