硅谷101
分层压缩技术突破虽推动AI音乐普及并蚕食低端罐头音乐市场,但其因版权缺乏和情感缺失仍无法取代人类头部艺术家的核心创作。
AI-assisted summary of 震动的艺术:AI音乐大模型背后的技术突破、版权诉讼和资本蛋糕【硅谷101】 — original source. Check the original for full context.
Source published:
Detailed notes
## Background 该视频由“硅谷101”于2024年7月22日发布在Bilibili平台,主要探讨了今年在硅谷爆火的AI音乐大模型。视频简介指出,Suno AI凭借简单的提示词就能生成高水平音乐而全网爆火,并迅速完成了B轮融资,但随后也遭到了三大唱片公司的集体版权诉讼,节目将深入解析其背后的技术 breakthrough、行业反应与产业重塑。
## TL;DR 2024年以Suno为代表的文生音乐模型迎来爆发,引发了产业重塑与版权风波。技术上,谷歌和Meta在音频Token化、采样压缩以及分层机制上的技术突破,极大地缓解了大模型的上下文压力,让高质量AI作曲成为现实。在行业冲击上,AI将迅速取代数亿美元规模的罐头音乐市场及低质短视频口水歌,并催生了如《COPIED Act》等版权保护法案。然而,专业音乐人对此持谨慎乐观态度,认为AI虽然高效,但依然缺乏人类演奏中独一无二的情感共鸣与文化积淀。
## Atmosphere & style 整期节目呈现出一种客观严谨又不失前沿敏锐度的科技纪实风格。主持人以冷静、深度的叙事语调,将观众引入一场关于“空气震动”的技术探索之旅。在剖析硬核音频压缩算法时,内容显得严密而具有极客感;而在探讨音乐人态度与艺术本质时,字里行间又流露出一种对人类感性、不完美与创造力的温情致敬。它不仅是一场对AI技术演进的理性拆解,更像是一次人类艺术与冰冷算法在时代浪潮下交锋与共存的深刻思想碰撞。
## Key takeaways - [00:00](https://www.bilibili.com/video/BV1Jx4y1s75B?t=0s) 2024年5月末,AI音乐公司Suno完成1.25亿美元B轮融资,估值达5亿美元,用户数超1000万,其被业内称为AI音乐的“ChatGPT时刻”。 - [00:00](https://www.bilibili.com/video/BV1Jx4y1s75B?t=0s) Suno等初创公司面临合规训练数据极度匮乏的困境,因为一线歌手的流行音乐、影视原声及乐团演奏的古典音乐均受版权保护,导致其因涉嫌使用版权音乐进行训练而遭到三大唱片公司和美国唱片业协会的集体诉讼。 - [04:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=299s) 音频大模型的核心技术瓶颈在于音频信息量巨大,3分钟的CD标准歌曲包含近800万个采样,直接进行Token化会导致计算量超出模型承载极限。 - [04:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=299s) 技术突破的核心在于音频采样压缩技术,如谷歌的SoundStream和Meta的EnCodec,它们能将音频采样压缩几十甚至上百倍,并用数字码本表示。 - [04:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=299s) 分层压缩及解码机制(Global Transformer与Local Transformer结合)解决了音频大模型的上下文压力,替代了早期通过频谱图和扩散模型生成音频时导致的细节丢失问题。 - [14:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=899s) 专业音乐人认为AI目前只能达到音乐界的平均水平,缺乏承载人文情怀、态度和引发情感共鸣的能力,在处理复杂的交响乐或钢琴复格时依然显得缺乏灵魂。 - [14:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=899s) 音乐演奏的魅力在于其即时性、不确定性与独一无二性,不同演奏者通过控制弓速、力度所产生的情感流动是冰冷的算法难以模拟的。 - [19:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=1199s) AI音乐将对细分市场产生分化影响,数亿美元规模的罐头音乐市场和短视频平台的低质口水歌将最先被AI彻底取代,但具有极强个人品牌和创意的头部艺术家市场地位依然稳固。 - [19:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=1199s) 2024年7月美国参议院提出《COPIED Act》法案,旨在通过强制商用AI标注来源、禁止未经授权的版权训练来加速立法监管,提升内容透明度并确立赔偿机制。 - [19:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=1199s) 零样本训练(Zero-Shot Learning)技术的发展允许AI仅凭几秒音频就能复制特定音色,这种数据与学习方式的解耦给版权监管带来了全新的技术挑战。 - [29:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=1799s) 艺术的珍贵在于人类在不确定性、感性和“一万小时定律”中所展现的不完美,当算法能让完美唾手可得时,人类对音乐的顶级创造力反而更不会被替代。
## Detailed walkthrough ### [00:00](https://www.bilibili.com/video/BV1Jx4y1s75B?t=0s) AI 音乐的爆发与 Suno 的崛起
音乐对人类而言如同水和空气,是表达情感、传达作曲家意图并融入个人诠释的语言。然而在 2024 年,AI 音乐模型和产品的爆火给出了不同的答案。以 Suno 为首的 AI 音乐工具,让用户只需输入简单的提示词,就能在几十秒内生成包含作词、作曲、演唱的高质量曲目,其效果震撼了整个行业。这引发了人们对 AI 音乐技术细节、其是否能取代人类音乐家,以及对整个音乐产业影响的深度探讨。
2024 年 5 月末,总部位于波士顿的 AI 音乐公司 Suno 在社交媒体 X 上宣布完成了 1.25 亿美元的 B 轮融资,投后估值达到 5 亿美元。这家于 2022 年才成立、在 B 轮融资前仅有 12 名员工的公司,其用户数量已快速增长至超过 1000 万。Suno 在 2024 年 3 月的突然爆火,标志着文生音乐(Text to Music)能力的巨大提升,被业内惊呼为 AI 音乐的 "ChatGPT 时刻"。其生成的曲调、歌词和唱腔,甚至让音乐小白和唱歌走调的普通人都觉得远超许多网络口水歌。
然而,这种颠覆性的技术迅速动了传统音乐资本的蛋糕。美国唱片业协会(RIAA)等机构对 Suno 提起诉讼。业内人士透露,Suno 效果如此惊艳,很可能是使用了有版权的音乐进行训练。相比之下,谷歌和 Meta 等科技巨头为了规避版权问题,花费天价雇佣音乐创作人专门为其创作不同类型的音乐来训练模型,这种高昂的成本是 Suno 等初创公司无法负担的。即使是公有领域(Public Domain)的交响乐,虽然曲谱没有版权,但各大乐团演奏录制的版本依然受到版权保护,无法直接用于 AI 训练。
- **Suno 融资数据**:2024 年 5 月完成 1.25 亿美元 B 轮融资,估值达 5 亿美元,用户数超 1000 万,此前公司仅有 12 人。 - **版权训练困境**:一线歌手的流行音乐、影视原声及各大乐团演奏的古典音乐均有版权限制,导致合规训练数据极度匮乏。
---
[04:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=299s) 音频 Token 化与压缩技术的突破
要理解 AI 音乐的生成原理,首先需要将声音这一空气中的振动(频率和幅度)转化为电信号,并在基于 Transformer 架构的大语言模型中进行 "Token 化"。在音乐中,节奏、速度、和声、调性、旋律、歌词及唱腔音色等一切维度皆可被 Token 化。然而,音频中的信息量极其庞大。以 CD 标准的 44.1K 赫兹(每秒 44100 个采样)计算,一首 3 分钟的歌曲包含高达 793.8 万个采样。如果将每个采样都对应一个 Token,其计算量对于模型训练而言是天文数字。
技术突破源于 Meta 和谷歌在音频采样压缩技术上的进展。谷歌推出了 SoundStream,Meta 推出了 EnCodec,这些技术能将音频采样压缩几十甚至上百倍,并能将 Token 还原为基本无失真的音频。通过这些技术,音频被压缩成以毫秒级(如 20 毫秒)为单位的 Token 序列,并用数字(Codebook,码本)来表示。如果码本太小(如仅用 1000 个数字表示所有声音),失真会非常严重;如果码本太大,虽然保真度高,但 Token 序列依然过长,超出了大语言模型的上下文承载极限。
在早期,由于无法直接用 GPT 模型处理如此庞大的 Token 量,AI 音乐通常采用将音频转化为频谱图(Frequency Spectrum),再利用扩散模型(Diffusion Model)生成图像的方式来制作音频,但这种模态转换会导致严重的细节丢失和失真。直到第二层音频压缩技术——分层压缩及解码的出现,这一难题才得以解决。研究人员将 3 分钟音乐压缩后的 36000 个 Token 每三个分成一组,打包压缩至 12000 个,输入 Global Transformer 处理,输出后再通过 Local Transformer 展开。这种分层设计极大地减轻了大模型的上下文压力,使 AI 音乐大模型得以风靡全球。
- **音频采样计算**:3 分钟 $\times$ 60 秒 $\times$ 44100 采样/秒 = 7,938,000 个采样点。 - **核心压缩技术**:Google 的 SoundStream 和 Meta 的 EnCodec,可将 3 分钟音频压缩至 12000 个 Token 左右。 - **分层压缩机制**:通过 Global Transformer 处理压缩后的 Token,再由 Local Transformer 展开还原,降低计算延迟与模型上下文压力。
---
[14:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=899s) 音乐人的态度:AI 无法取代的情感共鸣
尽管 AI 音乐在技术上取得了飞跃,但许多专业音乐家和演奏者对此并不过分担忧。哈佛大学音乐学院打击乐讲师、纽约百老汇全职演奏家冯建鹏(Dodo Fung)指出,AI 目前只能达到音乐界的平均水平。那些能够流传下来的经典音乐,其核心在于承载的人文情怀和体现的态度,能让听众产生情感共鸣。AI 虽然能通过精细的提示词控制乐器和节奏,但在处理复杂的音乐形式(如钢琴复格、交响乐)时依然显得“有点傻”,缺乏灵魂。
冯建鹏对 AI 音乐持“谨慎乐观”的态度。他认为历史发展的洪流无法抗拒,AI 作为工具能够极大地解放生产力,帮助作曲家快速呈现灵感、降低低成本音乐的制作门槛,从而让创作者有更多时间专注于核心创意的构思。然而,人类拥有两千年来积累的有迹可循的文化积淀和严谨的逻辑思考能力,除非人工智能真的发展出自我意识、创作动机和真实情感,否则很难真正威胁到整个音乐行业。
对于演奏家而言,音乐的魅力在于其不确定性与独一无二性。同样一张乐谱,不同的演奏者、甚至同一位演奏者在不同时刻的演绎都是不可复制的。大提琴演奏者在演奏巴赫大提琴套曲时,可以通过控制弓速、力度来呈现或深沉、或轻盈飘逸的音色,这种即时的情感流动是冰冷的机器和固定的算法难以模拟的。
- **行业观点**:AI 音乐能达到行业平均水平,但缺乏传达态度与情感共鸣的能力。 - **工具价值**:AI 可作为高效的创作辅助工具,缩短从灵感到 Demo 的制作周期。 - **艺术独特性**:人类演奏的细微差别、即兴发挥和情感波动构成了音乐最珍贵的部分。
---
[19:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=1199s) 市场冲击与版权立法的博弈
从市场角度来看,AI 音乐将对不同的细分市场产生分化影响。首先,价值数亿美元的罐头音乐(Stock Music / Production Music)市场——即为视频、广告提供免版税(Royalty-Free)背景音乐的行业,因其对个性化和艺术性要求不高,将最先被 AI 彻底取代。其次,国内短视频平台(如抖音)上大量充斥的、套用固定和弦公式的低质量“口水歌”和网红歌曲,也将迅速被 AI 替代。然而,像周杰伦、Taylor Swift、Billie Eilish 或 Coldplay 这样具有极强个人品牌和创意的头部艺术家(Top Artists),其市场地位依然稳固。
在立法层面,针对 AI 侵权的监管正在加速推进。2024 年 7 月 12 日,美国参议院提出了《内容来源保护和完整性防止编辑和深度伪造媒体法案》(COPIED Act)。该法案旨在制定规则来标记、验证和检测生成式 AI 产品(包括文字、图片、音频和视频),提升内容透明度,并明确禁止 AI 厂商在未经授权的情况下使用有版权的作品来训练模型,同时设立了明确的赔偿机制。这一法案得到了各大工会、唱片协会和新闻联盟的强烈支持。
然而,技术与法律的博弈仍在继续。例如,学术界和工业界正在发展的“零样本训练”(Zero-Shot Learning)技术,允许 AI 模型在无需特定歌手或乐器样本训练的情况下,仅凭几秒钟的音频输入就能迅速复制其音色。这种数据与学习方式的解耦,使得版权监管变得更加困难。正如 OpenAI 在发布 GPT-4o 时,其语音因极像电影《她》(Her)中的配音演员斯嘉丽·约翰逊而引发巨大争议,尽管约翰逊此前已明确拒绝了 OpenAI 的合作邀约。
- **受冲击市场**:数亿美元规模的罐头音乐(Stock Music)市场,以及短视频平台的低质口水歌。 - **COPIED Act 法案**:2024 年 7 月提出,强制商用 AI 标注来源,禁止未经授权的版权数据训练,并确立赔偿机制。 - **零样本训练(Zero-Shot Learning)**:无需特定样本预训练,仅凭数秒音频即可模仿特定音色,给版权监管带来新挑战。
---
[29:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=1799s) 结语:不完美中的完美
人类的创作充满了不确定性——有感性、有随心所欲、有喷薄的情感,也有为了追求完美而付出的“一万小时定律”,甚至有为了与众不同而进行的铤而走险。在演奏中,人类会犯错,但正是这些不完美和错误,才让最终呈现的完美显得更加难能可贵。当完美可以通过算法唾手可得时,艺术便不再是众人的信仰。AI 的能力会持续进步,但人类对音乐的追求和顶级的创造力将永远不会被替代。
## Notable quotes > [04:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=299s) 一首 3 分钟的歌曲包含高达 793.8 万个采样。如果将每个采样都对应一个 Token,其计算量对于模型训练而言是天文数字。
> [04:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=299s) 这些技术能将音频采样压缩几十甚至上百倍,并能将 Token 还原为基本无失真的音频。
> [14:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=899s) AI 目前只能达到音乐界的平均水平。那些能够流传下来的经典音乐,其核心在于承载的人文情怀和体现的态度,能让听众产生情感共鸣。 — 冯建鹏
> [14:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=899s) AI 作为工具能够极大地解放生产力,帮助作曲家快速呈现灵感、降低低成本音乐的制作门槛,从而让创作者有更多时间专注于核心创意的构思。 — 冯建鹏
> [14:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=899s) 人类拥有两千年来积累的有迹可循的文化积淀和严谨的逻辑思考能力,除非人工智能真的发展出自我意识、创作动机和真实情感,否则很难真正威胁到整个音乐行业。 — 冯建鹏
> [14:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=899s) 音乐的魅力在于其不确定性与独一无二性。同样一张乐谱,不同的演奏者、甚至同一位演奏者在不同时刻的演绎都是不可复制的。
> [19:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=1199s) 价值数亿美元的罐头音乐市场——即为视频、广告提供免版税背景音乐的行业,因其对个性化和艺术性要求不高,将最先被 AI 彻底取代。
> [19:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=1199s) 国内短视频平台上大量充斥的、套用固定和弦公式的低质量“口水歌”和网红歌曲,也将迅速被 AI 替代。
> [29:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=1799s) 人类的创作充满了不确定性——有感性、有随心所欲、有喷薄的情感,也有为了追求完美而付出的“一万小时定律”,甚至有为了与众不同而进行的铤而走险。
> [29:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=1799s) 在演奏中,人类会犯错,但正是这些不完美和错误,才让最终呈现的完美显得更加难能可贵。当完美可以通过算法唾手可得时,艺术便不再是众人的信仰。
> [29:59](https://www.bilibili.com/video/BV1Jx4y1s75B?t=1799s) AI 的能力会持续进步,但人类对音乐的追求和顶级的创造力将永远不会被替代。
## Mentioned Suno AI, Suno, 索尼唱片, 环球唱片, 华纳唱片, 谷歌, Meta, 美国唱片业协会, Transformer, SoundStream, EnCodec, Codebook, Global Transformer, Local Transformer, 冯建鹏, 巴赫, 周杰伦, Taylor Swift, Billie Eilish, Coldplay, COPIED Act, OpenAI, GPT-4o, 斯嘉丽·约翰逊
[Source](https://www.bilibili.com/video/BV1Jx4y1s75B)