Backblaze推B2 Overdrive存储层 零流出费直击AI数据吞吐瓶颈

The AI Pipeline Starts with Storage: Architecting Scalable Data Foundations With Backblaze — Ai4

Ai4

AI生命周期中八成耗时集中于数据准备而非模型训练,底层存储架构的活跃归档与高吞吐供给直接决定多模态模型的落地效率。

AI-assisted summary of The AI Pipeline Starts with Storage: Architecting Scalable Data Foundations With Backblaze — original source. Check the original for full context.

Source published:

Detailed notes

## Background 本视频由 YouTube 频道 Ai4 于 2025 年 8 月 24 日发布,主讲人为 Backblaze 的 AI 高级产品经理 Jeronimo De Leon。根据视频简介,演讲深入探讨了对象存储如何在从数据摄取、标注到模型部署与监控的整个 AI 生命周期中发挥支撑作用,以帮助企业通过合理匹配工作负载与存储性能来构建可扩展且高效的 AI 数据底座。

## TL;DR 演讲指出在整个 AI 生命周期中,高达 80% 的工程时间消耗在数据准备与治理上,底层存储架构直接决定了业务的落地周期与创新速度。演讲者将 AI 管道系统拆解为智能摄取与活跃归档、特征工程处理、模型训练加速、推理部署服务以及监控闭环五个核心阶段,强调了元数据治理、对象锁定与血缘追溯的不可或缺性。针对多模态与视频数据爆发带来的算力供给瓶颈,Backblaze 提出了兼具高持久性与经济性的对象存储架构,并推出支持 Tbps 级高吞吐且免公网流出费的 Backblaze B2 Overdrive,全面释放 GPU 集群的计算潜能。

## Atmosphere & style 演讲整体呈现出务实、严谨且富有工业实践底蕴的技术分享风格,演讲者依托其在 IBM Watson、Spell、彭博社等机构积累的深厚从业背景,讲解条理分明且直击工程痛点。叙事节奏紧凑而流畅,避开了浮夸的概念炒作,通过直观的生命周期图解与切中要害的实操案例(如 SaaS 数据丢失教训与视频特征提取流水线)层层递进。整场分享散发着系统架构师的笃定与理性,为观众带来了从底层数据治理切入、最终闭环至前沿模型迭代的沉浸式技术洞察。

## Key takeaways - [00:04](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=4s) 底层数据存储与架构设计是决定 AI 项目迭代速度与价值转化时间(Time to Value)的核心基石,而非仅取决于算法本身。 - [01:24](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=84s) 在 AI 成功公式(模型 × 算力 × 数据)中,数据是核心乘数,且整个 AI 生命周期的 80% 时间消耗在数据准备与工程环节,仅 20% 用于模型训练与调优。 - [01:24](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=84s) 开源模型生态(如 Hugging Face 拥有的 190 万+ 模型)使模型不再稀缺,AI 发展重心正向将专业模型流水线组合为智能体(Agent)及构建物理世界模型转移。 - [04:26](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=266s) AI 语境下的数据归档必须是兼具高持久性与极速读写的“活跃归档(Active Archive)”,而不是将数据放入冷存储。 - [04:26](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=266s) 企业必须在自有存储中建立统一的数据湖与活跃归档,避免将高价值交互数据锁定在第三方 SaaS 服务商中导致供应商解约时数据资产丢失。 - [04:26](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=266s) 元数据(Metadata)是异构非结构化数据的通用粘合剂,利用对象锁定(Object Lock)与生命周期规则可兼顾数据防篡改合规性与存储成本优化。 - [08:29](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=509s) 在数据处理与特征工程阶段,将中间结果(从抽帧、标注到提取的特征)在对象存储中进行版本化归档与血缘追踪,是确保实验可复现与合规治理的关键。 - [11:31](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=691s) 模型训练阶段依赖流式传输(Streaming)与数据分片以消除 GPU 计算的 I/O 瓶颈,并需频繁自动保存检查点(Checkpoints)以支持断点续训和微调实验。 - [14:43](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=883s) 通过对象存储沉淀推理日志与用户反馈,并结合监控指标分析模型漂移(Model Drift),能通过存储事件通知自动触发再训练,形成闭环自愈系统。 - [14:43](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=883s) 随着多模态与视频数据的指数级增长,Backblaze 推出 Tbps 级吞吐且免流出费的 B2 Overdrive 存储层,专门满足 GPU 训练和高并发推理的高性能需求。

## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=4s) 演讲者背景与 Backblaze 的存储基石

在 AI 领域,团队迭代与创新的速度往往不由算法单独决定,而是深植于底层的存储架构之中。演讲者 Jeronimo De Leon(Backblaze AI 高级产品经理)拥有超过十年的 AI 从业经验:早年在 IBM Watson 负责开发者推广工具,随后加入 MLOps 初创公司 Spell(后被 Reddit 收购),在彭博社(Bloomberg)主导过市场部门的数据湖基础设施与对话式代理开发,近期又在房地产数据洞察初创公司 Intellis 利用大语言模型聚合房产数据并生成洞察,如今则在 Backblaze 负责 AI 存储产品。

Backblaze 的核心使命是让数据的存储、保护和使用变得“出奇地简单”(astonishingly easy),强调极简上手体验与透明可预测的定价模式。公司成立于 2007 年,于 2021 年正式上市,目前在全球拥有超过 50 万家客户。其中,AI 客户已成为其增长最迅速的群体。在底层硬件规模上,Backblaze 依靠部署在 30 万块机械硬盘上的存储集群,承载着超过 4,000 PB(即 4 EB)的海量数据。

- 公司规模:成立于 2007 年,2021 年上市,全球 500,000+ 客户。 - 存储体量:300,000 块运转中的机械硬盘,总计管理超过 4,000 PB 数据。 - 业务重心:AI 客户已成为当前增速最快的核心业务板块。

---

[01:24](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=84s) AI 成功方程式与被低估的“80% 数据瓶颈”

业界广泛流传着一个经典公式:$\text{AI} = \text{模型(Models)} \times \text{算力(Compute)} \times \text{数据(Data)}$。在这三要素中,数据是真正的核心乘数因子(multiplier)。算力与模型固然重要,但如果数据没有存放在合适的位置、以高效的方式流动,对算力与模型的优化都无从谈起。如今 Hugging Face 上已有超过 190 万个开源模型,模型本身早已不是稀缺资源。随着 AI Agent(智能体)的兴起,工程重点已转向如何将多个专用模型进行流水线组合——正如早期自然语言处理(NLP)工作流中,系统会在预测前串联“意图分类”与“实体抽取”模型一样,现成的模型随时可供测试与组合。

引用英伟达 CEO 黄仁勋(Jensen Huang)的观点:“你应该尽可能多地收集物理世界的数据,以推动 AI 的演进。”目前大语言模型虽然处于聚光灯下,但仅靠文本数据很快会触及天花板。Meta 和 Google 等巨头正在全力研发下一代“世界模型”(World Models),这要求企业必须提前规划数据归档,为未来多模态模型的演进做好储备。

大多数人未曾意识到的是,在 AI 管道的整个生命周期中,**高达 80% 的时间被消耗在数据环节**——包括数据识别、聚合、清洗、标注和增强,而模型训练与调优本身仅占 20%。如果想要加速 AI 创新,就必须优先优化这占据八成时间的底层数据基础设施。

```mermaid flowchart LR accTitle: AI Lifecycle Overview subgraph S1["数据准备 (80% 耗时)"] direction TB A["1. 摄取与活跃归档"] --> B["2. 数据处理与特征工程"] end subgraph S2["建模与生产 (20% 耗时)"] direction TB C["3. 实验与训练"] --> D["4. 部署与推理"] D --> E["5. 监控与反馈"] end B --> C E -. 反馈数据流.-> A ```

- 开源模型生态:Hugging Face 托管模型数量已突破 190 万个,模型选型不再是主要障碍。 - 时间分配现实:80% 耗费在数据工程与准备阶段,仅 20% 用于建模与训练。 - 核心结论:存储战略直接决定了业务的价值转化时间(Time to Value)。

---

[04:26](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=266s) 阶段一:智能数据摄取与活跃归档(Ingest & Active Archive)

AI 管道的第一步是数据摄取与归档,但“归档”在 AI 语境下绝不等于放入冷存储(Cold Storage),而必须是兼具高持久性与极速读写能力的“活跃归档”(Active Archive)。当前最大的工程瓶颈在于数据的高度碎片化——原始数据形态各异,零散孤立在各类 SaaS 平台、内部文件共享系统以及不同的公有云环境中。很多团队最常犯的错误,是在明确了业务目标并选定模型后,才惊觉数据分散各处,不得不停下手头工作临时搭建数据流水线。

企业实际上每天都在无意识地生成高价值的 AI 就绪数据,例如 Zoom 视频会议录音、客户支持通话录音、用户行为日志以及屏幕录制文件。演讲者分享了一个真实案例:某企业曾采购第三方 AI 客服系统处理用户交互,所有的客户聊天记录均存放在该服务商的系统中;当合同期满终止服务时,由于该企业此前未在自有存储中同步留存数据,导致宝贵的历史客服交互数据全部丢失。

实现智能摄取的核心在于元数据(Metadata)治理。元数据是跨越 CSV、图片、视频、PDF 等异构格式的通用粘合剂。在摄取阶段提取丰富的元数据构建可检索的归档库,能大幅缩减后续进入建模阶段所需的时间。在工具链选择上,Backblaze B2 提供了高可预测成本与不可变特性;配合 Apache Airflow 或 Fivetran 等工具构建 ETL 管道。值得一提的是,现代 AI 代码生成工具能够极其精准地生成 Airflow DAG 脚本,极大加速了摄取管道的构建。同时,必须开启对象锁定(Object Lock)防篡改,并利用生命周期规则自动沉淀冷数据以优化开销。

> “更多数据胜过聪明算法,但更好的数据胜过更多数据(More data beats clever algorithms, but better data beats more data)。” —— Peter Norvig(Google 知名研究员)

- 孤岛风险:业务数据被锁定在第三方 SaaS 平台可能导致供应商解约时的数据资产永久灭失。 - 管道自动化:利用 AI 自动生成 Apache Airflow DAG 脚本,可大幅提升摄取流水线的构建效率。 - 治理基线:采用 S3 兼容的 Object Lock(对象锁定)保障不可篡改,通过生命周期策略自动优化长期存储成本。

---

[08:29](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=509s) 阶段二:数据处理、特征工程与可追溯性治理

模型输出质量完全取决于数据处理阶段的工程纪律,处理阶段的吞吐效率直接决定了算法团队的迭代步调。首先,清洗与标注是把原始碎片转化为模型训练材料的关键,清洗后的数据集应存放在具备对象锁定的存储桶中,确保原始输入在合规审计与版本回滚时有据可查。其次,特征工程是从原始数据中提取趋势、模式等高价值信号的桥梁;选用高效的数据存储格式不仅能优化计算性能,还能大幅削减存储成本。

以视频数据的处理流水线为例:海量视频首先被拆分为连续的视频片段或单帧图像;随后通过人工标注或机器学习自动化标签进行元数据打标;接着进入特征提取流水线——利用方向梯度直方图(HOG)检测边缘与几何轮廓,利用光流直方图(Optical Flow)捕捉帧间动态位移,结合运动分析提取高维行为模式。在这一过程中,从原始视频碎片、标注集、提取特征到评估指标,每一个中间阶段都会生成高价值的数据资产,并全部在对象存储中进行版本化归档。

```mermaid flowchart TD accTitle: Video Data Processing Pipeline subgraph Raw["原始输入"] A["原始视频数据集"] --> B["视频分片与抽帧"] end subgraph Feature["标注与特征工程"] B --> C["人工 / ML 自动化标注"] C --> D["特征提取: HOG 边缘检测"] C --> E["特征提取: 光流动态捕捉"] C --> F["行为与运动模式分析"] end subgraph Storage["资产归档"] D & E & F --> G["版本化特征库 (Backblaze B2)"] end ```

数据处理还必须包含科学的分区(Partitioning)与血缘(Lineage)治理。将数据集严格划分为训练集、验证集与推理集,能显著提升实验的可复现性。合规治理的核心是记录每一次转换操作、Schema 变更以及所引用的数据源,并在对象存储中沉淀版本快照。

- 处理工具:Apache Spark、Dask、Apache Beam 等分布式计算引擎。 - 标注生态:Label Studio(开源)、Snorkel 等工具。 - 自动化联动:利用对象存储的事件通知(Event Notifications)机制,自动触发下游特征提取与训练任务。

---

[11:31](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=691s) 阶段三与阶段四:模型训练加速、检查点与高并发推理

阶段三(模型实验与训练)是将静态数据转化为动态产品的核心环节。在这一阶段,高吞吐的数据流转至关重要。工程团队通常采用数据流式传输(Streaming)与预取(Prefetching)技术,将清洗后的数据集高效喂入 GPU 高性能计算集群;配合数据分片(Data Sharding)提升 I/O 并发度,消除数据读取瓶颈。训练并非总是一帆风顺,频繁且自动地保存模型检查点(Checkpoints)、配置文件与运行时环境,不仅能大幅降低硬件故障导致的数据丢失风险、便于断点续训,还能为针对特定下游任务的微调实验提供版本基线。

阶段四(模型部署与推理)同样高度依赖底层存储。模型交付效率与模型本身质量同等重要。在生产环境中,模型服务需要跨多云环境分发微调权重,实时接收端侧应用请求并快速返回预测。

```mermaid flowchart LR accTitle: Model Inference Flow subgraph Input["输入阶段"] A["应用请求数据"] --> B["预处理 / 向量化"] end subgraph Inference["推理引擎"] B --> C["推理服务 (KServe / TorchServe)"] D["存储库: 模型权重 & 运行配置"] --> C end subgraph Output["输出阶段"] C --> E["预测输出结果"] E --> F["日志与指标沉淀 (B2 存储)"] end ```

- 训练框架与追踪:以 PyTorch、TensorFlow 为核心训练框架,搭配完善的实验追踪(Experiment Tracking)工具。 - 检查点机制:将 Checkpoints 存入对象存储,确保在节点崩溃时能即时回滚并在分布式训练节点间无缝同步。 - 推理服务基础设施:借助 KServe、TorchServe 等服务化工具,结合模型注册表(Model Registry)严格管理模型发布审批流与 CI/CD 自动化部署。

---

[14:43](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=883s) 阶段五:监控反馈闭环与 Backblaze B2 Overdrive 极速存储

“无法管理你未曾监控的事物。”在阶段五中,系统必须为每一次推理调用生成可追溯的日志,并与后续的用户反馈数据相关联。随着线上真实真值(Ground Truth)数据的持续沉淀,团队需要长期监测模型准确率的变化,及早捕获不可避免的模型漂移(Model Drift)。保持结构化日志记录是实现大规模监控的前提,所有日志、指标及预测输出均应归档至版本化存储桶中,并通过存储事件通知自动触发再训练流水线,形成完整的自愈与迭代闭环。

引用 Backblaze 首席执行官 Gleb Budman 的洞察:“视频的数据体量远远超出图片,而图片又远远超出文本。数据规模的爆炸式增长才刚刚开始。”视频正在成为多模态 AI 的全新基准线,这种指数级增长对存储层的吞吐能力和经济性提出了严苛挑战。

为此,Backblaze 推出了专为 AI 和高性能计算负载打造的全新存储层——**Backblaze B2 Overdrive**。该产品提供高达 Tbps(太比特/秒)级别的超高吞吐带宽,专用于加速模型训练、微调与高并发推理阶段对 GPU 集群的数据供给。其具备免公网流出费(No Egress Fees)、完全兼容 AWS S3 API 的特性,并广泛适用于 AI/ML 训练集群直连、高性能计算(HPC)模拟分析以及低延迟媒体流媒体分发等高吞吐场景。

- 监控工具栈:Prometheus、whylogs 用于指标监控与模型漂移分析。 - 闭环机制:结构化日志实时归档至 B2 存储桶,触发自动化模型再训练任务。 - B2 Overdrive 核心亮点:Tbps 级极速吞吐、零流出费用、专为 GPU 计算集群设计、即插即用的 S3 兼容架构。

## Notable quotes > [01:24](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=84s) AI = 模型(Models) × 算力(Compute) × 数据(Data) — Jeronimo De Leon

> [01:24](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=84s) 你应该尽可能多地收集物理世界的数据,以推动 AI 的演进。 — Jensen Huang

> [01:24](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=84s) 高达 80% 的时间被消耗在数据环节——包括数据识别、聚合、清洗、标注和增强,而模型训练与调优本身仅占 20%。 — Jeronimo De Leon

> [04:26](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=266s) 更多数据胜过聪明算法,但更好的数据胜过更多数据(More data beats clever algorithms, but better data beats more data)。 — Peter Norvig

> [08:29](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=509s) 模型输出质量完全取决于数据处理阶段的工程纪律,处理阶段的吞吐效率直接决定了算法团队的迭代步调。 — Jeronimo De Leon

> [14:43](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=883s) 无法管理你未曾监控的事物。 — Jeronimo De Leon

> [14:43](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=883s) 视频的数据体量远远超出图片,而图片又远远超出文本。数据规模的爆炸式增长才刚刚开始。 — Gleb Budman

> [01:24](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=84s) 存储战略直接决定了业务的价值转化时间(Time to Value)。 — Jeronimo De Leon

## Mentioned Jeronimo De Leon, Backblaze, Backblaze B2, Backblaze B2 Overdrive, Gleb Budman, Jensen Huang, Peter Norvig, IBM Watson, Spell, Reddit, 彭博社 (Bloomberg), Intellis, Hugging Face, Meta, Google, Zoom, Apache Airflow, Fivetran, Apache Spark, Dask, Apache Beam, Label Studio, Snorkel, PyTorch, TensorFlow, KServe, TorchServe, Prometheus, whylogs, AWS S3

## Video description Jeronimo De Leon, Senior Product Manager, AI, Backblaze

Abstracts

Behind every successful AI initiative is a robust, scalable data layer. This talk explores how object storage supports every phase of the AI lifecycle, from data ingestion and labeling to model deployment and monitoring. We’ll explore how strategic use of object storage across the AI lifecycle enables scalable, efficient pipelines by aligning performance with workload needs. Whether you’re launching your first AI use case or scaling enterprise models, your data architecture decisions today will shape your success tomorrow.

[Source](https://www.youtube.com/watch?v=Z6fd5-eCaO4)

中文简报

Backblaze推高速对象存储以解决AI数据瓶颈 由于数据准备在整个AI生命周期中消耗了80%的工程精力,保持高吞吐量的活跃存储直接决定了模型迭代速度并能防止GPU算力闲置。 De Leon将数据定位为AI开发的基础乘数($\text{AI} = \text{Models} \times \text{Compute} \times \text{Data}$),并指出大约80%的项目精力都消耗在数据发现、清洗与准备上,而非模型训练。他概述了AI生命周期的五个阶段:摄取与活跃归档、数据处理与特征工程、模型训练、推理部署以及持续监控。演讲强调了不可变对象存储、统一元数据索引以及Backblaze B2 Overdrive等高吞吐层如何消除GPU I/O瓶颈并防止供应商锁定。最终,构建一个具有弹性且兼顾成本效益的存储层,被阐述为管理不断增长的多模态数据集以及加速模型迭代的必要前提。 现代 AI 的核心等式为“模型 × 算力 × 数据”,其中数据是决定算力与模型架构能否充分发挥效能的关键倍增器;整个 5 阶段 AI 生命周期中约 80% 的工程精力都消耗在数据发现、清洗与准备上,存储架构直接决定了企业的迭代速度。 (2:47) AI 生态已由模型匮乏转向模型充盈,基于统一流水线编排各类专业开源模型已成主流趋势;随着前沿实验室加速迈向多模态“世界模型”,企业必须未雨绸缪地主动采集并归档各类组织内部数据资产。 (1:41) 现代数据归档必须作为可随时检索的“活跃归档”而非静态冷存储,利用丰富元数据打通多模态资产;企业需在独立对象存储中保持对原始数据的绝对控制权,并通过 Object Lock 确立不可变性,以规避 SaaS 平台锁死及数据永久丢失的风险。 (4:26) 高质精炼的数据对模型效果的提升远胜于单纯的数据堆砌或算法微调;在特征工程与 GPU 训练阶段,通过 Parquet/Lance 等标准化格式、细粒度版本控制及高吞吐数据流,能够消除 I/O 瓶颈并确保流水线的可审计与可重现。 (8:29)

精炼阅读摘要

Backblaze 人工智能高级产品经理 Jeronimo De Leon 指出,人工智能的价值取决于模型、算力与数据的协同,其中数据是核心乘数;鉴于工程团队大约 80% 的时间耗费在数据清洗与准备等环节,具备高吞吐与版本控制能力的存储架构已成为贯穿 AI 全生命周期的关键基础设施。 数据乘数效应与研发阶段的80%瓶颈 (1:41) De Leon 提出现代人工智能的核心公式为模型、算力与数据的乘积。当前行业已经从模型稀缺转变为模型过剩,例如 Hugging Face 上已公开超过 190 万个预训练模型,现代 AI 开发往往不再依赖从零训练单一单体模型,而是转向编排多个专用模型协同工作。在算力与模型权重相对容易获取的背景下,数据成为决定系统性能的核心乘数。 然而,工程团队的实际精力分配存在明显失衡。约 80% 的项目时间被数据发现、归集、清洗、标注和特征工程等数据密集型任务占用,仅有约 20% 的时间用于模型架构设计、超参数调优及训练部署。由于建模本身已不再是主要瓶颈,低效的存储层设计会直接拖累前期的准备效率,因此优化存储底座是加速整个 AI 迭代周期的根本手段。 动态活跃归档与企业数据自主权 (4:26) 在现代 AI 架构中,数据归档不能再被视为离线搁置的“冷数据存储”,而必须保持高持久性、可检索性并能即时供下游管道调用。目前企业面临的主要阻碍是数据碎片化,原始数据广泛分散在各类 SaaS 工具、共享网盘和异构云端中。De Leon 引用案例说明,曾有客户将全部客服业务托付给第三方 AI SaaS 厂商,在合同终止后因缺乏独立归档机制,彻底丧失了沉淀多年的历史对话数据,企业必须将原始数据的所有权保留在自身可控的存储层中。 智能摄取流程应通过统一元数据来关联会议录音、客服音频、操作日志等非结构化多模态资源。利用 Apache Airflow 或 Fivetran 等数据编排工具,结合存储层的对象锁定功能确保数据防篡改与审计合规。De Leon 援引 Peter Norvig 的观点强调“优质数据胜过海量数据”,通过专业清洗与高质量标注精选的数据集,比盲目堆叠低质网络抓取数据更能提升模型表现。 特征工程版本化与消除训练IO瓶颈 (8:29) 数据处理阶段直接决定了模型的输出质量与迭代速度。以计算机视觉流水线为例,原始视频被切分为帧或短视频片段后,经由 Label Studio 或 Snorkel AI 等工具进行标注,并进一步提取方向梯度直方图(HOG)、光流直方图(HOF)及高阶行为运动分析等特征。此类特征衍生品需要采用 Parquet 或 Lance 等标准化格式持久化存储,并借助 Apache Spark、Dask 等框架记录数据血缘与转换脚本,确保流水线具有审计追溯能力与可复现性。 进入模型实验与训练阶段后,海量数据需要无延迟地注入 GPU 计算集群。通过数据流式传输、智能预取和数据集分片,能够防止处理器因 I/O 等待而闲置。同时,分布式训练极易遭遇节点硬件故障或损失率异常,实施高频次检查点机制能够保存模型权重与优化器状态快照,在发生中断时大幅缩减重复计算的开销并便于精准微调。 多模态视频激增与生产闭环监控 (14:43) 模型投入生产部署并不意味着数据生命周期的结束。在推理阶段,部署在 KServe 或 TorchServe 上的模型需要配合不可变注册表拉取权重文件,并实时记录每一次推理请求与用户交互日志。生产团队必须持续监控遥测指标以捕捉数据漂移和模型漂移,从而将线上反馈重新注回摄取管道,形成持续再训练的闭环系统。 多模态数据正推动存储需求呈指数级爆发。De Leon 引用英伟达首席执行官黄仁勋关于尽可能收集物理世界数据以迈向“世界模型”的论述,并结合 Backblaze 首席执行官 Gleb Budman 的判断指出,视频蕴含的信息量远超图像与文本,正迅速成为企业 AI 负载的新基线。应对以太比特级速率吞吐的视频流与推理日志,迫使组织必须采纳兼具低延迟、大带宽及无出向流量费优势的高性能存储方案。 De Leon 论证了开放且经济的对象存储是维系现代 AI 管道运转的生命线,但随着多模态“世界模型”引发数据体量急剧膨胀,企业如何在控制长期存储成本与维持 GPU 集群超高 I/O 吞吐之间保持架构平衡,仍是工程实践中必须面对的现实课题。

Detailed notes — zh

## Background 本视频由 YouTube 频道 Ai4 于 2025 年 8 月 24 日发布,主讲人为 Backblaze 的 AI 高级产品经理 Jeronimo De Leon。根据视频简介,演讲深入探讨了对象存储如何在从数据摄取、标注到模型部署与监控的整个 AI 生命周期中发挥支撑作用,以帮助企业通过合理匹配工作负载与存储性能来构建可扩展且高效的 AI 数据底座。 ## TL;DR 演讲指出在整个 AI 生命周期中,高达 80% 的工程时间消耗在数据准备与治理上,底层存储架构直接决定了业务的落地周期与创新速度。演讲者将 AI 管道系统拆解为智能摄取与活跃归档、特征工程处理、模型训练加速、推理部署服务以及监控闭环五个核心阶段,强调了元数据治理、对象锁定与血缘追溯的不可或缺性。针对多模态与视频数据爆发带来的算力供给瓶颈,Backblaze 提出了兼具高持久性与经济性的对象存储架构,并推出支持 Tbps 级高吞吐且免公网流出费的 Backblaze B2 Overdrive,全面释放 GPU 集群的计算潜能。 ## Atmosphere & style 演讲整体呈现出务实、严谨且富有工业实践底蕴的技术分享风格,演讲者依托其在 IBM Watson、Spell、彭博社等机构积累的深厚从业背景,讲解条理分明且直击工程痛点。叙事节奏紧凑而流畅,避开了浮夸的概念炒作,通过直观的生命周期图解与切中要害的实操案例(如 SaaS 数据丢失教训与视频特征提取流水线)层层递进。整场分享散发着系统架构师的笃定与理性,为观众带来了从底层数据治理切入、最终闭环至前沿模型迭代的沉浸式技术洞察。 ## Key takeaways - [00:04](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=4s) 底层数据存储与架构设计是决定 AI 项目迭代速度与价值转化时间(Time to Value)的核心基石,而非仅取决于算法本身。 - [01:24](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=84s) 在 AI 成功公式(模型 × 算力 × 数据)中,数据是核心乘数,且整个 AI 生命周期的 80% 时间消耗在数据准备与工程环节,仅 20% 用于模型训练与调优。 - [01:24](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=84s) 开源模型生态(如 Hugging Face 拥有的 190 万+ 模型)使模型不再稀缺,AI 发展重心正向将专业模型流水线组合为智能体(Agent)及构建物理世界模型转移。 - [04:26](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=266s) AI 语境下的数据归档必须是兼具高持久性与极速读写的“活跃归档(Active Archive)”,而不是将数据放入冷存储。 - [04:26](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=266s) 企业必须在自有存储中建立统一的数据湖与活跃归档,避免将高价值交互数据锁定在第三方 SaaS 服务商中导致供应商解约时数据资产丢失。 - [04:26](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=266s) 元数据(Metadata)是异构非结构化数据的通用粘合剂,利用对象锁定(Object Lock)与生命周期规则可兼顾数据防篡改合规性与存储成本优化。 - [08:29](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=509s) 在数据处理与特征工程阶段,将中间结果(从抽帧、标注到提取的特征)在对象存储中进行版本化归档与血缘追踪,是确保实验可复现与合规治理的关键。 - [11:31](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=691s) 模型训练阶段依赖流式传输(Streaming)与数据分片以消除 GPU 计算的 I/O 瓶颈,并需频繁自动保存检查点(Checkpoints)以支持断点续训和微调实验。 - [14:43](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=883s) 通过对象存储沉淀推理日志与用户反馈,并结合监控指标分析模型漂移(Model Drift),能通过存储事件通知自动触发再训练,形成闭环自愈系统。 - [14:43](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=883s) 随着多模态与视频数据的指数级增长,Backblaze 推出 Tbps 级吞吐且免流出费的 B2 Overdrive 存储层,专门满足 GPU 训练和高并发推理的高性能需求。 ## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=4s) 演讲者背景与 Backblaze 的存储基石 在 AI 领域,团队迭代与创新的速度往往不由算法单独决定,而是深植于底层的存储架构之中。演讲者 Jeronimo De Leon(Backblaze AI 高级产品经理)拥有超过十年的 AI 从业经验:早年在 IBM Watson 负责开发者推广工具,随后加入 MLOps 初创公司 Spell(后被 Reddit 收购),在彭博社(Bloomberg)主导过市场部门的数据湖基础设施与对话式代理开发,近期又在房地产数据洞察初创公司 Intellis 利用大语言模型聚合房产数据并生成洞察,如今则在 Backblaze 负责 AI 存储产品。 Backblaze 的核心使命是让数据的存储、保护和使用变得“出奇地简单”(astonishingly easy),强调极简上手体验与透明可预测的定价模式。公司成立于 2007 年,于 2021 年正式上市,目前在全球拥有超过 50 万家客户。其中,AI 客户已成为其增长最迅速的群体。在底层硬件规模上,Backblaze 依靠部署在 30 万块机械硬盘上的存储集群,承载着超过 4,000 PB(即 4 EB)的海量数据。 - 公司规模:成立于 2007 年,2021 年上市,全球 500,000+ 客户。 - 存储体量:300,000 块运转中的机械硬盘,总计管理超过 4,000 PB 数据。 - 业务重心:AI 客户已成为当前增速最快的核心业务板块。 --- ### [01:24](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=84s) AI 成功方程式与被低估的“80% 数据瓶颈” 业界广泛流传着一个经典公式:$\text{AI} = \text{模型(Models)} \times \text{算力(Compute)} \times \text{数据(Data)}$。在这三要素中,数据是真正的核心乘数因子(multiplier)。算力与模型固然重要,但如果数据没有存放在合适的位置、以高效的方式流动,对算力与模型的优化都无从谈起。如今 Hugging Face 上已有超过 190 万个开源模型,模型本身早已不是稀缺资源。随着 AI Agent(智能体)的兴起,工程重点已转向如何将多个专用模型进行流水线组合——正如早期自然语言处理(NLP)工作流中,系统会在预测前串联“意图分类”与“实体抽取”模型一样,现成的模型随时可供测试与组合。 引用英伟达 CEO 黄仁勋(Jensen Huang)的观点:“你应该尽可能多地收集物理世界的数据,以推动 AI 的演进。”目前大语言模型虽然处于聚光灯下,但仅靠文本数据很快会触及天花板。Meta 和 Google 等巨头正在全力研发下一代“世界模型”(World Models),这要求企业必须提前规划数据归档,为未来多模态模型的演进做好储备。 大多数人未曾意识到的是,在 AI 管道的整个生命周期中,**高达 80% 的时间被消耗在数据环节**——包括数据识别、聚合、清洗、标注和增强,而模型训练与调优本身仅占 20%。如果想要加速 AI 创新,就必须优先优化这占据八成时间的底层数据基础设施。 ```mermaid flowchart LR accTitle: AI Lifecycle Overview subgraph S1["数据准备 (80% 耗时)"] direction TB A["1. 摄取与活跃归档"] --> B["2. 数据处理与特征工程"] end subgraph S2["建模与生产 (20% 耗时)"] direction TB C["3. 实验与训练"] --> D["4. 部署与推理"] D --> E["5. 监控与反馈"] end B --> C E -. 反馈数据流.-> A ``` - 开源模型生态:Hugging Face 托管模型数量已突破 190 万个,模型选型不再是主要障碍。 - 时间分配现实:80% 耗费在数据工程与准备阶段,仅 20% 用于建模与训练。 - 核心结论:存储战略直接决定了业务的价值转化时间(Time to Value)。 --- ### [04:26](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=266s) 阶段一:智能数据摄取与活跃归档(Ingest & Active Archive) AI 管道的第一步是数据摄取与归档,但“归档”在 AI 语境下绝不等于放入冷存储(Cold Storage),而必须是兼具高持久性与极速读写能力的“活跃归档”(Active Archive)。当前最大的工程瓶颈在于数据的高度碎片化——原始数据形态各异,零散孤立在各类 SaaS 平台、内部文件共享系统以及不同的公有云环境中。很多团队最常犯的错误,是在明确了业务目标并选定模型后,才惊觉数据分散各处,不得不停下手头工作临时搭建数据流水线。 企业实际上每天都在无意识地生成高价值的 AI 就绪数据,例如 Zoom 视频会议录音、客户支持通话录音、用户行为日志以及屏幕录制文件。演讲者分享了一个真实案例:某企业曾采购第三方 AI 客服系统处理用户交互,所有的客户聊天记录均存放在该服务商的系统中;当合同期满终止服务时,由于该企业此前未在自有存储中同步留存数据,导致宝贵的历史客服交互数据全部丢失。 实现智能摄取的核心在于元数据(Metadata)治理。元数据是跨越 CSV、图片、视频、PDF 等异构格式的通用粘合剂。在摄取阶段提取丰富的元数据构建可检索的归档库,能大幅缩减后续进入建模阶段所需的时间。在工具链选择上,Backblaze B2 提供了高可预测成本与不可变特性;配合 Apache Airflow 或 Fivetran 等工具构建 ETL 管道。值得一提的是,现代 AI 代码生成工具能够极其精准地生成 Airflow DAG 脚本,极大加速了摄取管道的构建。同时,必须开启对象锁定(Object Lock)防篡改,并利用生命周期规则自动沉淀冷数据以优化开销。 > “更多数据胜过聪明算法,但更好的数据胜过更多数据(More data beats clever algorithms, but better data beats more data)。” —— Peter Norvig(Google 知名研究员) - 孤岛风险:业务数据被锁定在第三方 SaaS 平台可能导致供应商解约时的数据资产永久灭失。 - 管道自动化:利用 AI 自动生成 Apache Airflow DAG 脚本,可大幅提升摄取流水线的构建效率。 - 治理基线:采用 S3 兼容的 Object Lock(对象锁定)保障不可篡改,通过生命周期策略自动优化长期存储成本。 --- ### [08:29](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=509s) 阶段二:数据处理、特征工程与可追溯性治理 模型输出质量完全取决于数据处理阶段的工程纪律,处理阶段的吞吐效率直接决定了算法团队的迭代步调。首先,清洗与标注是把原始碎片转化为模型训练材料的关键,清洗后的数据集应存放在具备对象锁定的存储桶中,确保原始输入在合规审计与版本回滚时有据可查。其次,特征工程是从原始数据中提取趋势、模式等高价值信号的桥梁;选用高效的数据存储格式不仅能优化计算性能,还能大幅削减存储成本。 以视频数据的处理流水线为例:海量视频首先被拆分为连续的视频片段或单帧图像;随后通过人工标注或机器学习自动化标签进行元数据打标;接着进入特征提取流水线——利用方向梯度直方图(HOG)检测边缘与几何轮廓,利用光流直方图(Optical Flow)捕捉帧间动态位移,结合运动分析提取高维行为模式。在这一过程中,从原始视频碎片、标注集、提取特征到评估指标,每一个中间阶段都会生成高价值的数据资产,并全部在对象存储中进行版本化归档。 ```mermaid flowchart TD accTitle: Video Data Processing Pipeline subgraph Raw["原始输入"] A["原始视频数据集"] --> B["视频分片与抽帧"] end subgraph Feature["标注与特征工程"] B --> C["人工 / ML 自动化标注"] C --> D["特征提取: HOG 边缘检测"] C --> E["特征提取: 光流动态捕捉"] C --> F["行为与运动模式分析"] end subgraph Storage["资产归档"] D & E & F --> G["版本化特征库 (Backblaze B2)"] end ``` 数据处理还必须包含科学的分区(Partitioning)与血缘(Lineage)治理。将数据集严格划分为训练集、验证集与推理集,能显著提升实验的可复现性。合规治理的核心是记录每一次转换操作、Schema 变更以及所引用的数据源,并在对象存储中沉淀版本快照。 - 处理工具:Apache Spark、Dask、Apache Beam 等分布式计算引擎。 - 标注生态:Label Studio(开源)、Snorkel 等工具。 - 自动化联动:利用对象存储的事件通知(Event Notifications)机制,自动触发下游特征提取与训练任务。 --- ### [11:31](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=691s) 阶段三与阶段四:模型训练加速、检查点与高并发推理 阶段三(模型实验与训练)是将静态数据转化为动态产品的核心环节。在这一阶段,高吞吐的数据流转至关重要。工程团队通常采用数据流式传输(Streaming)与预取(Prefetching)技术,将清洗后的数据集高效喂入 GPU 高性能计算集群;配合数据分片(Data Sharding)提升 I/O 并发度,消除数据读取瓶颈。训练并非总是一帆风顺,频繁且自动地保存模型检查点(Checkpoints)、配置文件与运行时环境,不仅能大幅降低硬件故障导致的数据丢失风险、便于断点续训,还能为针对特定下游任务的微调实验提供版本基线。 阶段四(模型部署与推理)同样高度依赖底层存储。模型交付效率与模型本身质量同等重要。在生产环境中,模型服务需要跨多云环境分发微调权重,实时接收端侧应用请求并快速返回预测。 ```mermaid flowchart LR accTitle: Model Inference Flow subgraph Input["输入阶段"] A["应用请求数据"] --> B["预处理 / 向量化"] end subgraph Inference["推理引擎"] B --> C["推理服务 (KServe / TorchServe)"] D["存储库: 模型权重 & 运行配置"] --> C end subgraph Output["输出阶段"] C --> E["预测输出结果"] E --> F["日志与指标沉淀 (B2 存储)"] end ``` - 训练框架与追踪:以 PyTorch、TensorFlow 为核心训练框架,搭配完善的实验追踪(Experiment Tracking)工具。 - 检查点机制:将 Checkpoints 存入对象存储,确保在节点崩溃时能即时回滚并在分布式训练节点间无缝同步。 - 推理服务基础设施:借助 KServe、TorchServe 等服务化工具,结合模型注册表(Model Registry)严格管理模型发布审批流与 CI/CD 自动化部署。 --- ### [14:43](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=883s) 阶段五:监控反馈闭环与 Backblaze B2 Overdrive 极速存储 “无法管理你未曾监控的事物。”在阶段五中,系统必须为每一次推理调用生成可追溯的日志,并与后续的用户反馈数据相关联。随着线上真实真值(Ground Truth)数据的持续沉淀,团队需要长期监测模型准确率的变化,及早捕获不可避免的模型漂移(Model Drift)。保持结构化日志记录是实现大规模监控的前提,所有日志、指标及预测输出均应归档至版本化存储桶中,并通过存储事件通知自动触发再训练流水线,形成完整的自愈与迭代闭环。 引用 Backblaze 首席执行官 Gleb Budman 的洞察:“视频的数据体量远远超出图片,而图片又远远超出文本。数据规模的爆炸式增长才刚刚开始。”视频正在成为多模态 AI 的全新基准线,这种指数级增长对存储层的吞吐能力和经济性提出了严苛挑战。 为此,Backblaze 推出了专为 AI 和高性能计算负载打造的全新存储层——**Backblaze B2 Overdrive**。该产品提供高达 Tbps(太比特/秒)级别的超高吞吐带宽,专用于加速模型训练、微调与高并发推理阶段对 GPU 集群的数据供给。其具备免公网流出费(No Egress Fees)、完全兼容 AWS S3 API 的特性,并广泛适用于 AI/ML 训练集群直连、高性能计算(HPC)模拟分析以及低延迟媒体流媒体分发等高吞吐场景。 - 监控工具栈:Prometheus、whylogs 用于指标监控与模型漂移分析。 - 闭环机制:结构化日志实时归档至 B2 存储桶,触发自动化模型再训练任务。 - B2 Overdrive 核心亮点:Tbps 级极速吞吐、零流出费用、专为 GPU 计算集群设计、即插即用的 S3 兼容架构。 ## Notable quotes > [01:24](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=84s) AI = 模型(Models) × 算力(Compute) × 数据(Data) — Jeronimo De Leon > [01:24](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=84s) 你应该尽可能多地收集物理世界的数据,以推动 AI 的演进。 — Jensen Huang > [01:24](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=84s) 高达 80% 的时间被消耗在数据环节——包括数据识别、聚合、清洗、标注和增强,而模型训练与调优本身仅占 20%。 — Jeronimo De Leon > [04:26](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=266s) 更多数据胜过聪明算法,但更好的数据胜过更多数据(More data beats clever algorithms, but better data beats more data)。 — Peter Norvig > [08:29](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=509s) 模型输出质量完全取决于数据处理阶段的工程纪律,处理阶段的吞吐效率直接决定了算法团队的迭代步调。 — Jeronimo De Leon > [14:43](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=883s) 无法管理你未曾监控的事物。 — Jeronimo De Leon > [14:43](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=883s) 视频的数据体量远远超出图片,而图片又远远超出文本。数据规模的爆炸式增长才刚刚开始。 — Gleb Budman > [01:24](https://www.youtube.com/watch?v=Z6fd5-eCaO4&t=84s) 存储战略直接决定了业务的价值转化时间(Time to Value)。 — Jeronimo De Leon ## Mentioned Jeronimo De Leon, Backblaze, Backblaze B2, Backblaze B2 Overdrive, Gleb Budman, Jensen Huang, Peter Norvig, IBM Watson, Spell, Reddit, 彭博社 (Bloomberg), Intellis, Hugging Face, Meta, Google, Zoom, Apache Airflow, Fivetran, Apache Spark, Dask, Apache Beam, Label Studio, Snorkel, PyTorch, TensorFlow, KServe, TorchServe, Prometheus, whylogs, AWS S3 ## Video description Jeronimo De Leon, Senior Product Manager, AI, Backblaze Abstracts Behind every successful AI initiative is a robust, scalable data layer. This talk explores how object storage supports every phase of the AI lifecycle, from data ingestion and labeling to model deployment and monitoring. We’ll explore how strategic use of object storage across the AI lifecycle enables scalable, efficient pipelines by aligning performance with workload needs. Whether you’re launching your first AI use case or scaling enterprise models, your data architecture decisions today will shape your success tomorrow. [Source](https://www.youtube.com/watch?v=Z6fd5-eCaO4)

Source quotes

[1:24] Jeronimo De Leon: AI = 模型(Models) × 算力(Compute) × 数据(Data) [1:24] Jensen Huang: 你应该尽可能多地收集物理世界的数据,以推动 AI 的演进。 [1:24] Jeronimo De Leon: 高达 80% 的时间被消耗在数据环节——包括数据识别、聚合、清洗、标注和增强,而模型训练与调优本身仅占 20%。 [4:26] Peter Norvig: 更多数据胜过聪明算法,但更好的数据胜过更多数据(More data beats clever algorithms, but better data beats more data)。 [8:29] Jeronimo De Leon: 模型输出质量完全取决于数据处理阶段的工程纪律,处理阶段的吞吐效率直接决定了算法团队的迭代步调。 [14:43] Jeronimo De Leon: 无法管理你未曾监控的事物。 [14:43] Gleb Budman: 视频的数据体量远远超出图片,而图片又远远超出文本。数据规模的爆炸式增长才刚刚开始。 [1:24] Jeronimo De Leon: 存储战略直接决定了业务的价值转化时间(Time to Value)。