亚马逊云科技发布3纳米芯片与Nova大模型 压注企业推理降本

3nm AI芯片、上百模型、最大集群，亚马逊云科技全面加码AI生产力【硅谷101】 — 硅谷101

硅谷101

生成式AI正通过自研算力与模型蒸馏等技术大幅降低B端综合成本，促使企业在没有“超级应用”爆发的情况下也能悄然实现生产力闭环。

AI-assisted summary of 3nm AI芯片、上百模型、最大集群，亚马逊云科技全面加码AI生产力【硅谷101】 — original source. Check the original for full context.

Source published:

Detailed notes

## Background 该内容由 Bilibili 平台的“硅谷 101”频道于 2024 年 12 月 6 日发布。视频简介指出，内容主要聚焦于科技巨头亚马逊云科技在 2024 年 re:Invent 大会上带来的重磅更新，展示了其如何通过算力层、工具层及应用层的全面升级来降本增效并引领 2025 年的 AI 生产力生态。

## TL;DR 视频深度聚焦了 2024 AWS re:Invent 大会的核心科技成果与 2025 年的 AI 战略布局。亚马逊云科技不仅推出了性能强劲的 Trainium 2 实例、Ultra Servers 以及采用 3 纳米工艺的下一代 Trainium 3 芯片规划，还打造了全球领先的 AI 计算集群。同时，官方发布了全新的 Amazon Nova 自研大模型家族，并升级了模型蒸馏、防幻觉自动推理检查等中层工具，再配合应用层功能强大的 Amazon Q 开发者助手，全方位赋能企业实现降本增效与数字化转型。

## Atmosphere & style 整个视频洋溢着科技前沿的震撼感与极客式的专业理性，通过硅谷 101 团队敏锐的行业观察视角，向观众传递出一种直击科技浪潮核心的兴奋与鼓舞。叙事风格专业深刻、条理分明，在拆解复杂硬核的云算力架构与 AI 模型生态时显得游刃有余、逻辑严密。随着一个接一个颠覆性提效数据的公布，以及从代码迁移到 AI 广告、珊瑚礁修复等生动落地案例的呈现，视频展现出一种科技正在悄然重塑世界的真实力量感，让人真切感受到“拥抱创新最佳时机”的激昂与期待。

## Key takeaways - [00:00](https://www.bilibili.com/video/BV1XviiYHEvv?t=0s) 2024年AWS re:Invent大会展示了亚马逊云科技在生成式AI方向的2025年最新战略，重点压注在全面升级AI服务生态，侧重支持推理阶段需求并解决幻觉、模型蒸馏等痛点。 - [00:00](https://www.bilibili.com/video/BV1XviiYHEvv?t=0s) 基于Trainium 2芯片的Amazon EC2实例已全面上市，性价比比当前的GPU高出30%到40%，单实例计算能力峰值可达20.8 Petaflops。 - [00:00](https://www.bilibili.com/video/BV1XviiYHEvv?t=0s) 针对超大参数模型，AWS推出由四个实例通过Neuralink连接组成的Trainium 2 Ultra Servers，峰值算力达83.2 Petaflops。 - [00:00](https://www.bilibili.com/video/BV1XviiYHEvv?t=0s) AWS与Anthropic合作启动Project Vineyard项目，将构建包含数十万张芯片、算力达其目前集群5倍的全球最大AI计算集群。 - [00:00](https://www.bilibili.com/video/BV1XviiYHEvv?t=0s) AWS透露采用3纳米工艺的下一代Trainium 3芯片将于2025年发布，性能比Trainium 2提升4倍，并将在第三方芯片上推出英伟达Blackwell实例以实现双轨并行。 - [04:59](https://www.bilibili.com/video/BV1XviiYHEvv?t=299s) Amazon Bedrock平台重磅升级自研Amazon Nova系列模型，涵盖从极低成本文本模型到最先进的音视频生成模型，并预计于2025年中期推出"any-to-any"多模态模型。 - [04:59](https://www.bilibili.com/video/BV1XviiYHEvv?t=299s) 推出Amazon Bedrock Model Distillation（模型蒸馏）功能，将大模型知识转移到小模型中，帮助客户实现最高500%的速度提升和75%的成本优化。 - [04:59](https://www.bilibili.com/video/BV1XviiYHEvv?t=299s) 推出市面首个基于逻辑验证防范事实错误的防幻觉工具Automated Reasoning Checks，并实现了可协调执行复杂工作流的多智能体（Multi-agent）协作功能。 - [09:59](https://www.bilibili.com/video/BV1XviiYHEvv?t=599s) 针对底层算力资源不均的浪费痛点，AWS推出SageMaker HyperPod Flexible训练计划和任务治理工具，分别可提升90%的算力利用率和最高降低40%的成本。 - [09:59](https://www.bilibili.com/video/BV1XviiYHEvv?t=599s) 最新推出Amazon Bedrock Marketplace，汇聚多款明星模型使得平台上可选择的基础模型超过100种。 - [09:59](https://www.bilibili.com/video/BV1XviiYHEvv?t=599s) 推出Intelligent Prompt Routing（智能提示路由）技术，能根据提示词自动匹配最合适模型，可帮企业降低30%的成本并避免算力错配。 - [14:59](https://www.bilibili.com/video/BV1XviiYHEvv?t=899s) 顶端应用层的Amazon Q Developer迎来重大升级，可帮各种软件开发任务提效多达80%，允许用户直接使用自然语言建立机器学习模型。 - [14:59](https://www.bilibili.com/video/BV1XviiYHEvv?t=899s) Amazon Q在大规模遗留工作负载转型中展现高效率，在数万个Java应用升级案例中，为亚马逊直接节省4500多年开发工作量以及年均2.6亿美元的成本。 - [14:59](https://www.bilibili.com/video/BV1XviiYHEvv?t=899s) AI技术已在B端企业中悄然赋能，如可口可乐通过AI提升广告制作速度至传统方式的5倍，以及Autodesk在三维建筑设计、智能汽车和生态修复中的创新应用。

## Detailed walkthrough ### [00:00](https://www.bilibili.com/video/BV1XviiYHEvv?t=0s) 2024 AWS re:Invent 盛会开幕与 2025 年 AI 战略布局

当地时间 2024 年 12 月 2 日，亚马逊云科技（AWS）在美国拉斯维加斯开启了新一年的 re:Invent 大会，吸引了全球超过 6 万人参加。这也是亚马逊云科技新上任的 CEO Matt Garman 首次在大会上阐释其在生成式 AI 方向的最新战略。硅谷 101 团队对此进行了深度观察，指出相比去年年底 re:Invent 宣布的企业级 AI 全生态和三层 AI 架构，今年 AWS 压注的重点是 2025 年 AI 服务生态的全面升级。这包括更高效的算力服务、更强大的自研芯片、更创新的数据存储与数据库解决方案，并侧重于支持客户在 AI 推理（Inferencing）阶段的需求，解决幻觉问题、模型蒸馏、Agent 协同以及多模态大模型的研发。

在最受瞩目的算力领域，Matt Garman 宣布基于 Trainium 2 芯片的 Amazon EC2 实例已全面上市。该实例专为高性能深度学习训练和生成式 AI 模型建构而设计，其性价比比当前的 GPU 高出 30% 到 40%。单个 Trainium 2 实例结合了 16 个自研的 Trainium 2 芯片，通过超高速 Neuralink 高带宽和低延迟芯片间互联，提供峰值可达 20.8 Petaflops 的计算能力，非常适合训练和部署几十亿参数规模的 AI 模型。

针对百亿、千亿乃至万亿级超大参数模型的计算需求，AWS 推出了新产品 Trainium 2 Ultra Servers。它由四个 Trainium 2 实例通过 Neuralink 连接组成，共包含 64 个 Trainium 2 芯片，提供峰值达 83.2 Petaflops 的计算能力，相当于将四个实例合并为一个节点，以满足万亿参数模型的训练及推理实时需求。此外，AWS 还宣布了与 AI 明星初创公司 Anthropic 合作的 Project Vineyard 项目，将构建一个包含数十万张 Trainium 芯片的 Ultra Server 集群。Matt Garman 兴奋地表示，该集群的 Exaflops 算力将达到 Anthropic 目前训练其领先的 Claude 模型所用集群的 5 倍，建成后有望成为世界上最大的 AI 计算集群。同时，他透露采用 3 纳米工艺的下一代 Trainium 3 芯片将于 2025 年发布，其性能将比 Trainium 2 提升 4 倍。在第三方芯片合作方面，Matt Garman 宣布将于 2025 年推出采用英伟达 Blackwell GPU 的 P6 系列实例，以确保在自研算力与主流 GPU 算力上双轨并行。

- **大会参与人数**：全球超过 6 万人 - **Trainium 2 实例性价比**：比当前 GPU 高出 30% 至 40% - **单个 Trainium 2 实例算力**：16 个芯片，峰值 20.8 Petaflops - **Trainium 2 Ultra Servers 规格**：64 个芯片，峰值 83.2 Petaflops - **Project Vineyard 规模**：数十万张 Trainium 芯片，算力为 Anthropic 现有集群的 5 倍 - **Trainium 3 规划**：2025 年发布，3 纳米工艺，性能较 Trainium 2 提升 4 倍

---

[04:59](https://www.bilibili.com/video/BV1XviiYHEvv?t=299s) Amazon Nova 自研大模型家族与 Bedrock 功能大升级

除了 EC2 算力，AWS 的 Nitro System 和 Graviton 处理器性能提升也进一步加持了其算力生态，满足了苹果公司在 Apple Intelligence 等全球 AI 产品落地上的严苛需求。在 Amazon Bedrock 平台上，除了继续提供丰富的开源和闭源模型外，亚马逊自研模型也迎来了重磅升级。亚马逊 CEO Andy Jassy 亲自加入演讲，宣布推出全新的自研 Amazon Nova 系列模型： 1. **Amazon Nova Micro**：纯文本模型，以极低成本提供最低的延迟响应。 2. **Amazon Nova Lite**：超低成本的多模态模型，可快速处理图像、视频和文本输入。 3. **Amazon Nova Pro**：功能强大的多模态模型，具备最佳的准确性、速度和成本组合，适用于各种复杂任务。 4. **Amazon Nova Premiere**：Nova 系列中功能最强大的多模态模型，专为复杂的推理任务设计。 5. **Amazon Nova Canvas**：最先进的图像生成模型。 6. **Amazon Nova Real**：视频生成模型。

Andy Jassy 透露，在 2025 年年中左右，AWS 将推出 "any-to-any" 的多模态模型，实现文本、语音、图像和视频的任意输入与输出，这也是前沿模型未来构建和消费的大势所趋。

为了解决企业在选择大模型（知识丰富但成本高、响应慢）与小模型（速度快、成本低但能力弱）之间的两难困境，AWS 推出了 Amazon Bedrock Model Distillation（模型蒸馏）功能。该技术能将大型模型的知识转移到小型模型中，在保留小模型低成本、高响应速度特征的同时，大幅提升其性能。借助该功能，客户最多可实现 500% 的速度提升和 75% 的成本优化。

针对限制生成式 AI 落地（尤其是在医疗、保险、金融和政府等强监管行业）的“AI 幻觉”问题，AWS 推出了 Amazon Bedrock Automated Reasoning Checks（自动推理检查）。这是市面上首个使用逻辑准确且可验证的推理来防止事实错误的生成式 AI 保护措施。此外，Amazon Bedrock Knowledge Bases（知识库）通过 RAG 技术帮助客户更好地定制化数据，而 Amazon Bedrock Guardrails 则让客户能轻松将安全性和负责任的 AI 检查应用于应用程序。在 Agent 领域，Bedrock Agents 实现了多智能体（Multi-agent）协作，允许不同的专业 Agent 互相协调，共同执行如财务分析等包含数千个变量的复杂工作流。这些产品进展也已在亚马逊内部的电商、库存管理、物流优化和机器人仓库配送等业务中深度赋能。

- **模型蒸馏成效**：最高实现 500% 的速度提升和 75% 的成本优化 - **Amazon Nova 家族成员**：Micro、Lite、Pro、Premiere、Canvas、Real - **Any-to-Any 模型发布时间**：预计 2025 年年中 - **安全防护新功能**：Automated Reasoning Checks（自动推理检查），市面首个基于逻辑验证的防幻觉工具

---

[09:59](https://www.bilibili.com/video/BV1XviiYHEvv?t=599s) SageMaker 与 Bedrock 的降本增效创新

随后，亚马逊云科技人工智能和数据副总裁 Swami Sivasubramanian 博士进行了深度分享。他围绕 AWS 的三层 AI 架构，重点介绍了底层的 Amazon SageMaker 和中层的 Amazon Bedrock 如何帮助企业实现“降本增效”。

在底层算力分配上，企业经常面临算力不均的痛点：多个项目同时训练时，有的处于运算高峰，有的则处于闲置状态；或者白天推理量极大，晚上算力大量荒废。为了解决这一资源浪费问题，AWS 推出了 SageMaker HyperPod Flexible 训练计划和任务治理工具。这些工具能够智能分配算力资源，根据发布会描述，Flexible 训练计划能提升 90% 的算力利用率，而任务治理最高能降低 40% 的成本，解决了开发者在硬件调配和部署上的巨大资金消耗。

在中层 Amazon Bedrock 方面，为了给企业提供更多样化的基础模型选择，Swami 宣布 Bedrock 除了已有的 Anthropic、Meta、Mistral 等模型外，最近还新增了 Cohere Command R+（此处听误为 Pulsite）、Stable Diffusion 3.5 以及 Luma AI 等明星模型，使平台上可选择的模型超过 100 种，并统一汇聚在最新推出的 Amazon Bedrock Marketplace 中。其中，Luma AI 正是得益于 SageMaker HyperPod 的高拓展性与稳定性，才得以更早地上线运营。

针对多模型环境下的“选择困难症”，AWS 推出了 Intelligent Prompt Routing（智能提示路由）技术。在实际应用中，开发人员很难人工对海量的用户请求进行模型匹配。智能提示路由可以根据用户输入的提示词（Prompt），自动选择最合适的模型，避免“杀鸡用牛刀”或“小马拉大车”的极端情况。这一技术能帮企业将成本再降低 30%，同时保证用户获得准确的输出结果。

- **Flexible 训练计划效果**：提升 90% 的算力利用率 - **任务治理降本效果**：最高降低 40% 的成本 - **Amazon Bedrock Marketplace**：提供超过 100 种基础模型 - **智能提示路由降本效果**：降低 30% 的模型使用成本

---

[14:59](https://www.bilibili.com/video/BV1XviiYHEvv?t=899s) Amazon Q 开发者助手与 AI 在企业端的实际落地

除了上述技术，AWS 还为 Amazon Bedrock 推出了能减少提示词 Token 消耗的 Prompt Caching（提示词缓存）技术。Swami 强调：“我们正在从根本上重新想象您构建和扩展基础模型的方式。”而对于缺乏专业开发能力的中小型企业，顶端应用层的 Amazon Q 则是降低 AI 准入门槛、实现颠覆性改变的关键。

在发布会上，Swami 宣布 Amazon Q Developer 迎来全新功能升级，成为功能最强大的软件开发生成式 AI 助手。它新增了可加速单元测试、文档和代码审查的 Agent，并能帮助各种经验水平的操作员和开发人员在极短时间内调查和解决运营问题。Amazon Q Developer 可以将各种软件开发任务的速度提高多达 80%。Swami 指出，以目前 Amazon Q 的能力，“即使你没有写过单行 Python 代码”，也可以直接用自然语言描述商业问题，Q 会引导你完成机器学习模型的建立。

Amazon Q 在大规模遗留工作负载的转型上展现了惊人的效率。今年早些时候，亚马逊使用 Amazon Q Developer 将数万个生产应用程序从旧版本的 Java 迁移到了 Java 17，直接节省了 4500 多年的开发工作量，并为公司每年节省了 2.6 亿美元的成本。

尽管行业内对于尚未出现“重塑世界的 AI 超级应用”有所争议，但 AI 已经在悄然赋能 B 端企业。例如，可口可乐上个月发布了首个完全由 AI 生成的视频广告，虽然引发了争议，但制作团队创始人 Jason Zada 表示，AI 制作广告的速度是传统方式的 5 倍。在 re:Invent 现场，Autodesk 的 CTO Raji Arasu 也分享了 AI 在三维设计领域的创新应用——无论是协助建筑设计、创造未来的太阳能智能汽车，还是改造和恢复海底深处的珊瑚礁，AI 都展现出了强大的设计能力和高效的工作流程。

- **Amazon Q 提效数据**：将软件开发任务速度提高多达 80% - **Java 迁移案例**：迁移数万个应用至 Java 17，节省 4500 多年开发工作量，年均节省 2.6 亿美元 - **AI 广告制作速度**：比传统制作流程快 5 倍

---

[19:59](https://www.bilibili.com/video/BV1XviiYHEvv?t=1199s) 结语：拥抱创新的最佳时机

正如 AWS CEO Matt Garman 所言，随着 AI 技术、周围基础设施以及配套服务的不断增强，“现在是拥抱创新的最佳时机”。历史上从未有过如此丰富的工具来帮助人们进行创新。硅谷 101 团队在视频最后鼓励观众去关注和学习 re:Invent 释放出的海量技术详情，并感谢观众的点赞、留言和转发支持，期待下期再见。

## Notable quotes > [14:59](https://www.bilibili.com/video/BV1XviiYHEvv?t=899s) 我们正在从根本上重新想象您构建和扩展基础模型的方式。 — Swami Sivasubramanian

> [14:59](https://www.bilibili.com/video/BV1XviiYHEvv?t=899s) 即使你没有写过单行 Python 代码 — Swami Sivasubramanian

> [19:59](https://www.bilibili.com/video/BV1XviiYHEvv?t=1199s) 现在是拥抱创新的最佳时机 — Matt Garman

## Mentioned 亚马逊云科技, AWS, re:Invent, Matt Garman, 硅谷 101, Trainium 2, Amazon EC2, Neuralink, Trainium 2 Ultra Servers, Anthropic, Project Vineyard, Claude, Trainium 3, 英伟达, Blackwell GPU, P6 系列实例, Nitro System, Graviton, 苹果公司, Apple Intelligence, Amazon Bedrock, Andy Jassy, Amazon Nova, Amazon Nova Micro, Amazon Nova Lite, Amazon Nova Pro, Amazon Nova Premiere, Amazon Nova Canvas, Amazon Nova Real, Amazon Bedrock Model Distillation, Amazon Bedrock Automated Reasoning Checks, Amazon Bedrock Knowledge Bases, Amazon Bedrock Guardrails, Bedrock Agents, Swami Sivasubramanian, Amazon SageMaker, SageMaker HyperPod Flexible 训练计划, Meta, Mistral, Cohere Command R+, Stable Diffusion 3.5, Luma AI, Amazon Bedrock Marketplace, SageMaker HyperPod, Intelligent Prompt Routing, Prompt Caching, Amazon Q, Amazon Q Developer, Java, Java 17, 可口可乐, Jason Zada, Autodesk, Raji Arasu

[Source](https://www.bilibili.com/video/BV1XviiYHEvv)

中文简报

亚马逊云科技发布3纳米芯片与Nova大模型 押注企业推理降本 生成式AI正通过自研算力与模型蒸馏等技术大幅降低B端综合成本，促使企业在没有“超级应用”爆发的情况下也能悄然实现生产力闭环。 视频深度聚焦了2024 AWS re:Invent大会的核心科技成果与2025年的AI战略布局。亚马逊云科技不仅推出了性能强劲的Trainium 2实例、Ultra Servers以及采用3纳米工艺的下一代Trainium 3芯片规划，还打造了全球领先的AI计算集群。同时，官方发布了全新的Amazon Nova自研大模型家族，并升级了模型蒸馏、防幻觉自动推理检查等中层工具，再配合应用层功能强大的Amazon Q开发者助手，全方位赋能企业实现降本增效与数字化转型。 亚马逊云科技在 2024 re:Invent 大会上正式推出 Trainium 2 实例及 Ultra Servers，并宣布与 Anthropic 合作构建全球最大规模算力集群 Project Vineyard，下一代 3nm Trainium 3 芯片预计于 2025 年面世。 (0:00) AWS 发布全新的自研 Amazon Nova 系列大模型家族，预计将于 2025 年中推出 any-to-any 全模态模型，并上线可提速最高 500%、降本 75% 的模型蒸馏功能与防范幻觉的自动推理检查工具。 (4:59) SageMaker 推出 Flexible 训练计划将算力利用率提升 90%，同时 Bedrock Marketplace 汇聚超过 100 种基础模型，借助智能提示路由技术可再帮助企业降低 30% 的模型调用成本。 (9:59) AI 开发助手 Amazon Q Developer 迎来升级并可将各类软件开发任务提速多达 80%，此前已协助亚马逊完成数万个应用的 Java 17 迁移，节省了逾 4500 年的开发工作量。 (14:59)

Reading summary

在2024年AWS re:Invent大会上，亚马逊云科技（AWS）公布了其2025年生成式AI全栈战略升级，通过自研芯片集群、Nova自研基础模型家族以及配套的资源调度与治理工具，全面推进AI推理与企业级生产力落地。 自研芯片演进与超大算力集群布局 (0:00) AWS新任CEO Matt Garman宣布基于Trainium 2芯片的EC2实例正式全面上市，其性价比据官方称比主流GPU高出30%至40%。单个实例由16颗Trainium 2芯片组成，算力峰值为20.8 Petaflops。针对超大模型计算，AWS推出整合64颗芯片的Trainium 2 Ultra Servers（峰值算力83.2 Petaflops），并与Anthropic合作开展Project Vineyard项目，计划构建包含数十万张芯片的计算集群，算力预计达Anthropic现有Claude训练集群的5倍。此外，AWS规划于2025年发布采用3纳米工艺、性能较前代提升4倍的Trainium 3芯片，同时保持与英伟达合作，按计划推出搭载Blackwell GPU的P6系列实例，实行自研与第三方芯片双轨策略。 自研Nova模型家族与安全防护升级 (4:59) 亚马逊CEO Andy Jassy发布了自研Amazon Nova系列模型，包含纯文本低延迟模型Micro，多模态模型Lite、Pro与Premiere，以及图像生成Canvas和视频生成Real，并预计在2025年年中推出支持文本、语音、图像与视频任意转化的Any-to-Any模型。为解决大模型成本高与小模型能力弱的权衡难题，Bedrock推出模型蒸馏功能，官方数据显示最高可实现500%的速度提升与75%的成本优化。针对金融、医疗等强监管行业的AI幻觉痛点，AWS发布了市面上首个基于逻辑验证防范事实错误的“自动推理检查”（Automated Reasoning Checks），并配合知识库RAG能力、Guardrails防护网和支持多Agent协同的Bedrock Agents，增强复杂业务流的可靠性。 算力调度优化与智能提示路由 (9:59) 针对企业在模型训练与推理中面临的算力闲置与资源错配，AWS副总裁Swami Sivasubramanian介绍了底层SageMaker与中层Bedrock的成本控制工具。SageMaker HyperPod新增的Flexible训练计划与任务治理工具，官方数据显示分别可提升90%的算力利用率并降低最高40%的部署成本。在模型选择上，Bedrock Marketplace集成了包括Cohere、Stable Diffusion 3.5和Luma AI在内的超过100种基础模型。为了避免人工匹配的效率损耗，AWS推出智能提示路由（Intelligent Prompt Routing）技术，根据输入自动分发至最适配的模型，官方测算可在此环节将使用成本进一步削减30%。 Amazon Q助手与企业生产力实效 (14:59) 在顶层应用端，AWS将Amazon Q Developer定位为软件开发生成式AI助手，新增覆盖单元测试、代码审查和故障调查的Agent，宣称最高可将开发任务效率提升80%，并允许非编程背景用户借助自然语言构建机器学习模型。在内部实践中，亚马逊利用该工具将数万个生产应用迁移至Java 17，累计节省逾4500年开发工作量及每年2.6亿美元维护成本。在外部行业落地方面，生成式AI开始渗透B端工作流：可口可乐采用AI制作广告，制作速度较传统流程提升5倍；Autodesk亦将AI引入三维建模，辅助建筑构思、概念汽车设计以及海洋珊瑚礁生态修复项目。 AWS试图通过底层自研硬件、中层多模型治理和顶层开发助手构建具有高性价比的企业级AI闭环。不过，超大规模Trainium集群的实际部署成效、Nova模型相较行业顶尖竞品的综合表现，以及多模态与防幻觉工具在复杂业务中的实际稳定性，仍需等待2025年规模化商用的检验。

Source quotes

[14:59] Swami Sivasubramanian: 我们正在从根本上重新想象您构建和扩展基础模型的方式。 [14:59] Swami Sivasubramanian: 即使你没有写过单行 Python 代码 [19:59] Matt Garman: 现在是拥抱创新的最佳时机

Original transcript

[0:00] There has never been a better time to be innovating当地时间2024年12月2号亚马逊云科技在美国拉斯维加斯开启了新一年的Re-Event大会全球超过6万人参加来关注亚马逊云科技新上任的CEO Matt Garman在深城市AI方向的最新战略哈喽小伙伴们欢迎来到硅谷101这个视频我们就来看看亚马逊云科技在年度Re-Event上面释放出来的产品布局这对明年的AI发展来说是提供了非常多重要的信号那么总体来说在Matt Garman的演讲当中我们能够明显的感觉到相比去年年底Reevent大会上亚马逊云科技宣布的企业级AI全生态和三层AI架构今年宣布的重点以及2025年亚马逊云科技压注的是AI服务生态的全面升级包括更加高效的算力服务更强大的芯片支持更创新的数据存储和数据库解决方案以及侧重在支持客户们在AI推理Inferencing上面的功能包括解决幻觉问题模型蒸馏Agent 胶库以及亚马逊自身研发的多模态大模型产品都在传达出一个重要的信号那就是2025年啊企业级客户对AI的需求会更加的强劲而亚马逊云科技的服务呢会更加的全面产品会更加的智能功能也会更加的强大那么我们首先来说说大家最关注的AI发展方向就是算力在AI全速发展的周期啊公司们需要更快的算力更高的效率以及更低的成本亚马逊科技CEO Matt Garman就宣布首先是基于Trainium 2芯片的Amazon EC2之力已经全面的上市正为高性能深度学习训练生成式AI模型而建构性价比要比当前的GPU高出30%到40%那么单个Trainium 2之力上它是结合了16个亚马逊自研的Trainium 2芯片这些芯片通过超高速Neuralink高宽带和低延迟芯片兼护脸提供峰值可达R10.8 Petaflops的计算能力那我们前面说到的Trainlm2其实非常适合训练和部署几十亿这个参数大小的AI模型那对于更大的百亿千亿甚至之后更大参数上万亿的模型怎么办呢那么针对更大模型计算能力的需求这次Re-Event大会上CEO Matt Garman是宣布推出了Trainium 2 Ultra Servers这个新产品Trainium 2 Ultra Servers是由四个Trainium 2实力组成并且通过Neuralink连接Ultra Servers有64个Trinium 2芯片提供峰值可达83.2PETFLOPs的计算能力那么这相当于是Ultra Servers把四个实力给合并成一个节点来满足勾拿万亿参数模型的训练以及推理的实施需求较马逊云科技还宣布与AI明星初创公司Anthrobic合作的Project Vineyard项目那这个项目将构建一个Trenium-2 Ultra Server的集群其中包含数十万张的Trenium芯片CEO Matt Garman就表示完成之后呢是友邦成为世界上最大的AI计算集群Now this cluster is actually going to befive times the number of exaflopsas the current cluster that Anthropik used to traintheir leading set of Claude models that are out there in the worldfive times the amomount of compute that they use for the current generation. I am super excited to see what the Anthropic team comes up with with that size cluster. And Yamaha Shun Khoji, he also表示 that the next generation of Trinium 3 will be released in 2025. So this will be the first generation of Yamaha Shun Khoji's 3-nm machine made by Trinium 2. can be Trinium 2 to bring a 4x and 40% increase. This will allow more, more, more, more, more and more AI technology and use to be able to make it in the future. And other than the other, it is still working with the software. It is still working with the software. In the last meeting, Matt Garman announced the P6 series of P6 series that will use the Blackwell GPU to use in 2025. So we can see that the new model of the GPU will be faster than the previous GPU. And MAT will be able to build the P6 in the best way to use GPU. So we can see that the model of the GPU is in the算率 and the GPU with its own power. That is also the year of 2025, the market market will continue to go up. [4:59] 除了EC2之外亚马逊银科技Nitro System和亚马逊银科技Gravaton的服务性能提升也是加持了其算力生态让像苹果这样的大客户在Apple Intelligence等全球AI产品落地上能够满足他们的需求而在Amazon Bedrock上面除了继续提供众多B元开源模型之外亚马逊的自研模型也在升级那亚马逊CEO Andy Jesse是加入了这场演讲宣布亚马逊的自研模型Amazon Nova系列Amazon Nova Micro是纯文本模型以极低的成本来提供最低的延迟响应Amazon Nova Lite是非常低成本的多模态模型可以快速处理图像视频和文本输入Amazon Nova Pro是功能较强大的多模态模型具有最佳的准确性速度和成本组合可用于各种任务而Amazon Nova Premiere是亚马逊多模态模型当中功能最强大的模型可以用于复杂的推理任务此外还有最先进的图像生成模型Amazon Nova Canvas和视频生成模型Amazon Nova RealAndy Jesse就表示在2025年亚马逊的多模态自5, the多模式 of the AI-man-syncology will continue to develop with the communication between the language and the different different模式 of communication. We are also very excited. And then around mid-year, we're going to give you an any-to-any model. So this is really multi-modal to multi-modal. So you'll be able to input text, speech, images or video, and output text speech images and video. This is the future of how Frontier models are going to be built and consumed. We're really looking forward to giving this to you. What is the first thing about the design of the Amazon Barrock Model Distillation? First, the design of the Amazon Barrock Model Distillation. Now, even though there are different types of design, the companies still find the most suitable for their own business. This is quite a bit difficult. The design of the Amazon Barrock Model Distillation is a great way to build a new design.最适合他们业务独特需求的模型这其实还挺两难的那么大模型它的知识更丰富但是成本更高响应时间更长而小模型它的运行速度更快成本更低但是能力较差所以模型帧流技术目前就非常的重要了模型帧流是一种将知识从大型模型转移到小型模型的技术同时能保留小型模型的性能特征那么借助Amazon Bedrock模型帧流任何客户如今都可以实现蒸馏自行的模型而这样的模型蒸馏最多可以实现500%的速度提升以及75%的成本优化此外如何解决AI的幻觉问题保证安全也是亚马逊人科技在今天继续强调的重点那我们知道目前即使是最先进最强大的模型也可能提供不正确或者误导性的响应这让AI幻觉问题依然是整个行业的根本的挑战也是限制了公司对生成士AI的信任尤其是在比较受监管的行业比如说医疗保险金融服务还有政府机构等等对此亚马逊云科技在继续深耕这方面的创新推出了Amazon Bedrock Automated Reasoning Checks自动推理检查功能那么这是市面上第一个生成式AI的保护措施使用逻辑准确并且可验准的推理来帮助防止因为幻觉而导致的事实错误同时我们看到Amazon Bedrock Knowledge Basis能够让RAC技术使得客户更好的去定制化数据还有Amazon Bedrock Guard Rills能够使得客户可以轻松的将安全性和负责任的AI检查应用于深层式AI的应用程序那么这些服务的推出是让我们能够看到AI应用大规模落地的进一步可能性那么另外呢我个人觉得还有一个演讲的亮点是Bedrock Agents能够让AI Agents互相的协调来真正的实现action的动作完成执行复杂的工作流程那目前呢AI Agents虽然开始在一些任务上变得非常的有用了但是对于更加复杂的任务比如说对于数百或者数千个不同变量执行财务分析这样的负责任务呢可能就需要大量并且呢具有各自专长的agent了而Bedrock Agents就可以去支持多agent多代理协作这也是呢接下来业界发展的一个关键的方向而我们也看到啊 [9:59] 产品的进展也在内部赋能整个亚马逊公司的业务还有生态包括电商服务上的卖家服务库存管理 物流优化 机器人仓库配送等等好 说完了CEO演讲之后呢还有一个重点的主题演讲我们想要深度聊聊这就是亚马逊云科技人工智能和数据副总裁Swami Siva Subrami 年博士的分享With this capabilityEven if you are not written a single line of Python你能直接说你的商业问题在自然的语言然后Q会把你进行的程序建立ML模式他分别在亚马逊云科技的三层AI价格中分享了底层的算力层中层的工具层以及顶层的应用层的具体AI新创新和新产品其中包括智能分配算力更丰富的基础模型智能提示路由以及去年亚马逊云科技重磅发布的我们先来看一下底层的Amazon SageMaker不少企业在应用AI模型的时候经常遇到的问题是算力分配不均比如多个项目同时训练的时候可能有的项目处于运算高峰需要大量算力而有的项目处于运算高峰需要的时候可能有的项目处于运算高峰需要大量算力而有的项目恰好又在摸鱼又或者某个项目白天用户多的时候推理量很大但是到了晚上不少算力就会闲置下来那如果不能保证算力每时每刻都用在正确的地方就会造成资源浪费提升训练成本那么为了帮助企业降低成本亚马逊云科技呢是推出了SageMaker HyperPath Flexible训练计划和任务治理那么简单来说有了这些工具就能够帮助企业智能分配算力资源降低资金消耗那根据发布会上的描述啊Flexible训练计划能够提升90%的算力利用率任务治理最高能够降低40%的成本那么对于开发者们来说SageMaker不仅是解决了购买与部署硬件巨大的成本支出还解决了硬件调配时候的资源浪费问题但是光有这些还不够从头训练一个全新的模型就意味着需要大量算力和数据所以接下来我们来聊聊中间层Amazon Bedrock那要进一步降低成本最好的办法就是利用现有的基础模型上根据自己的业务需求做微调与优化而Bedrock就能提供大量的基础模型那作为基础模型提供平台能够提供的模型数量就至关重要了之前呢Amazon Bedrock就提供了包括AnthrobicMetaMistro等等行业中领先的模型同时呢我们提到新发布的亚马逊云科技自研模型Amazon Nova系列也加入了其中除此之外呢Swami在发布会上还宣布Amazon Barak最近增加了Pulsite, Stable Diffusion 3.5,Luma AI这些明星模型让开发者拥有更多的选择值得一提的是这些基础模型不少都是利用亚马逊运科技云服务的底层基础设施开发出来的比如说Luma AI就得益于HyperPod的算力与高拓展性等特征才能够更早地上线运营HyperPod has been the most reliable and scalable cluster for us所以我们在AWS上加上加上我们的承诺四次而这些丰富的基础模型都集合在了最新推出的Amazon Bedrock Marketplace共有超过100种可选择的模型那么有了众多的基础模型如何选择也是企业开发AI的时候面对的难题那么接下来我们就来看看亚马逊云科技是怎么解决客户们的选择困难症的我们讲到亚马逊云科技推出的新模型蒸馏技术简单来说就是将知识从大型模型转移到小型模型那么这样而来的模型不仅知识体系全面反应速度也更快但有的复杂任务只有更大的模型才能够处理好而有的简单任务小模型就已经足够所以如何选择每个任务对应的模型就成了难点那么在通常情况下开发人员可能会提前测试某些任务在不同模型上的表现根据测试结果来提前分配每个任务对应的模型但是如果模型面向的用户太多可能就会出现多种难以预料的请求那么这个时候再靠人工去分类明显效率就不太够了因此,亚马逊云科技Amazon Barak就推出了智能提示路由Intelligent Prompt Routing可以根据用户输入的提示词Prompt,来自动选择最合适的模型避免杀鸡用牛刀或者小马拉大车这样的极端情况那么,这样一来,企业就能将成本再降低30%而用户也不会因此得到不准确的结果 [14:59] 以上介绍的三种技术之外这次发布会还为Amazon Barak推出了能减少降低提示词消耗token的Trump Cashing优化内容检索效率的知识库 Knowledge Basis等技术那么总的来说呢无论是底层的Amazon SageMaker还是中间层的Amazon Barak围绕的都是两个词降本和增效We are fundamentally reimagining the way you will build and scale foundational models或许只有降低了使用门槛才能够让更多的公司享受AI发展带来的效率提升而真正要颠覆到更多中小型企业还要看顶端应用层Amazon Q那模型开发是一件需要非常多专业知识的活而且特别耗时对于普通的中小企业来说可能公司内不具备相应的开发能力那么这是否就意味着只有那些大玩家才有资格踏入AI领域呢那其实不然亚马逊云科技也为不懂技术的人准备了专门的方案但原模型刚推出来的时候其中让不少人惊叹的一点就是它竟然能够帮你携带嘛那虽然刚开始表现还有一些瑕疵但是经过这两年的优化如今AI的水平又是用来了一轮进化在发布会上Swami就宣布Amazon Q Developer进行新的功能升级成为功能最强大的软件开发生成时AI助手包括可加速单元测试文档和代码审查的代理以及可以帮助所有的经验水平的操作员和开发人员在极短的时间内调查和解决运营问题而Amazon QDeveloper可以将各种软件开发任务的速度提高多达80%Swami就表示以目前Amazon QDeveloper的能力即使你没有读过任何Python代码你也可以用自然语言来描述业务问题那Amazon QDeveloper会引导你完成一个机器学习模型而Amazon QDeveloper的新功能大大加速了很多企业在大规模遗留工作负载上的转型比如说今年早些时候亚马逊就使用Amazon QDeveloper将数万个生产应用程序从旧版本的Java迁移到了Java 17Amazon QDeveloper帮助节省了4500多年的开发工作以及每年2.6亿美元的成本节省那么可以想象AI能推动的转型效率是惊人的那如今距离深城市AI的爆发已经过去了两年虽然我们依然没有见到一个重塑世界的AI超级应用但是不可否认的是AI已经在悄然的赋能不少行业了上个月可口可乐发布首个完全由AI生成的视频广告尽管推出之后引起了一定的争议但是制作团队的创始人Jason Zada依然表示AI制作广告的速度是传统方式的股备使用AI相比传统制作流程带来了巨大的优势那不光是我们能看到的C段应用AI也早已深入了B段企业就像这次Swami的演讲当中嘉宾Autodesk的CTO Raji Arasu就自豪地分享了AI在三维设计领域的创新应用无论是协助建筑设计,创造未来汽车,还是改造和恢复海底深湖礁AI都展现出了其强大的设计能力和高效的工作流程 Whether they're designing the LA-28 Olympic and Paralympic Games Creating solar-powered smart vehicles of the future Or coral-reaf skeletons that is going to transform and restore the going to stop until buying a home is as easy as say buying a book online. And then we'll know we're truly delivering on our mission to help everyone home. But the important thing is that the company can be able to make the technology more effective and more expensive and more expensive and more expensive companies can be able to embrace AI and push the industry to change the industry So actually ReEvent has released a series of products But with the time of the relationship, we will not open it If you are interested in this [19:59] 看看亚马逊云科技的这场REEvent大会上面的演讲去了解一下技术详情但就像CEO Matt Garman所说的因为AI的进展和周围的基建还有配套服务的不断增强现在是拥抱创新的最佳时机你从来没有到这种富裕的工具帮你做的请请这周周来的机会学习从每个人来到这里有很多很多的内容和有很多人要学习谢谢那这就是这期贵谷101视频了你们的点赞留言和转发是支持我们做好科技和商业深度内容的最佳动力那我们就下期视频再见了bye