硅谷101
Meta因过度追求多模态产品化而忽视推理能力研发,导致LLaMA 4遭遇滑铁卢,迫使扎克伯格通过极限集权并牺牲FAIR实验室的科学乌托邦来挽回开源劣势。
AI-assisted summary of 失衡的乌托邦:Meta的开源AI路线是如何遭遇滑铁卢的【硅谷101】 — original source. Check the original for full context.
Source published:
Detailed notes
## Background 本视频由Bilibili UP主【硅谷101】于2025年11月8日发布。视频围绕Meta AI部门在2025年10月底宣布裁员600人、高管纷纷离职或被边缘化的震荡事件展开,通过采访前FAIR研究总监田渊栋和参与Llama 3后训练的工程师Gavin Wang,深度还原了Meta开源AI路线如何因急于产品化、忽视推理技术、以及在DeepSeek和OpenAI o1的冲击下陷入混乱,最终导致Llama 4项目崩盘并引发大重组的内幕。
## TL;DR Meta的AI路线自2013年Yann LeCun加入组建FAIR实验室起便注入了开源基因,并在Llama 1到Llama 3时代凭借“开放权重”赢得了开源社区的极高赞誉。然而,随着管理层急于将AI转化为产品力,GenAI部门与FAIR实验室之间的天平开始失衡,导致在规划Llama 4时过度追求多模态而忽视了推理能力。当OpenAI o1和DeepSeek相继横空出世,Meta在极限Deadline的压力下临时抽调FAIR团队救火,最终导致Llama 4质量严重下滑、发布受挫。为了挽回败局,扎克伯格采取了极具争议的集权手段,空降Alexandr Wang组建拥有特权的TBD团队并重组为Meta Superintelligence Labs,标志着曾经乌托邦式的FAIR实验室最终向商业化低头。
## Atmosphere & style 视频整体呈现出一种冷静、客观且带有一丝理想主义破灭的悲凉基调。通过两位亲历者的口述,叙事在Llama 3时代的辉煌与自豪,同Llama 4遭遇滑铁卢后的混乱与割裂之间形成强烈对比。它不仅是一部科技巨头的商业竞争史,更像是一首献给AI科学家乌托邦的挽歌,充满了对“外行管内行”和极限KPI压榨下科研失衡的无奈与反思。
## Key takeaways - [00:00](https://www.bilibili.com/video/BV12J2TB1Ex3?t=0s) Meta AI部门在2025年10月底经历大震荡,裁员600人且核心高管流失,折射出其开源路线背后的割裂与危机。 - [00:00](https://www.bilibili.com/video/BV12J2TB1Ex3?t=0s) FAIR实验室由Yann LeCun于2013年组建,其诞生之初便确立了不设限、公开发布和代码开源的乌托邦式科研基因。 - [00:00](https://www.bilibili.com/video/BV12J2TB1Ex3?t=0s) Meta内部存在FAIR(前沿研究)与GenAI(产品化落地)两个平行部门,两者之间的平衡是Llama成功的关键。 - [04:59](https://www.bilibili.com/video/BV12J2TB1Ex3?t=299s) Llama系列的“开源”本质上是“开放权重”(Open Weights),虽然不是完全开源,但极大地繁荣了开发者生态。 - [04:59](https://www.bilibili.com/video/BV12J2TB1Ex3?t=299s) Llama 3及3.1、3.2版本的发布是Meta开源路线的高光时刻,405B超大版本让开源社区看到了对抗闭源巨头的希望。 - [09:59](https://www.bilibili.com/video/BV12J2TB1Ex3?t=599s) Llama 4的发布遭遇滑铁卢,其Maverick版本被质疑在LM Arena排行榜上“刷榜”作弊,引发社区冷遇与信任危机。 - [14:59](https://www.bilibili.com/video/BV12J2TB1Ex3?t=899s) 组织架构失衡与“外行管内行”是失败的根源,传统背景的VP和Director在规划Llama 4时忽视了推理(Reasoning)能力。 - [19:59](https://www.bilibili.com/video/BV12J2TB1Ex3?t=1199s) OpenAI o1和DeepSeek的相继推出打乱了Meta的阵脚,迫使高层在极限Deadline下临时抽调FAIR团队跨组救火,导致项目管理混乱。 - [19:59](https://www.bilibili.com/video/BV12J2TB1Ex3?t=1199s) 扎克伯格通过空降Alexandr Wang并成立拥有特权的TBD团队,对Meta AI进行极度集权的重组,试图通过MSL部门挽回败局。 - [19:59](https://www.bilibili.com/video/BV12J2TB1Ex3?t=1199s) 曾经闪耀的FAIR实验室在商业化和产品化压力下逐渐失去独立性,成为科技巨头AI军备竞赛中又一个向商业妥协的牺牲品。
## Detailed walkthrough 以下是根据视频转录内容整理的详细、忠实的文字还原:
[00:00](https://www.bilibili.com/video/BV12J2TB1Ex3?t=0s) Meta AI 部门的震荡与割裂的开源路线
2025年10月底,Meta AI 部门宣布裁员600个职位,甚至波及了核心部门的研究总监。掌管 AI 业务的高管纷纷离职或被边缘化,就连图灵奖得主、AI 巨擘 Yan LeCun(杨立昆)也被外界认为“此生难保”。这一新闻令人震惊:一方面,马克·扎克伯格(Mark Zuckerberg)正用上亿美元的年薪在硅谷疯狂挖角 AI 顶级人才;但另一方面,他又如此决绝地在内部进行大裁员。在这种极度割裂的行为背后,Meta 的 LLaMA 开源路线到底发生了什么?为什么 LLaMA 3 还能让众人惊艳,而仅仅一年之后的 LLaMA 4 就显得如此拉垮?
为了还原真相,节目采访了前 Meta FAIR 研究总监、AI 科学家田渊栋,参与了 LLaMA 3 后训练(Post-training)的前 Meta 员工 Gavin,以及微谷资深 HR 专家和一些秘密知情人士。大家试图探讨:Meta 的开源路线从一开始就注定是个错误吗?在 AI 大模型激烈对战的当下,一个无痛方式的 AI 研究实验室还能够存在吗?正如受访者所言,“不能让不懂的人来做整个 leader 或者说让人来做那个 planning”,在 LLaMA 4 规划阶段,员工们就已经明显感觉到领导层的方向(leadership direction)发生了一些变化。
要理解这一切,首先需要厘清 Meta 布局 AI 的公司架构。2013年年底,扎克伯格开始搭建 Meta 的 AI 团队。当时谷歌收购了 Geoffrey Hinton 的 DNN 团队,将 Hinton 招入麾下;同一时间,Meta 则请来 Yan LeCun 坐镇。至此,图灵奖三巨头中的两位开始步入商业科技巨头,主导 AI 的研发。当时,Yan LeCun 答应加入 Meta 提了三个条件: - 第一,不从纽约搬走; - 第二,不会辞去在纽约大学的工作; - 第三,必须开展开放的研究,公开发布所做的所有工作,并且将代码开源。
因此,Meta 的 AI 路线从一开始就注入了开源的基因。Yan LeCun 进入 Meta 后,着手组建了 Fundamental AI Research 实验室(即大名鼎鼎的 FAIR 实验室),主导人工智能的前沿研究。FAIR 的定位是探索那些“现在目前看起来没有特别大的能力用,但是新的想法、新的思路、新的算法、新的框架、新的 architecture”的前沿课题,以期在未来获得重大突破。
然而,对于 Meta 而言,最终还是要看到 AI 在自身产品上的进展。于是,公司设立了一个与 FAIR 平行的部门——Generative AI(简称 GenAI)组。GenAI 组旗下有不同的功能团队,包括 LLaMA 开源模型的研发团队、将 AI 能力应用在产品上的 Meta AI 团队、负责 AI 算力基础设施的数据中心团队,以及搜索(Search)、企业服务(Enterprise)、纹身视频模型(Video Gen)等小部门。
GenAI 与 FAIR 的平行关系就像一个天平:一边是前沿科研,一边是产品化。理想情况下,前沿研究能带来更好的产品力,而产品赚钱了,管理层就有更大的动力拨款给 FAIR 做研发。许多研究员的初心是想做一些不一样的、能真正实现 AGI(通用人工智能)的工作。但 GenAI 的目的更偏向于实用主义,即如何把 AI 放在 Meta 现有的产品中发挥效应,以及如何研发像 LLaMA 这样的大模型并落地到具体应用中。
这种天平的平衡是一个非常理想化的乌托邦状态,其前提是 Meta 的 AI 模型水平必须一直保持最领先,或者至少在开源赛道上绝对领先。田渊栋回忆起在 FAIR 最快乐的时光,认为是从他入职一直到 2022 年。大模型时代到来后,整个学术生态和研究者之间的关系发生了变化。算力成为了最关键的制约因素,由于算力有限,大家为了训练大模型,在内部开始产生各种关于“抢卡”的矛盾。
---
[04:59](https://www.bilibili.com/video/BV12J2TB1Ex3?t=299s) LLaMA 1 到 LLaMA 3 的辉煌与“开放权重”的定义
Meta 的 AI 天平是如何失衡的,可以从 LLaMA 四代模型的发布轨迹中找到端倪。顺便一提,Meta 之所以给自家大语言模型取名 LLaMA,据说是因为 Large Language Model 的缩写 “LLM” 不太好发音,于是补上了元音字母,使其念起来朗朗上口,也因此让大模型和“羊驼”扯上了关系。
2023年2月24日,Meta 发布了 LLaMA 1,主打“更小参数、更好效果”,推出了 7B、13B、33B、65B 等多个版本。Meta 强调,当时的 13B 模型在多项基准上就能超过拥有 175B 参数的 GPT-3。官宣一周后,LLaMA 1 的权重在 4chan 论坛上以种子形式被泄露,引发了 AI 社区对开源模型的广泛讨论,甚至引发了国会参议员的写信质询。尽管伴随着质疑,但业界对这次意外泄露表现出了出人意料的支持,这被视为重塑了大模型开源格局的事件,并迅速催生了诸多民间的微调项目。
这里需要解释一下大模型“开源”的定义。实际上,Meta 的做法并不是完全的开源,业内称之为“开放权重”(Open Weights)。在机器学习中,模型包含三个部分:结构(Architecture)、权重(Weights)和代码(Code)。 - **权重(Weights)**:指模型学习到的所有参数数值。模型训练完成后,这些参数会存在几个巨大的二进制文件中,保存着每一层神经网络的矩阵数值。 - **推理过程**:在推理时,模型代码会加载这些权重文件,利用 GPU 进行矩阵运算并生成文本。 - **开放权重的意义**:意味着向公众提供训练好的参数文件,外界可以在本地加载、部署和微调。但这不等于完全开源,因为真正的开源需要公开训练数据、训练代码和无限制的许可。Meta 并没有公开这些核心信息,后续的 LLaMA 2、3、4 代也仅仅是开放权重,只是在许可证政策上有所松动。
尽管属于“半开源”,但相比于 OpenAI、Anthropic 和谷歌等完全闭源、仅通过 API 接口提供服务的公司,LLaMA 已经给开源社区带来了极其旺盛的生命力。
2023年7月28日,Meta 联合微软发布了 LLaMA 2,包含 7B、13B 和 70B 三种参数变体。相比 LLaMA 1 仅限研究用途、不可商用的限制,LLaMA 2 变成了一个免费可商用的版本,放宽了许可证权限。《连线》(Wired)等杂志指出,LLaMA 2 让开放路线对抗封闭模型巨头成为了现实。LLaMA 2 很快在开发者社区风靡起来,其可得性显著放大了生态。Meta 和微软的这一举动改变了游戏规则,迫使其他竞争对手不得不走向更加开放,并为优秀模型的授权许可树立了新标准。
接着是 LLaMA 3 的高光时刻。2024年4月9日,Meta 开启了 LLaMA 3 的发布。2024年4月18日,Meta 发布了 LLaMA 3 的 8B 和 70B 版本,并将其整合进 Meta AI 助手。2024年7月,Meta 推出了 LLaMA 3.1,其中包括备受瞩目的 405B 超大版本。Meta 宣称 405B 是世界上最强大且开放的模型,并同步登陆了 AWS Bedrock、IBM WatsonX 等云平台。两个月后的 2024年9月,Meta 又发布了 LLaMA 3.2,推出了针对终端和边缘场景的 1B 和 3B 轻量化模型,以及 11B 和 90B 的多模态模型。
---
[09:59](https://www.bilibili.com/video/BV12J2TB1Ex3?t=599s) LLaMA 3 的骄傲与 LLaMA 4 的滑铁卢灾难
在 LLaMA 3 时代,AWS 等平台同步接入,开源框架 Olama 也支持了本地运行。曾负责 LLaMA 3 后训练工作的 Gavin 表示,当时整个 GenAI 团队真的在以光速前进,有一种“AI 一天,人间一年”的感觉。在 3.1 和 3.2 阶段,多模态(Multi-Modal)和轻量化模型的发布,都是为了产品化和生态落地提供支持。当时还有专门的 LLaMA Stack 团队,去支持整个 LLaMA 生态在企业级或小企业级的落地。
LLaMA 3 的强势出击,特别是 405B 版本在能力上逼近闭源阵营,极大地推动了 AI 应用的落地。对于 Meta 内部的 AI 工程师来说,这是一件非常值得骄傲的事情。Gavin 回忆道: > “当时的那个 narrative 就觉得 Meta 是大厂里唯一一个剩下 open source 的一个 model,而且还对整个 community 的生态很有贡献。当时我觉得很多人都会觉得就不仅仅是在做一份工作,而是说我们真的就是在 support 整个 AI 的 frontier 的一个发展,然后就是你做的每一件事情都感觉非常的 meaningful。”
当时,Gavin 出去跟初创公司创始人交流,对方都会对他说“Thank you so much for your effort”,整个 AI 创业社区都在指望着 LLaMA。
Meta 乘着这股东风,期望 LLaMA 4 的发布能进一步扩大自身在开发社区的影响力。扎克伯格在 2025 年 1 月底的财报会后发帖表示:“我们对 LLaMA 3 的目标是使开源与闭源模型具有竞争力,而我们对 LLaMA 4 的目标是领先。”
然而,仅仅三个月后,LLaMA 4 的发布却成了一场彻底的灾难和滑铁卢。2025年4月5日,Meta 推出了 LLaMA 4 的两个版本:Skull 和 Maverick,宣称其多模态与长上下文能力大幅跃升,并在宣传中高调引用了 LM Arena 排行榜上的领先成绩(Maverick 版本仅次于 Gemini 2.5 Pro,与 GPT-4o、Grok 2 等并列第二)。
然而,开发者社区的反馈却非常冷淡,普遍认为 LLaMA 4 的实际效果不及预期。市面上很快出现传言,质疑 Meta 在 LM Arena 上冲到第二名的版本有“作弊”嫌疑——怀疑该版本是经过特殊对话强化训练、专门针对 LM Arena 排名进行优化的变体,存在误导和过拟合现象。尽管 Meta 高层迅速否认了作弊,但负面影响迅速发酵。媒体纷纷将其视为用特调版本刷榜的“挂羊头卖狗肉”(Bait and Switch)行为,行业对基准测试(Benchmark)的工程化和可复现性展开了激烈讨论。
与此同时,Meta 更高端的 Behemoth 版本推迟发布,公关与节奏严重受挫。在本文撰写时,Behemoth 版本仍未发布,Meta 似乎已经放弃了它。
随后,扎克伯格开始孤注一掷,展开大手笔收购。他收购了 Scale AI,将 Alexandr Wang(亚历山大·王)挖来领导新的 AI 架构,并用上亿美元的支票在硅谷疯狂搅局 AI 人才市场。紧接着,Alexandr Wang 开始重组整个 Meta 的 AI 架构,裁员 600 人。这一连串的时间线显得极其割裂,而答案就藏在 Meta 内部 AI 天平的失衡中。
---
[14:59](https://www.bilibili.com/video/BV12J2TB1Ex3?t=899s) 组织架构的失衡与“外行管内行”的困境
在 Meta 的 AI 架构中,FAIR 和 GenAI 是平行的两个组。Yan LeCun 管理 FAIR,但他很多时候沉浸在自己的前沿研发中,甚至在网上与马斯克对战,并经常公开表示不看好 LLM(大语言模型)路线,这让 Meta 高层颇为头疼。于是,2023年2月,Meta 高层将 Meta AI 的研究负责人 Joelle Pineau 调到 FAIR 担任全球负责人,与 Yan LeCun 共同领导 FAIR。而 GenAI 部门的负责人是 Ahmad Al-Dahle,他此前在苹果工作了快 17 年,扎克伯格挖他过来的核心目的就是为了将 AI 与 Meta 的各种产品(如元宇宙、智能眼镜的 AI 整合、Meta.ai 聊天工具等)结合起来。
经历了 LLaMA 2 的成功后,在研发 LLaMA 3 的过程中,Meta 高层越来越强调 AI 的产品属性。2024年1月份,Meta 的 AI 团队进行了一次重组,FAIR 的两名负责人开始直接汇报给 Meta 的 CPO(首席产品官)Chris Cox。
从 LLaMA 1 到 LLaMA 3 算是一个时代,整个行业都在疯狂卷 Scaling Law,探索基础模型能力的边界。但扎克伯格和 Chris Cox 很早就意识到,LLM 的能力要落地产生价值,必须从产品力出发。因此,在 LLaMA 2 和 LLaMA 3 阶段,整个 GenAI 的重心都在工程和产品上。这也导致公司中高层(VP、Senior Director 级别)基本上是由具有传统产品和工程背景的人来领导。
在制定 LLaMA 4 路线时,高层的注意力全部放在了与产品结合的多模态能力上,从而忽视了对推理(Reasoning)能力的重视。然而,就在 LLaMA 3 到 LLaMA 4 研发的这一年里,外部环境发生了巨变: - 2024年9月12日,OpenAI 推出了基于思维链(Chain of Thought, CoT)的 o1 系列模型; - 2024年12月,中国的 DeepSeek 横空出世,采用 MoE(混合专家)架构,在保证推理能力的同时大幅降低了模型成本。
其实在 OpenAI 的 o1 发布之前,田渊栋等 FAIR 的研究员已经在着手思维链(CoT)的研究,并注意到非常长的思维链对模型 Scaling Law 的影响。然而,这种前沿探索并没有及时传达到 LLaMA 的工程团队中。
Gavin 透露,在 LLaMA 4 规划时,领导层的方向更倾向于支持 Meta 重点推的产品生态,多模态是重中之重。当 DeepSeek 在 2025 年 1 月横空出世并展现出极强的推理能力后,Meta 内部才开始紧急讨论是否要重新把推理能力捡起来。由于当时 Gavin 已经离开了 LLaMA 团队,他了解到团队内部在优先级上产生了严重冲突,时间又非常有限,导致大家只能加班加点地做各种尝试,资源和优先级管理陷入混乱。
此外,从组织架构上看,LLaMA 4 试图承载更大的工程,但高层(VP、Senior Director 级别)很多是传统的红外、计算机视觉(CV)或传统自然语言处理(NLP)背景,缺乏对 AI Native 或大语言模型的深度理解。真正懂行、技术过硬的底层员工(尤其是许多优秀的华人 PhD)在公司内部的话语权和资源并不多,从而在某种程度上造成了“外行管理内行”的局面。
---
[19:59](https://www.bilibili.com/video/BV12J2TB1Ex3?t=1199s) 极限 Deadline 下的救火与 Superintelligence Labs 的诞生
由于 OpenAI o1 和 DeepSeek 的出现,Meta 在 2025 年年初乱了阵脚,高层临时抽调 FAIR 的研究团队去支援 LLaMA 4 的研发,由田渊栋带队前去“救火”。
田渊栋指出,这次失败的一个重大教训就是“不能让不懂的人来做整个 leader 或者说让人来做 planning”。在项目管理中,如果出了问题,理应推迟发布,直到模型真正 Work。但当时高层定死了 Deadline,团队只能从 Deadline 倒推时间节点(Back-propagate)。在极强的上线压力下,即使研究人员发现数据有问题、需要时间调整,也无法推迟进度,最终导致模型质量严重下滑。
为什么 Meta 会有如此迫切的 Deadline 压力?虽然有 DeepSeek 年初突袭的外部因素,但更核心的压力来自于“上面老板”定下的死命令。
在 LLaMA 3 之后,Meta 确立了产品化路线,模型注重多模态和应用整合,却忽略了推理等前沿技术的研发。这迫使天平另一端的 FAIR 团队不得不跨组救火。然而,前沿模型的竞争太激烈,GenAI 团队的工作节奏极快,研究员半小时不看手机就会堆积几十条消息,根本没有空间进行长期的思考(thinking process),导致前沿研究与工程落地之间存在严重的沟通壁垒。
为了修复这个失衡的天平,扎克伯格采取了极为激进的手段:直接空降了一支由 Alexandr Wang 带队的“特种部队”——TBD 团队。
在最新的重组中,Alexandr Wang 带领几十位高薪聘请的顶级研究员成立了特别小组 TBD。在 Meta 内部,TBD 拥有无限的特权和最高优先级。TBD、FAIR 和 GenAI 共同组成了 Meta Superintelligence Labs(简称 MSL)部门,直接汇报给 Alexandr Wang,而 Alexandr 则是直接汇报给扎克伯格。
这意味着: - FAIR 的 Yan LeCun 如今需要向 Alexandr Wang 汇报; - 此前被要求向 GenAI 负责人 Ahmad 汇报的 Joelle Pineau,已于 2025 年 5 月离职加入 Cohere 担任首席 AI 官; - GenAI 负责人 Ahmad 逐渐失去声音,未被任命负责任何重要项目; - CPO Chris Cox 也被排除在 AI 团队的直接领导层之外。
目前,Meta 的 AI 架构呈现出 28 岁的 Alexandr Wang 一人独大的局面。这种极度集权的模式在 Meta 内部引发了诸多不满。例如,TBD 团队成员可以三年不用做绩效考评,可以不回复任何 VP 的消息,且 Meta AI 发表的所有论文都必须先经过 TBD 成员的审核。由于 TBD 内部不少人非常年轻,这让许多资深研究员感到极度不公,内部政治斗争隐隐有抬头之势。
但对扎克伯格来说,特权背后要的是绝对的成绩。他不仅要“Make LLaMA Great Again”,更要赢得这场 AI 战争。Alexandr Wang 在内部邮件中提出了三个关键改变: - **第一,集中化(Centralize)**:将 TBD Lab 和 FAIR 的核心基础研究力量紧密结合,精简掉一些与工程脱节、高度抽象的数学或理论研究项目(这也是本次裁员的原因); - **第二,产品与模型紧密融合**:继续以产品为模型聚焦点。与 Alexandr 一起加入的还有 GitHub 前 CEO Nat Friedman,由 Nat 偏向产品端,通过产品使用为模型提供反馈,形成飞轮效应; - **第三,统一基础设施(Unified Core Infrastructure)**:成立核心基建团队统一管理 GPU 算力和数据中心,改变过去各部门分散申请卡的混乱局面。
回顾历史,贝尔实验室、IBM Watson 研究院、HP 实验室等闪耀一时的前沿实验室,最终大多因为无法平衡前沿科研与商业化而日益衰落。拥有十多年历史的 FAIR 曾经是一群理想化 AI 科学家的乌托邦,如今似乎也成了商业化浪潮下的又一个牺牲品。
## Notable quotes > [00:00](https://www.bilibili.com/video/BV12J2TB1Ex3?t=0s) 不能让不懂的人来做整个 leader 或者说让人来做那个 planning。 — 受访员工
> [09:59](https://www.bilibili.com/video/BV12J2TB1Ex3?t=599s) 当时的那个 narrative 就觉得 Meta 是大厂里唯一一个剩下 open source 的一个 model,而且还对整个 community 的生态很有贡献。 — Gavin
> [09:59](https://www.bilibili.com/video/BV12J2TB1Ex3?t=599s) 不仅是在做一份工作,而是说我们真的就是在 support 整个 AI 的 frontier 的一个发展,然后就是你做的每一件事情都感觉非常的 meaningful。 — Gavin
> [09:59](https://www.bilibili.com/video/BV12J2TB1Ex3?t=599s) 我们对 LLaMA 3 的目标是使开源与闭源模型具有竞争力,而我们对 LLaMA 4 的目标是领先。 — 马克·扎克伯格
> [19:59](https://www.bilibili.com/video/BV12J2TB1Ex3?t=1199s) 不能让不懂的人来做整个 leader 或者说让人来做 planning。 — 田渊栋
## Mentioned Meta, 硅谷101, Yann LeCun, 田渊栋, Gavin Wang, Mark Zuckerberg, FAIR, GenAI, Llama 1, Llama 2, Llama 3, Llama 4, DeepSeek, OpenAI o1, Alexandr Wang, Chris Cox, Joelle Pineau, Ahmad Al-Dahle, TBD, Meta Superintelligence Labs
[Source](https://www.bilibili.com/video/BV12J2TB1Ex3)