硅谷101
生成式AI大战进入多模态与端侧落地新阶段,OpenAI虽凭端到端技术赢得声誉,但谷歌凭借搜索及办公全家桶的无缝分销优势仍将在商业版图中立于不败之地。
AI-assisted summary of OpenAI与谷歌重磅更新,生成式AI大战升级第二轮|GPT-4o、Gemini、Project Astra — original source. Check the original for full context.
Source published:
Detailed notes
## Background 本期视频由自媒体“硅谷101”于2024年5月17日发布在Bilibili平台。视频简介指出,随着OpenAI发布具有视觉和语音交互能力的GPT-4o,以及谷歌在I/O大会上推出语音助手Astra和多模态应用“全家桶”,硅谷科技巨头之间的生成式AI大战已正式升级至第二轮,未来苹果等巨头的入局将深刻改变商业版图并引领生成式AI的新一轮变革。
## TL;DR 视频深度解析了OpenAI与谷歌在2024年5月中旬相继举办的重磅发布会。OpenAI凭借端到端单神经网络的GPT-4o带来了极低延迟、具情感陪伴属性的真人般交互震撼,而谷歌则通过两小时的I/O大会展示了Gemini生态的全面反击,包括多模态搜索、Google Workspace深度集成以及200万Token的Gemini 1.5 Pro,凸显了其无与伦比的分销优势。此外,视频还展望了硬件与AI结合的未来,分析了苹果在WWDC前夕的移动端小模型布局以及微软等巨头多头并进的策略,指出多模态交互正全面重塑人机交互方式。
## Atmosphere & style 整期视频充满着科技前沿的紧迫感与深度思考的沉稳。主持人陈倩甚至为此中断希腊休假紧急加班,这种大新闻来临时的敏锐与狂热奠定了视频激昂的开场。随着对技术细节和商业壁垒的层层剥离,叙事风格从最初面对GPT-4o如电影《Her》般拟人化交互的惊艳与感性震撼,逐渐转入理性、冷静的巨头策略沙盘推演,流露出一种对科技浪潮加速迭代的兴奋、对未来变局的期待,以及身处科技革命风暴中心的真实临场感。
## Key takeaways - [00:00](https://www.bilibili.com/video/BV17Z42147us?t=0s) 2024年5月中旬,OpenAI与谷歌先后发布重磅更新,标志着生成式AI之战正式进入声音、文字和视觉三者结合的多模态第二轮竞争。 - [00:00](https://www.bilibili.com/video/BV17Z42147us?t=0s) OpenAI发布的GPT-4o具备跨文本、语音和视觉的端到端单神经网络架构,彻底告别了过去多模型拼接导致的延迟与信息损耗。 - [00:00](https://www.bilibili.com/video/BV17Z42147us?t=0s) GPT-4o实现了最快232毫秒、平均320毫秒的音频输入响应时间,达到了人类日常对话的无延迟丝滑体验。 - [04:59](https://www.bilibili.com/video/BV17Z42147us?t=299s) GPT-4o具备极高拟人化的情感陪伴能力,能够识别人类情绪、呼吸声、环境及动作,让电影《Her》中的场景加速成为现实。 - [04:59](https://www.bilibili.com/video/BV17Z42147us?t=299s) 谷歌在I/O大会上发布基于Gemini的多模态实时助手Project Astra,主打空间感知与日常任务协助,对标GPT-4o。 - [09:59](https://www.bilibili.com/video/BV17Z42147us?t=599s) 谷歌将多模态AI深度集成至搜索(AI Overviews)与Google Workspace全家桶生态中,展现出强大的商业分销护城河。 - [09:59](https://www.bilibili.com/video/BV17Z42147us?t=599s) 谷歌在模型与硬件层面全面发力,发布了Gemini 1.5 Pro(支持200万Token超长上下文)、Imagen 3、Veo及第六代自研TPU。 - [14:59](https://www.bilibili.com/video/BV17Z42147us?t=899s) 科技巨头策略产生分野:OpenAI更像技术驱动者(Technology-focused),追求极致性能;而谷歌更注重解决方案(Solution-focused),强调场景落地。 - [14:59](https://www.bilibili.com/video/BV17Z42147us?t=899s) 硬件和端侧模型(On-device Model)成为下一个关键战场,行业正致力于将百亿或十亿级参数的小模型在手机端做到足够好,以解决隐私、耗电和延迟问题。 - [14:59](https://www.bilibili.com/video/BV17Z42147us?t=899s) 苹果在移动端小模型上积极布局,开源了OpenELM系列模型,并预计在WWDC上宣布iOS 18与OpenAI合作以全面升级Siri。 - [19:59](https://www.bilibili.com/video/BV17Z42147us?t=1199s) 多模态AI之战将彻底重塑人类与电子设备的交互方式,不仅推动AR/VR眼镜等硬件迎来新希望,也让科技巨头的竞争走向多极化。 - [19:59](https://www.bilibili.com/video/BV17Z42147us?t=1199s) 微软采取多头并进策略,在依赖OpenAI的同时,通过收编Inflection AI人才并发布自有Phi-3模型,积极参与多模态竞争。
## Detailed walkthrough ### [00:00](https://www.bilibili.com/video/BV17Z42147us?t=0s) 硅谷AI大战升级:多模态交互的到来与GPT-4o的震撼发布
2024年5月中旬,OpenAI和谷歌先后发布了重磅的AI多模态更新,标志着硅谷科技巨头之间的生成式AI之战正式进入第二轮。从前一阶段基于文字交互的ChatGPT,全面升级为声音、文字和视觉三者结合的新交互功能,AI终于“长出了眼睛和嘴”。《硅谷101》的主持人陈倩甚至为此中断了在希腊的休假,紧急加班制作了本期视频,深入探讨这场多模态AI之战对科技巨头商业版图的影响,以及生成式AI技术的下一步走向。
OpenAI的发布会非常短,全程仅26分钟,却发布了一款极具分量的产品——GPT-4o。其中的“o”源自拉丁词根“Omni”,意为“所有的、全部的、全能的”,代表着它能够接受文本、音频和图像的任意组合作为输入,并实时生成这三种模态的任意组合输出。虽然行业在2023年就已达成共识,即仅靠文字Prompt很难高效表达人类意图,多模态交互是通往AGI(通用人工智能)的必经之路,但当GPT-4o真正落地时,其表现依然令人震撼。它的音频输入响应时间最快可达232毫秒,平均为320毫秒,这已经达到了人与人之间日常对话的响应速度,实现了无延迟、丝滑的真人般对话体验。
在GPT-4o发布之前,ChatGPT的语音模式存在数秒的延迟,体验较差。这是因为旧版本是将语音转录为文本、输入大模型、输出文本、再通过Text-to-Speech(文字转语音)模型生成音频的“拼凑”过程,这期间会损失语调、情感、多发言人识别及背景音等关键信息。而GPT-4o是OpenAI首次专门训练的、跨文本、语音和视觉的端到端(End-to-End)新模型,所有输入输出均由同一个神经网络处理。它不仅支持中途打断和对话插入,还具备上下文记忆能力。在现场Demo中,GPT-4o甚至能识别出人类急促的呼吸声,并用轻松幽默的方式安慰对方:“Mark, you're not a vacuum cleaner(马克,你又不是吸尘器)”,引导其深呼吸。它还能根据要求切换成极具戏剧性的机器人腔调("Initiating dramatic robotic voice")来读故事,并在看到手写纸条时给出拟人化的反馈:“Oh, I see. I love ChatGPT. That's so sweet of you.”
- **发布会时长**:OpenAI发布会全程仅26分钟,聚焦于GPT-4o一款产品。 - **响应速度**:GPT-4o音频响应时间最低232毫秒,平均320毫秒。 - **技术架构**:端到端单神经网络处理,彻底告别了过去多模型拼接导致的数秒延迟。
---
[04:59](https://www.bilibili.com/video/BV17Z42147us?t=299s) 情感陪伴的稀缺性与谷歌Gemini全生态的反击
在直播发布会中直接进行现场演示需要极大的勇气,因为一旦出错就会引发公关灾难,而OpenAI的现场演示展现了极高的自信。除了现场Demo,OpenAI还在官网上放出了17个复杂场景的交互案例,包括照片转漫画、3D物体合成、海报创作和角色设计等。在OpenAI总裁Greg Brockman的演示视频中,GPT-4o不仅能识别他穿的衣服、所处的环境、情绪语气,甚至能识别房间里新出现的动作。最引人注目的是,Brockman让两台运行GPT-4o的设备进行直接的语音和视频交互,甚至让它们互相唱和。这种自然、拟人、弱机器人感的交互,让许多人在发布会后直呼:电影《Her》(《她》)中人类与AI语音助手Samantha相伴的时代真的到来了。
从应用落地的角度来看,AI在理性工作(如Agent)上的落地可能依然存在难度,但在感性、情感陪伴层面的落地却比想象中更容易。在现代社会中,倾听、陪伴和情感表达往往是极度稀缺的资源。当AI能够以极低延迟、极低成本和极佳的形式提供这种情绪价值时,将对人类社交和社会结构带来巨大的变革。随着图灵测试的概念变得越来越模糊,《Her》中的场景实现只是时间问题。然而,多模态带来的不仅是情感陪伴,更是工作场景和生态的颠覆。
就在OpenAI发布会的一天之后,谷歌举办了长达两个小时的I/O大会。作为科技巨头,谷歌的发布会更显宏大,CEO Sundar Pichai在演讲中提到“AI”多达120次,表明谷歌目前所有的工作都在围绕其多模态大模型Gemini展开。直接对标GPT-4o的是谷歌的Project Astra。虽然谷歌为了稳妥没有选择现场直播演示,而是播放了录制视频,但DeepMind负责人Demis Hassabis保证该视频没有任何后期改动。在视频中,伦敦办事处的工作人员使用Astra识别地理位置、寻找丢失的眼镜并检查代码。Hassabis指出,未来人工智能的故事将不再关于模型本身,而是关于“它们能为你做什么”。
- **官网案例**:OpenAI官网展示了17个多模态交互案例。 - **谷歌I/O大会**:时长达2小时,CEO Sundar Pichai在Keynote中提及“AI”120次。 - **Project Astra**:基于Gemini的多模态实时助手,主打空间感知与日常任务协助。
---
[09:59](https://www.bilibili.com/video/BV17Z42147us?t=599s) 谷歌的生态护城河:多模态搜索与全家桶升级
Project Astra只是谷歌庞大AI版图中的冰山一角。谷歌在大会上展示了最新版Gemini加持的搜索功能,并在美国率先上线了名为“AI Overviews”的AI生成摘要功能。通过多步推理,Gemini可以代替用户进行研究、整理和展示,直接在搜索框中帮用户规划一日三餐、制定旅行行程或进行购物对比。更具颠覆性的是多模态搜索:当用户遇到无法用语言描述的物体或故障时,可以直接拍照片或录视频,用语音或打字询问AI“这是啥、怎么修”,谷歌就会自动整理出解决方案。
此外,Gemini还深度集成了“Ask Photos”功能。针对许多人记不住自己车牌号等生活痛点,用户可以直接向Gemini提问,它会在海量相册中自动搜索、识别并提取出对应的车牌号码。同时,AI也将全面融入Google Workspace(谷歌全家桶),打通Gmail、Google Docs、Google Drive、Google Calendar和Google Meet。例如,当用户在邮箱收到一张发票,Gemini可以直接将其整理并保存到Google Drive和Google Sheet中,实现跨文档的搜索与归纳。
在模型与硬件层面,谷歌还发布了一系列更新,包括绘画模型Imagen 3、音乐创作工具Music AI Sandbox、视频生成模型Veo、拥有200万Token超长上下文窗口的Gemini 1.5 Pro,以及自研的第六代TPU芯片。面对这两场紧咬的发布会,业界纷纷对比谁才是赢家。虽然OpenAI提前一天“抢跑”发布GPT-4o,且在语音助手的原生多模态(Multi-modal in, Multi-modal out)技术上被认为仍领先于谷歌(英伟达高级科学家Jim Fan指出,谷歌目前更多是多模态输入,但在输出端仍是将视频、音乐等独立模型进行整合),但谷歌最坚固的护城河在于其无与伦比的“分销优势”。Gemini不需要成为世界上最顶尖的模型,只要它能顺畅地融入搜索、邮箱和云服务中,解决用户的实际痛点,谷歌就能在AI时代立于不败之地。
- **Gemini 1.5 Pro**:支持高达200万Token的上下文窗口,创下历史纪录。 - **新模型与硬件**:发布Imagen 3、Veo、Music AI Sandbox及第六代自研TPU。 - **分销优势**:Jim Fan指出,谷歌将AI集成到搜索框和Workspace生态中,是其最强大的商业壁垒。
---
[14:59](https://www.bilibili.com/video/BV17Z42147us?t=899s) 巨头策略的分野与端侧小模型的必然趋势
从公司策略来看,OpenAI和谷歌呈现出截然不同的走向。OpenAI更像是一个技术驱动者(Technology-focused),追求技术的惊艳感与极致性能。GPT-4o极低的延迟让实时翻译等功能真正具备了实用价值,而不再是“不好意思拿出来用”的摆设。相比之下,谷歌更注重解决方案(Solution-focused),致力于将AI技术与用户的日常生活、工作场景以及手机等硬件深度结合。
在这场多模态大战中,硬件成为了下一个关键战场。OpenAI在演示中使用了苹果手机和电脑,而谷歌则使用安卓设备,并在Demo中展示了一款类似于谷歌眼镜的AR眼镜原型设备。与此同时,一直被外界诟病在AI领域动作迟缓的苹果公司,也即将在6月10日的WWDC(全球开发者大会)上迎来关键时刻。外界普遍预计苹果将宣布与OpenAI合作,将ChatGPT整合进iOS 18,并利用大模型全面升级Siri。
事实上,苹果在学术和技术储备上动作频频。今年以来,苹果发布了手机端UI多模态大模型Ferret-UI,发表了关于在有限内存下实现快速LLM推理的论文,探讨了去掉Siri唤醒词的多模态方法,并披露了拥有300亿参数的多模态模型MM1。多模态技术与手机等硬件具有天然的适配性,而端侧模型(On-device Model)则是未来的必然趋势。过去一年行业都在追求“模型越大越好”,但万亿级参数的模型无法塞进手机。行业正在致力于将小模型(如百亿或十亿级参数)做到足够好。如果一个10亿(1 Billion)参数的端侧模型能达到当年GPT-3.5的水平,将极大地解决隐私、耗电和延迟问题,打开无限的想象空间。苹果在开源社区Hugging Face上发布的OpenELM系列模型(参数量包括270M、450M、1.1B和3B),便清晰地展现了其在移动端小模型上的布局。
- **苹果WWDC预期**:预计于6月10日宣布iOS 18与OpenAI的合作,并全面升级Siri。 - **苹果学术成果**:发布Ferret-UI、300亿参数多模态模型MM1,以及探讨无唤醒词语音检测的论文。 - **OpenELM系列**:苹果开源的端侧小模型,参数量分别为270M、450M、1.1B和3B。
---
[19:59](https://www.bilibili.com/video/BV17Z42147us?t=1199s) 终局展望:多模态重塑交互与多极化的巨头竞争
总结OpenAI与谷歌的这两场发布会,AI多模态之战的打响,让人们看到了AI“杀手级应用”落地的曙光,它将彻底重塑人类与电子设备的交互方式。在竞争格局上,OpenAI一路向前,目标直指Scaling Law(尺度定律)和AGI;而谷歌则坚守自身生态,通过应用落地捍卫其商业营收和分销护城河。在这场多模态的初战中,OpenAI赢得了技术声誉,但谷歌在商业和生态上也绝没有输。
展望未来,硬件与AI的结合将带来巨大的新机会。大模型“瘦身”进入手机只是第一步,如何打造极致的应用体验才是关键。此外,谷歌在Demo最后展示的AR眼镜与AI的结合,为AR智能眼镜这一起伏多年的产品注入了新的希望。Meta在AR硬件上的深耕、苹果在Vision Pro及自家AR团队上的未来策略,都将成为下一场科技巨头比拼的新战场。
同时,不要忘记微软这一巨头。微软并没有将所有鸡蛋放在OpenAI的篮子里。它不仅在软硬件上拥有深厚积累,近期还收编了情感陪伴大模型公司Inflection的大部分顶级人才,并发布了自己的大模型Phi-3。随着生成式AI第二轮多模态战役的全面打响,科技巨头们的战术和方向越发清晰,AI应用的爆发已在弦上。
- **微软动作**:收编Inflection AI骨干团队,发布自有模型,实行多头并进策略。 - **未来战场**:端侧小模型、AR/VR眼镜(如Apple Vision Pro、Meta AR眼镜)与AI的深度融合。
## Notable quotes > [00:00](https://www.bilibili.com/video/BV17Z42147us?t=0s) Mark, you're not a vacuum cleaner — GPT-4o
> [00:00](https://www.bilibili.com/video/BV17Z42147us?t=0s) Initiating dramatic robotic voice — GPT-4o
> [00:00](https://www.bilibili.com/video/BV17Z42147us?t=0s) Oh, I see. I love ChatGPT. That's so sweet of you. — GPT-4o
> [08:19](https://www.bilibili.com/video/BV17Z42147us?t=499s) 它们能为你做什么 — Demis Hassabis
## Mentioned OpenAI, 谷歌, GPT-4o, Gemini, Project Astra, Bilibili, 硅谷101, 陈倩, ChatGPT, Greg Brockman, Sundar Pichai, Demis Hassabis, AI Overviews, Ask Photos, Google Workspace, Gmail, Google Docs, Google Drive, Google Calendar, Google Meet, Imagen 3, Music AI Sandbox, Veo, Gemini 1.5 Pro, TPU, Jim Fan, 苹果, WWDC, iOS 18, Siri, Ferret-UI, MM1, OpenELM, Meta, Vision Pro, 微软, Inflection, Phi-3
[Source](https://www.bilibili.com/video/BV17Z42147us)