OpenAI谷歌竞逐多模态AI 苹果微软卡位端侧与生态战

OpenAI与谷歌重磅更新,生成式AI大战升级第二轮|GPT-4o、Gemini、Project Astra — 硅谷101

硅谷101

生成式AI大战进入多模态与端侧落地新阶段,OpenAI虽凭端到端技术赢得声誉,但谷歌凭借搜索及办公全家桶的无缝分销优势仍将在商业版图中立于不败之地。

AI-assisted summary of OpenAI与谷歌重磅更新,生成式AI大战升级第二轮|GPT-4o、Gemini、Project Astra — original source. Check the original for full context.

Source published:

Detailed notes

## Background 本期视频由自媒体“硅谷101”于2024年5月17日发布在Bilibili平台。视频简介指出,随着OpenAI发布具有视觉和语音交互能力的GPT-4o,以及谷歌在I/O大会上推出语音助手Astra和多模态应用“全家桶”,硅谷科技巨头之间的生成式AI大战已正式升级至第二轮,未来苹果等巨头的入局将深刻改变商业版图并引领生成式AI的新一轮变革。

## TL;DR 视频深度解析了OpenAI与谷歌在2024年5月中旬相继举办的重磅发布会。OpenAI凭借端到端单神经网络的GPT-4o带来了极低延迟、具情感陪伴属性的真人般交互震撼,而谷歌则通过两小时的I/O大会展示了Gemini生态的全面反击,包括多模态搜索、Google Workspace深度集成以及200万Token的Gemini 1.5 Pro,凸显了其无与伦比的分销优势。此外,视频还展望了硬件与AI结合的未来,分析了苹果在WWDC前夕的移动端小模型布局以及微软等巨头多头并进的策略,指出多模态交互正全面重塑人机交互方式。

## Atmosphere & style 整期视频充满着科技前沿的紧迫感与深度思考的沉稳。主持人陈倩甚至为此中断希腊休假紧急加班,这种大新闻来临时的敏锐与狂热奠定了视频激昂的开场。随着对技术细节和商业壁垒的层层剥离,叙事风格从最初面对GPT-4o如电影《Her》般拟人化交互的惊艳与感性震撼,逐渐转入理性、冷静的巨头策略沙盘推演,流露出一种对科技浪潮加速迭代的兴奋、对未来变局的期待,以及身处科技革命风暴中心的真实临场感。

## Key takeaways - [00:00](https://www.bilibili.com/video/BV17Z42147us?t=0s) 2024年5月中旬,OpenAI与谷歌先后发布重磅更新,标志着生成式AI之战正式进入声音、文字和视觉三者结合的多模态第二轮竞争。 - [00:00](https://www.bilibili.com/video/BV17Z42147us?t=0s) OpenAI发布的GPT-4o具备跨文本、语音和视觉的端到端单神经网络架构,彻底告别了过去多模型拼接导致的延迟与信息损耗。 - [00:00](https://www.bilibili.com/video/BV17Z42147us?t=0s) GPT-4o实现了最快232毫秒、平均320毫秒的音频输入响应时间,达到了人类日常对话的无延迟丝滑体验。 - [04:59](https://www.bilibili.com/video/BV17Z42147us?t=299s) GPT-4o具备极高拟人化的情感陪伴能力,能够识别人类情绪、呼吸声、环境及动作,让电影《Her》中的场景加速成为现实。 - [04:59](https://www.bilibili.com/video/BV17Z42147us?t=299s) 谷歌在I/O大会上发布基于Gemini的多模态实时助手Project Astra,主打空间感知与日常任务协助,对标GPT-4o。 - [09:59](https://www.bilibili.com/video/BV17Z42147us?t=599s) 谷歌将多模态AI深度集成至搜索(AI Overviews)与Google Workspace全家桶生态中,展现出强大的商业分销护城河。 - [09:59](https://www.bilibili.com/video/BV17Z42147us?t=599s) 谷歌在模型与硬件层面全面发力,发布了Gemini 1.5 Pro(支持200万Token超长上下文)、Imagen 3、Veo及第六代自研TPU。 - [14:59](https://www.bilibili.com/video/BV17Z42147us?t=899s) 科技巨头策略产生分野:OpenAI更像技术驱动者(Technology-focused),追求极致性能;而谷歌更注重解决方案(Solution-focused),强调场景落地。 - [14:59](https://www.bilibili.com/video/BV17Z42147us?t=899s) 硬件和端侧模型(On-device Model)成为下一个关键战场,行业正致力于将百亿或十亿级参数的小模型在手机端做到足够好,以解决隐私、耗电和延迟问题。 - [14:59](https://www.bilibili.com/video/BV17Z42147us?t=899s) 苹果在移动端小模型上积极布局,开源了OpenELM系列模型,并预计在WWDC上宣布iOS 18与OpenAI合作以全面升级Siri。 - [19:59](https://www.bilibili.com/video/BV17Z42147us?t=1199s) 多模态AI之战将彻底重塑人类与电子设备的交互方式,不仅推动AR/VR眼镜等硬件迎来新希望,也让科技巨头的竞争走向多极化。 - [19:59](https://www.bilibili.com/video/BV17Z42147us?t=1199s) 微软采取多头并进策略,在依赖OpenAI的同时,通过收编Inflection AI人才并发布自有Phi-3模型,积极参与多模态竞争。

## Detailed walkthrough ### [00:00](https://www.bilibili.com/video/BV17Z42147us?t=0s) 硅谷AI大战升级:多模态交互的到来与GPT-4o的震撼发布

2024年5月中旬,OpenAI和谷歌先后发布了重磅的AI多模态更新,标志着硅谷科技巨头之间的生成式AI之战正式进入第二轮。从前一阶段基于文字交互的ChatGPT,全面升级为声音、文字和视觉三者结合的新交互功能,AI终于“长出了眼睛和嘴”。《硅谷101》的主持人陈倩甚至为此中断了在希腊的休假,紧急加班制作了本期视频,深入探讨这场多模态AI之战对科技巨头商业版图的影响,以及生成式AI技术的下一步走向。

OpenAI的发布会非常短,全程仅26分钟,却发布了一款极具分量的产品——GPT-4o。其中的“o”源自拉丁词根“Omni”,意为“所有的、全部的、全能的”,代表着它能够接受文本、音频和图像的任意组合作为输入,并实时生成这三种模态的任意组合输出。虽然行业在2023年就已达成共识,即仅靠文字Prompt很难高效表达人类意图,多模态交互是通往AGI(通用人工智能)的必经之路,但当GPT-4o真正落地时,其表现依然令人震撼。它的音频输入响应时间最快可达232毫秒,平均为320毫秒,这已经达到了人与人之间日常对话的响应速度,实现了无延迟、丝滑的真人般对话体验。

在GPT-4o发布之前,ChatGPT的语音模式存在数秒的延迟,体验较差。这是因为旧版本是将语音转录为文本、输入大模型、输出文本、再通过Text-to-Speech(文字转语音)模型生成音频的“拼凑”过程,这期间会损失语调、情感、多发言人识别及背景音等关键信息。而GPT-4o是OpenAI首次专门训练的、跨文本、语音和视觉的端到端(End-to-End)新模型,所有输入输出均由同一个神经网络处理。它不仅支持中途打断和对话插入,还具备上下文记忆能力。在现场Demo中,GPT-4o甚至能识别出人类急促的呼吸声,并用轻松幽默的方式安慰对方:“Mark, you're not a vacuum cleaner(马克,你又不是吸尘器)”,引导其深呼吸。它还能根据要求切换成极具戏剧性的机器人腔调("Initiating dramatic robotic voice")来读故事,并在看到手写纸条时给出拟人化的反馈:“Oh, I see. I love ChatGPT. That's so sweet of you.”

- **发布会时长**:OpenAI发布会全程仅26分钟,聚焦于GPT-4o一款产品。 - **响应速度**:GPT-4o音频响应时间最低232毫秒,平均320毫秒。 - **技术架构**:端到端单神经网络处理,彻底告别了过去多模型拼接导致的数秒延迟。

---

[04:59](https://www.bilibili.com/video/BV17Z42147us?t=299s) 情感陪伴的稀缺性与谷歌Gemini全生态的反击

在直播发布会中直接进行现场演示需要极大的勇气,因为一旦出错就会引发公关灾难,而OpenAI的现场演示展现了极高的自信。除了现场Demo,OpenAI还在官网上放出了17个复杂场景的交互案例,包括照片转漫画、3D物体合成、海报创作和角色设计等。在OpenAI总裁Greg Brockman的演示视频中,GPT-4o不仅能识别他穿的衣服、所处的环境、情绪语气,甚至能识别房间里新出现的动作。最引人注目的是,Brockman让两台运行GPT-4o的设备进行直接的语音和视频交互,甚至让它们互相唱和。这种自然、拟人、弱机器人感的交互,让许多人在发布会后直呼:电影《Her》(《她》)中人类与AI语音助手Samantha相伴的时代真的到来了。

从应用落地的角度来看,AI在理性工作(如Agent)上的落地可能依然存在难度,但在感性、情感陪伴层面的落地却比想象中更容易。在现代社会中,倾听、陪伴和情感表达往往是极度稀缺的资源。当AI能够以极低延迟、极低成本和极佳的形式提供这种情绪价值时,将对人类社交和社会结构带来巨大的变革。随着图灵测试的概念变得越来越模糊,《Her》中的场景实现只是时间问题。然而,多模态带来的不仅是情感陪伴,更是工作场景和生态的颠覆。

就在OpenAI发布会的一天之后,谷歌举办了长达两个小时的I/O大会。作为科技巨头,谷歌的发布会更显宏大,CEO Sundar Pichai在演讲中提到“AI”多达120次,表明谷歌目前所有的工作都在围绕其多模态大模型Gemini展开。直接对标GPT-4o的是谷歌的Project Astra。虽然谷歌为了稳妥没有选择现场直播演示,而是播放了录制视频,但DeepMind负责人Demis Hassabis保证该视频没有任何后期改动。在视频中,伦敦办事处的工作人员使用Astra识别地理位置、寻找丢失的眼镜并检查代码。Hassabis指出,未来人工智能的故事将不再关于模型本身,而是关于“它们能为你做什么”。

- **官网案例**:OpenAI官网展示了17个多模态交互案例。 - **谷歌I/O大会**:时长达2小时,CEO Sundar Pichai在Keynote中提及“AI”120次。 - **Project Astra**:基于Gemini的多模态实时助手,主打空间感知与日常任务协助。

---

[09:59](https://www.bilibili.com/video/BV17Z42147us?t=599s) 谷歌的生态护城河:多模态搜索与全家桶升级

Project Astra只是谷歌庞大AI版图中的冰山一角。谷歌在大会上展示了最新版Gemini加持的搜索功能,并在美国率先上线了名为“AI Overviews”的AI生成摘要功能。通过多步推理,Gemini可以代替用户进行研究、整理和展示,直接在搜索框中帮用户规划一日三餐、制定旅行行程或进行购物对比。更具颠覆性的是多模态搜索:当用户遇到无法用语言描述的物体或故障时,可以直接拍照片或录视频,用语音或打字询问AI“这是啥、怎么修”,谷歌就会自动整理出解决方案。

此外,Gemini还深度集成了“Ask Photos”功能。针对许多人记不住自己车牌号等生活痛点,用户可以直接向Gemini提问,它会在海量相册中自动搜索、识别并提取出对应的车牌号码。同时,AI也将全面融入Google Workspace(谷歌全家桶),打通Gmail、Google Docs、Google Drive、Google Calendar和Google Meet。例如,当用户在邮箱收到一张发票,Gemini可以直接将其整理并保存到Google Drive和Google Sheet中,实现跨文档的搜索与归纳。

在模型与硬件层面,谷歌还发布了一系列更新,包括绘画模型Imagen 3、音乐创作工具Music AI Sandbox、视频生成模型Veo、拥有200万Token超长上下文窗口的Gemini 1.5 Pro,以及自研的第六代TPU芯片。面对这两场紧咬的发布会,业界纷纷对比谁才是赢家。虽然OpenAI提前一天“抢跑”发布GPT-4o,且在语音助手的原生多模态(Multi-modal in, Multi-modal out)技术上被认为仍领先于谷歌(英伟达高级科学家Jim Fan指出,谷歌目前更多是多模态输入,但在输出端仍是将视频、音乐等独立模型进行整合),但谷歌最坚固的护城河在于其无与伦比的“分销优势”。Gemini不需要成为世界上最顶尖的模型,只要它能顺畅地融入搜索、邮箱和云服务中,解决用户的实际痛点,谷歌就能在AI时代立于不败之地。

- **Gemini 1.5 Pro**:支持高达200万Token的上下文窗口,创下历史纪录。 - **新模型与硬件**:发布Imagen 3、Veo、Music AI Sandbox及第六代自研TPU。 - **分销优势**:Jim Fan指出,谷歌将AI集成到搜索框和Workspace生态中,是其最强大的商业壁垒。

---

[14:59](https://www.bilibili.com/video/BV17Z42147us?t=899s) 巨头策略的分野与端侧小模型的必然趋势

从公司策略来看,OpenAI和谷歌呈现出截然不同的走向。OpenAI更像是一个技术驱动者(Technology-focused),追求技术的惊艳感与极致性能。GPT-4o极低的延迟让实时翻译等功能真正具备了实用价值,而不再是“不好意思拿出来用”的摆设。相比之下,谷歌更注重解决方案(Solution-focused),致力于将AI技术与用户的日常生活、工作场景以及手机等硬件深度结合。

在这场多模态大战中,硬件成为了下一个关键战场。OpenAI在演示中使用了苹果手机和电脑,而谷歌则使用安卓设备,并在Demo中展示了一款类似于谷歌眼镜的AR眼镜原型设备。与此同时,一直被外界诟病在AI领域动作迟缓的苹果公司,也即将在6月10日的WWDC(全球开发者大会)上迎来关键时刻。外界普遍预计苹果将宣布与OpenAI合作,将ChatGPT整合进iOS 18,并利用大模型全面升级Siri。

事实上,苹果在学术和技术储备上动作频频。今年以来,苹果发布了手机端UI多模态大模型Ferret-UI,发表了关于在有限内存下实现快速LLM推理的论文,探讨了去掉Siri唤醒词的多模态方法,并披露了拥有300亿参数的多模态模型MM1。多模态技术与手机等硬件具有天然的适配性,而端侧模型(On-device Model)则是未来的必然趋势。过去一年行业都在追求“模型越大越好”,但万亿级参数的模型无法塞进手机。行业正在致力于将小模型(如百亿或十亿级参数)做到足够好。如果一个10亿(1 Billion)参数的端侧模型能达到当年GPT-3.5的水平,将极大地解决隐私、耗电和延迟问题,打开无限的想象空间。苹果在开源社区Hugging Face上发布的OpenELM系列模型(参数量包括270M、450M、1.1B和3B),便清晰地展现了其在移动端小模型上的布局。

- **苹果WWDC预期**:预计于6月10日宣布iOS 18与OpenAI的合作,并全面升级Siri。 - **苹果学术成果**:发布Ferret-UI、300亿参数多模态模型MM1,以及探讨无唤醒词语音检测的论文。 - **OpenELM系列**:苹果开源的端侧小模型,参数量分别为270M、450M、1.1B和3B。

---

[19:59](https://www.bilibili.com/video/BV17Z42147us?t=1199s) 终局展望:多模态重塑交互与多极化的巨头竞争

总结OpenAI与谷歌的这两场发布会,AI多模态之战的打响,让人们看到了AI“杀手级应用”落地的曙光,它将彻底重塑人类与电子设备的交互方式。在竞争格局上,OpenAI一路向前,目标直指Scaling Law(尺度定律)和AGI;而谷歌则坚守自身生态,通过应用落地捍卫其商业营收和分销护城河。在这场多模态的初战中,OpenAI赢得了技术声誉,但谷歌在商业和生态上也绝没有输。

展望未来,硬件与AI的结合将带来巨大的新机会。大模型“瘦身”进入手机只是第一步,如何打造极致的应用体验才是关键。此外,谷歌在Demo最后展示的AR眼镜与AI的结合,为AR智能眼镜这一起伏多年的产品注入了新的希望。Meta在AR硬件上的深耕、苹果在Vision Pro及自家AR团队上的未来策略,都将成为下一场科技巨头比拼的新战场。

同时,不要忘记微软这一巨头。微软并没有将所有鸡蛋放在OpenAI的篮子里。它不仅在软硬件上拥有深厚积累,近期还收编了情感陪伴大模型公司Inflection的大部分顶级人才,并发布了自己的大模型Phi-3。随着生成式AI第二轮多模态战役的全面打响,科技巨头们的战术和方向越发清晰,AI应用的爆发已在弦上。

- **微软动作**:收编Inflection AI骨干团队,发布自有模型,实行多头并进策略。 - **未来战场**:端侧小模型、AR/VR眼镜(如Apple Vision Pro、Meta AR眼镜)与AI的深度融合。

## Notable quotes > [00:00](https://www.bilibili.com/video/BV17Z42147us?t=0s) Mark, you're not a vacuum cleaner — GPT-4o

> [00:00](https://www.bilibili.com/video/BV17Z42147us?t=0s) Initiating dramatic robotic voice — GPT-4o

> [00:00](https://www.bilibili.com/video/BV17Z42147us?t=0s) Oh, I see. I love ChatGPT. That's so sweet of you. — GPT-4o

> [08:19](https://www.bilibili.com/video/BV17Z42147us?t=499s) 它们能为你做什么 — Demis Hassabis

## Mentioned OpenAI, 谷歌, GPT-4o, Gemini, Project Astra, Bilibili, 硅谷101, 陈倩, ChatGPT, Greg Brockman, Sundar Pichai, Demis Hassabis, AI Overviews, Ask Photos, Google Workspace, Gmail, Google Docs, Google Drive, Google Calendar, Google Meet, Imagen 3, Music AI Sandbox, Veo, Gemini 1.5 Pro, TPU, Jim Fan, 苹果, WWDC, iOS 18, Siri, Ferret-UI, MM1, OpenELM, Meta, Vision Pro, 微软, Inflection, Phi-3

[Source](https://www.bilibili.com/video/BV17Z42147us)

中文简报

OpenAI谷歌竞逐多模态AI 苹果微软卡位端侧与生态战 生成式AI大战进入多模态与端侧落地新阶段,OpenAI虽凭端到端技术赢得声誉,但谷歌凭借搜索及办公全家桶的无缝分销优势仍将在商业版图中立于不败之地。 视频深度解析了OpenAI与谷歌在2024年5月中旬相继举办的重磅发布会。OpenAI凭借端到端单神经网络的GPT-4o带来了极低延迟、具情感陪伴属性的真人般交互震撼,而谷歌则通过两小时的I/O大会展示了Gemini生态的全面反击,包括多模态搜索、Google Workspace深度集成以及200万Token的Gemini 1.5 Pro,凸显了其无与伦比的分销优势。此外,视频还展望了硬件与AI结合的未来,分析了苹果在WWDC前夕的移动端小模型布局以及微软等巨头多头并进的策略,指出多模态交互正全面重塑人机交互方式。 OpenAI发布跨文本、音频和视觉的端到端模型GPT-4o,音频响应时间最低达232毫秒,宣告生成式AI正式迈入拟人化多模态交互的第二轮竞赛。 (0:00) 谷歌紧随其后在I/O大会推出多模态实时助手Project Astra,并将Gemini深度整合至搜索与Workspace生态,构筑起强大的商业分销护城河。 (4:59) 谷歌同步发布了支持创纪录200万Token上下文的Gemini 1.5 Pro、视频生成模型Veo以及第六代自研TPU芯片,全面展现全栈技术实力。 (9:59) 科技巨头策略呈现技术驱动与场景落地的分野,随着模型小型化推进与AR硬件探索,端侧多模态模型成为苹果等巨头入局的关键战场。 (14:59)

Reading summary

2024年5月中旬,OpenAI与谷歌相继发布重磅多模态更新,标志着生成式AI竞争全面迈入声音、文字与视觉实时交互的第二阶段。OpenAI凭借端到端架构的GPT-4o追求极致技术与拟人化体验,而谷歌则依托Gemini全生态集成与分销优势捍卫商业版图。 端到端架构突破与拟人交互体验 (0:00) OpenAI推出的GPT-4o彻底改变了此前串联语音转文字、文本大模型与文字转语音的多模型拼凑模式,首次采用跨文本、语音和视觉的端到端单神经网络。旧架构存在数秒延迟且会损失语调与背景音,而GPT-4o的音频响应时间最低达232毫秒、平均320毫秒,达到了人类日常对话的响应水平。在演示中,该模型支持实时打断与插入,不仅能察觉急促呼吸并幽默安抚、切换戏剧性机器人腔调讲故事,还能让两台运行该模型的设备直接进行视听对话互动。 从情感陪伴潜力到空间感知助手 (4:59) 相较于复杂的理性工作,AI在低成本、拟人化的感性陪伴场景展现出更快的落地潜力,引发外界对电影《Her》中人机关系的现实讨论。面对OpenAI的冲击,谷歌在两小时的I/O大会上展示了对标产品Project Astra。DeepMind负责人Demis Hassabis展示了其在无后期修饰下识别地理环境、寻物与检查代码的能力,强调未来AI的故事核心在于为用户解决实际问题,推动多模态助手由单纯对话转向空间感知与日常任务协同。 谷歌全家桶协同与分销护城河 (9:59) 谷歌展示了其难以被替代的分销优势与生态深度。Gemini被深度植入谷歌核心业务:搜索端在美国上线“AI Overviews”,支持多步推理与针对现实物品排障的多模态音视频搜索;“Ask Photos”可直接检索车牌等相册细节;Google Workspace则打通了Gmail、Docs与Drive,实现跨应用的票据整理与信息归纳。此外,谷歌还发布了200万Token上下文的Gemini 1.5 Pro、自研第六代TPU及音视频生成模型。英伟达科学家Jim Fan指出,尽管OpenAI在原生全模态输出上仍具技术领先性,但谷歌将AI深度缝入现有海量入口的能力构成了其核心商业壁垒。 端侧小模型演进与智能硬件载体 (14:59) 随着多模态技术的落地,硬件适配与端侧小模型成为新的竞争焦点。行业开始从单纯追求万亿参数转向将十亿至百亿级参数模型做精,以解决移动终端的延迟、耗电与隐私问题。苹果通过发布Ferret-UI、300亿参数多模态模型MM1及开源OpenELM系列小模型积极布局,外界普遍预计其将在6月的WWDC上宣布与OpenAI合作并重塑Siri。与此同时,谷歌在演示中展出了结合AI的AR眼镜原型,与Meta及苹果Vision Pro的硬件方向共同预示着可穿戴设备正在成为下一代人机交互的关键战场。 多模态浪潮正在重塑人机交互形态,OpenAI的技术探索与谷歌的生态防守形成了鲜明的策略分野。伴随微软吸纳Inflection团队并布局Phi-3小模型、端侧模型轻量化以及智能眼镜等硬件载体的推进,生成式AI的竞争正从单一模型能力的较量全面转向综合生态与终端落地的较量。

Source quotes

[0:00] GPT-4o: Mark, you're not a vacuum cleaner [0:00] GPT-4o: Initiating dramatic robotic voice [0:00] GPT-4o: Oh, I see. I love ChatGPT. That's so sweet of you. [8:19] Demis Hassabis: 它们能为你做什么

Original transcript

[0:00] XGBT以及硅谷AI大战终于升级长出了眼睛和嘴5月中旬OpenAI和谷歌前后发布重磅AI多模态更新从基于文字交互的XGBT全面升级实现了声音文字和视觉三者全面结合的人工智能新交互功能而这也标志着硅谷科技巨头们的生成式AI之战正式进入到第二轮那么新一轮的竞争只会更加的激烈更加的全面Hello I'm hereHello大家好欢迎来到硅谷101我是陈倩我本来在希腊休假但是因为OpenAI和谷歌的重磅更新又被抓来加班更新了这一期的视频来聊聊这次的多模态AI之战对于科技巨头们的商业版图意味着什么变化以及生成式AI智能技术的下一步会发生什么那我们就首先来快速复盘一下OpenAI和谷歌发布的多模态重磅更新如果大家已经看过了发布会的话可以直接跳到第三章的时间点直接看分析但是没看过的我们还是来回顾一下这场发布会里面有很多的细节还是挺重要的Let's get startedOpenEdge的发布会时常很短全程就26分钟就发了一款产品GPT4OGPT4O的O是拉丁词根Omni意思是所有的全部的或者是全能那意味着文本音频和图像的任意组合作为输入并且生成文本音频和图像输出的全面多模态能力说实话2024年AI之战会升级到多模态产品这个预期在2023年已经是行业共识了我们在之前的多期视频当中都已经提到过仅仅是文字的prompt很难表达人类的意图非常的低效也非常的受限所以有语音和视觉加持的多模态AI交互是人类通往AGI的道路上必经之路但是当多模态AI交互真的到来的时候我还是感觉会被震撼到OpenEye说GPT4O可以在232毫秒之内响应音频输入平均是320毫秒这已经是达到人与人之间响应的时间了也就是说AI语音对话的交互已经能够做到非常的低延迟很丝滑的像真人一样对话了那么GPT4O发布之前XGPT的语音模式功能有着好几秒的延迟那么这让整个交互体验非常的差这是因为之前的GPT系列的语音功能是好几个模型的一个拼合那它先把声音转录成文本然后再用GPT大模型去接受之后再输出文本然后再用Text to Speech等等这样的模型去生成音频但这其中就会损失非常多很重要的信息比如说语调语气中的情感情绪啊还有多个人说话人的识别啊背景的声音等等所以这个语音功能啊之前很慢很迟缓也很基础而这次GPT4O呢是OpenAI专门训练的跨文本语音和视觉的端到端新模型所有的输入和输出呢都是由同一个神经网络处理那么这使得GPT4O能够接受文本音频和图像的任意组合作为输入并且生成文本音频和图像的任意组合的输出那是兼具了听觉视觉的多模态模型同时还支持中途打断和对话的插入并且具备上下文记忆的能力那么这样的多模态模型是OpenAI首次发布表示还有很多的探索空间但是目前展出来的功能已经是非常让人惊喜的了比如说在现场的demo当中GPD-4O可以理人们的呼吸急促的声音 并且用轻松的方式安慰人类 OK, here I go Whoa, slow A little bit there Mark, you're not a vacuum cleaner OK, I'll try again Breathing in And breathe out That's it How do you feel? I feel a lot better Thank you so much It can be able to identify people's feelings and know the mood. Ah, there we go. It looks like you're feeling pretty happy and cheerful. It can be able to change the language and style to speak the story. Can we do this in a robotic voice now? Initiating dramatic robotic voice. 同时呢,GPT4O还可以通过硬件设备,通过视觉来分析人们正在从事的工作,看了书,可以引导人们解题,可以切换语言,实时翻译,也能够通过视觉识别给他的信息,并且呢,给出非常拧人化的反馈。 OK, so this is what I wrote down. What do you see? Oh, I see. I love ChatGPT. That's so sweet of you. 说实话在直播发布会中直接现场演示这件事情是非常需要勇气的 因为一旦出错呢会引发 [4:59] 非常大的公关灾难但是OpenAI有这个勇气去直接现场演示直播给人的感觉也是非常的自信那么除了现场的演示之外OpenAI还在官网上放出了更多更加复杂场景的交互展现出AI多模态的更多的潜力比如说在官网上OpenAI做了17个案例展示包括了照片转漫画3D物体合成海报创作角色设计等等样本那么此外OpenAI总裁Greg Rockman的演示视频当中GPT-4O可以识别出他所穿的衣服身处的环境可以识别出Brockman的情绪和语气还有房间里面正在出现的新动作但是最让外界关注的一个动作是是他让两台运行GPT-4O的设备进行语音或者视频交互do the singing voice again pleasein a room where modern lights peaksurprise gas也就是说OpenAI的GPT4O多摩泰给了AI交互的声音和视觉不仅是升级了人和AI之间的交互也升级了AI和AI之间的交互那这样的交互更自然更拧人有着更大空间的应用场景而且整个AI的声音和语言非常的灵动机器人感比较弱它会开玩笑会安慰人会害羞难怪呢很多人在OpenAI发布会之后直呼内部讲述人类和AI语音助手Samantha电影Her的时代真的到来了OK停走我自己是非常激动的因为我一直觉得我们对于AI落地的很多应用预期其实不一定是准确的大家可能在AI一开始的时候觉得生产力的产品很直接但是现在可能发现好像说这个理性的工作其实很多agent可能落地啊什么反而比较难但是感性的角度反而会更加容易一点第二呢我在部分前也发了一个感叹就是说历史上当一件事情从很稀缺来要强变得不稀缺的时候可能就会带来巨大的变化对于Tierpont来讲生活其实是单调的或者是一生不变的是乏味的这个时候其实不管在个儿里面所谓的这种男女情感这个表达还是说一种陪伴还是说一种倾听其实都是很多时候很稀缺的一种资源或者一种内容那么当AI能够做到以一个低延迟低成本然后很好的形式去表达这种情绪价值的时候这可能会对我们的社交啊社会啊带来很大的影响会带来很大的机会随着AI能力的提升啊图灵测试这个概念呢可能会越来越模糊化电影《赫尔中》描述的场景实现几乎是早晚的事但AI多模态带来的不仅仅是情感上的陪伴和交互更多的是整个工作场景和生态上的颠覆那么就在OpenAI发布会的一天之后谷歌发布的一系列多模态更新进一步的说明了AI多模态能够带来的颠覆性潜力那比起OpenAI的发布会谷歌的发布会就更像一个巨头了长达两个小时在他的各个生态的方向用AI去发力连CEO Thunder Pichai自己也说整场Keynote的演讲稿件当中总共提了120次的AI表明谷歌目前所有的工作都是围绕着多模态AI模型 Gemini来展开首先直接与OpenAI前一天发布的GPT4O对标的是Project Astra虽然谷歌不是现场演示不像OpenAI那么赶毕竟巨头还是需要保守一些些的但是从谷歌的demo视频来看如果谷歌的demo是实时生成的谷歌的Gemini多模态模型比起OpenAI在功能上也不算弱谷歌Deepmind的负责人Demis Hassabis在台上宣布了Project Astra那Project Astra是基于Gemini多模态大模型是一个十十多模态的人工智能助手可以通过硬件设备看到世界知道东西是什么以及你把它们放在哪里并且可以回答问题或者帮助你做几乎任何事情在谷歌的demo视频当中谷歌伦敦办事处的一个工作人员就用Astra识别自己的地理位置找到丢失的眼镜检查代码等等如果谷歌的demo是实时拍摄的反正Demma as Hussabes是打包票说这个视频没有任何的改动那么毫无疑问就会解锁众多的交互场景那么Hussabes说展望未来人工智能的故事将不再是关于模型本身而是关于他们能够为你做什么而于OpenCM [9:59] GEMINI的GPT4OCEAN站的Project Astra只是其中的一个产品而已谷歌其实发布了非常多的更新包括谷歌展示了最新版GEMINI加持的搜索功能谷歌首先在美国上线了名为AI Overviews的AI技术生成摘要功能简单来说在你搜索信息的时候谷歌的AI就能够直接帮你查找整理和展示了具体来说通过多部推理Gimini可以代替用户研究实现更好的高效的搜索总结和结果比如说规划一日三餐购物餐厅选择形成规划都可以在AI搜索中完成更重要的是这样的AI搜索还会直接帮你做规划比如说帮我创建一个三天的饮食计划那谷歌AI搜索就直接一个计划书摆在你面前了另外让我觉得很期待的两个功能第一个就是多模太搜索了你会不会遇到过这种情况搜索的时候发现难以用语言描述问题或者遇到不熟悉不认识的物体不知道如何去搜索相关的名词那现在呢你就可以直接拍上照片或者录段视频用语音或者打字问AI搜索这个是啥怎么修理之后谷歌呢就会帮你整理出相关的各种信息那对于我这种3C杀手啊经常弄坏各种电器的人来说我简直太期待这个多模态的搜索功能了而且多模态模型Gemina的强大搜索和推理能力还能够做更多的事情那么这正好呢也是我的痛点啊比如说谷歌CEO PXI在现场就演示Gemini可以在谷歌相册Google Photos里面进行更多的相关搜索比如说通过名为Ask Photos with Gemini的新功能让Gemini找到用户想要的车牌照号实话告诉大家我就是那个记不住我家车牌号的人如果大家也有人这样可以在弹幕上让我知道我不是一个人所以谷歌Gemini可以在用户的相册里面去搜索找到相应的信息和对应的照片来比如说获取照片中拍到的车牌照号码那么这个功能对我来说真的是非常的期待了以及任何可以帮我寻找一网照片文件中信息的功能我觉得都会解决很多的痛点还有一个对我来说很大帮助的是谷歌AI将会结合到谷歌的所有workspace当中俗称谷歌全家童也就是说在Gemini的加持之下Google workspace包括了GmailGoogle DocsGoogle DriveGoogle CalendarGoogle Meet等等都可以打通可以在这里进行跨文档搜索那比如说你在邮箱里面收到了一张发票那么就可以直接通过Gemini把这张发票整理到网盘Google Drive和表格Google Sheet当中还可以在邮件中搜索读取信息和亮点归纳总结那么这些功能都会在今年稍后退出另外呢谷歌还发布了一系列其他的模型更新包括了画图的Imagine3音乐的Music AI Sandbox还有生成视频的View还有有史以来最长上下文窗口200万Token的Gemini1.5 Pro还有呢Gemini App以及谷歌的自研芯片第六代TPU等等等等那因为其中的细节和产品太多了那这个视频我们就不一一的复述了如果感兴趣的小伙伴可以去看看谷歌的两小时发布会全程那看到这里你可能会问了在OpenAI之后发布了这一系列重磅更新的谷歌两个对手这一轮的发布谁是赢家呢那在两场发布会之后我看到不少人在对比OpenAI和谷歌的产品发布那我们从公司的策略层来解读一下首先OpenAI谷歌IO早一天发布了春季更新而且非常临时很难猜测是不是故意抢在谷歌前面的发布时长也只持续了26分钟非常的聚焦在GPT4O的这一个产品上那虽然外界对GPT4O的评价没有说像当时发布XGPT的时候那么轰动那么惊喜但是不得不说业界的很多人还是觉得是一个非常重要的里程碑的虽然多模态的这些功能是去年行业内的共识OpenAI会在2024年做出来并且发布并没有那么多的惊喜或者创新但是它确实是实现了大家期待中早晚会实现的AI更新也是非常的有意义的并且也是正确的发展道路我觉得是因为一个技术不能被用起来这个技术背后再怎么样也没啥意思OpenAI这个GPT4这个模型出来也能够做些translation就翻译啊什么这并不是一个新东西但如果没有实时效应其实是很难落地星期一他那个宣布的东西就让我感觉到我有可能真的会去有可能在比如下次我跟你一起去不管是采访谁或者跟谁讲话一个语言不懂语言不通我们真的可能用就用打开我们 [14:59] 手机来用translation否则的话就以前的那个延迟这么慢那个效果很不好你都不好意思拿出来用对吧那为什么能够做到那个延迟性这么低那被广泛认为的就是因为它是做了一个比较就像你说的原生的native的一个multi model就我看了那个demo我的第一反应是说OK以前他说的这些东西我都是往往是可以的但是我是不会拎出来用的但是但是他星期一给我的东西我就觉得有可能我会拿了就在实际的生活工作的场景里面就可能用得到如果光从语音助手的这个产品上来看GPT4O对打谷歌Project Astra目前业内很多声音仍然是认为OpenAI是领先的单从多模态模型上来说GPT4O是OpenAI第一款完全原生的多模态模型我们视频之前也有说到它所有的多模态输入和输出都是同一个神经网络处理的那么这使得GBT4O能够接受文本音频和图像的任意组合作为输入并且生成文本音频和图像的任意组合的输出是所谓的Multi-model in, Multi-model out但目前不少的业内人士认为谷歌的Gemini目前并没有做到这个程度比如如说英伟达的高级科学家Jim Fan他在Linthin上面就发表观点认为说谷歌是多模态作为输入但是呢并不是多模态作为输出它是所谓的Multimodel in but not multimodel out那么这意味着谷歌本次更新的视频音乐等等模型依然是独立于Gemini大模型的存在只是输出的时候把所有模型给整合起来拥有的多模态输出能力所以Jim Fan认为谷歌接下来整合所有的输入输出模态将是不可避免的未来发展但是他还有一句评论挺有意思的Jim Fan说谷歌在这次发布会当中做对的一件事是他们终于认真努力的将AI集成到搜索框中了谷歌最坚固的护城河是分销Jim and I不一定要成为最好的模型才能够成为世界上被使用最多的模型那么这也就是说谷歌在整个生态中只要顺畅的融入AI功能让用户觉得能够解决问题提高生活和工作效率因为谷歌在搜索邮箱谷歌云等等上的种种积累和优势那谷歌的分销优势依然能够保证谷歌在AI时代中利于不败之敌所以按照这个逻辑来看谷歌在这次发布会上在全生态上全面升级AI功能其实是做到了所以就算OpenAI前一天强跑这个发布亮点的GPT4谷歌整体上来看这一局也不算输那么第二天的股价本中上涨也是印证了市场的看法在OpenAI发布会之后Google发布会之前我跟一位Google的同学聊然后他提到一个观点还挺有意思他说一年以前OpenAI发GPT4的时候他们有很多东西他们是不知道OpenAI怎么做到的觉得他们好厉害对吧现在OpenAI发布会发了之后他们看到是说这个东西我们也知道怎么做但我们可能还没有像他那样做得那么少不能那么ready去demo所以我觉得目前来看的话所以他们肯定在这上面是有一些经验所以我感觉就是双方的绝对差距还是在缩小的相对来讲Google注重的是一个solution就是解决方案OpenAI目前注重的更多的还是一个Technology它在Technology上面非常的惊艳那你说它怎么去跟我们的人的日常的不管是生活工作去结合起来它没有那么多的人力它也没这么多思考而且这不是它的强项Google I.O.的发布看上去可能从某些角度来讲好像还没有前一天的Open AI的东西那么惊艳但实际上我觉得很惊艳我觉得经验不只是说是一个model的经验model只是一个纬度还有其他纬度怎么跟我的生活工作能够结合起来比如说跟我的手机结合起来它一些announcement是这个技术所以说一个技术AI这件技术我觉得今天落地是一个很大的一个挑战或者说一件事情所以可以预期到接下来多模态的继续整合和优化以及将AI功能整合到谷歌的各个产品线当中以及AI Agent的引入将会是谷歌发力的重点除此之外这两场发布会听下来还让我非常感兴趣的一点在于硬件OpenAI整个demo用的是苹果手机和苹果电脑谷歌用的是安卓手机和硬件同时还在视频demo当中非常有意思地提到了一个谷歌内部类似谷歌眼镜一样的prototype 原型设备所以接下来硬件和AI大模型的整合也到了加入战场的时刻而这个赛道的老大苹果在干什么呢虽然苹果公司在这轮硅谷科技巨头AI大战中是迟迟没有发生但是最近有不少的舆论风向稍微给我们勾勒出了苹果 [19:59] 潜在的想法和布局啊目前呢市场都在等待6月10号举行的苹果2024年全球开发者大会WWDC预计呢会在届时宣布一系列在AI和硬件上面的产品发布包括可能会和OpenAI合作将XGBT整合到iOS18操作系统那么另外呢外界期待苹果呢会宣布利用大模型全面升级Siri用户提供AI赋能的交互体验还有呢苹果如何将大模型C进手机移动端的这个苹果全家桶也是马上会召开的苹果发布会当中大家非常期待的最大看点了那么今年早前苹果是发布了一系列的论文包括了第一个手机段UI多模态大模型Feret UI还有今年一月份发布的一篇将大模型塞进iPhone的关键性论文使用有限的内存实现更快的LLM推理还有这篇苹果Siri团队在论文利用大型语言模型进行设备指向性语音检测的多模态方法中讨论了去掉唤醒词的方法同时呢在今年三月份发布的另外一篇论文当中啊苹果首次披露一个具有高达300亿参数的多模态模型MM1那么这个多模态能力如果集成到iPhone上面就能够通过视觉语音和文本等多种方式理解并且响应用户的需求所以呢综上所述虽然最近两年来啊苹果时常被人诟病在AI领域当中动作迟缓但是感觉呢苹果是在等一个正确的时机来加入战局它并没有落后而是一直在等待如今啊多模态技术逐渐成熟特别是文字输入语音和视觉的交互和手机等硬件是天然的适配OpenAI和谷歌的AI多模态之战打响之际也是苹果入局的时间了如果你看互联网和移动互联网时代其实他们在软件的渗透上其实都要给产业硬件的渗透大家要买PC大家要买手机所以导致说之前一个软件它的渗透速度其实是相对比较慢那为什么比如说CADGBT出来就渗透到了这么多的运步实际上是因为它跑在一个已有比较成熟的硬件上所以我觉得在目前来讲AI硬件墨的肯定首选还是在手机上我觉得肯定是期待像AI的这些模型怎么样在苹果的生态系的去落地其实说全新型态的一点我自己觉得可能性比较低但是在这个上面有了包括最近刚刚骂M4对吧当然如果iPad这个上面有这么强的芯片你如果还是说原来的任务是不是又浪费了你是不是原来干一些AI的任务呢其实我觉得如果你去看两年前两年前一些几百币上百币的模型的能力现在可能到了几十币甚至在十几币的情况下都能够去进行同样的性能这个其实是一个非常好的过程而对于智能手机智能手表乃至于以后的VR和AR眼镜设备更小的端模型将是业界着重发力的重点那么在今年4月份苹果宣布在全球最大AI开源社区HackingFace上面发布了全新的开源大型语言模型OpenELM系列模型包括了四个不同参数规模的模型270M、450M、1.1B和3B没错最大的也只有30亿个参数那么对移动端小模型的布局有着明显的意图而浩宜旭在采访中认为端模型是人类应用AI发展的必然趋势过去一年我们的大量的energy大量的讨论都是在越大越好但是万一级的Parameter不适合端的不适合放在手机上面另外一个问题就是说不是万一级的千亿级的或者说是百亿级的参数是不是能够把模型做到足够好现在我们看到的很多的小的模型可能是700亿参数的在一年之内我们能够看到10亿这么一个参数的一个model能够做到2022年11月30号它第一次出来的时候让大家惊艳的那个相当于3.5的那个model的能力我觉得是一个billing的一个billing的parameter是应该能够做到如果能够这个端上面能够run一个billion parameter的model能够做到3.5那就打开了很多的想象空间然后接下去会有更小的model因为model总共是越小对耗电啊对各方面都有很大好处我觉得甚至于是sub one billion parameter会更好从privacy的角度从耗电的角度从各方面角度我觉得小模型是必须的那视频的最后我们来总结一下OpenAI和谷歌的这两场发布会AI多模态指展打响之后在更多更广的应用上我们看到了AI杀手机应用的曙光有了更落地更切实的可用性那么这将重塑人类和AI以及电子设备的交互方式此外虽然OpenAI和谷歌表面上刀光剑影但是两家公司的策略目标是有一些 [24:59] 前者是一路涌向前目标scaling law和AGI那么后者呢人家注重自家的生态和应用落地来捍卫商业营收和市场分销互成和可能模型是不是最好的并没有那么重要所以目前的多模态出战啊OpenAI虽然赢了但是谷歌也没输那么在硬件端各类硬件与AI的结合将带来巨大的新机会而大模型瘦身进手机只是开始打造应用体验才是关键所在此外让人惊喜的是谷歌demo最后展示的AR眼镜与AI的结合这给AR智能眼镜这个起起伏伏了好几个周期的产品带来了新的曙光和希望除了谷歌多年的AR经验Meta在AR硬件上的布局与苹果在Vision Pro以及自家AR团队的未来策略都有可能成为下一场科技硬件巨头们比拼的新战场哦对了不要忘记微软之家与OpenAI深度绑定的巨头它并没有将全部鸡蛋都放在OpenAI的栏子当中Liria目前在AI布局上的优势加上在软硬件上都有多年的经验和布局那么最近还收编了之前主打情感陪伴大模型公司Inflection的大部分AI顶级人才发布了自己的大模型MindOne所以我们很兴奋的能够感觉到甚至是AI的第二轮多模态战役打响了越来越多的科技巨头入局并且战术和方向也越发清晰带来的也是AI应用的潜在落地与爆发这场战斗硅谷101在最前线所以别忘了关注我们的账号别错过更新那我们就拭目以待了以上呢就是这期视频的全部内容了抱歉我们这一期的背景有点不硅谷因为我在希腊休假的时候被临时抓来加入的这一期在这么平静原始的海岛上看OpenAI和谷歌的直播并且写了这篇AI的稿件感觉非常的有趣和穿越那同时呢非常感谢大家欢迎大家留言点赞转发和评论你们的支持是我们硅谷101做好深度科技内容和商业内容的最佳动力那我们就下一个视频硅谷再见了Bye