前谷歌DeepMind研究总监戴安度获杰夫迪恩投资创办Elorian AI

前谷歌DeepMind研究总监戴安度获Jeff Dean投资创办Elorian AI 戴安度认为纯语言模型无法实现通用人工智能，科技巨头因过度规避风险正错失多模态视觉推理的创新窗口。 在专访中，Andrew详细透露了谷歌在大模型发展中的内幕，包括早期错过的预训练机遇、被雪藏的MoE架构，以及Brain与DeepMind强行合并带来的严重内耗与技术妥协。随着Gemini 2.0靠数据清洗打赢翻身仗、传奇天才Noam Shazeer回归，谷歌虽重回巅峰，但体制对风险的规避促使Andrew离职创业。他创立了Elorian AI，拒绝纯语言模型和纯视觉世界模型的极端路线，致力于通过“多模态视觉推理”开辟通往AGI的新路径。 前谷歌核心科学家 Andrew Dai 在 Gemini 3.0 上线后离职创立 Elorian AI，聚焦语言与视觉推理结合的新路径，指出纯语言模型或纯世界模型均无法单独实现 AGI。 (37:51) 谷歌早在 2015 年便开创了预训练微调范式，并在 2021 年通过 GLaM 验证了稀疏门控 MoE 架构超越 GPT-3，但因大厂求稳心态被冷藏，直到 Gemini 1.5 才被重新启用。 (18:05) 面对 ChatGPT 冲击，谷歌强行合并 Google Brain 与 DeepMind，其推行的“双负责人制”引发了严重的势力范围争夺与组织内耗，直接导致多位核心研究员流失。 (25:55) 在前沿模型架构与算力高度同质化的当下，Gemini 2.0 打赢翻身仗的关键在于高质量数据筛选，利用搜索引擎积累的爬取与清洗经验彻底过滤低质垃圾内容。 (31:42) 随着代码编写工具门槛大幅降低，人类研究员的“创意价值”迎来暴涨；Andrew 预测顶尖科学家创办前沿新实验室（NeoLab）的黄金窗口期可能仅剩两年左右。 (60:00)

DeepMind前核心科学家Andrew Dai在专访中回顾了其在谷歌14年的AI研发历程，并阐述了为何在Gemini 3.0发布后离职创办Elorian AI，致力于攻关大语言模型与纯世界模型之间的多模态视觉推理路径。 技术领先与落地错位：谷歌错过的战略窗口 (9:34) Andrew指出，谷歌在多项核心架构上都曾处于极早期的引领地位。2015年他在Google Brain发表的《Semi-Supervised Sequence Learning》论文，因配置失误偶然发现了无监督预训练后微调的强大效能，但受限于算力未能扩大规模，随后在Transformer问世时提议做预训练也未获采纳，灵感最终被OpenAI推进为GPT系列。此外，他在2021年主导研发的稀疏门控MoE模型GLaM在基准上超越了GPT-3，却因谷歌庞大体量求稳而未能在生产中铺开，直至实习生Liam Fedus加入OpenAI并推动MoE落地、以及外部竞争加剧后，谷歌才在Gemini 1.5中重新启用。 组织分歧与双头内耗：Gemini诞生背后的动荡 (25:55) 在ChatGPT引爆危机前，Google Brain与保持高度独立的DeepMind在组织哲学上长期割裂，极少官方合作。面对危机，谷歌拉响最高级红色警报并强行整合两支团队联合打造Gemini。为平衡内部政治，项目设置了复杂的双负责人制（Co-Lead Setup），核心部门各由双方指派一人，引发了大量关于数据划分与权属的争吵和内耗，导致多位核心研究员离职。高压下赶工的Gemini 1.0因舍弃MoE退回稠密架构而表现不佳，随后团队在Gemini 2.0中凭借谷歌深厚的数据清洗底蕴与严密过滤才打出翻身仗。 大公司创新桎梏与大模型的核心驱动力 (35:12) Andrew认为，当前各前沿实验室在架构、算力和基础设施上高度同质化，真正的分水岭在于数据的筛选与清洗。尽管传奇研究员Noam Shazeer回归后凭借极强直觉在Gemini 2.5调优与架构预判中节省了巨大试错成本，但随着Gemini规模膨胀至数千人与十数万张算力卡，管理层出于稳定考虑倾向于一刀切否决激进创新。大公司内部项目优先级的频繁变动与算力卡争夺，让追求研究自由与迭代速度的顶级研究员倍感束缚。 超越语言与世界模型：专攻多模态视觉推理 (37:51) 离开谷歌后，Andrew创立了获5500万美元融资、估值3亿美元的Elorian AI，投资方包括英伟达及以个人身份参投的Jeff Dean。Andrew将业内路径分为三派：一是将90%精力放在代码、盲目拉长思维链的纯语言模型派，其连简单数杯子都会幻觉；二是以动物智能为蓝本的纯视觉世界模型派，虽能像老鹰捕食般瞬时计算物理轨迹，却缺乏人类符号与抽象概念来推导科学规律。Elorian AI选择兼取两者的中间路线，剔除历史战役等冗余文本，将算力精准集中在视觉与符号推理的交集，打造能理解现实物理世界并具备下一代推理能力的专业模型。 创意溢价与NeoLab的短暂窗口期 (60:00) 对于当前顶尖研究员出逃巨头创立独立实验室（NeoLab）的现象，Andrew分析称，随着Claude Code等代码工具普及，代码执行成本大幅下降，反而使得创造性灵感和科研直觉的价值暴涨。他预测NeoLab的创业爆发窗口期可能仅剩2026至2027年左右这两年时间，随着新实验室卡住生态位，行业格局将走向固化。Elorian AI正以15人左右高密度全栈研究团队推进底层内核与视觉推理模型开发，目标是成为下一个Anthropic级别的机构。 当前主流大模型在棋盘游戏和现实物理互动上仍表现薄弱。Andrew Dai押注多模态视觉推理作为通往视觉AGI的核心，但该中间路线能否在巨头的通用模型演进与纯世界模型的双重夹击下突围，仍有待其实际产品与规模化验证。

[0:00] Andrew Dai: 硅谷其实是没有什么秘密可言的，特别是在大模型领域。 [5:35] Andrew Dai: 根据光速在光纤中的传播速度计算，跨越这个物理距离本身就需要这么多时间，你不可能超越物理极限走得更快。 [9:34] Andrew Dai: 我当时做了无数个实验，全都是失败的。 [15:54] 医生群体（引述）: 我行医几十年，为什么要听一个 AI 的？ [15:54] Andrew Dai: 在错误的时间做正确的技术，往往很难成功，这对我后来的创业是一次极为深刻的教训。 [16:41] Andrew Dai: 光靠预训练是不够的，模型无法自发学会如何修改写错的字，也无法敏锐感知生成文本的优劣。 [18:05] Andrew Dai: 大公司之间根本没有秘密，人才的流动决定了技术的底牌。 [22:11] Andrew Dai: PALM 2 是我见过的最顺滑的大模型预训练，从头到尾没有发生过一次中断。 [22:11] Andrew Dai: 如果能早一点发表，我们就能理直气壮地向世界宣告，我们才是全球最好的模型。 [29:02] Andrew Dai: 这就跟养育小孩一样，如果你每天只让他读垃圾广告，他再聪明也成不了大器，你必须精准喂养有真正知识与严密逻辑的内容。 [35:12] Noam Shazeer（引述）: 这不可行。因为这样调整后，反向传播的梯度会产生某种特定的偏移，从而无法实现预期的训练效果。 [37:51] Andrew Dai: 连数桌子上有几个杯子都会经常乱说。 [55:00] Andrew Dai: 他什么都懂，他什么都学 [60:00] Andrew Dai: 人类最宝贵的创意（Ideas）的价值迎来了暴涨

[0:00] 今天我们要对谈的人他的论文启发了OpenAIGBT的诞生他是在谷歌研究AI14年推动数项重要论文辗转数个产品最后成为带领Gemini打下翻身之战的核心人物之一Andrew DyeAndrew长期处在谷歌AI研发的中书从早期的sequence learning文本生成对抗训练到PalmFlanGemini多模态和常上下文等等与他合作论文的都是谷歌的众多传奇大佬人物QuocleyYanguzbaloLean FadasJeff Dean等人而我发现安德鲁的职业轨迹就是一部谷歌AI大模型的编年史而为什么谷歌一度在大模型上被OpenAI吊打而又如何通过强行合并Google Brain和DeepMind由Gemini重回巅峰的OpenAI为什么能够看到Semi-Supervised Sequence Learning的能力而谷歌看不到呢第二天我就给She说前两年我们有这个文章就是预训练他就没有时间做后面就是OpenAI做了我看到Gemina1.5才用到MOE架构但是这是你在2021年就在研发的东西为什么这么晚我们不知道GPT4会是一个MOE的模型但是我的英特尼Liam Fetters过去OpenLand之后他们就开始做了MOE所以硅谷其实是没有什么秘密可以演的吗对 特别是大二模型Pump 2就是很顺从来没有见过那么顺的预训练但是我知道你们的风头还是被GVD4给抢了早一点发表我们就可以说我们是世界上最好的模型觉得可惜吗对 有点可惜Google Brain跟Deep Mind谁都不符谁很多人离职从两边都有离职从Brain这边也有Deep Mind这边也有2.5的时候Shazier他带来了什么东西他带来他的能力数据是很大的一个差异点我觉得最大的差异就是数据但是在谷歌你觉得它拖速度了对对谷歌来说可能就是有点危险因为用这个方法会大量改变数据所以你的新方法是什么那我们不能说然而将Gemini 3顺利上线之后Andreau Dye决定离开了待了近14年的谷歌原因是希望有更多的研究自由与更快的速度他想做的事情是目前领先当模型公司和实验室不愿意选择的路线或者说发展的太慢的路线Andrew的结论是光是大语言模型无法将我们带到AGI但是呢他也不信仰纯视觉的视觉模型他选择的是语言加视觉的中间派系做多模态视觉推理模型那为什么你们现在做的事情Google做不了如果你做一个specialist model那generalist model就超不了现在很多的new lab出来现在这些模型都不会数东西光scale这个语言这部分还是不够了解我们的世界世界模型觉得视觉 is the key to intelligence但是从语言角度来说视觉就是不够我们就是觉得要把语言锤里加上视觉锤里才可以做到一个模型可以帮大家可以帮所有的行业今年4月Andrew创立的Elorian AI宣布融资5500万美元估值3亿美元正式从保密阶段走向公众视野投资方包括Melo VenturesUltimator Capital等主流硅谷基金还包括英伟达和以个人身份参与的Jeff Dean另外说一嘴Andrew五岁就跟随父母去到了英国英文是他的第一语言但是他坚持想试试用中文上节目如果有表达不够准确的地方或者中英夹杂的部分还请大家见谅之后有机会我也会跟Andrew再用英文来对谈一期那么以下就是我跟Andrew带的专访非常感谢Andrew欢迎你来做客硅谷101谢谢所以这就是你们的新办公室我故意挑了一个非常空旷的房间我觉得这边的采光很好这个房间你们以后准备用来做什么很多研究员也应该是坐在这里和工程师因为我们这里住房子都至少要住两年所以我们就已经预测好我们过了两年会有多少人过了两年你们会有多少人可能就五十六十七十现在多少人现在我们是14个人但是还有两个人现在在办签上所以很快就16个人我在来的时候在听你一个之前的英文播客然后发现你有一点British accent是因为你之前在英国念书是吗对我是在中国出生但是我五岁就去英国我爸爸去英国读博士所以我们都一起过去我在英国本科就在尖桥然后去Edin堡读博士你的中文其实还讲得挺好的这是我的家人老师叫我练中文然后我也是认识一些中国来的朋友一直在坚持学你是什么时候来到硅谷的?14年前,2012年来的,就是为了在谷歌工作。当时为什么那么喜欢谷歌?博士我就是读人工智能,然后我一直从中学我都想做人工智能,然后那时候Google Brain比较有名,所以我就是想加入Google大脑团队,然后那时候DeepMind还是一个startup,还是一个很新的。 [5:00] 所以我那时候不知道有Deepmind的公司所以我就直接想来到人工智能中心就要来到硅谷如果你留在伦敦的话是不是也有可能会加入Deepmind的然后最后也来到谷歌很可能我后来我的LAB很多我的同学都是去了Deepmind就是我一个来到谷歌Brain但是还有一个原因我要来这里是因为这里很容易创业很多新的公司都是从硅谷来所以我也是打算来了这里待几年然后就创严没有想到一代又待了14年对没有想要那么久那我们来讲一讲你进入谷歌之后的一些工作吧然后第一份工作呢其实你是去到了Google Now在2012年到2014年那个团队应该是当时Larry Page希望说Android跟Soci团队一起搭建了一个能结合用户数据主动给用户推送提醒信息的这样的一个功能那那个时候我理解说背后已经有一点AI的研究在后面了当时你在Google Now里面在做什么那个故事比较有意思我在Google Now他们是找我为了做AI因为他们知道我是Anibal AI博士毕业但是其实我到了这个团队他们就发现这个其实在工程上有很多东西要做在这个Infrastructure还是有很多东西所以比如说他们如果有个新的新闻出来想personalize 然后发给用这个app的人我就编了一个系统四五分钟之内新的新闻出来就可以推到所有人的手机这个我就学到很多infrastructure我们有一次看到发这个新闻很慢需要100个milliseconds大家在想为什么这么慢我看了这个数据在哪里然后我看了一边是在东海岸但是我把这个数据送到西海岸按照这个speed of light就需要这么多时间你不能更快我学到很多那个engineering的东西很多end to end的但是后来我快走的时候我也开始做更多AI更多personalization后来我就去Google brain了然后谷歌呢在2013年2014年有几个重要的节点第一个节点呢就是2013年的时候应该是收购了Jeffrey Hinton的这个公司DNN ResearchHinton之后就加入Google开始工作了嘛你觉得Hinton来到谷歌之后对谷歌产生了什么样的影响呢对,Hinton来了之后谷歌就很看重AI那几年我记得我们的CEO也说了Google是一个AI company因为他们AI就是他们的call像Larry Page,Jergy Brown一开始创造的那个algorithm他们的目标也是AI就是让机器帮助大家懂这个网络上大家写的东西所以他们一直都是很看重AI但是2012之后就开始一个新的阶段就是Deep Learning深度学习的阶段他们就觉得如果我们不投这个方向那我们就会落后所以他们就做了Jeffenton的公司从那一段之后Deep Learning对Google就很重要他们的模型也就是越来越多都是Neural Network那样的模型然后2014年的时候谷歌又继续收了DeepMind你觉得DeepMind的团队进来包括Demis Hasselbus进来又在什么样的程度上面改变了谷歌吗对DeepMind跟DNA Research收购的方法很不一样所以DeepMind收购的时候他们是做了一个订阅就是说DeepMind还是要独立他们都可以带来伦敦不用来美国所以有很多这些condition所以他们基本上就是一个独立的research lab跟Google Brain不一样Google Brain它的目标就是要做一些研究然后以后跟产品合作然后以后把这些模型推到产品Deep Mind就是更像是你什么都可以做如果你觉得是重要的东西像AlphaGo就可以做所以这些Philosophy有点不一样所以Deep Mind还是非常非常独立的对 非常非常独立他们想做什么东西也都是哈瑟贝斯说了算其实谷歌不太会管他们对他们招聘也有他们自己的方法然后他们的很多内部的东西都是跟谷歌分开像他们的代码那些东西都分了那所以谷歌当时Google Brain的AI的research比如说像你会跟DeepMind的人有任何的合作吗会但是比较少因为合作的时候就会有一些credit assignment的问题就是说这个项目是谁own的ownership在大公司都很重要到底是DevMine own这个项目或者Google大脑 own这个项目然后就有的项目就是这样的就更复杂我知道这样的磨合在之后Google Brain跟DevMine合并的时候会更加显现出来但这个我们可以稍后来聊我还是想把开始的时间聚焦在你最早期的一些工作上面我看到你在2015年开始研究Language Model Pre-Training and Fine Tuning当时应该是在Google Brain部门了我看到这一轮GNI的一个电机石Transformer这篇论文是2017年发布的但之前其实你们还发布了一个你跟Google Brain的创始人之一库克勒一起主导的这篇文章 [10:00] 叫做Semi-Supervised Sequence Learning能不能跟我们解释一下这篇论文主要解决的是什么问题这个文章不是我们一开始就预测好不是我们PlanIt's not planned我们本来是做这个Technology叫Paragraph Vectors所以那时候有Wit2Vec叫Win EmbeddingLLM之前大家都是用这些东西然后我们想做一个更好的我做了很多很多实验然后那些实验都是失败但是有一天我跑了一个实验然后我就发现这个结果很好比其他的文章分都高但是我想reproduce它从跑一次但是我跑不了之前的那些结果所以我就想肯定哪里有一个bug哪里出问题了所以我就再挖了一段时间然后我就发现是因为我训练这个模型的时候我是从一个另外一个叫checkpoint开始那个项目是另外一个项目那个项目就是做语言模型然后我是从那个开始所以那时候我就发现了如果你是先做语言模型然后你再做微调这些supervised data你就可以有很好的模型所以这个就是我们发现的东西然后我们就变成一个文章之前这两个都是分开的大家没有想用语言模型用来做语言理解但是我们的idea就是把语言模型和finetuning微调合到一起就可以做一个很好的模型所以我们就是第一个把这两个部门放在一起这篇论文我们现在回看好像很像是大规模预训练加下游微调的这种方式当然这篇论文出来的时候Transformer还没有出来所以当时你们其实用的模型聚焦的还是LSTM这个模型上面但是你当时有没有意识到说它可能会立得到一个更大的一个能心所以那时候我们的卡很少那时候大家都没有用很多这种显示卡做训练所以我们还是用的比较少的模型但是我记得那一年我们开会我们就在那个会上叫Neurips就发表了个文章然后Sepp Hockwriter LSTM的第一个author他就来我们的poster他说他已经试了我们这个方法结果很好所以从那时候我们就知道以后应该会有很多人用这个方法但是我们没有想到过了10年还会用这个然后加了几倍这么大的模型对当时Transformer出来的时候你有意识到这两个东西可以融合起来然后变成一个something much bigger吗Transformer出来的时候我觉得就很适合跟我们做的运训练一起用所以Transformer 出来之后第二天我就给 Shee 学习就是一个Transformer 的 First Author然后也是一个朋友我跟她说我们前两年我们有这个文章就是预训练然后结果很好你要不要在 Transformer 上也试一试预训练但是那时候她很忙她在做一些图片处理的东西所以她就没有时间做后面就是 OpenAI 做了对所以OpenEye是谁来主导的这件事情发现了就是Transformer可以跟你们这篇文章结合起来OpenEye是Alec Ratford他就是写GPT1.2.3的文章他也引用我们那个文章所以他就看出来了这个scale然后具体scale越来越大他的出来的语言就越来越好谷歌在什么时候意识到说这两个东西都是我这边出来的结果OpenEye给结合在一起用了对我觉得这个是GPT3到了GPT3的时候才意识到对GPT3可能是一个turning moment整个世界的turning moment所以不光是Google很多公司都发现GPT3出来的语言可以干的东西都很好所以可能scaling是对的方向之前大家都不想投这么多显示卡在一个实验上在GPT3之后Google就开始愿意这样投在GPT3出来之前Google Brain的co-foundersJifting,Andrean,还有Quark Lord他们当时在做什么事情然后DeepMinder的Hassabes他们在做什么事情Hassabes那一段时间我记得好像他们是在做AlphaGo那个项目他们是觉得把游戏做得很好像Atari游戏和围棋这些那就可以发生intelligenceGoogle Brain就是另外一个方向我觉得Jeff Hinton也是这个方向向的就是如果你做一个AI就什么都可以做那就是real intelligence就不要只专注一个小的领域但是那时候Google Brain还是很自由Google Brain的文化都是比较有名很自由你想做什么都可以做什么那时候Jeff Hinton在lead这个Brain团队但是下面的研究员什么都在做像有的团队在做音乐怎么可以用AI做出新的歌这样的东西其实做语言的人很少基本上是Quark和我还有几个人大部分人都是在做像视觉食品处理这些东西对就没有一个人来 lead强有力的来 lead说没有集合所有的资源跟力量去压住在同一个赛道上直到他们看到这些 [15:00] 所以你觉得OpenAI为什么能够看到Semi-supervised sequence learning的能力而Google看不到呢因为当时你跟Transformer的作者说了一下这个东西是不是可以尝试它没有理你那之后你就没有再尝试了吗对那时候那是2017的时候那个时间和特别Google Brain开始Google健康的部门那时候Health就是一个很hot的领域大家都是想进Health包括苹果和微软所以Google也觉得我们也要把AI放到Health所以那时候他们就让我选我要进Health或者代代Brain然后我就选择去Health所以我就没有机会做这些GPT的模型那也没有其他的人继续再往这方面渗退了是吧对后来就没有往上scale但是有人把这个放在产品就像Smart Compose, Smart Reply他们就是用这个预训练的方法了解对然后跟我们说一下你在Health部门在研究什么你去做产品了是吗我做的研究是帮助产品所以我那时候就是负责这个医疗的Records预测这个人以后可能会有什么病或者会要吃什么药就可以帮助医院省钱或者帮助这些医生我们也是用预训练因为我们知道预训练很成功我们就在医疗上面用预训练但是那时候的模型还是很小所以最后就没有做出来预训练但是发表其他的文章但是那时候也是一个比较好的时代那时候也是Google Brain Residency Program所以找了很多就像Interns在一年后来就创业了人像Lim Fedders和Demmy GordDavid Haar他们就是我的Interns那一段所以这也是一个比较好的时间在2018年的时候就是你在去Helf部门的一年之后我看你跟比如说Ian Goodfellow这些人还合作了一篇重量性的论文叫Mask Gant其实是来改善文本生成的质量因为我看到中间的一些技术探讨比如说他用的填控认误或者是Inveiling这些技术在后来的比如说Bert啊Gimini多模胎域训练中都有一定程度的启发和影响那你觉得这篇论文对你来说意味着什么这个文章是我跟Lean Fedders和A&Goodfellow就一起写的然后我们就觉得把这个空填起来是一个很好的task就可以让这个模型就学到很复杂的东西但是我觉得有一个地方我们文章做的比较好就是RL方面那时候做运训练然后做RL就基本上没有其他的人做可能还有一个文章在做这个但是我们可能是前几个文章就在运训练之后做RL然后现在大家都是用这个方法就相当于是你们是首批团队把RL用在了语言模型上对我们那时候就觉得光做运训练不够因为这些模型就不会学到写出来的字怎么改或者哪些地方写的好哪些地方写的不好然后有RL的话那这些模型就可以看到我自己写的这一段就不像英文或者不像哪一个语言然后RL就可以把这个改好在其他的很多大家都觉得是有共识的技术范式上面你们也都是第一批团队去做的就包括MOE然后你当时研究MOE的时候还是在2021年的时候对吧你联合主导了Glam MOE LLM的这个开发那现在MOE架构我们都很熟悉了但我觉得真正把MO1这个词带到大众视野的可能还是去年DeepSeek V3的时候的发布但是我是没有想到在2021年的时候谷歌内部就已经在研发这个路线了那时候是GP3出来了Google Brain团队有的人有一点着急他就说我们一定要做一个模型比他们好然后也要更多功能这些东西所以我们那时候就觉得这些模型越来越大Serve它们通过一个API就会很贵因为它们有很多参数然后就要很多很多点但是如果你只用模型一部分用的点就少很多所以那时候前几年能文学界他也出了一个文章就是做MOE但是那个时候就没有做域训练所以我们就是用MOE加上域训练加上Fine Tuning然后我们最后就做了一个模型比GPT3还好所以那就是我们的achievement2021年的时候GPT3出来了谷歌内部你说开始感到压力了当时是什么样的一个情况能不能跟我们来描述一下我那时候的经理她是叫Claire她就是我的Google Health的经理然后她回到Google Brain我那时候就跟她谈我说我要离开Google Health她就说我们现在正在做这个模型但是这个模型就达不到GPT3那么好能不能帮我们解决这个问题我们觉得这个问题是数据上面的问题所以我就过去了把那个数据处理了一段时间终于做了一个模型比GPT3好发表一个文章然后那时候DeepMind也是发表一个文章所以那时候就开始有一点竞争的东西然后后面几点就可以看出来有什么结果但是那时候就开始 [20:00] 因为两边都比较都看了GPT3DMA也觉得我们要竞争然后Brain也是我们要竞争要不然大家都会觉得谷歌做不出了这样的模型你那时候为什么想要离开HealthHealth我觉得对一个Big Tech公司来说是很难很难的一个东西然后这个难度不是因为科技难度是因为文化为什么医生他们有自己的文化他们的文化就是传下来的几百代的医生然后他们有自己的方法做东西所以这个本身这个行业result这个understanding就是更难所以很多医生就是按照他们自己的intuition决定东西然后如果我们要把AI推上去那他们就会问为什么AI要我做这个东西我做了好几十年我肯定知道比这个AI好所以就很难要那些医生用到AI的时候是不是可以说就是在实际的产品落地的时候一个大的科技公司它是比不上比如说跟医院或者医生关系很好的或者是药企也好是比不上他们去推这个产品落地的对然后还有一个是这个大公司像有的医生就可能觉得这个大公司要抢我们的工作抢我们的医院的钱如果是一个startup那他们就不会那么feel threatened所以我觉得这是一个部分是不是当时技术也没有好到让大家觉得说非用你不可对像现在大家都是就是因为chatGPT那些医生就觉得那我可以用上AI大家都在用chatGPT所以我就要用但是那时候不是这样的那时候他们是比较一个新的customer for AI但是现在他们不是一个新的customer很多人都在用所以他们就觉得没有那么危险所以时间不对对对时间不对可能当时技术也比较粗糙一点然后产品可能也没有做得那么的让他们诚心如意然后go to market上面其实美国医疗产业本来就是一个很难去打入的产业it's a big lesson所以你的 takeaway就是要在 right time to do the right thingWork on the right technologyExactly对创业我在创业这个很重要那我们来讲讲你从Health出来了然后呢在2022年的时候你是主导了谷歌Pump2模型的这个预训练嘛这个模型其实对谷歌来说是非常重要的因为那个时候谷歌跟OpenAI已经是有这个模型的比拼的这种压力在了但是Pump2出来的时候你们满意吗对Pump2是2023初就训练好了我那时候觉得是一个挺好的模型从来没有见过那么顺的预训练从头到底就一次都没有停一次都没有rewind不像那时候Meta出了一个OPT模型那个也是那段时间也是比较有名但是你看他们的那个logbook就重启了很多很多次然后做了很久但是PALM2就是很顺就一年之内从计划这个项目到这个模型做完了就不到一年所以我觉得那个都特别顺为什么这么顺我们做的什么事情让它这么顺那时候有一些经验就是训练Glam和训练PALM1的经验我们也是选了一些architecture上面的东西做了很多测试做了很多实验我们就知道这个很稳这个不会出问题然后我们跑到那个大训练之前我们也做了一些pilot runs所以我们就有high confidence会成功然后在2022年我看你还写了一个蛮重要的论文就是FLAN Scaling Instruction by Intuit Language Models想去探索任务数量模型大小以及加入这个chain of thoughts COT 的一些数据能不能给我们讲一下这个FLAN它的重要性在哪里FLAN之前大家都是用像Future Prompting用这些模型所以如果你要他做一个东西你先要给他举个例子像如果是一个数学问题你要给他一个数学问题告诉他那个答案然后给了这几个例子然后你再可以问他做一个东西但是FLAM这个文章就是说其实你不用给他举例子你就在微调的数据里放这些例子就够了然后这模型就会学会你给它什么问题它就必须要答案这是有好的部分但是也有不好的部分好的部分就是你就不用给它这些feel shot这些例子以后但是不好的部分大家现在都知道如果你问它东西它不知道它还会假装它知道有了这个之后就可以有chatGPT这个chatbot因为你可以直接问它问题好所以POMCHO你们还是比较满意的但是我知道你们的风头还是被GPT4给抢了是吗对对,我们那时候做完了比较早因为我们是2023初的时候就做完了但是谷歌的内部的这些Bureaucracy和谷歌内部的系统很大他们就觉得我们要等到Google I.O.在统一发布对,在统一发布但是OpenAI他们当然知道 [25:00] Io是什么?他们知道我们要出这个模型因为谷歌那么大没有什么秘密在内部里面所以他们就刚好谷歌Io之前他们就出了GPT4然后GPT4的结果就比Pump2好所以我们发表Pump2的时候我就觉得晚了一点我觉得早一点发表我们就可以说我们是世界上最好的模型觉得可惜吗?对,有点可惜但是Pump2还是很重要虽然GPT4可能在Benchmark上面比你们好但起码Google会告诉大家说我们站稳对吧我们没有就是fall behind 态度对因为没有还有一个原因是没有Pump 2的话那时候有那个产品是叫BardBard后来就叫 Gemini对对对然后没有Pump 2的话那个Bard的产品也是比较危险因为Bard就是用Pump 2做出来Chatbot所以那样的话Google的就没有Chatbot刚才你也说了2022年年底的时候OpenAI是上了chapgbt然后把整个AI市场引爆了当时谷歌内部也是拉响了口软然后Surcate Brain也是回归到了谷歌当时做出来的一个决定就是把DeepMind跟Google Brain给整合起来根我们讲讲那是整合的时候发生了什么故事吧这个整合是顺利呢还是会有很多的摩擦在里面这个整合大家有个preview大家都是觉得Gemini就是一个preview这个整合之后会怎么样发生因为Gemini前几个月就是DeepMind和Brain一起做但是不是official然后那时候觉得有一点摩擦但是后来我觉得那个leadership就觉得我们这个timeline要更快我们不能比ChartGPT带落后所以他们就决定要快一点把这两个团队放到一起所以那时候NAS确实有摩擦因为两边都有一样的团队所以DMind有个infrastructure团队Brain也有DMind有个multimodal团队Brain也有数据也是DMind有个数据团队然后我就是代表这个brain的数据团队所以一开始都是有这个tension他们决定每一个部门要一个领导从deep mind那边一个领导从brain这边所以就比较复杂对所以他的意思就是说比如说数据部门然后你其实是co-lead你是一个co-lead然后deep mind会出一个co-lead就包括可能其他的部门也是多模态的部门也是Google Brain出一个co-leadDeepMind出一个co-lead就是每个部门都是这样对出了之后我们还要分我们还要说在这个数据部门里面哪一部分是伦伦可以做哪一部分Mountain View Brain这边可以做然后这就很复杂这就浪费了很多时间我觉得为什么一定要设置这样的一个机制呢就更公平吧Google bring and deepmind 谁都不负谁这就是一个OK 我两边都同时给达的结局对 像一个equal even的setup那你觉得这样的setup会拖累模型的研发速度吗我觉得一开始可能出的模型就慢一些因为你把两个团队之前都没有合作过然后之前都已经有一点这种tension那你突然把它放在一起那肯定会有一些东西变慢了然后会有人换组所以这些东西都发生了整个的磨合过程你觉得经历了多长时间了开始说到现在还在磨合对可能现在还在磨合吧对有的部门磨合速度更慢有的部门更快就像infra就是很快他们就觉得我们必须要用infrastructure你之前做的就不怎么用了多么他也是所以就是两边整合的一个结果就是很多人离职对吧对有不少的人离职从两边都有离职从brain这边也有deemind这边也有这两个谁都看不上谁的部门就整合在一起了然后一起来同心协力的work on Gemini然后2023年年底的时候Gemini 1.0出来了这个模型你们满意吗这个模型我觉得是有一点rush的出来那时候我们刚开始一起合作然后很多东西都是拼命就赶那个deadline那时候有个圣诞节的deadline因为5月份Google IELTS刚出来我刚announced Palm 2但是我们觉得每六个月下六个月就要出一个新的模型所以大家都在赶这个时间然后你那么拼敏感然后这些人都没有合作过然后这个模型也是从start from scratch 基本上所以就有些地方就做的不是很好就像那个小叔的语言就没做的很好然后那时候媒体都报道了说建本来1.0有的语言上就不行所以我们赶紧做 [30:00] 1.5然后我看到Gimla 1.5才用到MOE架构但是这是你在2021年就在研发的东西为什么这么晚呢对这个也是我觉得一个速度的问题所以他们像1.0就很赶紧推出来所以他们就没有时间就做这个MOE的模型就只能做一个Dance模型因为MOE你还要Tune还要花时间做Optimization然后ChargeGPT出来之后整个想法都变成一个race我们就在跟Opener比赛所以如果有个MOE要把我们的schedule变得慢那就不能做所以它的优先期还是说我先不管创新了我先就把它给追上所以这个时候谷歌其实是变成了一个J感者对是不是也是因为GPT4用了MOE然后1.5的时候才说我们必须要用MOE了我觉得本来我们都是打算用MOE这是什么时候有模式对 这是什么时候这是一个 It's a matter of time因为我们知道 MOE 的结果更好那个2021的文章已经给大家看了是更好但是我们不知道 OpenAI 会那么快用 MOE我们不知道 GPT-4 会是一个 MOE 的模型我们还是有些人觉得应该是一个Dance模型但是我的英诚 Liam Feathers过去OpenAI之后他们就开始做了MOE所以他跟你一起work on了这个事情之后他就带去了OpenAI所以硅谷局势是没有什么秘密可言的吗对 特别是大模型和大公司那这些大公司就肯定会有人去OpenAI所以对大公司就很难保持秘密Gemini 2.0对你来说对你们来说是一个比较大的翻身杖对Gemini 2.0就是像一个evolution就是这些方法就更成熟包括MOE包括这些很长的context的问题所以那个模型就是对一个evolution一个更好的模型对因为我知道好像在data上面你也是在Gemini 2.0上面有一些创新的能不能跟我们解释一下你做了什么让界面的2.0变得更好对在Data上有很大的变化我们是用一个新方法处理数据质量然后我们检测质量也是更严格可能有的公司觉得这个architecture和卡够了就可以做一个很好的模型但是其实数据还是很重要所以你看这些文章他们一般都不会说数据有什么也不会说数据从哪里来的这是一个很一个secret sauce这些模型所以我们就发表了新的方法所以你觉得现在数据是大模型们很大的一个差异点吗因为看起来模型架构大家都在用同样的东西算力大公司都不全infrastructure其实都是很类似的东西是不是差一点就在数据上对我觉得最大的差异就是数据但是数据不是说数据来源的问题因为大家反正都把互联网的数据都穷尽了而是说怎么去优化这个数据或者是怎么去挑选更优化的数据来用于训练是吗对你选用什么数据很重要因为网络上是有很多数据但是也有很多spam很多总没有用帮不了这个模型的数据所以要找到那个好的数据可以让这个模型学新的东西就像人一样你给一个人每天就让他读广告那他也是学不了东西你要给他有information有knowledge的数据才行但是那个来源也是有一点区别因为谷歌他们有谷歌搜索所以他们有搜索的那个经验就知道怎么爬这个网络其他的公司也是有自己的优点所以你其实在今年的2.0主要在数据上面做的一个提升就是把这些spam的数据都给剔除了spam还有一些其他的数据对,不光是spam更多的就不能讲了对,低质量的数据合成数据上面你也是在管合成数据方面对不对我也是在联合主导合成数据然后合成数据用的不好那也就会有个很不好的模型但是用的好就像GPT5它就是用合成数据可以用它把模型做得很好什么叫用的好什么叫用的不好用的不好就是你处理的不好你处理的不好的话这个模型就会老是做出你的合成数据的东西如果你的合成数据有很多delve这个词那你训练完那你的模型也会更多说这个delve这个词所以合成数据你要它也是需要很高质量要不然你的模型也会学到不好的东西学到错的东西像如果合成数据有错的数学那你的模型学到那个那它的数学也会变得更差这中间的差异点就是说怎么去确保说未给模型的是尽量优质的数据这样的话其实模型它也在能力上能够 [35:00] 一个很大的提升对但是user数据也是很难用因为user他们也会copy paste从其他的模型所以是比较难用这个数据Gimini 2.5的时候在去年中的时候又发布然后在年底的时候是发了Gimini 3.0我觉得在那个时候真的是短暂的超过了GPT然后可以说是惊艳了整个市场然后大家都在欢呼说谷歌又回来了然后看你们谷歌的股价也是涨得非常快但是你在CMN3.0的时候就离开了能跟我们讲讲为什么可以对我先讲2.52.5是Noam实际的从CAPKI就来到谷歌他就帮了2.5所以2.5是一个比较好的模型然后3.0就是我们调了我们做数据的方法有更多的新的方法然后先我打断一下2.5的时候Shazier他带来了什么东西到谷歌然后让你们2.5变得更好他带来他的能力能力具体值得什么?能力是我有一次跟Noam讨论Transformer这个architecture然后我说那我们从这里加到这里加一个connection加一个链接好不好然后他说这样不会好因为它的gradient就会从这里移到这里他都不用跑那个模型他就知道训练之后会是什么样的结果他真的是一个genius他一看那个代码他就知道这是一个好的模型或者不好的模型他自己就知道这个模型是怎么work所以Aquihire是make sense的对,it's a good deal所以我现在看起来真的是一个人他的能力就能够帮公司省合着钱跟时间对是的对他很厉害那3.0呢就是说你们继续在数据上有一些创新跟优化对吧然后能够在数据上给Gemina 3.0能够带来更好的一个参与点或者在benchmark上面跑分跑得更好对那时候数据有一些新的方法然后但是我走的原因是因为我可以感觉到用的方法和做的progress都是用的比较保守的方法因为这么多人几千个人在这个项目上很多很多显示卡用来预训练所以他们就不能用很aggressive很不同的新的想法就是比较risky所以我就觉得这时候就比较好的时间就离开然后创业所以你觉得从数据上还可以提升优化更快用一些更加大胆是更加激进的aggressive的方式去做事情但是在谷歌你觉得它拖速度了对对谷歌来说可能就是有点危险因为用这个方法会大量改变数据所以你的新方法是什么那我不能说但是你的新方法就是你来要自己创业你其实想做的是视觉推理模型在你能数的范围内能不能跟我解释一下你想要用什么样的技术路径去实现什么样的事情对我们的团队是一个full stack团队所以我们有很了解数据很了解运行链很了解多么泰RL post traininginfo的人所以其实我们不光是像数据做一些变化做一个更好的多摩泰推理的模型我们是整个full stack approach我觉得anthropic就是这样的anthropic就是一个full stack for coding就每一个部分都要专注coding我们就是数据然后那个architectureRL algorithms我们都会专注于多摩泰所以我们这些地方都会改包括那个vision encoder我们都会有一些新的方法为什么你们现在做的事情Google做不了对这个是可以看Anthropic做的Anthropic他们编程模型做得很好但是这个模型它不会做模态的东西然后这是因为他们就专注于编程你看Gemini和ChartGPT他们就没有这样他们就做模型就什么都可以做在我们的行业就是叫Generalist ModelsPlot这个模型可能就叫一个Specialist Model我们这个公司也是这样觉得就是如果你做一个Specialist Model那generalist model就超不了因为我们会有更多多模态数据我们会把那个数据调了对多模态没有用的数据比如说二战是谁赢了在什么地方打那可能多模态没有什么帮助所以我们就可以减少那些数据把更多数据就留给多模态数据视频和图片这样的方法就很难其他的公司赶上来现在的视觉模型比如说Google的View系列或者是Open-Ender SORA系列你觉得他们就还不够好因为视觉里面他们还不够理解他们在生成的东西是吗能不能跟我们解释一下视觉理解模型是什么然后它跟Sora还有VIO这样的视频生成模型有什么样的区别其实生成和理解和推理是很不一样的东西你就看语言模型的话五年前这些模型已经 [40:00] 会编程让GPT3出一些编程它可以一般的人看这个程序他会觉得这个程序很好就像一个工程师写的一样但是如果工程师来看他写的代码他肯定会说这个不对这个跑不了所以这就是生成和理解的区别一般都是这些大模型都很容易生成东西就你一下看都会觉得很好但是你仔细看的话像那个图片你会看那个字写的不对或者那个人有三字手导演也会看这些视频导演看了这视频也会觉得这个地方不对这个地方明显是AI做出来的东西所以我们在视觉理解能力就可能是跟五年前的GPT3、GPT2对语言理解差不多我记得就是我们在前采的时候你还跟我说过一个老鹰扎兔子的比喻我觉得那还挺形象的我们那时候是缠世界模型所以世界模型我觉得你可以想象像一个老鹰很多老鸣都吃鸟但是你抓这个鸟的时候那你肯定要理解Gravity和wind和Turbulence也要懂这个翅膀要什么角度才可以赶上另外一只鸟你也要预测另外一只鸟会有什么方向飞你要算我要什么速度才可以到那个地方在同一点就可以把那个鸟抓起来所以他们的脑筋其实都都可以算这些东西都很复杂的东西不管可以抓鸟他们也会抓兔子吃老鼠吃算出来这个兔子如果它跑到一个桥下面那它从哪里会出来或者一个老鼠跑到一堆草里面那最后会从哪里出来这些动物他们很了解这个natural world这个physical world但是如果我们可以问老鹰的大脑What is the law of gravity?或者What is the gravitational constant?或者What angle do you need to have lift to fly?我们不会知道这些knowledge因为这样的concept这些概念都是人发明的如果我们是有四指手或者有二十个手指那我们数学可能就很不一样老鹰想的自己的视觉模型都可能帮不了其他的行业其他的领域所以这就是世界模型和这些语言模型的区别现在很多的New Lab出来他们也是想尝试一下不同的一些模型的研发的思路那有一派就是可能就是大语言模型这一类的那有一派就是世界模型但是你相信有一个中间点就是你做的这一派又需要语言的模型然后又需要视觉的模型对能不能这三派给我们来梳理一下就是每一派他们相信的是什么他们信仰的是什么然后他们betting on的是一个是怎么样能够达到AGI的一个路径好如果这一块你觉得有点难用中文解释的话用英文也没有关系好我先试一试用中文不过我们现在看语言模型他们的思维链都是用语言做出来的就包括Gemini,ChartGPT和Claude他们就是觉得这思维链变得越来越长越来越diverse那模型就越来越聪明就可以做越来越多的东西然后最后就可以达到AGI通过编程越来越好用这个编程就做越好的模型但是如果你看模型做视觉问题的话现在这些模型都不会数东西如果有几个杯子在一个桌子他们经常会就hallucinate就说错 就乱说所以我觉得你光scale这个语言这部分还是不够了解我们的世界然后了解图片和视频另外一个方向就是你说的世界模型这些lab都是从计算机视觉部门出来的就像贝贝和Yanlo Kern那他们的想法我觉得是更偏academia那样的想法就是说我要做一个新的模型 novelty 很重要因为对academia你必须要novel你才可以发表文章我觉得他们就是比较相信视觉其实有一点历史Nurips之前大部分的文章都是视觉整个机器学习大部分都是做视觉其实做语言理解是很少包括我和Core我们就是算很少数的人最近可能变了因为At the land但是我们这个是算一个比较niche的领域然后这就是因为很多researcher之前也包括Jeff Fenton他们就是觉得视觉 is the key to intelligence就是因为有视觉人就很聪明但是从语言角度来说视觉就是不够就光靠视觉不够有intelligence因为动物生物他们还可以做我们现在机器人做不了东西他们视觉还是比我们现在的模型好就像那个老鹰可以抓人的资料就算我们可以做出来一个很好的虚拟脑鹰我们还不会有intelligence还是大不到AGI但是视觉领域的人他们会觉得vision is the key to intelligence所以这些世界模型更靠视觉和图像的数据但是也这样的话像我刚才说的脑鹰你就不能跟人做出来 [45:00] 来到概念合到一起就像数学和物理和化学因为这都是人造的东西那就跟世界模型还是比较远所以我们这个公司我们就是觉得要把语言锤里加上视觉锤里才可以做到一个模型可以帮大家可以帮所有的行业相当于是把那些什么重力的gravity的公式给它输到老鹰的脑子里面去对可以这样理解吗对然后用老鹰的眼镜然后脑筋一部分但是还是要用人的推理理解对世界模型这个概念这两年很火你觉得这些公司他们的发展能够到达AGI吗我觉得可能过了五年你再问我这个问题我觉得他们还是很早有可能是跟大模型很早的一个决断他们做训练的时候还在一个显示卡在跑这可能就是跟我们在2015的时候做那个一开始那个预训练也是在一个显示卡在跑但是需要很多很多年才可以做成一个大模型嗯 理解所以你觉得现在世界模型还没有到Transformer时刻嗯 还没有他们可能需要结构像Jepot但是可能我觉得还是要要代价几步才可以到一个useful model你觉得做这个视觉推理的其他公司大家的竞争优势是什么就比如说Google我想他们是不是内部可能也看到了这个东西所以他们可能内部也会在做maybe metamaybe opennet也会做因为我看到Deepseek之前好像推出了一篇文章好像也是很similar的一个东西他后来把那个文章给删掉了对你觉得这个competition landscape现在还是什么样子的对那个deep seek 文章很有意思因为他们发了然后后来他们就把那个又删了但是在网络什么都删不了大家都读过了对其实deep seek 的想法是跟我们的很像他们的 path 有点像我们的 path但是其他的 frontier labOpen AI DeepMind和 Anthropic我觉得他们是越来越偏编程的方向因为编程这个市场很大很多人现在都是在用模型编程他们也是觉得你要做一个很好的编程模型你就可以有self-improvement这个叫recursive self-improvement有的人叫rsi谁先把那个突破那谁就先可以达到agi然后这些frontier了他们都不想第二达到agi都想第一所以其实他们有很多压力做一个更好的编程模型所以因为这个压力他们就不是很看重多摩泰视觉推理这个问题所以我在Gemla的时候我就感觉到了这个所以我就觉得现在是一个很好的机会做一个多摩泰推理的模型所以你觉得Deep Seek会是你们的比较的一个大的竞争对手吗可能是但是我不知道他们为什么把那个文章删了他们是不是又换了一个方向如果你们是一个非常research driven的团队的话到达AGI可能还有一些时间中间的话你的投资人肯定也会问我说你中间用什么来验活你们自己就出了VC的钱所以你们的产品商业化落地是怎么去规划的我们是一个research and product lab所以我们也是做研究也是做这个frontier research但是我们我也是有那个go brain的背景Google Brain的时候我们就也是有个目标就是把这些模型就放在产品里然后就让几十亿的人用然后现在Gamla就有很多人用了所以那是比较成功但是我们在这个公司也是一样的目标也是要做一个API然后让大家用帮助公司解决他们的视觉问题所以我们也有这个目标好还是通过模型API的方式去变现对但是你的ultimate goal还是说就是帮助大约模型和视觉模型一起达到AGI对达到视觉AGI至少怎么去定义视觉AGI视觉AGI我觉得应该是比AGI更好表达因为AGI它的这个bar每天都在变有时候是说有的人说我们已经到了EGI有的人说我们没有到EGI但是视觉世界大部分人都可以看到东西都有视觉大部分人看东西基本的level都是差不多可能有些人反应更快但是大部分人如果你看一个车的方向盘都懂这是怎么用的既携带拼像热高瑜伽的家具那也都是视觉问题这些模型都不行所以我觉得有了一个模型可以做这些最基本的东西那我们就是on the path to AGI从那时候到 AGI 可能就不远了出来做公司跟在谷歌有什么不一样我问这个问题的原因是因为当你在谷歌14年你有无限的资源,你有无限的资金,你有无限的人才然后当你出来了之后就什么都要做 [50:00] 要自己去找人找钱找方向对吧嗯就中间的差异对你来说是什么样的一个体验啊对有很多地方不一样所以在卡上面在显示卡那当然会少很多但是有一个地方是一个优点是在谷歌化在大公司他们每个礼拜那个priorities可能都变所以可能今天有卡可能下一个礼拜或者下一个月那就没有卡了但是在一个新公司的话如果我们买了卡那就不会有人拿走那在大公司就不是这样然后还有一个是我觉得我突然要学很多新的东西学怎么用Pytorch因为在DMI都是用JAX然后要学怎么用Megatron怎么用AWS怎么用SLAM有很多很多东西要学因为Google基本上不用开源的东西所以那个learning curve是很steep对我来说还有一个我觉得比较难是招聘因为在deepmind那我是在gemini那个船队那很多很多人都想进gemini所以一般发了一个offer那个candidate会接受但是在一个小公司那就不一样我们现在还不是很大的名气他们知道一个小公司就是有更多risk跟一个大公司很稳定所以招聘就是更难就有的人就喜欢这个大公司的安全感但是有的人就想试一试就try一个新的地方可能我们就可能会变成下一个open network或者topic所以他们就会加入我们但是你出来了之后你跟我说会有很多的research freedom对吧就研究自由但是研究自由的代价是什么the cost of research freedom是什么cost of research freedom就可能这个support会少一些像谷歌如果一个research idea不成功那就没关系你还可以做下一个项目还有很多资源公司还有很多钱可以支持你但是在一个startup,那一个fell research idea,那个risk高一些因为那些资源已经消耗了,不会带回来我觉得压力会稍微高一点做research所以我们现在就是找世界上最好的研究员靠他们做很好的research,就可以有很好的结果你觉得谷歌这14年,带给你最的是什么对我觉得我这几年运气很好可以待在这个世界一流的研究室然后可以看到AI发展这么多我们10年前没有人会觉得AI会发展这么快这是不可能的我本来都是觉得世界变化比较慢就像包括到月球都是40年前的事情60年前的事情可能我觉得我这一代都是觉得世界都变化了很满包括电子车 自动驾驶车但是突然AI之后就又感觉其实可惜又开始速度变快了之前你还跟我提到过一个词叫research taste然后你说出来开NeoLab的这群人都是因为他们所看到的路线或者他们觉得比较重要的一些研究方向在大厂大公司里面不被看中其实这个是很考验一个研究员的research taste他的研究品位的你能不能再跟我们说一下研究品位对研究语言来说它重要在什么样的地方对你来说研究品位这个东西在Google的这14年你是怎么去养成的研究品位很重要不光是因为考实验需要卡需要资源我觉得最重要的的资源是时间如果跑了一个错的实验或者错的方法那个时间就不会回来但是你也要知道什么时候追一个方向但是也要知道什么时候要放弃一个方向研究评委就帮助你决定这个方向我要继续追我要继续花时间我的研究评委就是我觉得是从Jeff Fenton他们来的然后Jeff Hinton还就是觉得我们做AI的话我们就要根据大脑的思想我们觉得大脑这部分是用来做视觉用这些方法做视觉那我们也应该做模型也是用差不多方法就像CNN包括这些网络模型这些neural networks也是看neurons他们也是学然后他们就是从数据学的然后现在我们的模型也都是从数据学的我们本身建一个transformer的时候transformer什么都不知道你要给他数据他才可以做任何东西所以这个也是可能那些神经科学的想法就是说一开始这个brain什么都不知道你要通过长大就可以学会很多东西所以我做研究的时候我也是按照这个方法想如果有个新的方向 [55:00] 然后跟人的神经很大的区别那我可能就不会追那个方向你的新公司Jeff Dean也有投资对吧你觉得你在整个的谷歌的生涯当中Jeff Dean对你来说是一个什么样的存在对Jeff Dean是一个很好的advisor我刚进那个Brain团队我就认识他那时候我们的模型就跑得很慢我的经理就说如果有数的问题你就直接问Jeff Dean他什么都知道然后他就来到我的电脑旁边然后他就不光是看那个代码他还是看那个机器代码就是machine code就是比C++和Python还是深的代码然后他就说这个地方不对然后他就改了从那时候我就知道Jeff Dean是很汉壮的人他什么都懂他什么都学他也包括就自己学了深度学习和这些方法他才可以做出Google Brain所以他就是一个比较就是一个role model我觉得他对他做得很好他现在就是做Gemini的Lead在谷歌里面还有没有谁对你影响非常大的Coreclay影响也是比较大我跟他合作了好几个项目然后我们也一起host好几个实习生所以我跟他合做了很久对谷歌的厉害人太多了厉害和聪明的人太多了他们我觉得谷歌Brain和Demai就是这一代的Bell Labs很多很聪明的人包括Noam Shazia他也是很厉害和Demis Hassabis他也是很unique他是要用AI帮助整个世界所以我觉得这个是很好好的最后呢我们节目可以让你免费来打个广告首先你想招什么样的人才来你们的这个NeoLab实验室然后呢对于好的人才你跟他们喊几句话告诉大家为什么他们应该来你的公司然后跟你一起达到视觉AGI我们现在就是找世界一流的一个船队我们觉得要人才密集很高就可以进步更快然后我看这些中国的研究所就像Deep Seek和这些地方就是因为他们小,利级很高,就可以做出很好的东西我们在找有多么太经验的人,RL经验的研究员然后我们也在找Infrastructure的工程师管理过这些GPU Clusters或者做了Training Kernels, Scuder Kernels Optimization这些东西为什么要加入我们那是因为我觉得我们这个团队是NeoLab的一个Top Tier Neolab这个团队在其他的地方这么多数据经验这么多预训练经验这么多Frontier Model经验只能在可能三四个地方可以找到大部分其他Neolab都没有这么多的经验我们的方向也是一个比较新的方向我们觉得我们就会带过来下一代的推理下一代的Reasoning就离人的推理近很多我们希望大家来跟我们一起成长到下一个安卓北或者下一个open AI好 谢谢安卓好 谢谢你们也是刚刚搬进来对 刚刚搬进来我们还是用钥匙开门现在应该是周五的下午所以员工都会差不多离开了你们现在有多少人我们现在是差不多15个人15个人还有两个人在搬签证可能是12个人在research一个人在infra然后两个人在operations我们是very research heavy所以我们还有一些unpack的对很多亚马逊的盒子没有关系非常理解因为是公司刚成余的时候就会成为你们公司以后壮大了之后很珍贵的早期资料对one of a kind我们选的这个办公室就是因为这个院子对就像一个quad就像一个大学里面的quad对我们就午饭happy hour来这里吃饭然后有客人都是来这里你们还需要多一点物质多一点然后我们也有个喷泉可以relax你大家还要再加一点什么东西有个researcher他要加一个sonasona对白天去Sona白天的Sona我不知道就累了就去做SonaOKOK你在Sona的时候能够thinking更新他可能试试就像我洗澡的时候thinking然后可能可以加一个乒乓球桌或者台球桌但是我们现在主要是用这个打桌游因为我比较喜欢桌游你会用式型模型去玩桌游吗我试过了但是它们太差了像像气板它们都不会可能我们的模型做完之后那就可以用它打桌游了对所以你最爱的办公室是哪一间就是那个角落那里是这一间吗对就是这一间对这个光线很好然后有一个standing desk所以就是你机场会在这边看着外面然后想不想对对对或者打电话就在这里你现在大概一天的时间分配是什么样子的有多少时间是在做 [60:00] 你的工作有多少时间是在做research跟thinking白天大部分时间都是做operation就像做interviews和把我们的IT设计好把AWS设计好然后我做research大部分是周末和晚上就在家里就很安静就可以思考想新的方法很多idea都是洗澡出来的我也是所以就是idea完了之后马上用 Cloud Cloud就可以实现了idea 来自于 researcher 还是你的idea 在你们公司是怎么样去产生的都有所以有一些新的 Vision Encoder idea 是我来的然后有一些新的像 SFT 和数据的idea 在我们 team 来的现在在跑但是最后我们还是觉得这像 Auto Research 这些模型他们也可以做 research 但是他们的idea 就太 average 了都没有creativity然后就research 肯定要creativity我们就是觉得以前这些ideas就很便宜因为编程很难execution 很难但是有Clawed Code和GPT Codex之后这个execution 就容易很多然后现在ideas就那个价值就生长了所以就是这些最宝贵的researchers现在是大家就在互相争抢宝贵的资产对,就是,这些creative research 很重要然后最近我们看到NeoLab真的出来很多人都穿一红丝了你觉得这个趋势还会失去吗?我觉得还会吧因为现在很多 opportunities 开源也有很多模型可以用然后融钱也变容易了一点因为这么多公司都在IPO所以这一段时间我觉得还会有很多但是我觉得这也是一个窗口过了一段时间,我们这一代的Neolab就发展了很多那就更难有新的了因为这个窗口 deadline 阶纸就在上什么?窗口 deadline 那很难说可能这两年吧然后再等一会儿就下一代的实验室下一代的实验室会是什么样子下一代的实验室那我就不知道了那可能是AGI后的实验室那我不知道那可能都是AI跑的有可能但是现在他们creativity还离人的creativity太远了所以还是不是粉谢谢Andre好的谢谢那以上呢就是我们与Andreux Dei的全部访谈和办公室探访了New Lab是如今在硅谷非常重要的一个支线也是今年以来在硅谷101选题会上我们着重关注的方向如今呢VC的大量资金涌向这样的新型AI实验室是因为这些大基金们在OpenAI等前沿模型上的赌注呢已经太重了他们需要一些对冲万一代沿模型无法走到最后呢那么接下来AI怎么发展可能就是要看这些NeoLab的研究的成果了就像AI技术灵魂领袖Elia Suskever说的那样我们正在重新回到研究时代那规矩101的NeoLab系列呢还会继续大家不要忘了关注我们你们的点赞留言和转发是我们做好深度科技和商界内容的最佳动力我是陈倩那我们就下期视频再见了Bye