前谷歌DeepMind研究总监戴安德创立Elorian AI获5500万美元融资

前谷歌DeepMind研究总监戴安德创立Elorian AI获5500万美元融资 大模型巨头因过度内卷于编程和递归自我提升而忽视了多模态视觉推理，这为专注语言与视觉推理强强结合的初创公司留下了跨越两年窗口期的关键赛道红利。 访谈回顾了Andrew在谷歌长达14年的AI研发历程，涵盖了早期开创性的预训练论文、GLaM与PaLM 2的研发，以及Brain与DeepMind合并带给Gemini的阵痛。Andrew深入解析了高质量数据与Noam Shazeer等天才研究员对模型提升的关键作用，并阐述了自己选择在Gemini 3.0上线后离开谷歌的原因。如今他创立了Elorian AI（NeoLab），在5500万美元融资支持下，避开主流巨头的纯语言与纯世界模型之争，专注打造结合语言与视觉推理的中间路线，以小而精的团队密度在有限资源下捕捉视觉AGI的时代窗口。 在谷歌深耕AI研发14年的前DeepMind研究总监Andrew Dai创立Elorian AI，并于2026年4月完成5500万美元融资，估值达3亿美元，投资方包括英伟达及以个人身份参投的Jeff Dean。 (0:00) 2015年Andrew与Quoc Le合作发表论文意外奠定了“预训练+微调”范式，但因当时谷歌内部探索方向分散、算力未能集中押注单一赛道，遗憾错失率先推出GPT类产品的机会。 (9:59) ChatGPT爆发后谷歌强行合并Brain与DeepMind，经历了双组长机制摩擦与人才流失的Gemini 1.0阵痛期后，团队通过严格的数据筛选革新和传奇工程师Noam Shazeer的回归完成翻身。 (24:59) 离开谷歌后，Andrew选择不同于纯语言CoT与纯世界模型的“中间派”路线，带领Elorian AI全栈开发结合视觉推理与语言逻辑的专业模型，探索通往视觉AGI的新路径。 (34:59)

前谷歌核心研发人员Andrew Dai（戴安德）回顾了其在Google Brain与Gemini项目的技术历程，并阐述了其创立Elorian AI（节目中亦称NeoLab）聚焦多模态视觉推理的动因及对大公司研发困境的反思。 技术奠基与谷歌大模型研发的得失 (9:59) 在谷歌的14年间，Andrew Dai深度参与了大模型发展早期的数项关键突破。2015年，他与Quoc Le在研究Paragraph Vectors时，因误用语言模型Checkpoint而意外发现了“预训练+下游微调”范式，并在NIPS发表了论文《Semi-Supervised Sequence Learning》。然而，尽管2017年Transformer出现后他敏锐建议结合预训练，但作者当时正忙于图像研究，且Andrew随后转向Google Health，导致谷歌未能在第一时间集中算力全力Scale该路线，最终被OpenAI的GPT系列抢得先机。此外，Andrew团队还在2018年发表《MaskGAN》首次将强化学习引入语言生成，并在2021年通过GLaM探索了MoE（混合专家）架构，随后在2022年主导了PaLM 2的无故障平稳预训练，并合作发表了奠定对话模型基础的FLAN论文。Andrew指出，PaLM 2在2023年初即训练完成，但因谷歌内部官僚机制等待I/O大会发布，被OpenAI突击发布的GPT-4夺去了风头。 组织合并阵痛与Gemini研发中的数据壁垒 (24:59) 面对ChatGPT引发的警报，谷歌强行合并了Google Brain与DeepMind。Andrew透露，合并初期两方在基础设施、多模态与数据上高度独立，且推行复杂的“Co-lead（双领导）”机制，严重拖累了研发效率并引发核心人才流失。2023年底Gemini 1.0为赶圣诞节Deadline仓促上线，甚至放弃了当时调优未完成的MoE架构而采用Dense架构，在小语种上遭遇差评；直到Gemini 1.5才重新引入MoE。在Gemini 2.0及后续研发中，随着公开网页数据见顶与模型架构趋同，数据筛选清洗与合成数据成为了核心壁垒。在此期间，传奇工程师Noam Shazeer的回归为Gemini 2.5带来了巨大提升，其凭借深刻直觉在看代码阶段即可判断梯度位移，省去了昂贵的试错实验。但Andrew认为，大公司涉及数千人与巨额算力，决策日益趋向保守，促使他在Gemini 3.0后选择离职创业。 创办新团队与多模态视觉推理的中间路线 (34:59) 离职后，Andrew创立了专注于多模态视觉推理的Elorian AI（估值达3亿美元，今年4月宣布融资5500万美元，投资方包括Melo Ventures、英伟达及Jeff Dean个人）。Andrew分析称，目前OpenAI、Anthropic等通用巨头受制于竞争，将绝大部分精力倾注在Coding上以追求递归自我提升（RSI），导致视觉推理投入不足。针对技术路线，他区分了三种流派：纯语言派依赖长思维链却易在简单视觉任务中出现幻觉；世界模型派擅长物理直觉（如老鹰捕食计算风阻与重力）但缺乏抽象符号概念；Elorian则走中间路线，通过全栈定制Vision Encoder、多模态清洗与强化学习，将语言逻辑与物理视觉直觉结合。他认为当前视觉模型仍处于GPT-2/3的早期阶段，若能通过视觉读懂汽车方向盘或看着说明书拼装家具，即为衡量“视觉AGI”的重要里程碑。 初创期资源受限下的工程适应与人才要求 (44:59) 从巨头走向初创，Andrew体验到了资源环境的显著反差。由于谷歌内部极少使用开源系统，他必须从零学习PyTorch、Megatron、AWS和SLURM等开源技术栈；尽管显卡总量不及巨头，但初创团队的算力自主权更为确定。目前团队规模约15人（12名研究、1名基础设施、2名运营），Andrew认为DeepSeek等案例证明了小团队高人才密度的高执行力。他将早期Google Brain比作当代的贝尔实验室，深受Jeff Dean实干精神（亲自查阅底层机器代码）的影响。在当前AI工具（如Claude、Copilot）大幅降低编程执行门槛的背景下，研究员的“Research Taste（研究品味）”与创造力成为决定何时坚持或放弃方向的核心资产。他预估这类新型AI实验室的创业融资窗口期大约还有两年左右。 当前领先大模型团队在代码与文本方向集中加码，留下了视觉与物理世界推理的技术空隙。然而，在脱离大厂算力与专有基建后，小团队能否依靠数据经验与算法品味，在通用多模态大模型的快速演进中筑牢专业模型的技术壁垒，仍有待行业检验。

[9:59] Andrew Dai: It's not planned [4:59] Andrew Dai: 你不能更快 [29:59] Noam Shazeer: 这样不行，因为梯度（Gradient）会发生位移 [54:59] 经理: 如果有任何数学或代码问题，直接去问 Jeff Dean，他什么都知道 硅谷101: 硅谷没有秘密，但有一群信仰不一样未来的科学家们。

[0:00] 今天我们要对谈的人他的论文启发了OpenAIGBT的单手他是在谷歌研究AI14年推动数项重要论文辗转数个产品最后成为带领Gemini打下翻身之战的核心人物之一Andrew DyeAndrew长期处在谷歌AI研发的中书从早期的sequence learning文本生成对抗训练到PalmFlanGemini多模态和长上下文等等与他合作论文的都是谷歌的众多传奇大佬人物QuocleyYanguzbaloLean FadasJeff Dean等人而我发现安德鲁的职业轨迹就是一部谷歌AI大模型的编年史而为什么谷歌一度在大模型上被OpenAI吊打而又如何通过强行合并Google Brain和DeepMind由Gemini重回巅峰的OpenAI为什么能够看到Semi-Supervised Sequence Learning的能力而谷歌看不到呢第二天我就给She说前两年我们有这个文章就是预训练他就没有时间做后面就是OpenAI做了我看到Gemina一展古才用到MOE架构但是这是你在2021年就在研发的东西为什么这么晚我们不知道GPT是一个MOE的模型但是我的英特尼临Feders过去Opener之后他们就开始做了MOE所以硅谷其实是没有什么秘密可以演的吗对 特别是大模型Pump 2就是很顺从来没有见过那么顺的预训练但是我知道你们的风头还是被GVD4给抢了早一点发表我们就可以说我们是世界上最好的模型觉得可惜吗对 有点可惜Google Brain跟Deep Mind谁都不符谁很多人离职从两边都有离职从Brain这边也有Deep Mind这边也有2.5的时候Shazier他带来了什么东西他带来他的能力数据是很大的一个差异点我觉得最大的差异就是数据但是在谷歌你觉得它拖速度了对对谷歌来说可能就是有点危险因为用这个方法会大量改变数据所以你的新方法是什么那我不能说然而将Gemina 3顺利上线之后Andreau Dye决定离开了待了近14年的谷歌原因是希望有更多的研究自由与更快的速度他想做的事情是目前领先当模型公司和实验室不愿意选择的路线或者说发展的太慢的路线Andrew的结论是光是大语言模型无法将我们带到AGI但是呢他也不信仰纯视觉的视觉模型他选择的是语言加视觉的中间派系做多模态视觉推理模型那为什么你们现在做的事情Google做不了如果你做一个specialist model那generalist model就超不了现在很多的new lab出来现在这些模型都不会数东西光scale这个语言这部分还是不够了解我们的世界世界模型觉得视觉 is the key to intelligence但是从语言角度来说视觉就是不够我们就是觉得要把语言锤里加上视觉锤里才可以做到一个模型可以帮大家可以帮所有的行业今年4月Andrew创立的Elorian AI宣布融资5500万美元估值3亿美元正式从保密阶段走向公众视野投资方包括Melo VenturesUltimator Capital等主流硅谷基金还包括英伟达和以个人身份参与的Jeff Dean另外说一嘴Andrew五岁就跟随父母去到了英国那英文是他的第一语言但是他坚持想试试用中文上节目如果有表达不够准确的地方或者中英夹杂的部分还请大家见谅之后有机会我也会跟Andrew再用英文来对谈一期那么以下就是我跟Andrew带的专访非常感谢Andrew欢迎你来做客硅谷101谢谢所以这就是你们的新办公室我故意挑了一个非常空旷的房间我觉得这边的采光很好这个房间你们以后准备用来做什么很多研究员也应该是坐在这里和工程师因为我们这里住房子都至少要住两年所以我们就已经预测好我们过了两年会有多少人过了两年你们会有多少人可能就五十六十七十现在多少人现在我们是14个人但是还有两个人现在在办签上所以很快就16个人我在来的时候在听你一个之前的英文播客然后发现你有一点British accent是因为你之前在英国念书是吗对我是在中国出生但是我五岁就去英国我爸爸去英国读博士所以我们都一起过去我在英国本科就在尖桥然后去Edin堡读博士你的中文其实还讲得挺好的这是我的家人老师叫我练中文然后我也是认识一些中国来的朋友一直在坚持学你是什么时候来到硅谷的?14年前,2012年来的,就是为了在谷歌工作。当时为什么那么喜欢谷歌?博士我就是读人工智能,然后我一直从中学我都想做人工智能,然后那时候Google Brain比较有名,所以我就是想加入Google大脑团队,然后那时候DeepMind还是一个startup,还是一个很重要的。 [4:59] 所以我那时候不知道有DeepMind的公司所以我就直接想来到人工智能中心就要来到贵谷如果你留在伦敦的话是不是也有可能会加入DeepMind的然后最后也来到谷歌很可能我后来我的LAB很多我的同学都是去了DeepMind就是我一个来到谷歌Brain但是还有一个原因我要来这里是因为这里很容易创业很多新的公司都是从贵谷来所以我也是打算来了这里待几年然后就创严了没有想到一代就待了14年对没有想要那么久那我们来讲一讲你进入谷歌之后的一些工作吧然后第一份工作呢其实你是去到了Google Now在2012年到2014年那个团队应该是当时Larry Page希望说Android跟Soci团队一起搭建了一个能结合用户数据主动给用户推送提醒信息的这样的一个功能那那个时候我理解说背后已经有一点AI的研究在后面了当时你在Google Now里面在做什么那个故事比较有意思我在Google Now他们是找我为了做AI因为他们知道我是Annebal AI博士毕业但是其实我到了这个团队他们就发现这个其实在工程上有很多东西要做在这个Infrastructure还是有很多东西所以比如说他们如果有个新的新闻出来想personalize 然后发给用这个app的人我就编了一个系统四五分钟之内新的新闻出来就可以推到所有人的手机这个我就学到很多infrastructure我们有一次看到发这个新闻很慢需要100个milliseconds大家在想为什么这么慢我看了这个数据在哪里然后我看了一边是在东海岸但是我把这个数据送到西海岸按照这个speed of light就需要这么多时间你不能更快我学到很多那个engineering的东西很多end to end的但是后来我快走的时候我也开始做更多AI更多personalization后来我就去Google brain了然后谷歌呢在2013年2014年有几个重要的节点第一个节点呢就是2013年的时候应该是收购了Jeffrey Hinton的这个公司DNN ResearchHinton之后就加入Google开始工作了嘛你觉得Hinton来到谷歌之后对谷歌产生了什么样的影响呢对,Hinton来了之后谷歌就很看重AI那几年我记得我们的CEO也说了Google是一个AI company因为他们AI就是他们的call像Larry Page, Sergey Brin一开始创造了那个algorithm他们的目标也是AI就是让机器帮助大家懂这个网络上大家写的东西所以他们一直都是很看重AI但是2012之后就开始一个新的阶段就是Deep Learning深度学习的阶段他们就觉得如果我们不投这个方向那我们就会落后所以他们就做了Jeffenton的公司从那一段之后Deep Learning对Google就很重要他们的模型也就是越来越多都是Neural Network那样的模型然后2014年的时候谷歌又继续收了DeepMind你觉得DeepMind的团队进来包括Demis Hasselbus进来又在什么样的程度上面改变了谷歌吗对DeepMind跟DNA Research收购的方法很不一样所以DeepMind收购的时候他们是做了一个Agreement就是说DeepMind还是要独立他们都可以带来伦敦不用来美国所以有很多这些condition所以他们基本上就是一个独立的research lab跟Google Brain不一样Google Brain它的目标就是要做一些研究然后以后跟产品合作然后以后把这些模型推到产品Deep Mind就是更像是你什么都可以做如果你觉得是重要的东西像AlphaGo就可以做所以这些Philosophy有点不一样所以Deep Mind还是非常非常独立的对 非常非常独立他们想做什么东西也都是哈瑟贝斯说了算其实谷歌不太会管他们对他们招聘也有他们自己的方法然后他们的很多内部的东西都是跟谷歌分开像他们的代码那些东西都分了那所以谷歌当时Google Brain的AI的research比如说像你会跟DeepMind的人有任何的合作吗还是会但是比较少因为合作的时候就会有一些credit assignment的问题就是说这个项目是谁own的ownership在大公司都很重要到底是DevMine own这个项目或者Google大脑 own这个项目然后就有的项目就是这样的就更复杂我知道这样的磨合在之后Google Brain跟DevMine合并的时候会更加显现出来但这个我们可以稍后来聊我还是想把开始的时间聚焦在你最早期的一些工作上面我看到你在2015年开始研究Language Model Pre-Training and Fine Tuning当时应该是在Google Brain部门了我看到这一轮GNI的一个电机石Transformer这篇论文是2017年发布的但之前其实你们还发布了一个你跟Google Brain的创始人之一库克勒一起主导的这篇文章 [9:59] 叫做Semi-Supervised Sequence Learning能不能跟我们解释一下这篇论文主要解决的是什么问题这个文章不是我们一开始就预测好不是我们PlanIt's not planned我们本来是做这个Technology叫Paragraph Vectors所以那时候有Wit2Vec叫Win EmbeddingLLM之前大家都是用这些东西然后我们想做一个更好的我做了很多很多实验然后那些实验都是失败但是有一天我跑了一个实验然后我就发现这个结果很好比其他的文章分都高但是我想reproduce它从跑一次但是我跑不了之前的那些结果所以我就想肯定哪里有一个bug哪里出问题了所以我就再挖了一段时间然后我就发现是因为我训练这个模型的时候我是从一个另外一个叫checkpoint开始那个项目是另外一个项目那个项目就是做语言模型然后我是从那个开始所以那时候我就发现了如果你是先做语言模型然后你再做微调这些supervised data你就可以有很好的模型所以这个就是我们发现的东西然后我们就变成一个文章之前这两个都是分开的大家没有想用语言模型用来做语言理解但是我们的idea就是把语言模型和finetuning微调合到一起就可以做一个很好的模型所以我们就是第一个把这两个部门放在一起这篇论文我们现在回看好像很像是大规模预训练加下游微调的这种方式当然这篇论文出来的时候Transformer还没有出来所以当时你们其实用的模型聚焦的还是LSTM这个模型上面但是你当时有没有意识到说它可能会立得到一个更大的一个能心所以那时候我们的卡很少那时候大家都没有用很多这种显示卡做训练所以我们还是用的比较少的模型但是我记得那一年我们开会我们就在那个会上叫Nurips就发表了个文章然后Sepp HockwriterLSTM的第一个author他就来我们的poster他说他已经试了我们这个方法结果很好所以从那时候我们就知道以后应该会有很多人用这个方法但是我们没有想到过了10年还会用这个然后加了几倍这么大的模型对那当时Transformer出来的时候你有意识到这两个东西可以融合起来然后变成一个something much bigger吗Transformer出来的时候我觉得就很适合跟我们做的这个训练一起用所以Transformer 出来之后第二天我就给She 学习就是一个Transformer 的 First Author然后也是一个朋友我跟她说我们前两年我们有这个文章就是预训练然后结果很好你要不要在Transformer 上也试一试预训练但是那时候她很忙她在做一些图片处理的东西所以她就没有时间做后面就是 OpenAI 做了所以OpenEye是谁来主导的这件事情发现了就是Transformer可以跟你们这篇文章结合起来OpenEye是Alec Ratford他就是写GPT1,2,3的文章他也引用我们那个文章所以他就看出来了这个scale然后具体scale越来越大他的出来的语言就越来越好谷歌在什么时候意识到说这两个东西都是我这边出来的结果OpenEye给结合在一起用了我觉得这个是GPT3到了GPT3的时候才意识到对GPT3可能是一个turning moment整个世界的turning moment所以不光是Google很多公司都发现GPT3出来的语言可以干的东西都很好所以可能scaling是对的方向之前大家都不想投这么多显示卡在一个实验上但是GPT3之后Google就开始愿意这样投在GPT3出来之前Google Brain的co-foundersJif DingAndrean还有Kwaklaw他们当时在做什么事情然后DeepMinder的Hassabas他们在做什么事情Hassabas那一段时间我记得好像他们是在做AlphaGo那个项目他们是觉得把游戏做得很好像Atari游戏和围棋这些那就可以发生intelligenceGoogle Brain这是另外一个方向我觉得Jeff Hinton也是这个方向向的就是如果你做一个AI就什么都可以做那就是real intelligence就不要只专注一个小的领域但是那时候Google Brain还是很自由Google Brain的文化都是比较有名很自由你想做什么都可以做什么那时候Jeff Hinton在lead这个Brain团队但是下面的研究员什么都在做像有的团队在做音乐怎么可以用AI做出新的歌这样的东西其实做语言的人很少基本上是Quark和我还有几个人大部分人都是在做像视觉视频处理这些东西对就没有一个人来 lead强有力的来 lead说没有集合所有的资源跟力量去压住在同一个赛道上直到他们看到这些 [14:59] 所以你觉得OpenAI为什么能够看到Semi-supervised sequence learning的能力而Google看不到呢因为当时你跟Transformer的作者说了一下这个东西是不是可以尝试它没有理你那之后你就没有再尝试了吗对那时候那是2017的时候那个时间和特别Google Brain开始Google健康的部门那时候Health就是一个很hot的领域大家都是想进Health包括苹果和微软所以Google也觉得我们也要把AI放到Health所以那时候他们就让我选我要进Health或者代代Brain然后我就选择去Health所以我就没有机会做这些GPT的模型那也没有其他的人继续再往这方面渗退了是吧对后来就没有往上scale但是有人把这个放在产品就像Smart Compose, Smart Reply他们就是用这个预训练的方法了解对然后跟我们说一下你在Health部门在研究什么你去做产品了是吗我做的研究是帮助产品所以我那时候就是负责这个医疗的Records预测这个人以后可能会有什么病或者会要吃什么药就可以帮助医院省钱或者帮助这些医生我们也是用预训练因为我们知道预训练很成功我们就在这个医疗上面用预训练但是那时候的模型还是很小所以最后就没有做出来预训练但是发表其他的文章但是那时候也是一个比较好的时代那时候也是那个Google Brain Residency Program所以找了很多就像Interns在一年后来就创业了人像Lin Fedders和Demmy GordDavid Haar他们就是我的Interns那一段所以这也是一个比较好的时间在2018年的时候就是你在去Helf部门的一年之后我看你跟比如说Ian Goodfellow这些人还合作了一篇重量性的论文叫Mask Gant其实是来改善文本生成的质量因为我看到中间的一些技术探讨比如说他用的这个填空认误或者是Inveiling这些技术在后来的比如说Bert啊Gemini多模胎他预训练中都有一定程度的启发和影响那你觉得这篇论文对你来说意味着什么这个文章是我跟Lean Fedders和Ian Goodfellow就一起写的然后我们就觉得把这个空填起来是一个很好的task就可以让这个模型就学到很复杂的东西但是我觉得有一个地方我们文章做的比较好就是RL方面那时候做运训练然后做RL就基本上没有其他的人做可能还有一个文章在做这个但是我们可能是前几个文章就在运训练之后做RL然后现在大家都是用这个方法相当于是你们是首批团队把RL用在了语言模型上对我们那时候就觉得光做运训练不够因为这些模型就不会学到写出来的字怎么改或者哪些地方写的好哪些地方写的不好然后有RL的话那这些模型就可以看到我自己写的这一段就不像英文或者不像哪一个语言然后RL就可以把这个改好在其他的很多大家都觉得是有共识的技术范式上面你们也都是第一批团队去做的就包括MOE然后你当时研究MOE的时候还是在2021年的时候对吧你联合主导了Glam MOE LLM的这个开发那现在MOE架构我们都很熟悉了但我觉得真正把MO1这个词带到大众视野的可能还是去年DeepSeek V3的时候的发布但是我是没有想到在2021年的时候谷歌内部就已经在研发这个路线了那时候是GP3出来了Google Brain团队有的人有一点着急他就说我们一定要做一个模型比他们好然后也要更多功能这些东西所以我们那时候就觉得这些模型越来越大Serve他们通过一个API就会很贵因为他们有很多参数然后就要很多很多点但是如果你只用模型一部分用的点就少很多所以那时候前几年能文学界他也出了一个文章就是做MOE但是那个时候就没有做域训练所以我们就是用MOE加上域训练加上Fine Tuning然后我们最后就做了一个模型比GPT3还好所以那就是我们的achievement2021年的时候GPT3出来了谷歌内部你说开始感到压力了当时是什么样的一个情况能不能跟我们来描述一下我那时候的经理她是叫Claire她就是我的Google Health的经理然后她回到Google Brain我那时候就跟她谈我说我要离开Google Health她就说我们现在正在做这个模型但是这个模型就达不到GPT3那么好你们帮我们解决这个问题我们觉得这个问题是数据上面的问题所以我就过去了把那个数据处理了一段时间终于做了一个模型比GPT3好发表一个文章然后那时候DeepMind也是发表一个文章所以那时候就开始有一点竞争的东西然后后面几点就可以看出来有什么结果但是那时候就开始 [19:59] 因为两边都比较都看了GPT3DeeMine也觉得我们要竞争然后Brain也是我们要竞争要不然大家都会觉得Google做不出了这样的模型你那时候为什么想要离开HealthHealth我觉得对一个Big Tech公司来说是很难很难的一个东西然后这个难度不是因为科技难度是因为文化为什么医生他们有自己的文化他们的文化就是传下来的几百代的医生然后他们有自己的方法做东西所以这个本身这个行业result这个understanding就是更难所以很多医生就是按照他们自己的intuition决定东西然后如果我们要把AI推上去那他们就会问为什么AI要我做这个东西我做了好几十年我肯定知道比这个AI好所以就很难要那些医生用到AI的时候是不是可以说就是在实际的产品落地的时候一个大的科技公司它是比不上比如说跟医院或者医生关系很好的或者是药企也好是比不上他们去推这个产品落地的对然后还有一个是这个大公司像有的医生就可能觉得这个大公司要抢我们的工作抢我们的医院的钱嘛如果是一个startup那他们就不会那么feel threatened所以我觉得这是一个部分对是不是当时技术也没有好到让大家觉得说非用你不可对像现在大家都是就是因为chatGPT那些医生就觉得那我可以用上AI大家都在用chatGPT所以我就要用但是那时候不是这样的那时候他们是比较一个新的customer for AI但是现在他们不是一个新的customer很多人都在用所以他们就觉得没有那么危险所以时间不对对对时间不对可能当时技术也比较粗糙一点然后产品可能也没有做得那么的让他们诚心如意然后go to market上面其实美国医疗产业本来就是一个很难去打入的产业it's a big lesson所以你的 takeaway就是要在 right time to do the right thingWork on the right technologyExactly对创业我在创业这个很重要那我们来讲讲你从Health出来了然后呢在2022年的时候你是主导了谷歌Pump2模型的这个预训练嘛这个模型其实对谷歌来说是非常重要的因为那个时候谷歌跟OpenAI已经是有这个模型的比拼的这种压力在了但是Pump2出来的时候你们满意吗对Pump2是2023初就训练好了我那时候觉得是一个挺好的模型从来没有见过那么顺的预训练从头到底就一次都没有停一次都不用rewind不像那时候Meta出了一个OPT模型那个也是那段时间也是比较有名但是你看他们的那个logbook就重启了很多很多次然后做了很久但是PALM2就是很顺就一年之内从计划这个项目到这个模型做完了就不到一年所以我觉得那个都特别顺为什么这么顺我们做的什么事情让它这么顺那时候有一些经验就是训练Glam和训练PALM1的经验我们也是选了一些architecture上面的东西做了很多测试做了很多实验我们就知道这个很稳这个不会出问题然后我们跑到那个大训练之前我们也做了一些pilot runs所以我们就有high confidence 这个会成功然后在2022年我看你还写了一个蛮重要的一个论文就是FLAN Scaling Instruction by Intuit Language Models想去探索任务数量模型大小以及加入这个chain of thoughts COT 的一些数据能不能给我们讲一下这个FLAN 它的重要性在哪里FLAN 之前大家都是用像Future Prompting用这些模型所以如果你要他做一个东西你先要给他举个例子像如果是一个数学问题你要给他一个数学问题告诉他那个答案然后给了这几个例子然后你再可以问他做一个东西但是FLAM这个文章就是说其实你不用给他举例子你就在微调的数据里放这些例子就够了然后这模型就会学会你给它什么问题它就必须要答案这是有好的部分但是也有不好的部分好的部分就是你就不用给它这些feel shot这些例子以后但是不好的部分大家现在都知道如果你问它东西它不知道它还会假装它知道有了这个之后就可以有chatGPT这个chatbot因为你可以直接问它问题好所以PumpChu你们还是比较满意的但是我知道你们的这个风头还是被GPT4给抢了是吗对对,我们那时候我们做完了比较早因为我们是2023初的时候就做完了但是谷歌的内部的这些Bureaucracy和谷歌内部的系统很大他们就觉得我们要等到Google I.O.在统一发布对,在统一发布但是OpenAI他们当然知道 [24:59] Io是什么他们知道我们要出这个模型因为谷歌那么大没有什么秘密在内部里面所以他们就刚好谷歌Io之前他们就出了GPT4然后GPT4的结果就比Pump2好所以我们发表Pump2的时候我就觉得晚了一点我觉得早一点发表我们就可以说我们是世界上最好的模型觉得可惜吗对 有点可惜但是Pump2还是很重要虽然GPT4可能在benchmark上面比你们好但起码Google会告诉大家说我们站稳对吧我们没有就是fall behind 太多对因为没有还有一个原因是没有Pump 2的话那时候有那个产品是叫BardBard后来就叫 Gemini对对对然后没有Pump 2的话那个Bard的产品也是比较危险因为Bard就是用Pump 2做出来Chatbot所以那样的话Google的就没有Chatbot刚才你也说了2022年年底的时候OpenNight是上了chapgbt然后把整个AI市场引爆了当时谷歌内部也是拉响了口软然后SurcateBrain也是回归到了谷歌当时做出来的一个决定就是把DeepMind跟GoogleBrain给整合起来们讲讲那是整合的时候发生了什么故事吧这个整合是顺利呢还是会有很多的摩擦在里面这个整合大家有个preview大家都是觉得Gemini就是一个preview这个整合之后会怎么样发生因为Gemini前几个月就是DeepMind和Brain一起做但是不是official然后那时候觉得有一点摩擦但是后来我觉得那个leadership就觉得我们这个timeline要更快我们不能比ChagGPT带落后所以他们就决定要快一点把这两个团队放到一起所以那时候NAS确实有摩擦因为两边都有一样的团队所以DMind有个infrastructure团队Brain也有DMind有个multimodal团队Brain也有数据也是DMind有个数据团队然后我就是代表这个brain的数据团队所以一开始都是有这个tension他们决定每一个部门要一个领导从deep mind那边一个领导从brain这边所以就比较复杂对所以他的意思就是说比如说数据部门然后你其实是co-lead你是一个co-lead然后deep mind会出一个co-lead就包括可能其他的部门也是多模态的部门也是Google Brain出一个co-leadDeepMind出一个co-lead就是每个部门都是这样对出了之后我们还要分我们还要说在这个数据部门里面哪一部分是轮轮可以做哪一部分Mountain View Brain这边可以做然后这就很复杂这就浪费了很多时间我觉得为什么一定要设置这样的一个机制呢就更公平吧Google bring and deepmind 谁都不负谁这就是一个OK我两边都同时给达的结局对像一个equal even的setup那你觉得这样的setup会拖累模型的研发速度吗我觉得一开始可能出的模型就慢一些因为你把两个团队之前都没有合作过然后之前都已经有一点这种tension那你突然把它放在一起那肯定会有一些东西变慢了然后会有人换组所以这些东西都发生了整个的磨合过程你觉得经历了多长时间了开始说到现在还在磨合对可能现在还在磨合吧对有的部门磨合速度更慢有的部门更快就像infra就是很快他们就觉得我们必须要用infrastructure你之前做的就不怎么用了多么他也是所以就是两边整合的一个结果就是很多人离职对吧对有不少的人离职从两边都有离职从brain这边也有deapmind这边也有这两个谁都看不上谁的部门都整合在一起了然后一起来同心形力的work onGemini然后2023年年底的时候Gemini 1.0出来了这个模型你们满意吗这个模型我觉得是有一点rush的出来那时候我们刚开始一起合作然后很多东西都是拼命就赶那个deadline那时候有个圣诞节的deadline因为5月份Google IO刚出来我刚announced Palm 2但是我们觉得每六个月下六个月就要出一个新的模型所以大家都在赶这个时间然后你那么拼敏感然后这些人都没有合作过然后这个模型也是从start from scratch 基本上所以就有些地方就做得不是很好就像那个小叔的语言就没做得很好然后那时候媒体都报道了说建门1.0有的语言上就不行所以我们赶紧做 [29:59] 1.5然后我看到Gimla 1.5才用到MOE架构但是这是你在2021年就在研发的东西为什么这么晚呢对这个也是我觉得一个速度的问题所以他们像1.0就很赶紧推出来所以他们就没有时间就做这个MOE的模型就只能做一个Dance模型因为MOE你还要Tune还要花时间做Optimization然后ChargeGPT出来之后整个想法都变成一个race我们就在跟Opener比赛所以如果有个MOE要把我们的schedule变得慢那就不能做所以它的优先期还是说我先不管创新了我先就把它给追上所以这个时候谷歌其实是变成了一个这个按照是不是也是因为GPT4用了MOE然后1.5的时候才说我们必须要用MOE了我觉得本来我们都是打算用MOE这是什么时候有问题对 这是什么时候这是一个It's a matter of time因为我们知道MOE的结果更好那个2021的文章已经给大家看了是更好但是我们不知道OpenEye会那么快用MOE我们不知道GPT4会是一个MOE的模型我们还是有些人觉得应该是一个Dance模型但是我的intern Liam Fetters过去OpenAI之后他们就开始做了MOE所以他跟你一起work on了这个事情之后他就带去了OpenAI所以硅谷局势是没有什么秘密可言的吗对特别是大模型和大公司那这些大公司就肯定会有人去OpenAI所以对大公司就很难保持秘密Gemini 2.0对你来说对你们来说是一个比较大的翻身帐对Gemini 2.0就是像一个evolution就是这些方法就更成熟包括MOE包括这些很长的context的问题所以那个模型就是对一个evolution一个更好的模型对因为我知道好像在data上面你也是在Gemini 2.0上面有一些创新的能不能跟我们解释一下你做了什么让建立的2.0变得更好对在Data上有很大的变化我们是用一个新方法处理数据质量然后我们检测质量也是更严格可能有的公司觉得这个architecture和卡够了就可以做一个很好的模型但是其实数据还是很重要所以你看这些文章他们一般都不会说数据有什么也不会说数据从哪里来的这是一个很一个secret sauce这些模型所以我们就发表了新的方法所以你觉得现在数据是大模型们很大的一个差异点吗因为看起来模型架构大家都在用同样的东西算力大公司都不缺infrastructure其实都是很类似的东西是不是差一点就在数据上对我觉得最大的差异就是数据但是数据不是说数据来源的问题因为大家反正都把互联网的数据都穷尽了而是说怎么去优化这个数据或者是怎么去挑选更优化的数据来用于训练是吗对你选用什么数据很重要因为网络上是有很多数据但是也有很多spam很多总没有用帮不了这个模型的数据所以要找到那个好的数据可以让这个模型学新的东西就像人一样你给一个人每天就让他读广告那他也是学不了东西你要给他有information有knowledge的数据才行但是那个来源也是有一点区别因为谷歌他们有谷歌搜索所以他们有搜索的那个经验就知道怎么爬这个网络其他的公司也是有自己的优点所以你其实在这边的2.0主要在数据上面做的一个提升就是把这些spam的数据都给剔除了spam还有一些其他的数据对不光是spam更多的就不能讲了对低质量的数据合成数据上面你也是在管合成数据方面对不对对我也是在联合主导合成数据然后合成数据用的不好那也就会有个很不好的模型但是用的好就像GPT5它就是用合成数据可以用它把模型做得很好什么叫用的好什么叫用的不好用的不好就是你处理的不好你处理的不好的话这个模型就会老是做出你的合成数据的东西如果你的合成数据有很多Delve这个词那你训练完那你的模型也会更多说这个Delve这个词所以合成数据它也是需要很高质量要不然你的模型也会学到不好的东西学到错的东西像如果合成数据有错的数学那你的模型学到那个那它的数学也会变得更差这中间的差异点就是说怎么去确保说未给模型的是尽量优质的数据这样的话其实模型它也在能力上能够 [34:59] 一个很大的提升对但是user数据也是很难用因为user他们也会copy paste从其他的模型所以是比较难用这个数据Gimini 2.5的时候在去年中的时候又发布然后在年底的时候是发了Gimini 3.0我觉得在那个时候真的是短暂的超过了GPT然后可以说是惊艳了整个市场然后大家都在欢呼说谷歌又回来了然后看你们谷歌的股价也是涨得非常快但是你在CMN3.0的时候就离开了能跟我们讲讲为什么吗可以对我先讲2.52.5是Noam实际的从CAPKI就来到谷歌他就帮了2.5所以2.5是一个比较好的模型然后3.0就是我们调了我们做数据的方法有更多的新的方法然后先说我打断一下2.5的时候Shazier他带来了什么东西到谷歌然后让你们2.5变得更好他带来他的能力能力具体值得什么?能力是我有一次跟Noam讨论Transformer这个architecture然后我说那我们从这里加到这里加一个connection加一个链接好不好然后他说这样不会好因为它的gradient就会从这里移到这里他都不用跑那个模型他就知道训练之后会是什么样的结果他真的是一个genius他一看那个代码他就知道这是一个好的模型或者不好的模型他自己就知道这个模型是怎么work所以Aquihire是make sense的对it's a good deal所以我现在看起来真的是一个人它的能力就能够帮公司省合着钱跟时间对 是的对它很厉害那3.0呢就是说你们继续在数据上有一些创新跟优化对吧然后能够在数据上给Gimna3.0能够带来更好的一个参与点或者在benchmark上面跑奔跑的更好对那时候数据有一些新的方法然后但是我走的原因是因为我可以感觉到用的方法和做的progress都是用的比较保守的方法因为这么多人几千个人在这个项目上很多很多显示卡用在预训练所以他们就不能用很aggressive很不同的新的想法就是比较risky所以我就觉得这时候就比较好的时间就离开然后创业所以你觉得从数据上还可以提升优化更快用一些更加大胆或是更加激进的aggressive的方式去做事情但是在谷歌你觉得它拖速度了对对谷歌来说可能就是有点危险因为用这个方法会大量改变数据所以你的新方法是什么那我不能说好但是你的新方法就是你来要自己创业你其实想做的是视觉推理模型在你能说的范围内能不能跟我解释一下你想要用什么样的技术路径去实现什么样的事情对我们的团队是一个full stack团队所以我们有很了解数据很了解运训练很了解多么泰RL post training infra的人所以其实我们不光是像数据做一些变化做一个更好的多么泰推理的模型我们是整个full stack approach我觉得anthropic就是这样的anthropic就是一个full stack for coding就每一个部分都要专注coding我们就是数据然后那个architecturerl algorithms我们都会专注于多么台所以我们这些地方都会改包括那个vision encoder我们都会有一些新的方法为什么你们现在做的事情Google做不了对这个是可以看Anthlopic做的Anthlopic他们编程模型做得很好但是这个模型它不会做模态的东西然后这是因为他们就专注于编程你看Gemini和ChartGPT他们就没有这样他们就做模型就什么都可以做在我们的行业就是叫Generalist ModelsPlot这个模型可能就叫一个Specialist Model我们这个公司也是这样觉得就是如果你做一个Specialist Model那generalist model就超不了因为我们会有更多多模态数据我们会把那个数据调了对多模态没有用的数据比如说二战是谁赢了在什么地方打那可能多模态没有什么帮助所以我们就可以减少那些数据把更多数据就留给多模态数据视频和图片这样的方法就很难其他的公司赶上来现在的视觉模型比如说Google的View系列或者是Open-Einster SORA系列你觉得他们就还不够好因为视觉里面他们还不够理解他们在生成的东西是吗能不能跟我们解释一下视觉理解模型是什么然后他跟Sora还有VIO这样的视频生成模型有什么样的区别其实生成和理解和推理是很不一样的东西你就看语言模型的话五年前这些模型已经 [39:59] 会编程让GP3出一些编程它可以一般的人看这个程序他会觉得这个程序很好就像一个工程师写的一样但是如果工程师来看他写的代码他肯定会说这个不对这个跑不了所以这就是生成和理解的区别一般都是这些大模型都很容易生成东西就你一下看都会觉得很好但是你仔细看的话像那个图片你会看那个字写的不对或者那个人有三字手导演也会看这些视频导演看了这视频也会觉得这个地方不对这个地方明显是AI做出来的东西所以我们在视觉理解能力就可能是跟五年前的GPT3GPT2对语言理解差不多我记得我们在前采的时候你还跟我说过一个老鹰扎兔子的比喻我觉得那还挺形象的我们那时候是采用世界模型所以世界模型我觉得你可以想象像一个老鹰很多老鸣都吃鸟但是你抓这个鸟的时候那你肯定要理解Gravity和wind和Turbulence也要懂这个翅膀要什么角度才可以赶上另外一只鸟你也要预测另外一只鸟会有什么方向飞你要算我要什么速度才可以到那个地方在同一点就可以把那个鸟抓起来所以他们的脑筋其实都可以算这些东西都很复杂的东西不管可以抓鸟他们也会抓兔子吃老鼠吃算出来这个兔子如果它跑到一个桥下面那它从哪里会出来或者一个老鼠跑到一堆草里面那最后会从哪里出来这些动物他们很了解这个natural world这个physical world但是如果我们可以问老鹰的大脑What is the law of gravity?或者What is the gravitational constant?或者What angle do you need to have lift to fly?我们不会知道这些knowledge因为这样的concept这些概念都是人发明的如果我们是有四指手或者有二十个手指那我们数学可能就很不一样老鹰想的自己的视觉模型都可能帮不了其他的行业其他的领域所以这就是世界模型和这些语言模型的区别现在很多的New Lab出来他们也是想尝试一下不同的一些模型的研发的思路那有一派就是可能就是大语言模型这一类的那有一派就是世界模型但是你相信有一个中间点就是你做的这一派又需要语言的模型然后又需要视觉的模型对能不能这三派给我们来梳理一下就是每一派他们相信的是什么他们信仰的是什么然后他们betting on的是一个是怎么样能够达到AGI的一个路径如果这一块你觉得有点难用中文解释的话用英文也没有关系好我先试一试用中文不过我们现在看语言模型他们的思维链都是用语言做出来的就包括Gemini,ChartGPT和Claude他们就是觉得这思维链变得越来越长越来越diverse那模型就越来越聪明就可以做越来越多的东西然后最后就可以达到AGI通过编程越来越好用这个编程就做越好的模型但是如果你看模型做视觉问题的话现在这些模型都不会数东西如果有几个杯子在一个桌子他们经常会就hallucinate就说错 就乱说所以我觉得你光scale这个语言这部分还是不够了解我们的世界然后了解图片和视频另外一个方向就是你说的世界模型这些lab都是从计算机视觉部门出来的就像贝贝和Yanlokun那他们的想法我觉得是更偏academia那样的想法就是说我要做一个新的模型novelty很重要因为对academia你必须要novel你才可以发表文章我觉得他们就是比较相信视觉其实有一点历史Nurips之前大部分的文章都是视觉整个机器学习大部分都是做视觉其实做语言理解是很少包括我和Kok我们就是算很少数的人最近可能变了因为At the Lime但是我们这个是算一个比较niche的领域然后这就是因为很多researcher之前也包括Jeff Fenton他们就是觉得视觉 is the key to intelligence就是因为有视觉人就很聪明但是从语言角度来说视觉就是不够就光靠视觉不够有intelligence因为动物生物他们还可以做我们现在机器人做不了东西他们视觉还是比我们现在的模型好就像那个老鹰可以抓人的资料就算我们可以做出来一个很好的虚拟脑鹰我们还不会有intelligence还是大不到AGI但是视觉领域的人他们会觉得Vision is the key to intelligence所以这些世界模型更靠视觉和图像的数据但是也这样的话像我刚才说的脑鹰你就不能跟人做出来 [44:59] 来到概念合到一起就像数学和物理和化学因为这都是人造的东西那就跟世界模型还是比较远所以我们这个公司我们就是觉得要把语言锤里加上视觉锤里才可以做到一个模型可以帮大家可以帮所有的行业相当于是把那些什么重力的gravity的公式给它输到老鹰的脑子里面去对可以这样理解吗对然后用老鹰的眼镜然后脑筋一部分但是还是要用人的推理理解对世界模型这个概念这两年很火你觉得这些公司他们的发展能够到达AGI吗我觉得可能过了五年你再问我这个问题我觉得他们还是很早有可能是跟大模型很早的一个决断他们做训练的时候还在一个显示卡在跑这可能就是跟我们在2015的时候做那个一开始那个预训练也是在一个显示卡在跑但是需要很多很多年才可以做成一个大模型嗯 理解所以你觉得现在世界模型还没有到Transformer时刻嗯 还没有他们可能需要结构像Jepot但是可能我觉得还是要要代价几步才可以到一个useful model你觉得做这个视觉推理的其他公司大家的竞争优势是什么就比如说Google我想他们是不是内部可能也看到了这个东西所以他们可能内部也会在做maybe metamaybe open-end也会做因为我看到Deepseek之前好像推出了一篇文章好像也是很similar的一个东西他后来把那个文章给删掉了对你觉得这个competition landscape现在还是什么样子的对那个deep seek文章很有意思因为他们发了然后后来他们就把那个又删了但是在网络什么都删不了大家都足够了对其实deep seek的想法是跟我们的很像他们的path有点像我们的path但是其他的Frontier LabOpenEyeDeepMind和Anthropic我觉得他们是越来越偏编程的方向因为编程这个市场很大很多人现在都是在用模型编程他们也是觉得你要做一个很好的编程模型你就可以有self-improvement这个叫recursive self-improvement有的人叫rsi谁先把那个突破那谁就先可以达到agi然后这些frontierler他们都不想第二达到agi都想第一所以其实他们有很多压力做一个更好的编程模型所以因为这个压力他们就不是很看重多摩泰视觉推理这个问题所以我在Gemla的时候我就感觉到了这个所以我就觉得现在是一个很好的机会做一个多摩泰推理的模型所以你觉得Deep Seek会是你们的比较的一个大的竞争对手吗可能是但是我不知道他们为什么把那个文章删了他们是不是又换了一个方向如果你们是一个非常research driven的团队的话到达AGI可能还有一些时间中间的话你的投资人肯定也会问我说你中间用什么来验活你们自己就出了VC的钱所以你们的产品商业化落地是怎么去规划的我们是一个research and product lab所以我们也是做研究也是做这个frontier research但是我们我也是有那个go brain的背景Google Brain的时候我们就也是有个目标就是把这些模型就放在产品里然后就让几十亿的人用然后现在Gamala就有很多人用了所以那是比较成功但是我们在这个公司也是一样的目标也是要做一个API然后让大家用帮助公司解决他们的视觉问题所以我们也有这个目标好就是还是通过模型API的这个方式去变现对但是你的ultimate goal还是说就是帮助大约模型和视觉模型一起达到AGI对达到视觉AGI至少怎么去定义视觉AGI视觉AGI我觉得应该是比AGI更好表达因为AGI它的这个bar每天都在变有时候是说有的人说我们已经到了EGI有的人说我们没有到EGI但是视觉世界大部分人都可以看到东西都有视觉大部分人看东西基本的level都是差不多可能有些人反应更快但是大部分人如果你看一个车的方向盘都懂这是怎么用的既携带拼像热高瑜伽的家具那也都是视觉问题这些模型都不行所以我觉得有了一个模型可以做这些最基本的东西那我们就是on the path to AGI从那时候到AGI可能就不远了出来做公司跟在谷歌有什么不一样我问这个问题的原因是因为当你在谷歌14年你有无限的资源你有无限的资金你有无限的人才然后当你出来了之后就什么都要做 [49:59] 要自己去找人找钱找方向对吧就中间的差异对你来说是什么样的一个体验对有很多地方不一样所以在卡上面在显示卡那当然会少很多但是有一个地方是一个优点是在谷歌化在大公司他们每个礼拜那个priorities可能都变所以可能今天有卡可能下一个礼拜或者下一个月那就没有卡了但是在一个新公司的话如果我们买了卡那就不会有人拿走那在大公司就不是这样然后还有一个是我觉得我突然要学很多新的东西学怎么用Pytorch因为在DMI都是用JAX然后要学怎么用Megatron怎么用AWS怎么用SLAM有很多很多东西要学因为Google基本上不用开源的东西所以那个learning curve是很steep对我来说还有一个我觉得比较难是招聘因为在deep mind那我是在gemini那个船队那很多很多人都想进gemini所以一般发了一个offer那个candidate会接受但是在一个小公司那就不一样我们现在还不是很大的名气他们知道一个小公司就是有更多risk跟一个大公司很稳定所以招聘就是更难就有的人就喜欢这个大公司的安全感但是有的人就想试一试就try一个新的地方可能我们就可能会变成下一个open line或者a topic所以他们就会加入我们但是你出来了之后你跟我说会有很多的research freedom对吧就研究自由但是研究自由的代价是什么the cost of research freedom是什么cost of research freedom就可能这个support会少一些像谷歌如果一个research idea不成功那就没关系你还可以做下一个项目还有很多资源公司还有很多钱可以支持你但是在一个startup那一个fail research idea那个risk高一些因为那些资源已经消耗了不会带回来我觉得压力会稍微高一点做research所以我们现在就是找世界上最好的研究员靠他们做很好的research就可以有很好的结果你觉得谷歌这14年带给你最大的是什么对 我觉得我这几年运气很好可以待在这个世界一流的研究室然后可以看到AI发展这么多我们10年前没有人会觉得AI会发展这么快这是不可能的我本来都是觉得世界变化比较慢就像包括到月球都是40年前的事情60年前的事情可能我觉得我这一代都是觉得世界都变化了很满包括这个电子车自动驾驶车但是突然AI之后就又感觉其实可惜又开始速度变快了之前你还跟我提到过一个词叫research test然后你说呢出来开New Lab的这群人都是因为他们所看到的路线或者他们觉得比较重要的一些研究方向在大厂大公司里面不被看中其实这个是很考验一个研究员的research test他的前面研究品位的你能不能再跟我们说一下研究品位对研究语言来说它重要在什么样的地方吗对你来说研究品位这个东西在Google的这14年你是怎么去养成的对研究品位很重要不光是因为考实验需要卡需要资源我觉得最重要要的资源是时间如果跑了一个错的实验或者错的方法那个时间就不会回来但是你也要知道什么时候追一个方向但是也要知道什么时候要放弃一个方向研究评委就帮助你决定这个方向我要继续追我要继续花时间我的研究评委就是我觉得是从Jeff Fenton他们来的然后Jeff Hinton还就是觉得我们做AI的话我们就要根据大脑的思想我们觉得大脑这部分是用来做视觉用这些方法做视觉那我们也应该做模型也是用差不多方法就像CNN包括这些网络模型这些neural networks也是看neurons他们也是学然后他们就是从数据学的然后现在我们的模型也都是从数据学的我们本身建一个transformer的时候transformer什么都不知道你要给他数据他才可以做任何东西所以这个也是可能那些神经科学的想法就是说一开始这个brain什么都不知道你要通过长大就可以学会很多东西所以我做研究的时候我也是按照这个方法想如果有个新的方向 [54:59] 然后跟人的神经很大的区别那我可能就不会追那个方向你的新公司Jeff Dean也有投资对吧你觉得你在整个的谷歌的生涯当中Jeff Dean对你来说是一个什么样的存在对Jeff Dean是一个很好的advisor我刚进那个Brain团队我就认识他那时候我们的模型就跑得很慢我的经理就说如果有数的问题你就直接问Jeff Dean他什么都知道然后他就来到我的电脑旁边然后他就不光是看那个代码他还是看那个机器代码就是machine code就是比C++和Python还是深的代码然后他就说这个地方不对然后他就改了从那时候我就知道Jeff Dean是很汉壮的人他什么都懂他什么都学他也包括就自己学了深度学习和这些方法他才可以做出Google Brain所以他就是一个比较就是一个role model我觉得他对他做得很好他现在就是做Gemini的Lead在谷歌里面还有没有谁对你影响非常大的Coreclay影响也是比较大我跟他合作了好几个项目然后我们也一起host好几个实习生所以我跟他合做了很久对谷歌的厉害人太多了厉害和聪明的人太多了他们我觉得谷歌Brain和Demai就是这一代的Bell Labs很多很聪明的人包括Noam Shazia他也是很厉害和Demis Hassabis他也是很unique他是要用AI帮助整个世界所以我觉得这个是很好好的最后呢我们节目可以让你免费来打个广告首先你想招什么样的人才来你们的这个NeoLab实验室然后呢对于好的人才你跟他们喊几句话告诉大家为什么他们应该来你的公司然后跟你一起达到视觉HCI我们现在就是找世界一流的一个船队我们觉得要人才密集很高就可以进步更快然后我看这些中国的研究所就像Deep Seek和这些地方就是因为他们小利级很高就可以做出很好的东西我们在找有多么太经验的人RL 经验的研究员然后我们也在找Infrastructure 的工程师管理过这些 GPU Clusters或者做了 Training KernelsCuda Kernels Optimization这些东西为什么要加入我们那是因为我觉得我们这个团队是NeoLab的一个Top Tier Neolab这个团队在其他的地方这么多数据经验这么多预训练经验这么多Frontier Model经验只能在可能三四个地方可以找到大部分其他Neolab都没有这么多的经验我们的方向也是一个比较新的方向我们觉得我们就会带过来下一代的推理下一代的Reasoning就离人的推理近很多我们希望大家来跟我们一起成长到下一个Anthrobic或者下一个OpenAI好 谢谢Android谢谢你们也是刚刚搬进来对 刚刚搬进来我们还是用钥匙看着现在应该是周五的下午所以员工都差不多离开了你们现在有多少人我们现在是差不多15个人15个人还有两个人在搬签证可能是12个人在research一个人在infra然后两个人在operations我们是very research heavy所以我们还有一些unpack的工资很多亚马逊的盒子没有关系非常理解因为是公司当成余的时候这会成为你们公司以后壮大了之后很珍贵的早期资料对我们选了这个办公室就是因为这个院子对就像一个大学里面的大学里面的大学里面对我们就午饭Happy hour来这里吃饭然后有客人都是来这里你们还需要多一点路纯多一点然后我们也有个喷泉可以relax你打电话要再加一点什么东西有个researcher他要加一个sona对白天去Sona白天的Sona我不知道就累了就去做Sona你们在Sona的时候能够thinking更新的吗他可能试试就像我洗澡的时候thinking然后可能可以加一个乒乓球桌或者台球桌但是我们现在主要是用这个打桌游因为我比较喜欢桌游你会用视线模型去玩桌游吗我试过了 但是它们太差了像像气板它们都不会可能我们的模型做完之后那就可以用它打桌游了对所以你最爱的办公室是哪一间就是那个角落那里是这一间吗对就是这一间对这个光线很好然后有一个standing desk所以就是你机场会在这边看着外面然后想不想多多多或者打电话就在这里你现在大概一天的时间分配是什么样子的有多少时间是在做 [59:59] 有多少时间是在做research跟thinking白天大部分时间都是做operation就像做interviews和把我们的IT设计好把AWS设计好然后我做research现在大部分是周末和晚上就在家里就很安静就可以思考想新的方法很多idea都是洗澡出来的我也是所以就是idea完了之后马上用 Cloud Cloud 就可以实现了idea 来自于 researcher 还是你的idea 在你们公司是怎么样去产生的都有所以有一些新的 Vision Encoder Idea 是我来的然后有一些新的像 SFT 和数据的idea 在我们 team 来的现在在跑但是最后我们还是觉得像 Auto Research 这些模型他们也可以做 research他们的idea就太average了就没有creativity然后就research肯定要creativity我们就是觉得以前这些idea就很便宜因为编程很难execution很难但是有clawed code和gbt codex之后这个execution就容易很多然后现在idea就那个价值就生长了所以就是这些最宝贵的researchers现在是大家在互相争抢宝贵的资产对就是对这些creative research 很重要对然后最近我们看到 new lab真的出来很多人登场营丝你觉得这个趋势还会持续吗我觉得还会吧因为现在很多 opportunities开源也有很多模型你可以用然后融钱也变容易了一点因为这么多公司都在IPO所以这一段时间我觉得还会有很多但是我觉得这也是一个窗口过了一段时间,我们这一带的Neolab就发展了很多那就更难有新的了因为这个窗口 deadline 阶纸就在上什么?窗口 deadline 那很难说可能这两年吧然后再等一会儿就下一代的实验室下一代的实验室会是什么样子下一代的实验室那我就不知道了那可能是AGI后的实验室那我不知道那可能都是AI跑的有可能但是现在他们creativity还离人的creativity太远了所以还是不是粉谢谢Andre好的谢谢那以上呢就是我们与Andreux Dei的全部访谈和办公室探访了New Lab是如今在硅谷非常重要的一个支线也是今年以来在硅谷101选题会上我们着重关注的方向如今呢VC的大量资金涌向这样的新型AI实验室是因为这些大基金们在OpenAI等前沿模型上的赌注呢已经太重了他们需要一些对冲万一大约模型无法走到最后呢那么接下来AI怎么发展可能就是要看这些NeoLab的研究的成果了就像AI技术灵魂领袖Elia Suskever说的那样我们正在重新回到研究时代那硅谷101的NeoLab系列呢还会继续大家不要忘了关注我们你们的点赞留言和转发是我们做好深度科技和商界内容的最佳动力我是陈倩那我们就下期视频再见了Bye