前Meta AI研究总监田渊栋谈被裁 称AI自动化将淘汰执行层人员

前Meta AI研究总监田渊栋谈被裁：AI自动化将淘汰执行层人员 田渊栋认为依赖指数级数据与算力堆砌的Scaling Law指向悲观未来，现有的LLM框架存在千倍于人类的学习效率缺陷，行业亟需寻找全新算法路径。 在经历Meta AI部门约600人的大裁员后，前FAIR研究总监田渊栋坦然接受采访，分享了他对个人职业新起点的思考。他指出，AI正在自动化AI本身，传统的工程执行岗位将大幅减少。同时，他对现有的Scaling Law路线表达了审慎的怀疑，认为其存在极低的数据效率缺陷，并坚定支持强化学习（RL）作为通往AGI的必经之路。面对激烈的AI人才战，他建议研究者追随兴趣而非市场信号，并期待未来能以“超级研究员”的姿态探索前沿研究与工程的完美结合。 Meta在AI部门裁减约600名员工，前FAIR研究总监田渊栋表示被裁并不意外，此前已拿到外部Offer并有离职意向，目前正积极评估科技巨头与初创公司的机会。 (0:00) 田渊栋指出AI行业正呈现去人力化的宏观趋势，数据标注和系统运维等流程性工作正被高度自动化，未来中间层工程执行人员需求将缩减，而前沿探索与垂直应用人才将更具价值。 (4:59) 他认为大语言模型与人类学习效率相差千倍，依赖堆砌算力和数据的Scaling Law指向一个悲观未来，而强化学习的主动探索机制才是提升推理泛化能力的核心路径。 (9:59) 面对当下的AI人才争夺，他建议求职者不要盲目跟风所谓的“稀缺热点”，因技术迭代极快极易被淘汰，应遵从个人兴趣与长期研判来构建独特的技能组合。 (29:59)

前FAIR研究总监田渊栋在被Meta裁员后接受专访指出，AI行业整体正走向高度自动化与去人力化，现行依赖算力与数据堆叠的Scaling Law不可持续，行业亟需转向更高学习效率的算法框架与主动强化学习。 行业自动化与传统雇佣制颠覆 (4:59) Meta在2025年10月22日裁减AI部门约600人，田渊栋认为这反映了全行业的宏观趋势而非单一公司问题。随着模型自我标注、数据合成与系统运维自动化工具的成熟，过往需要大量人工标注与24小时工程值班的岗位正迅速减少。标准化管线普及后，按照既定逻辑训练模型的中间层工程人员面临淘汰。 田渊栋预测未来传统雇佣制工作将大幅减少，甚至可能出现“大家都没有工作”的局面。AI Agent的普及让极小团队甚至个人即可替代以往数百人的执行工作，未来人才需求将两极分化，主要流向底层前沿探索研究以及垂直领域的落地应用。 现有LLM缺陷与Scaling Law困境 (9:59) 针对大语言模型（LLM）是否能通往通用人工智能（AGI），田渊栋表达了审慎怀疑。他指出LLM的核心缺陷在于“数据饥渴”与极低的学习效率：人类一生接收的Token仅约100亿（10B），却能诞生极高智慧并提出独创理论；而大模型需摄入10万亿至30万亿（10T-30T）Token，两者存在上千倍效率差。 田渊栋提出，目前的Scaling Law呈现出悲观前景。由于该规律是非线性的，依赖指数级递增的算力与能源投入仅能换取线性的性能增长，若无节制演进将面临电力和能源耗尽的硬上限。因此，单纯依赖扩大规模难以为继，业界必须寻找更贴近人类高效认知机制的全新算法架构。 强化学习的主动性与AGI时间线 (16:00) 面对学界对强化学习（RL）的争论，田渊栋坚持支持RL路线，强调其本质是搜索过程，模型在自主搜索中采集的数据质量远胜过被动灌输的监督微调（SFT）数据。他指出SFT易导致模型死记硬背推理步骤，而缺乏真正泛化，唯有RL的主动学习机制能有效改变数据分布并提升推理能力。 在人机协同层面，田渊栋分享了与未发布GPT-5通过自我博弈对话撰写论文的经验。他发现大模型在缺乏人类高层洞察（human insights）和领域知识时极易产出平庸方案，只有在人类指引关键逻辑后才能得出优异成果。他据此推断，AI目前仍无法独立获得顶尖科学直觉，距离AGI的实现可能仍需十年（a decade）甚至更久。 推理研究积累与工程科研平衡 (24:59) 在支援Llama项目前，田渊栋团队在FAIR主攻长思维链（CoT）与推理。其团队在OpenAI发布o1前已证实长思维链能大幅优化Scaling Law曲线，仅需十分之一的样本或参数即可达到原性能，其“连续思维链”与自适应长短思维混合训练（Duoformal）成果均在业界引发广泛引用或成为标配。 反思在FAIR的经历，田渊栋认为自己2018年因考核导向完全转向纯研究是一大遗憾。在当下AI研发高度要求工程落地的时代，他主张兼具工程与研究双重能力最为关键。他认为象牙塔式的大型研究院虽可能减少，但理想主义的前沿研究将转变为分散在小团队与大厂小组中的“游击战”形态。 田渊栋建议青年从业者避免盲目追逐当前紧缺的技术热点，而应结合个人研判构建独特竞争力。他未来计划将前沿理论与工程应用进一步结合，并探索利用AI自动化赋能科研本身。

[0:00] 田渊栋: 也许这个正好是个时机可以出来看看。 [4:59] 田渊栋: 总有一天大家都没有工作，我觉得是大趋势。 [9:59] 田渊栋: 现有的Scaling Law（尺度定律）指向的是一个悲观的未来，因为它是非线性的，需要指数级的数据和算力投入才能换取线性的性能提升。 [16:00] 田渊栋: SFT就像学生坐在教室里听老师讲课，而RL则是学生不听课、自己去摸索解决问题。 [16:00] 田渊栋: 如果人类自身没有深厚的领域知识，大模型给出的方案往往流于平庸、缺乏原创性。 [24:59] 田渊栋: 最理想的状态是“工程能力和研究能力双强”，虽然这极难做到，但我有信心把工程手艺重新捡回来。 [29:59] 田渊栋: 做自己想做、觉得开心的事情，并将其与自己对未来的判断相结合，形成独特的技能组合。 [29:59] 田渊栋: 未来的前沿研究可能会以“游击战”的形式存在——不一定非要有一个庞大的、全职的研究院，而是由各种有理想的小团队在特定的时间和空间里产生化学反应。

[0:00] 我其实在被裁之前已经有offer了因为我在公司大概10年多了所以也许这个正好是个时机可以出来看看你觉得LM是正确的路线吗我觉得LM是一个很有意思的路线但我不知道会不会是正确的路线Skilling Law是一个悲观的未来对 因为Skilling Law说实在的这个topic呢本身是一个很奇怪的一个topic所以现在带预言模型最大的问题是什么最大问题就是说数据量需要很多跟以前自动驾驶是一样的就是一开始进展非常快大家会觉得马上就取代人了但是越往后走呢问题越大为什么呢是因为就是好的insight好的数据越来越好越来越难找数据越来越少那你的模型就训练不上去你是怎么看RL这条路线强化学最大的好处呢是它是主动学习的它能对数据的分布产生很积极的影响这是它最核心的地方你在Fair还有什么遗憾吗我应该在Fair应该工作应该做更多一点可能更好一点最大的收获呢应该说是2018年之后我应该在这段时间之内我很有很多的research test如果有研究的品味的话那意味着就是自己给自己设一条道路可以一直往前走你的下一步是什么哈喽大家好欢迎收看《贵谷101》我是陈倩在2025年10月22号Meta的首席执行官扎克伯格是批准了对公司人工智能部门裁减约600名员工的计划那这是Meta今年在AI领域的最大规模裁员了主要是针对被称为超智能实验室的核心研发部门那么Meta为什么要进行这次的裁员公司的AI开源路线是如何碰壁的以及空降的新AI负责人Alex Wang将会如何重塑Meta的AI策略这些内容呢我们都在上一期节目当中提到了大家可以翻去我们的首页去看看那我们也对此采访了这次裁员风波中的核心神部之一前菲尔研究总监以及AI科学家田元栋我们的采访其实聊了不止Meta我觉得更有意思更有价值的还有除去公司层面啊这些资深的AI科学家们对于AI路线和未来前沿研究的一些思考所以这期视频我就把完整的采访放出来分享给大家目前这个版本我们是截掉了上个视频的重复部分更专注在AI发展这件事情本身特别是对带语言模型LLM的路线开闭源Research Lab的存在以及AI人才对研发和工程的选择这些话题上希望对大家有所帮助那么以下就是我们的采访内容看你还穿着Fair的那个衣服我觉得我我觉得是这样像一般来说吧像我们这样的人一般也不是很care穿着对吧就是所以公司发什么衣服就穿什么衣服对是不是要换衣服那过去几天对你来说是什么样子的我知道很多人其实是来rich out不管是媒体也好然后还有很多公司也好其实都来找你你自己是什么样的一个心态我觉得是这样因为我其实在被裁之前已经有offer了因为我其实我在被裁之前我已经跟跟我的一些manager说一下我就说哎呀我不是很爽就是我可能要look around他们是知道的对所以被裁我也没有特别surprise对无所谓吧就是反正我有offer就是我之前跟他们说哎呀我当然了我拿了offer之后呃后来我想想还是在买的待一阵子因为毕竟还是有卡嘛对吧还可以再做点东西但是他们把我裁了的话那就就就亮了呗对吧呃所以就怎么说呢就是过去这两天还是比较应该说有很多的人reach out很多人找我很多人跟我聊天想问有没有什么机会什么的对有很多很多各大公司吧因为你看你想到公司他都reach out了而且都比较high level的人对还有很多小公司还有一些calfunding的机会大概是这样子对所以有很多机会吧所以现在应该说还在想吧还没有决定还没有决定对但因为现在应该说离财源还不到一个礼拜吧还不在198小时对所以还是需要想一想那个裁员是你意料之中的吗你当时sensur到那个裁员会来吗不然的话我不会去找工作对吧所以我会有一些感觉我觉得可能我个人觉得可能这个地方也许at some time就是知道对我来说也可以这么说吧因为我在公司里大概十年多了所以也许这个正好是个时机可以出来看看这是我的想法对那至于那公司里面情况怎么样我现在还不太方便comment但是反正这可能是个personal choice只是说是裁员加速了这个personal choice可能可能本来可能还在公司里再待一会儿可能再待个半年然后再考虑一下但是如果 [4:59] 如果这样的话反正现在都已经出来了那就出来了我觉得才600人还是挺我当时看了这个number的时候还是挺震惊的我觉得有点多虽然不是完全才他们可能有机会转去其他的组比如说你们AI部门他们觉得没有必要有这么多人的岗位在这边需要把这个部门重新的restructure一下对 我觉得其实应该说我们可以说行业趋势行业趋势我们不说Meta具体这次情况对吧因为我也不方面投太多我觉得行远其实肯定是就是说因为AI本身自动化成都是最高的对吧就是说我们今天有很多人标数据可能明天模型强了不像明天标数据了后天模型更强了需要的人就会少然后以前可能有很多时候就是说我以前听说过各种消息就是当然我自己没做过了就是比如说以前是uncalluncall说我这个模型撤到一半挂再能打电话过来说挂了挂了马上马上马上起来然后要修然后挑战术然后看能不能把救回来但是现在因为有很多的那个自动化的工具然后整个系统做得很好了话那这种这种事情也变得会很少对所以那这样的话呢其实你会相信就是然后各种各样的pipeline都慢慢变成熟变成熟化那你觉得需要很多人吗你并需要很多人所以我觉得大趋势肯定是财的人就是或者说做这个事情的人会比较少应该是这样子一个状态吧所以你觉得这次财源不是Meta这一个公司的问题而是你说大趋势可能越来越多工程师也好或者是同事AI应该是这么说应该说大趋势是大家开始就是总有一天大家都没有工作我觉得这个是大趋势就说的很吓人就是这样其实或者说没有传统异常的工作就是说我受雇一个公司然后我帮这公司把事情做好也许以后并不需要这样就是比如说吧如果我去当CEO或者我去当一个小公司的一个一个一个一个利益或者说是自己去创业的话那个给现在这些工具这些工具拿到手之后呢我自己都会觉得我并不需要太多人做这事情有很多事情是个自动化了而且自动化的程度非常高对所以也许就是说我本来是需要一个团队比如说需要比如说几百人几千人去做一件事情现在也许必须要那么多人很多事情可以自动化可以用agent来做所以在这种情况下我觉得总的来说应该说是就是做AI的人可能会越来越少但是就是探索用AI来做工具来探索其他东西的人会越来越多大概是这样的一个过程你觉得在Foundation Model研究上面的人会越来越少吗应该说是这样就是对Foundation Model的一个探索性的研究应该会有来越多但是我就按照我们之前的那个工程上的那个逻辑把这个model做出来训练出来那这些人会有来越少因为以后会发现就是大家都遵循同样的那个逻辑把这个model训练出来对吧然后代码都是可以跑的然后都是能有效果的那需要那么多人为什么呢就是肯定有更多人会说我们可以做research或者是做一些其他探索性的工作那么这样的人会越来越多然后做应用的人也会越来越多对但是这个应用不是说是那种一般性的应用很多时候可能会落地到某个具体的垂直领域或者说用这个东西做一些你先想做的事情这样的人会越来越多但这是中间层的做执行的那部分人会对因为做因为做执行的那些人他们首先一个就是他们对他们来说他们的工作比较重复的对吧可能很多事情是需要修或者需要处理但是如果工具的自动化成绩越来越高的话那么重复你的劳动就会减少对感觉它是这样子就是在这次裁员之前你本来在菲尔里面在研究什么在那裁员之前其实我们之前是一年今年一月份的时候我是去我们就去那JNI在帮忙对这个是就这段时间之内其实我们大部分时间没有在做研究就是在做各种比较救火的工作对但是你就是拉马斯对当然了就是我个人还是会有一些跟比如说外面一些其他的一些朋友合作的一些工作像我们今年四五月份有一篇文章是分析一下就是我们之前的连续思维恋它的一些理论上的一些比较有厉害的地方这个是分析而且这篇本章其实效果也就是至少影响力也挺大的大家会觉得就是这个对这给连续思维链Coconet这篇本章家里相当于一个给了一个那个备注吧就是说确实我们在理论上做了更深的分析那这个分析能够让这个连续思维链这个思路可能让大家觉得更有道理 [9:59] 可能会有更多的工作再做下去你可以说一下就开源避源接下来的一个发展吗你觉得就是因为现在很多曼杰说OK可能开源在一个大公司的架构里面就不work了就是因为现在前沿模型精神太激烈了那别人都在避源你一个人开源你可能也坚持不下来吗你觉得是不是接下来那开源模型距离避源模型就会这个差距越来越远就还有人会做开源吗你现在很多人在开源嘛你想特别是国内的公司都在到开源但是中国的是开源对啊硅谷这边硅谷这边其实还是会有开源的我觉得像我知道的一些像公司像reflection对吧AI他们应该就在做开源的模型对吧他们是有很多的有很多要求就是很多的想法嘛想要做这种像之前的OpenAI也做过一些开源的GPTVSS model对所以我觉得开源还是会有的而且会应该说是会一定的会继续发生像AI2也在做开源的工作我觉得就是说接下来的问题就是说这些模型有什么用是可能更大的但更大的问题你说开源的模型有什么用不管开源还是必源的就是因为这模型一旦出来之后呢那么这个模型本身你说可以拿到聊天工具可以的可以拿到搜索工具可以拿到效率工具这个都可以这些东西呢可能大公司会做那么还有很多的其他的方向那个比如这个模型可以拿来做一些Scientific Discovery或者说做Scientist或者说做Trader领域的一些工作那么这个小公司小公司就可以做对大概是这样那么在一定程度之后这个模型需要有多强能够把这个问题做出来可能这个是一个因人而异或者说因问题而异的这样的一个问题因为最终发现不同领域下面就是说我真的需要一个模型在所有方面都很强吗不一定可能就是说只在你care的方向上比较强那么这个时候可能就开始分化了就是每个人每个模型可能都有自己的想法每个公司做这个模型有自己的目的然后会有各种各样的不同的模型做不同的事情那么在这种情况下就可能会有一个不同的策略吧对吧可能有些模型希望开源因为开源之后大家用了之后大家可以用来做一个社区对吧或者做工具平台那么这个时候你开源是很没sense的对吧就比如说我有一个模型这个模型训练完之后这个模型可以调用某种工具机然后我在这某种工具上我可以再用这个模型去做一个平台大家用着那肯定要开源对那如果是其他的一些领域比如说我如果这个模型是用来做personalized search或者说personalized recommendation那这个模型应该说不太愿意开源嘛或者说每个人自己训练模型然后当时不开源所以最终看最终的purpose是什么而不是说是一二就是非常泛泛的说开源和闭源哪个好哪个不好所以最终看公司的策略因为公司的策略每公司和每个人其实都是不一样的所以你觉得就是在SOTA的那种最一线的模型上面可能很难有一个开源的去跟闭源的直接的complete但是在很多小的锤类的这种模型上面就很多还是有非常非常多开源的机会的应该说是这样吧对好呀你觉得LLM是正确的路线吗我觉得LLM是一个很有意思的路线但我不知道会不会是正确的路线对因为我觉得最终这一点你是同意原来困的吗这个不好说吧因为我觉得就是我们大家都是做Scientist所以有Scientist的这个想法的人都会觉得就是说我希望找到更好的东西而不是说我现在就满足于现在的这个框架然后我就在上面做到死肯定不会这样子所以我会我总会说有各种各样的可能的问题然后这些可能的问题怎么样用别的方式来解决这个是一个很大的所以现在大于元模型最大的问题是什么最大问题就是说数据量需要很多然后需要很多数据量然后训练出来的模型质量就是肯定很好了对吧但是肯定没有人那么efficient这个是很大的问题因为对人来说你学的样本数非常少然后你一生能学到的那个token的数目可能就只有比如说最多最多10个b点的级别特别是Tax Token这个之前我也在一个slide上算过这个大概是个数字但是你现在大约模型的训练的数据很轻易的能达到一个10个锤链或者说30个锤链这样的大小那么中间有一千倍的差距这一千倍差距你怎么样去用人类的学习能力去语练 [14:59] 很难弥补但人就是能学得很好然后就是我们知道在人类意识场合中有各种各样非常厉害的科学家他们的思路和想法都是独一无二的他们那个时候也没有看过那么多书也没有那么多的数据但他们就是能够发现一个很有意思的一个新的定理新的证明新的发现或者新的发明所以对他们来说他们这些能力是从哪来的对吧然后大约模型现在那么多拖坑发进去了之后是有没有达到这个人的能力这个其实现在很大的一个问题就是big question mark对所以就是说如果是这样的话呢那其实也许我们现在训练算法并没有达到最优的对吧有可能有更好的算法更好的逻辑然后更好的方式去学习就是在数据中的涌现出来那些表征用它来解决问题也许基础下降呢可能并不是一个特别好的方案可能有些突然有一天也许不要做题还这样了可能别的方法来做这是我的一个暴论吧对吧就是这样的话也许我们整个训练的这个框架可能会要改变对当然这个不一定现在能出现但是我觉得以后可能是一个比较有意思的一个方向可以去实验的我看最近业界对强化学习有一点争论特别是最近Andre Capacity然后接触了一个播客然后也发表了一些比较负面的一些观点你是怎么看RL这条路线对我一直是做这个方向的我也是觉得因为RL比较好的地方它本上来是个搜索过程所以其实就是说你给定了一些难的问题让他去搜出来那么搜出来在搜索的过程中你学到的那些数据你获得的一些信息其实它的质量要优于你被喂的那个数据这个就相当于就是一个人在有一个人是比如说我去去老师那边听课对吧去老师那边听课呢我可以认为它就相当于是supervised learning监督学习还有一个人呢我说我不去老师那边听课我就自己去玩然后把问题解决了那么这两种方式呢其实我觉得后者他的那个学习出来的能力应该说更本质然后解决问题能力更强所以我觉得阿里尔在这方面应该是优于那个优于SFT的而且确实现在你现在看很多的文章确实那个reinforcement learning的能力其实要比SFT能力要强在很多问题上特别在推理问题上你知道你要做你知道你要做reforce learning才能让这个模型真的学会推理如果你做sft的话呢这个模型可能就记忆了就是之前的那些推理的过程但是它并没有产生泛化能力在心电问题上可能泛化能力没有那么强就是特别是如果你做了大量的sft你可能这个模型的那个质量就可能会下降所以这个其实是这个两个的区别但是就是说强调学习它只是个范式它不是说是有什么神秘的东西在里面因为它最终的目的还是改变权重对吧那么这跟SFT是一样的只是说改变权重的方式不太一样所以其实最终也许存在一个方式可以统一那个reinforcement令和SFT对吧统一这些东西因为最终目的都是改变权重那也许我有更好的方法来做这些问题而强光学习对大家来说其实就是一种不同的数据采集的方式而已对吧它是通过边搜索边采集然后把数据放在一起然后再续续训练那么这样的一方式呢相当于是一个主动学习的方式跟SFT的方式是不一样的所以我觉得强光学习最大的好处呢是它是主动学习的它能对那个数据的分布产生很积极的影响这是它最核心的地方而不是说是它的目标函数跟不一样或者说它的训练算法跟它不一样不是这样子我觉得最终还是看它的数据最终采集的数据它的质量是跟SFT是不同的所以它才能够解决一些比较难的问题Erika Kapasti之前说的那些那些东西其实像有些我也觉得挺好的像关于AGI还有十年这样的论断就是我们是进入decade而不是说进入一个比较立即就能获得AGI能力的这样一个时间对这个我觉得这个我是觉得相信像我自己之前也是用过GPT5然后帮我一起做一篇文章我最另一篇文章其实是我和GPT5通过Self Play都是说出来的对就是说就像我没有任何的学生然后我就每天跟GPT5去对话然后我说我也这样的问题要解决然后我就说这个问题我们怎么formulate然后他会给你formulation但是你会发现就是如果你自己没有domain knowledge这个formulation呢其实做出来也是跟大家差不多的没什么重新型没什么原创新但是作为研究员就是有一个对这个问题的 [19:59] 很深的理解或者说我知道这个formulation或者说它这个影响或者这个思考的方式是不对的或者说它的那个formulation有致命的问题那么把它记出来之后然后跟它说那么那么GPT5就会在这方面更深入然后最终得到一个比较好的结果大概是这样子所以就说这种高层的human insightshuman knowledge和就是对这个问题的独到的见解这些东西是现代的模型是缺的你必须有这些东西之后才能让这个模型变得更强所以你要说AGI没有这些东西其实应该不能说AGI所以还是永远都没有办法获得最top的这种insight因为insight还是永远都是人来是的这个问题就是以前我也讲过了就是跟以前自动驾驶是一样的就是一开始进展非常快大家会觉得哇马上就取代人了但是越往后走呢问题越大为什么呢是因为就是好的insight好的数据越来越好越来越难找数据越来越少那你的模型就训练不上去然后人对数据的获取能力和人对数据的深度挖掘能力永远是超过计算机的现在是这样子超过所有的模型就同样的问题可能人只要一两个样本就能看到本质但是计算机的话或者说现在的那个大模型的话它需要它可能需要比如说至少几百上千吧的样本才能大概感觉到一个轮廓那么预训练可能是更需要更多的样本那么在这种情况下就是如果样本数不够的话呢人永远是比现在的大模型要厉害的特别是对一些就是小领域的专家他们没有办法他们甚至也自己也没有办法把自己学过样本的图出来给计算机看因为这些样本可能在他脑子里就是他的经验那这些经验很难去量化成一些句子那么所以就是如果是这样的话那AI就只能永远是跟着人后面走就是人通过某种比较好的就是信息处理的方式获得一些insights然后光给计算机光给用AI让AI去在这方向上去做得更好目前是这样的一个状态所以我觉得这个也是跟我之前的一些论端也是比较接近的因为我以前也是接过采访我说Skating Law是一个悲观的未来对因为Skating Law说实在的这个topic呢本身是一个很奇怪的一个topic应该这么说因为如果在以前嘛大家跟大家说啊我加指数据的样本进去然后或者指数据的计算能力进去之后我们的performance正在上升然后上升的速度是线性的我觉得以前的machine learning scientists会觉得这些事情是trivial的因为不管什么模型你都可以做出这样的论断就是往里面塞数据然后就会有更好的就会有更好的结果这个都是这样子但是我觉得我们正在追求的是什么样的模型能够在这条路线上走得更有效率更efficient更快而不是说是满足于这个law是对的因为这个law它给你通向的未来其实是一个比较悲观的未来就是说你需要用指数级的样本塞进去才能得到一个比较好的结果如果是这样的话那么昨天有一天我们地球上所有的资源全部都会被用完地球上所有的能源所有的那个电力全部都会被用来那个训练大模型在这种情况下我们是不是我们是不是还要依赖于这样的这个这个能力去改变我们这个世界这个是一肯大的问题我觉得就是at some point应该说是就是可能大家可能会意识到计算量不是全部我们可能需要对模型更深的理解我觉得这个是而且这改变应该说是就是可能大家可能会意识到计算量不是全部我们可能需要对模型有更深的理解我觉得这个是而且这改变应该说应该会慢慢会发生对这是我的一个想法但是我们就需要一个更efficient的 way来develop intelligence是但是这个你觉得需要花很长的时间才会找到这个解法吗我觉得大家也在努力吧对所以应该会花一些时间去做这些事情但至少对现在来说大元模型它的能力是很强的就算我们现在这个模型能力现在停滞不前它对于各行各业的各行各业的影响也是非常大的对我觉得至少能够自动化很多很大一部分东西然后能让很多人的能力变得更强对我都觉得我家大元模型已经远远超过以前的我所以这个让我觉得这上面有很多很多功能可以做所以这是我的一个很大的一个很大的一个感慨吧我觉得这个本身是一个新时代的到来了所以就算大约模型的进展不够快的话就未来至少两到三年三到五年这段时间之内我觉得又还有很多的机会的所以你接下来还是想做前沿 [24:59] 研究这一块还是想去尝试一下application就是说当然最好是把量合起来就说如果我能够做一个前沿研究并且这个前沿研究是自动化的研究那就很厉害了对吧我已经感觉到就是我的研究的范式可能都会被自动化的这个这个pipeline所代替一部分吧你说是agent吗不一定是agent但是agent肯定是一个很重要的因素就是说你用agent的话你可以帮你做很多事情比如说你也许不需要自己回邮件了或者说你不需要自己去管理自己的那个代办事项或者说你不需要自己去做一些繁琐的事情这些东西都可以用计算机来帮你做一些自动化就这个问题是不大的肯定是会发生的但是更重要的是就是说AI能不能代替人类一些高级活动这个是一个问题对人的一些比较高级的思路比较难的就是需要人的一些重要的就是insense的活动那些活动有多大程度上能够让AI帮忙去做成了有很多难的一些就是说科学问题对吧对AI能不能把这个事情做成对现在现在就还不知道对那么这样的话如果能做成的话那反过来也可以对我研究才能影响对吧那么研究上来说也许我会成为一个超级研究员然后加了很多AI之后我一方面能做更好的研究另一方面呢这些工具本身呢也可以用来造福别的东西那这个是如果是这样的话呢可能会很有意思对你在就是被拉去救火拉麻寺之前你手上在研究什么东西那我们这边在做一些那个关于reasoning的一些研究对主要是关于思维炼对吧关于思维炼的形态和训练的方式做一些研究其实我们在O1出来之前O1是9月份出来的我们出来之前其实我们就注意到非常长的思维炼它会对整个模型的这个skin露成的影响对如果一个问题你没有那么多没有长思维链的话它的Skin Law是没有那么favorable就是说你需要发很多样本才能获得一个比较好的结果但是如果你有思维链的话你就很长的思维链你就会让这个模型的Skin Law的Curve变得非常nice就是我可以用比如十分之一的样本获得更好的效果十分的样本十分之一的那个Parameter可以有更好的效果大概是这样子所以这个其实我们已经发现了但是然后我们接下来就在这个思维链上就是做一些各种各样的变换或者说做各种各样的探索吧对吧包括我们之后我们最近做我们上去年年底做那个连续思维链就是用连续空间来做引空间推理这个这篇文章现在是确实受到了不少的关注就是可能半年就大概有200多个citation就很多人愿意做follow up做一些探索性工作而且确实能看到一些进展所以我觉得这些东西都是很有意思的然后我们去年也做了叫Duoformal的转眼文章也就是说一个比较早的提出来就是怎么样做混合思维模型对怎么样就是长思维和短思维放在一起训练然后发现这模型其实比单纯确认长思维单纯确认短思维效果更好对那现在其实这已经成为标配了大家所有的思维模型都有这个长短思维这样一个适应自适应的性质所以应该说就是去年这些研究还是应该说比较跟得上时代的你在菲尔还有什么遗憾吗遗憾这个话很有意思我觉得遗憾呢我觉得可能是这样了就是我应该做更多的就是工程的工程工作应该做更多一点可能更好一点对呃我我其实刚去Fair的时候大概在前几年可能工程化工程化工程做比较多对我之前的一些项目像围棋这些项目其实工程化呃都是自己比较多的呃做工程化的工作呃就当时我其实还被批评说这个人过来是RucesScientist怎么天天做工程当时是跟我这么说的别人打开屏幕评论文章我打开屏幕评论代码当时我这么被批评后来我就说如果研究科学家不能做工程的话那我都看看文章所以其实你会发现我在2015年到2018年这段时间之内基本上工程比较多然后到2018年之后到20到现在其实研究比较多大概是这样的一个状态这当然是跟菲亚当时的一个那个指挥棒有关系对吧然后另外一方面就是说我自己也有一些就是研究上兴趣想要做一些更多的研究那么就切过去了对但是现在你可以发现其实现在在现这个时代工程工程能力强的人反而更多 [29:59] 欢迎对吧所以就很有意思就是研究能力强的人就是也很受欢迎但是最好是技工能力和研究能力都强这样是最好的这个也太难了对对对但是我觉得我可以做到这一点就是所以我现在也在就是更多的做一些工程上的工作就是就是我可以把很多东西在Pickup回来对然后把这些工程的事情做好这个都是可以的那么我觉得在非亚最大的收获应该说是2018年之后我应该在这段时间之内我还有很多的这个research test就是对研究的一些品味和知道怎么做研究的一些一些方案他都慢慢学会而且应该说就是这些品味在最近的几年的一些文章里面就慢慢体现出来所以应该说有品味之后呢其实这对象来的路呢应该说有很大的帮助这个是很重要的因为如果一个只做工程的人他有一个比较大的问题是他可能会只做工程上的一些难的问题但是并不知道这东西有什么用但是如果有研究的品味的话那意味着就是自己给自己设一条道路可以一直往前走那其实这个对于一个人人生来说很大的有非常好的好处对我还有一个问题非常好奇就是因为你看现在就是各个公司AI的竞争这么激烈同时人才抢夺战也很激烈就老狠在他新的那个lab就花很多钱在一个人的身上对对对你觉得就是现在这个stage什么样的AI人才是最稀缺的对我觉得这个完全看每个人的定位首先一个就是我想纠正一个点就是说大家不要去想现在谁是最稀缺的因为有可能过个两年这个稀缺地就发生变化对吧所以你想一样做了那么多年的冷板凳然后突然之间就拿了特领奖对所以我是觉得大家应该大家应该想一想什么才是自己最想要做的事情而不是说是去做那些可能公司喜欢的事情我觉得这个可能更重要因为这个已经就是它整个过程可能已经跟以前不一样了因为对以前的情况来说是这样就比如说市场发出信号这个信号是说我们需要什么方向的人才然后这个信号可以通过大学的方式慢慢的往下传播对比如说说最近十年之内什么样的才去吃香然后这个信号传到大学大学会扩招对应的系然后扩招对应的那个老师然后一些学生就会去投报这个系然后经过四年或者更长时间的那个培养之后呢这些学生最终满足了适量要求大概这样一个过程那么以前这个循环是走的通道因为整个逻辑整个速度是比较比较比较应该说是比较慢的对吧这个行业周期可能以比如说10年或者20年的周期来在波动所以这个过程是可以的但是现在可能整个周期变得非常快等到你想要学市场上火热的那个技术之后全世界人都在学对吧你就说你想到了别人想到了对吧全世界人都在学这世界上总是你总有学的比你快的然后总有学的比你好的总有马上上手把事情做成的所以你很有可能会发现你学了半年一年之后你做不过别人你还是没有办法出头那么这样的话市场发生了变化说我现在也许明年就不是一个这个方面某个方面的能力最重要的一些时代了可能换了别的东西那么你这时候再去学就可能一直会跟着别人屁股后面走所以也许以后大家会突然发现就是与其听从市场的号令还不如说我自己做自己想做的事情对然后一个做很开心然后另外就是说一旦这个东西被人发现了它的收益是很大的这个当然是理想情况了对吧因为实际情况肯定是会两边要结合你肯定会希望这个东西你自己判断在将来一段时间之内有没有用再加上你自己的爱好做两个拼起来得到一个比较有意思的组合之后你可以在上面做话功夫对大概是这样所以应该说非常难去做判断因为完全会看你自己的能力我感觉你还是一个非常有理想主义的人然后我感觉整个菲尔的之前也算是播客也跟你聊过然后就感觉菲尔之前也是一个非常有理想主义的这样的一个团队但是你觉得就是在当下我觉得市场有点扭曲了因为竞争特别激烈的时候你可能很多的文化很多的信仰就会出现有一点的偏差你觉得就是在现在的这样的一个情况下还存在说会有比较理想化的research lab吗那当然比如说我们看到Maybe Ilya Suskevartan的团队 [34:59] maybeMARA的团队被认为是比较有理想化主义的while他们的对面就是Sam Altman然后非常的上烟化很激进你怎么去看这个平衡呢我觉得首先是这样了就是一个是你不要把大厂当成天板一块其实有很多的组然后很多组他们里面有research team这些team本身也会有一些research是有的对这个都是会存在就是说Fresh是说一个非常branded的就是非常有大的名气的一个地方对但是其实有很多地方应该说他们没有像Fair那么有名但是呢他们也有一个自由空间可以做research这个都是有的像就算在Mata内部也有不少的组他们有做research空间我有很多可作者在Mata里面其实他们也做一些research所以这个问题我不觉得是个问题就是说就是他就是也许就算就是Fair可能因为这次的原因或者因为原因导致就是以后可能就没有再那么research了对吧但是还是会有很多地方可以做对甚至你说做startup的时候就是你也甚至有可能在有些地方因为这个问题很前沿那你在上面肯定会有些地方可以做因为我们在讨论research的时候是指这个过程本身就是找到一些新的那个solutionfor some hard problems这叫research叫research对吧其实说是search那所以它不是说是一个抽象的概念所以我觉得有很多地方可以做就是不是没有提前买一款书大厂不能做了校长可以做就是不是那么简单是完全取位哪个组哪个人有什么样的资源什么样的东西然后这些人放在一起会什么样产生怀哀反应对吧然后可能今天可以做明天不能做或者说一段时间之内他有这个space然后换一个其他时间就没有这个space对所以无数人都在思考这个问题然后也许会在这段时间之内肯定出一篇新的工作然后去影响整个领域所以应该说research永远是会继续进行的只是说它的形式可能会变成更像游击站这种形式就是并不是说有一些非常知名的那个research institute他们会做研究他们会说我dedicate我们所有的时间和精力去做研究可能不是这样但是你会总会发现有很多有理想的人有理想的那个小的组织在继续做他们想做的事情大概是这样子的过程不是零后一一嘛就是很多灰色的地方那最后一个问题就是你的下一步是什么下步我刚才说了还没确定对吧所以还在讨论中还在讨论中因为现在离被裁就还没到一个礼拜对吧所以也会有一些那个考虑和想法吧对对对刚才问的是就是我想去做应用呢还是说想去继续做我的一些科研研究对吧那么我当然回答是最好两个听起来我们能做一个办法能够赋能我的科研研究同时本身也是能够做很多别的事情这样的一个东西有这样的机会存在吗我不知道但是一般来说是这样就是我们先aim high然后再去看是这样子对因为一般来说人会表现是说有这样的机会我就不用想了但是其实应该是倒过来你先想一个不可能实现的目标然后再去想有什么东西可以fit to it那这可能会让你有更好的方向可以走好的那就期待你接下来announce你的下一步动向OK好 先这样子对好的那么以上呢就是我们对天元栋的采访全部内容了我们也期待它的下一步动向我非常希望它能够找到满足前沿研究和工程应用两者平衡的新角色我想这也是AI的前沿工程师们都在探寻的路祝它好运那你们认为这样的AI工作存在吗欢迎大家给我们留言转发和点赞你们的支持是我们归谱101做好深度科技和商业内容的最佳动力那我们就下期视频再见了bye