清华刘子鸣切入AI for AI赛道 拟用元模型打破大模型演进瓶颈

清华刘子鸣切入AI for AI赛道 拟用元模型打破大模型演进瓶颈 大语言模型的成功源于自然语言天然的高度压缩，后LLM时代必须依靠AI物理学驱动的元模型预测训练曲线，才能真正实现AI自主科研与架构突破。 节目深入探讨了2026年资本涌向世界模型与AutoResearch（AI for AI）两大赛道的成因，以及科学家向创业者转型的时代浪潮。作为KAN网络一作，刘子鸣分享了他从MIT到斯坦福的心路历程，提出融合神经与符号主义的“Physics of AI”理念，并详述了通过“苦行僧式人体实验”推导出的“元模型（Meta Model）”路线。他认为未来的AI研发将打破古法科研，朝着“Training Autopilot”方向平权演进。 2026 年中美两地掀起 Neo Labs 创业狂潮，一级市场高度追捧年轻科研背景团队，资本涌入最活跃的方向聚焦于世界模型（World Model）与 AutoResearch（AI for AI）。 (37:21) 清华大学助理教授、元环智能首席科学家刘子鸣指出，大语言模型的成功源于人类语言高度压缩的天然馈赠，在后 LLM 时代必须打破对 Transformer 的过度收敛，将模型设计转化为一门可扩展的科学（Physics of AI）。 (21:20) 区别于田渊栋 RSI 偏工程试错的“勤奋型”路线，元环智能主打基于底层科学与元模型（Meta Model）的“聪明型”路线，刘子鸣曾通过 60 天强迫预测训练曲线的人体实验实现 Grokking（顿悟），验证了预测下一个曲线以筛选架构的可行性。 (49:00) 团队正在构建结构化科研数据收集工具与“子鸣 Model”，最终商业落地形态瞄准 Training Autopilot（训练自动驾驶仪），旨在降低模型设计与训练门槛，迈向“Vibe Training”时代。 (75:00)

清华大学助理教授兼元环智能首席科学家刘子鸣认为，大语言模型的成功本质上源于人类语言的天然高压缩比而非模型架构本身的完备，当前过度聚焦于 Transformer 的范式已陷入局部最优；要打破科研瓶颈，必须依托“AI 物理学”（Physics of AI）构建能预测训练曲线的“元模型”，通过新型实验室（Neo Labs）创业模式推进 AutoResearch，最终实现模型研发从“古法科研”向自动化训练（Training Autopilot）的跨越。 打破架构局限：从 KAN 架构到 AI 物理学 (21:16) 刘子鸣回顾了其代表作 KAN（科莫高洛夫-阿诺德网络）的诞生过程。针对 1989 年 Tomaso Poggio 论文指出的该定理在最坏情况下不可行的问题，他以物理学视角关注自然界的光滑结构，仅用两周实现算法原型并通过可视化说服导师 Max Tegmark。刘子鸣认为，AI 的连接主义神经网络与物理学的符号公式呈现出类似于量子力学的“波粒二象性”，两者的统一是探索 AI 底层机制的关键。 他高度认同谢赛宁关于大语言模型是“反苦涩教训（Anti-Bitter Lesson）”的判断，指出 Transformer 的爆发是搭了人类语言进化百万年形成的压缩便车，单纯堆砌数据无法自动解决视觉和物理世界中未被高度压缩的复杂抽象。刘子鸣将 AI 发展与天文学演进做类比，认为当前行业依赖经验规律与单一模型疯狂刷数据的状态仅处于“0.5 至 1.5 阶段”（介于第谷的数据记录与开普勒的经验拟合之间），必须引入符号约束与 Physics of AI，探寻可解释的适用边界，才能走向牛顿式的底层机制阶段。 新型实验室浪潮：以创业加速规模化科研 (37:11) 2026 年中美一级市场爆发了围绕新型实验室（Neo Labs）的投资狂潮，世界模型（具身/机器人大脑）与 AutoResearch（AI for AI）成为估值最高的两大核心赛道。刘子鸣分析指出，顶尖名校学者纷纷涌入 Neo Labs，一方面源于研究员不愿在工业界大模型流水线上当“大头兵”，希望定义新的技术范式；另一方面是现行基于 Coding Agent 的工程堆砌存在高阶抽象能力的严重缺失，必须通过深度基础研究来补齐。 刘子鸣分享了自身认知的转变过程：在 MIT 读博期间，他曾抱有排斥工业界与商业化的“学术傲慢”，计划仅靠学术界推导 AI 理论；然而在斯坦福大学从事脑科学与 AI 交叉博士后期间，目睹高文浩等同窗及导师 Andreas Tolias 迅速投身创业，让他意识到传统的导师带学生模式属于“古法科研”，受制于有限带宽无法在有生之年穷尽 AI 物理学。为了实现“规模化洞察（Scale Insight）”，必须借助资本与创业力量，这也是他选择回国任教清华、依托上海期智研究院组建顶尖学生团队并联合创立元环智能的原因。 元模型机制：预测训练曲线的聪明型科研 (49:00) 在 AI for AI 的实现路径上，刘子鸣对比了田渊栋在海外创办的 RSI（Recursive Superintelligence）路线与元环智能路线的区别。他将 RSI 的 Coding Agent 模式归类为依靠高频工程迭代试错的“勤奋型 AI”（在 100 个想法中撞出 1 个有效方案），而元环智能则主张基于 Physics of AI 与元模型（Meta Model）的“聪明型 AI”，追求提出 3 个方案即命中 1 个。 这一设想源于刘子鸣自 2026 年初起进行的 60 天“苦行僧式人体实验”：他每日强迫大脑盲测各类数据集与优化器对应的训练曲线，在第 40 至 50 天时经历了顿悟（Grokking），获得了精准预测训练结果的直觉能力。他据此推断 AI 领域存在通用的“元模型”。元模型本质上是关于“模型的世界模型”，其训练数据为不同网络架构与对应的训练曲线配对；通过大量并行训练架构多样的小模型，元模型可利用监督学习直接预测候选架构的未来训练曲线（Next Curve），从而在极低开销下完成架构的事前排序与筛选。 从科研动作预测走向自动化训练平台 (75:00) 为了向端到端系统演进，刘子鸣团队通过自研软件强制研究人员在每次实验前撰写结构化思维链（Reasoning Chain），预计 20 人团队在两个月内可积累上万条高质量科研数据。团队依托这些数据在模拟交互环境中研发可预测下一步科研动作的“子鸣 Model”，以便在学生卡壳时自动输出高水平学术指导。刘子鸣认为，AutoResearch 成立的决定性里程碑，是系统必须在垂直领域自主提出性能绝对占优、甚至像 ResNet 一样大幅拉开差距的新架构。 在商业落地上，刘子鸣将最终产品形态定义为 Training Autopilot（自动化训练驾驶仪）。随着门槛消除，未来模型训练将从写代码层面的“Vibe Coding”进化至训练层面的“Vibe Training”，普通用户只需提出需求，系统即可自动化设计、训练与部署专属模型。公司规划在成立的前 6 至 12 个月保持研究所式的纯研发探索，待核心技术发生质的突破后，再迅速引入成熟产品团队推进产业化。 刘子鸣将 AutoResearch 视为通往通用人工智能（AGI）的必要非充分条件，其真正突破取决于 AI 是否能自主完成深度的概念抽象。尽管大厂普遍认为自动化探索 AI 物理学的研发风险过高，但他坚信在大语言模型技术路线逐步收敛之际，这一认知差异恰好为聚焦于架构突破的 Neo Labs 争取到了宝贵的时间窗口。

[0:00] 高能物理学家: 盛宴已过（The party is over） [10:24] 刘子鸣: 所有模型都是错的，但有些是有用的 [16:18] 谢赛宁: 大语言模型是反苦涩教训（Anti-Bitter Lesson）的。 [21:16] Ilya Sutskever: 智能即压缩（Intelligence is compression） [28:00] 刘子鸣: 给 MIT 5 年时间，凭几个聪明大脑就能从第一性原理推导出 AI 的物理学 [44:16] 刘子鸣: 就是，太疯狂了！ [60:00] 刘子鸣: 如果不从进化的角度理解，生物学中的一切都毫无意义 [70:00] 刘子鸣: 要么用拳头把敌人打晕，要么以礼服人 [85:00] 刘子鸣: AI for Coding 的下一个节点必然是 AI for Research，但前提是必须以 Physics of AI 的科学方式去做。

[0:00] Hello大家好,我是小俊。我们此前访谈过谢在宁、洪乐童,他们分别是来自于欧洲和美国的New Lab,但是今天的这个现象已经不止于海外,2026年,中国也涌现了一批新型实验室,这些有研究背景的老师或者学生正在成为一级市场的新宠儿,他们普遍很年轻,有名校科研背景,第一次创业在还没有产品的时候就能以估值数亿美金融资当下资本永日最活跃的方向是世界模型和auto researchauto research就可以叫做AI for AI我很好奇这个现象的现实与成因那这期节目呢我邀请了清华大学人工智能学院助理教授上海七智研究院PI刘子明他毕业于北大和MIT是看网络的一作在今年三月份刚刚回国到清华任教同时参与创建公司圆环智能他用太疯狂了来形容这股新的资本潮我们聊了聊中美New Labs的兴起与成因以及他所探索的一条非典型的AI for AI 许事那接下来就是我对刘子明的访谈对 我是三月份回了国然后大概是四月底入职的清华然后五月底开始参与融资然后这个过程我的体感是就太疯狂了怎么说但反正不管是AI for Science还是世界模型还是这个AI for AI我觉得都是一个就一级市场是一个非常formal的一个状态确实就是说大家都在这个相互打拳消息然后大家都投项目的动作就做得非常的快哈喽子鸣先给听众朋友打个招呼吧哈喽大家好能不能先做一个简单的自我介绍聊聊你的工作和你现在的一些状态好的好的对首先感谢小金的邀请然后我是刘子明现在我是清华大学人工智能学院的助理教授同时呢这个我们节目录制也是在这个上海七次研究院也是在上海七次研究院担任这个建制PI然后同时也是参与到了创业当中来然后在元魂智人担任这个首席科学家然后我之前的经历呢本科是在北大物理学院读的本科然后后面去了MIT接着是做这个AI和物理的交叉之后短暂的在斯坦福做了半年的这个脑科学家AI然后我博士的导师比较有名是这个Max Tagmark他是从2012年就开始去宣传这个AI for Physics然后包括二二年底二十三年初它也是最早的宣传mechanistic interpretability就是机制可解释性这个最近也是唐杰老师说制服要投资百亿的这样的一个方向也是Amphoropic在做的方向这个我们是二二年底二三年初就开始布局这样的一个事情你是怎么从物理走到AI的我觉得很多包括姚舜宇我觉得很多做物理的人都会有这样的一个经历就一开始做物理是觉得物理它是一个很美的在智力上非常challenging就是非常困难的一个事情所以就被物理这个学科所吸引但是后面慢慢的就感觉这好像不是the party is over这个也是高门你们经常说的一句话就是说盛宴已过就是感觉就是给年轻人留下的那些问题其实没有那么多了但是AI呢它是一个相反是一个给我们这些小的人有非常多机会的领域然后我大概是具体来说我是大二那会儿应该是17年我就是关注到了这个干网络就是那个Generative Adversarial Network生存对抗网络那个时候我就觉得哇这个东西特别重我的兴奋点而且它好像在数学上也没有那么难他做的东西就非常的fancy然后那个时候正好被理论物理和实验物理双重毒打那个时候就不知道自己要做什么因为理论物理又非常的困难也比不过姚顺宇对姚顺宇by the way就是也是我们一直以来的一个偶像吧因为在本科期间他就发了两篇这个PRL的论文你们是一级吗他比我大一级我在北海还在新华对对对对是的是的所以一直就是听说他的传说然后实验物理那边我也在想OK那我理论做不行那我去做做实验然后发现实验做起来就更差就有点像那个我不知道奥北海默还有杨振宁好吧我少在这里给自己贴金了就是我感觉到就是我进了实验室只会把这个事情变得更加的混乱就我其实也参加过一些实验物理的一些科研比如说之前做过一个磁流体结果搞得满手和满脸都是 [5:00] 后来我就觉得那我好像也不太适合做实验所以那个时候就是比较沮丧就感觉理论物理跟实验物理都不是我所散场的那接下来我要干什么然后正好那个时候就看到了干这样的一个东西我就觉得那这个东西非常中我的兴奋点那我要开始做它对但可能一开始还是比较谨慎一点就是觉得我不想轻易的放弃自己的物理的这个背景所以一开始我们还是做AI for Physics比较多一开始这个For Physics主要做的是这个高能微向就是High Energy Phenomenology这个其实和我们现在的一些研究Physics of AI就是所谓的AI的物理学这个方法论其实是有挺多相似自处的它既不是完全的理论它也不是完全的实验它是一种微向它是一种能够嫁接理论跟实验的这样一种桥梁AI for Physics的本体就是你服务对象是Physics但是你Physics of AI的服务对象是AI主要对象是AIOK对 是的这个也是后面为什么从17年做到22年我做的都是AI for physics其实那个时候我们就已经开始在谈AI科学家 AI物理学家这样的一些概念但是也是到了22年的这个时间点就是Chad GPT出来了我是觉得物理里面没有那么多像ChatGPT一样那么sexy的东西可以值得去做所以我就把这个AI跟物理的这个角色给它换了一个位置就是不再是这个AI for Physics而是Physics for AI更具体的就是Physics of AI这个AI的物理学就是我要用这种物理学的这种方法论用物理学的这种思想去帮助我们更好的去理解AI和设计AI所以你本科就已经开始接触一些AI的内容你做了吗AI对本科就开始做AI我的第一个项目就是拿干网络去做高能物理里面的一个任务但是和很多人一样第一个项目就是很显然是不成功的但是呢就是在这个过程中我自学了很多AI的东西然后在这个过程中慢慢的就觉得就还是学习AI能够给我带来的这种愉悦吧给我带来的这种成就感是比物理要多很多的所以我就学着学着学着我就慢慢的就是就是说我基本上所有的实验都投在AI上面了所以你到本科毕业的时候是一个什么状态我本科毕业的时候状态那个时候我是发表了三篇就是AI for Physics的文章有两篇是和高能物理相关的然后还有一篇是可能算是Physics for AI就是我们用量子里面的一些想法去设计了一个更好的一个海洋的东西一个优化器所以那个时候的状态我觉得还是偏物理这边的包括后面去申请博士MIT对 现在也是物理的项目但是Max他就是不拘一个匠人才吧就是说可能整个MIT物理系除了他可能还有Marie Sajacic就是另一个做光学的一个老师但是也是AI for光学的一个老师他们两个是非常好的好哥们可能整个MIT那个时候20年AI for Science还是一个有点过于遥远的概念我记得我当时申请博士就是我在我的这个研究计划里面写的就是说我接下来要做AI for Physics就只有Max看到了我的材料然后他说我要招这个人然后他就把我招进去了他是因为喜欢你的研究方向招了你他是喜欢我的研究方向然后他也跟我说就是他看我的个人网站也觉得非常的厉害因为我当时就是在我个人网站上面画了一个类似于八卦图的一样的东西我会去画我的这个research interest就我的这些研究兴趣他们是怎么样相互关联的然后他就觉得说其实和他的思维模式非常像就是Max也是一个就是思维有点发散的一个人就是你跟他聊可能我们就聊一个小时可能会涉及到比如说五到十个topic因为他是经济学的本科然后后面他才是去做了物理然后后来在2012年的时候他就开始说AI physics这个是一个非常早期非常超前的一个做法我觉得都是因为他这个人的兴趣点也是非常的广泛然后他能够就是看到不同事物之间的联系吧这个他是比较典型的这种所谓的鸟人就是Freeman Dyson他会把科学家分成这种鸟人和蛙人鸟人就是说简单来说就是每个领域都懂一点然后他能够看到不同领域之间的结构性相似因此他们能够把一个领域的一些方法给搬运到另一个领域鸟人的好处就是说他能够鸟看整片领域然后他能够去集中精力他主要的时间是花在去找到一些更high level的一些更高层级的一些比较和抽象上但是挖人另一方面呢就是说他们会把一个领域做得非常的惊喜就是研究的非常的深刻那在这点上我跟Max其实都是非常 [10:00] 很典型的鸟人你是INTJ我感觉INTJ屁人比较像你说的这种鸟人对发散型的人对他是ENTP对Max是ENTP然后我其实也TP有点不分了吧就是因为我感觉很多事情不管是研究还是生活其实很多事情不是自己所能控制的所以渐渐的也就也变得更屁了一些吧你在博士的研究探索上有一条主线吗其实中间换过几次方向就是在二二年之前就还是AI for physics做这个AI物理学家然后二二年底下的GPG出来然后Max说OK我们整个组都要换方向我们从现在开始要来做机制可解释性为什么呢因为大语言模型太危险了那我们要保证它的安全我们就需要理解它它内部到底是怎么工作的所以这个大概是二三年二四年就是这两年我们主要是围绕的机制可解释性By the wayKan其实是我自己的一个side project就是一开始Max还不同意我做这个项目但是后面我大概做了两周做出了一点初步的成果然后他说哦这个东西还有点意思那你就接着去干吧为什么他开始不同意这是你就是一个很有影响力的Kan的网络这个也是一个呼应就是我是因为干入的这个AI然后我们后来24年又提了这个Kan的网络对就是他为什么一开始不同意呢他就甩了我一篇1989年的一篇论文那篇论文是那个Thomaso Poggio写的Thomaso Poggio也是我们MIT的一个就是很有名的一个教授然后今年应该是90岁了然后他在89年的时候就写这个这两位苏联科学家数学家科莫高尔夫跟Arnold的两个人提出的数学定理他没有办法被变成真的算法然后他们当时的一个说法就是说他们就是找到了一个worst case就最坏的情况在这个最坏的情况里面他们是没有办法找到这种严格的两层光滑的这种科莫高尔夫Arnold的表征这个听起来很冗长反正就是前面加了一系列限制性的条件但是我呢感觉作为物理出生的人可能有的时候并不那么care并不那么关心最坏的情况是什么样的我们关心的是一般的情况我们关心的是它能不能在某些场景有用它能在某些场景有用那它就是一个好的东西对 这个可能跟另一个想法就是all models are wrong but some are useful所有的模型都是错的但是有些模型它是有用的所以也就是这种想法对我就在想那你数学上告诉我这个东西最坏情况不 work但是物理上我们关心的东西都是有很漂亮的结构的那这些东西其实它不是最坏的情况就是我们人能生活在这个宇宙里面我们这个宇宙就不是最坏的宇宙我们就一定是一个还不错的宇宙我们才能够演化出生命出来我们才能够在这里问这个问题我们到底是不是在最坏的宇宙里面所以说就是基于这个就是因为这样的一个乐观性让我暂时的忽视掉了Fax的警告就是说1989那边就说这个东西不work我就是花了两周的时间把这个原型给做出来了然后我去找Max说你看我把这个网络给训练出来了但是Max呢一开始还是不是很满意他就是说但是我并不知道你这个网络这个内部到底发生了什么你还是造了一个黑盒子出来这个也是这个机制可解释新知识道路他还是个黑盒子而Mass就说那你能不能想一下去把这个网络给他做一个可视化然后我就大概花了一周的时间by the way那个时候我还是一个不相信coding agent的人当然那个时候coding agent确实也还没有现在这么厉害所以那个时候这些代码就还是一行一行手挫的所以那个可视化还是花了我一周的时间但现在可能一个小时就够了对就我花了一周的时间把那个可视话给做好了然后把这个可视话做好了之后Max说Wow this is awesome因为Max是一个超级的视觉动物其实我也是就是我一定要看到一个东西我才会相信它我如果不看到一个东西我就总觉得很难受就是我脑子里有个图像我没办法把它倒出来我就会很难受对所以说我把这个看的这个结构图画出来之后Max就被说服了他说哇这个东西它太有趣了我们居然能够看到这个网络它的脑子里面到底在想什么而不仅仅是说它最后端到端它的这个端到端的它的这个预测是什么对所以这个是通过这个方式就说服了Max然后后面其实就是一个一些很正常的一些Racebook的工作对但是确实早期我觉得还是蛮有意思的一段经历你当时为什么想到要做Can的这个网络对我觉得这个也是是我一直以来的一个执念吧就是我会觉得AI和物理这两个学科的哲学差得太远了就是AI的哲学至少我们现在的AI它是一种基于连接主义的它是一种神经的东西但是物理呢它是一种基于符号的东西那我就会觉得两个东西不同 [15:00] 就很不好这个可能也是来自于就是受过物理训练之后会有一种冲动想要去系统化想要去做统一的这样的一种冲动所以呢我其实很早就从2021年我就在思考这个问题就是我怎么样构建一个网络它同时是一个网络它同时又是一个符号公式这个其实有一点像玻璃二相性就是我们量子物理中说的一个粒子它既是物理它同时又是波那我能不能构造一个网络它同时是一个神经网络同时它又是一个符号公式然后就是基于这个探索我就写出了这样的一个方程出来其实我是事后我才知道大概过了几天我才知道我写出来这个方程其实就是1957年科毛·郭尔夫和Arnold写出来的那个方程但是我是从另一个角度我是从神经网络和符号公式玻璃二向性的这样的一个角度我写出来这个公式然后我后知后觉我意识到哦这个东西1957年的两个苏联数学家就已经写出来的而且他们证明了这个东西是有这种万能逼近定理就是相当于就给我们的这个模型有了这个理论的背书就是这样的一个表征它能够表示任意的函数那这样一来的话这个对就相当于是把我一直以来的这样一个执念给他就给他close掉的对在看之后你的探索是怎么延续下去的呢后面跟这个工作还有关系吗对就是看对我来说它更像是一个例子一个什么样的例子呢就是我人通过拍脑袋我能够去设计出一个新的架构我觉得我这个人思维模式有的时候有点偏抽象吧或者有点偏high level就是看成功之后我想的不是说怎么样把看去应用到不同的场景而是说我在想我怎么样复现我能提出新架构这个事情对所以这也是导致了我后面这个physics of AI就是对AI的物理学的探索就我觉得设计模型本身应该是一门科学它不应该是像我们现在这样Transformer拍脑袋拍出来的GAM拍脑袋拍出来的Resnet拍脑袋拍出来的GAM拍脑袋拍出来的那这个就非常的不scalable就是我觉得我们不应该scale就是compute或者data我们应该compute这种AI模型的设计但是这个东西怎么去scale那这个又是一个巨大的一个research的问题所以就是在看之后其实我觉得它对我来说是一个出发点就是我会更多的去思考一些Math Science上面的东西某种意义上就是我是怎么样思考出来的然后我想把我的这个思考过程给蒸留到一个模型当中去所以就成了我的一个新的执念这个也是我现在参与创业做的这个AI想做的一个事情就是把我自己或者把这个世界上这种顶尖的AI研究员的这种脑回路给蒸留到这个模型甚至不是蒸留甚至我觉得能够产生一些最顶尖的人类的科学家合计人员更好的一些东西但是大家说Transformer的时候也会说它是抽中了GPU的彩票就是它跟芯片它是更适配的一种模型结构那如果基于不管是Physics of AI还是AFO AI设计出一种新的模型结构那它跟当下的这个硬件它能适配吗这是一个好的问题对 其实这更加说明了就是Transformer其实在算法上也没有那么厉害它是中了这个硬件的彩票就我其实挺同意就是赛宁就是之前赛宁和你的采访里面赛宁的一个观点赛宁就是说大语言模型它是反Bitter Lesson的就大语言模型它能成功它成功的点在于语言它成功的点不在模型就是因为语言是我们人类演化了百万年相当于自然给我们的一种馈子然后我们把这个礼物把这个馈赠拿过来然后在上面其实你做什么样的模型只要这个模型能够把这些馈赠给吃下去那它就是一个好的模型它可能是Transformer但平清宇宙里面它可能是另外一个模型它都是有可能的其实我们现在已经有了各种各样的变种了对吧比如这种Linear Attention这种模型所以说对所以说对于原模型来说我觉得这个地方的架构设计还相对来说没有那么精巧是因为语言本身是一个已经被压缩的很好的一个模态但是对于很多其他的模态比如说像视觉我觉得这个也是很多现在世界模型公司想要解决的问题它这些模态并没有被压缩的很好所以这个时候很重要的一点是我们怎么样去构建一个可以压缩的模型这个模型它不仅仅是是说像Transformer一样我就把所有的知识给记下来而是他能够去学到抽象的表证这个其实也是人我们最擅长的因为我们人这个世界的变量实在是太多了但是我们人要我们的祖先我们要能存活下来我们需要去理解我们存活最重要的要素是什么我们最重要的要素是那个地方有个果 [20:00] 我要把它摘下来我吃下去我今天就不会饿死然后那个地方就是有只老虎然后不能被它发现就是人因为这个进化的原因我们不得不去特别擅长就是识别海量信息里面最重要的部分但是这个恰恰是现在的AI还不具备的这种抽象的能力对所以这个我个人是觉得为什么模型设计会变得更加的重要在后LM时代我觉得会变得更加的重要是因为LM的成功不是因为模型当然了我说这话也有点马后炮的意思对吧就Transformer就比如说它这种attention的机制是能够让信息在上海文方向上很快速的进行传播这个是像之前的模型像RN或者LSTM那一代模型所不具备的那这个确实是它的一个创起点但是可能只要我找另一个模型另一个模型它也能够让我们在上海文上面有很高效的这种信息传播那对于那种模型来说可能跟Transformer是一样好的就是说它牛不是因为它叫Transformer它牛是因为它能够在上下文上有比较高效的信息传播以及ResNet也是它牛不是因为它叫ResNet它牛是因为它能在深度方向上有很高效的信息传播有很高效的这种梯度传播你自己觉得你自己是一个什么样的研究的因果呀从你的本科到你的博士我觉得我其实是有一条很清晰的主线的但这个其实也是我后知后觉就是有很多人问我说感觉你动作一下稀作一下然后后面我再慢慢的总结出来从点连成线是的就是这个主线说的就是如何去嫁接神经和符号这两个世界或者更具体一点就是如何去嫁接AI和物理或者更一般的就是自然科学对因为我们人所居住在的这样的一个宇宙居住在这样的一个自然的一个环境里面我们是非常擅长这个这种符号虽然我们不一定能够显示的写出来刘顿方程但是我们却非常擅长就是能够去就比如说我抛弃一个东西我非常擅长去预测它下一次会出现在什么地方那这个其实是就又是神经这一部分带给我们的一个能力对所以说我整体的研究是想要去嫁接AI和科学这两支那AI for science说的就是说现在的science它太symbolic了我想用neural的东西去补足这个symbolic的东西这是AI for science为什么科学是符号主义的是因为它有很多方程式对 我觉得至少物理它是一个非常符号主义的一个东西那化学生物可能也有一些不少的这样的一些经验性的东西然后这个是AI for science那science of AI呢就是说我不满意于AI是个黑核我不满意于AI它就是一个神经的东西然后我要用符号的东西我要用science的东西去描述去理解去改进去设计我的神经的东西这个是Science of AI所以包括AI for AI其实我说的AI for AI其实和大家现在说的AI for AI也有点不是完全一样大家现在说的AI for AI可能是说我拿一个coding agent去写paper或者说我提升自己的训练的pipeline这个就还是说从神经到神经就没有闭环进入我的symbolic的部分所以我的AI for AI我是想用自动化的方式去做AI的物理学就是用AI来辅助我们更快的去理解AI本身然后这个事情最后又能够闭环到不仅仅是理解而是去提升AI为什么一定要引入符号学呢就是没有符号主义也很好只要你能AFOAI就可以了对这个地方我觉得有一点取决于你的belief就是我的belief是AI它是一个半物理半天生物的这样的一个东西那物理它是一个我觉得可以这么来讲就是用Elias Escaver说过的一句话就是intelligence is compression或者反过来compression is intelligence就是我觉得符号是一种极致压缩的体现就是当我们能够把一个东西符号化这个东西意味着我们能够对眼前的数据做极致的压缩那这个其实是像物理学这样的场景我们是有这样的一个luxury就是我们是能够去给它压缩成符号的但是可能对于像化学或者生物或者一些更社会科学可能我们确实没有办法把它给符号化所以我觉得这个也是我认知的一种演化就是比如说你如果在去年问我AI的物理学怎么做我觉得它最后一定是符号化的但是我做的越来越多了之后我会意识到可能我做一个预测器出来就好了就是说因为物理最后的目的也是预测我不一定非得用一个符号的理论去做预测现在我都做了一个预测器了这个预测器其实可以是一个神经的东西它可以就是一个 [25:00] 它可以不一定是符号的只要它能够有用只要它能够在某些场景预测的还不错就我特别同意你说的就是它不一定得是AI for AI它不一定得是一个符号的东西它可以是一个神经的东西但只不过符号的东西我觉得还是so far还是我个人的一个执念吧就是因为符号的东西它更可解释一点符号其实是把它从一个经验科学变成理论科学的过程是的对而且这个地方符号其实它也是有不同的level的它也是有不同的层级的这个我特别喜欢举的一个例子就是说对应到天文学天文学是有三个阶段的第一个阶段是地骨他这个人去大量的关心他会去记录什么星星在什么时候在什么地方这是第一阶段这是一个数据的阶段然后第二个阶段是开普勒开普勒他会去拟合行星的轨迹然后他会发现行星的轨迹是椭圆然后这个时候就已经有了经验公式然后第三个阶段再是牛顿的阶段就是牛顿他会去把开普洛的这些经验公式拿过来开普洛的三大定律拿过来他说你这三大定律仍然不本质你还需要三个定律我给你写个引力公式我可以把你三个定律我全部给你预测所以这就是一个典型的压缩的过程就是在地骨时代你需要把整个数据表给记录下来它就非常低效但是你到了开普勒时代你一个椭圆方程然后再加上一些开普勒三个定律就可以把这些数据很好的归纳进来然后再到牛顿时代牛顿时代说你开普勒仍然麻烦了我可以给你压缩的更小我可以给你把东西压缩的更小对那对应到现在AI其实我们大体上是处于一个就看我们怎么衡量了有的时候会说我们现在是处于第1.5个阶段什么意思呢就是我们其实有了大量的实验但是呢我们的经验规律其实还不是很多就比如说像Scaling Law其实是我们为数不多的吧知道的几个经验规律它跟开普勒定律的地位是类似的我们现在还远远没有到这个AI的牛顿这个状态对当然有的时候我又会说我们其实更悲观一点我们可能现在是0.5就为什么这么说呢因为地鼓它好说歹说它把望远镜对着了星空它会去测各个星区的星星在什么地方但是我们现在过度的聚焦在过早的手里到比如像Transformer这种类型的架构上我们似乎已经失去了探索其他类型架构的这样的一个motivation所以就有点像是地骨它就盯着一片星区然后过分的沉溺于这片星区哇这片星区实在是太美妙了然后就忽舍掉了对其他星区的一些观察所以从这个意义上来说我们现在可能连地骨时代都还没到可能连数据大数据的时代都没到就是说我们这个数据它是只针对Transformer只针对很少的集分这种模型有效的我们还远远没有到能够看到整片星空的这样的一个阶段我要给大家解释一下因为子民现在的创业的方向他因为创业公司的方向是AFOAI所以刚才我们在讲他所相信的AFOAI是什么我们刚才吃饭的时候你也聊到你当时在MIT的时候其实没有想过要创业还是想着要当教授然后去了Stanford才想着要创业你能把这段经历给他讲讲对 我觉得MIT和Stanford还是挺不一样的两所学校在MIT呢大家就还是比较学术比较偏保守一点就比如说24年那会儿在MIT这个大家就是我的同学吧都觉得湾区那些人搞的agent都是在骗钱对所以说呢就是说一直到可能就是25年5月那个时候拿了清华的offer我的mindset都还是说我要就我要在学术界然后做出更有影响力的工作我不要跟你们工业界那些人同流合物对但是现在看来那个时候就太 naive了就是或者就是太理想化了或者用比较流行的话就是说还没有脱下这个孔一脊的长山所以MIT的人的信仰是什么MIT的信仰就是我们比如说用5年的时间就能写出AI的物理学有了这个AI的物理学之后我们会发现现在我们投入这么多资源完全就是在浪费因为我们可以从低性原理去推导出最优的架构是什么样子的所以你也可以理解就是我为什么那个时候特别看不上工业因为我觉得你们就是有钱对吧其实从这里能看出你理解的AFAI和大部分人理解的AFAI也是不一样的也是不一样的这个你的理解的AFAI还是蛮脱胎于MIT的文化的我觉得因为你还是在想最优的模型结构是的对但是我现在创业我觉得就是参与到创业当中来呢我觉得我是有一个比较interesting的一个立场就是我是比公益界的那些人都更某种意义上更学究或者说更理性一点吧也不能说他们不理智而是说他们看到了一个可行的路径就快速的推我觉得也是可以理解的但是就是从学术的 [30:00] 我会比他们更理性一点但是我又比学术的那些人老学家们更疯狂一点你处在中间对我处在中间然后我的疯狂就使得就是老学家们就会觉得那可能AI的物理学就是需要做几百年就是需要慢慢的做但是我现在意识到了可能如果还是靠我们古法科研就是我这个怎么勾出来就我不是凭空说的对吧因为物理学从亚里士多德时代到现在就是2000年对吧从牛顿到现在400年那我们现在倒霉到亚里苏德德时代我其实也不确定这就是对于AI的物理学来说对当时在MIT的时候那个时候我是特别乐观乐观的意思就是说我相信在学术界靠几个聪明的脑子我们就可以把AI的物理学写下来然后就可以save the world或者kill the world我不知道对但就是不需要那么多的试错我们就可以把这个模型就是给它设计出来给它训练出来对那个时候其实我的实验已经做了很多了就是已经有大量的这个是做什么实验这个实验就是AI的实验对但是慢慢的后面呢我觉得一方面是我们在这个就是AI的物理学这条路径上面走起来发现没有那么的顺利这怎么让你绝望了也没有绝望吧是我仍然相信它最终是能够做成的但是我是会觉得这个时间线不是我在有生之年可以看到就如果我们不是用AI for这个Physics of AI的办法而是用古法科研去理解Physics of AI最多我说我招10个学生就是我招100个学生但是我仍然觉得这个不是特别scalable的一个方向对所以这个也是我现在参与到创业中要做的是要去scale insight就是因为我觉得AI的物理学追求的是understanding和insight对当然有了understanding和insight之后最后还是会闭环到它告诉我们应该怎么去提升模型但是第一步是understanding and insight就是我们不能够跳过这一步直接到提升模型当然了你能直接提升模型那是最好的但是现状是可能你想一百个想法可能有一个想法somewhat work但是如果我们不跳过中间的步骤我们先有了这个understanding and insight它能够更快的帮助我们去去更好的设计模型从那个不想跟工业界同流合污的你到Stanford以后决定要创业的你发现了变什么变化你在Stanford多久我在Stanford其实只待了六个月对但是我觉得对我来说是像开智了一样对我觉得也不想就是说哪边更好吧但确实Stanford就是我身边有很多人都在创业就是有一个是我一个很要好的朋友叫高温浩对他在湾区那边现在也在创业做的是AI for Chemistry他跟我一开始也都是在MIT去读博士的所以我们一开始我们的话风还挺相近的就都是瞧不起创业瞧不起大厂但是去了Stanford之后我们就同时开始做博后的然后他就在那边大概两周就跟我说自明我要创业了我们之前是每周吃饭每周吃饭我们就是聊的学术聊的什么然后他开始创业之后他就开始教我创业应该怎么创业他的变化来自于什么才两周他的变化可能他也有类似的朋友给了他这样的一个刺激我不知道他让你受到刺激的是什么呢就是在你们吃饭的过程中我觉得主要还是就是你特别相信你的peer就尤其是你觉得跟你风格很像的peer当你看到和你风格很像的peer他做出一些改变他做出一些你之前觉得很危险你之前觉得你做不到的事情的时候你就会去想是不是我不够激进是不是我太在舒适区里面了这个是一个然后另一个也是我在Stanford待着那个组里面我在Stanford博士后我做的是Neuroscience加AI老板也是特别有名的Andreas Tolias他也是全球做Neuroscience Foundation Model最顶尖的几个人之一我虽然只有六个月但是弯曲的这个节奏确实非常快就是我刚去的前两个月他们那个startup还可能在秘密的筹划吧也是个new lab算是new lab但是他们更偏neuralscience一些他们是希望能够从neuralscience一些principle来去解决AIFundation Model的问题就更像neur of AI对神经科学就比如说猴或者说老鼠他们脑子里面的一些表征能不能够用来去约束我这个artificial neural network这种人工神经网络中的这些表征然后人脑子中的一些结构能不能用来去约束这个人工神经网络中的一些结构等等等等大概做这样的一个事情然后我也是就目睹他们从头画到最后announce的这样的一个过程 [35:00] 基本上我觉得对我来说也是一种教育基本上我刚去的时候他们可能在开始筹划然后当我离开之前的一个月他们就announce了对我觉得对我出动也是挺大的就是因为我觉得Andreas他也是一个特别pure scientist的一个人然后我是目睹了他也是从pure scientist往entrepreneur转的这样的转变对然后当时当时我跟他说我有创业的想法的时候他也说那你就在我们公司好了反正我们公司也想做air scientist也想做AI for AI对但是后来想了一下呢还是觉得就有点寄人以下的感情为什么就我觉得我们的路线也不太一样就是我们approachAI for AI的路线也不太一样就是我还是希望能够至少早期的科研R&D这方面按照我的意愿按照我的想法去退后面这个东西怎么去做产品怎么去商业化这个我觉得就我也open但是它的DNA得是你的这个方案是的原生的想法是的他这个技术他的这个想法得是我原生的想法对这个可能也是学术圈的人会有一种控制欲就是会有一种就是很强的就是说这个想法得是我原创这个想法得是我提出来的当然这个也还是我现在的想法或许我过段时间之后会发现这个也是一种长山你的那个导师他有跟你说他为什么要从一个scientist转成entrepreneur吗其实答案很简单他跟我说答案很简单就是因为他们要做大量的这种老鼠跟猴子的实验那这些实验他是真的需要去用到很贵的仪器所以他在公司做的事情其实跟在学校做的事情是差不多的只不过就是说公司那边会更多的去思考就是这个东西要怎么去商业化当然他说的是他们的投资人跟他们说三年之内你们不用考虑商业化这个三年你就安安心心的做R&D因为确实你做这些猴子的实验你确实这个东西急不得你去采数据你就是需要人去养猴子这个周期你是避免不了的这里也说到了一个我们今天很想聊的话题就是今年出现特别多的new lab你年初的时候可能还是在硅谷经历这一波new lab包括也亲身的经历了他们整个的筹备到发布的过程然后回国你又组建了自己的new lab为什么在今年这个时间点中美两边都出现这些New Labs他们大量涌现背后的本质可能是什么呢我觉得这个地方就是一个人才选择的问题就是对于鼎鼎的人才你的选择无外乎就那么几个嘛就是要么在学界当然现在AI其实在学界的人其实绝大读书也会在业界跨一下就你要么就去大厂模型厂可能做一个大头兵那你要么你就自己出来单干我觉得这个也是就是能有这么多新的NeoLab也是就是现在的这个范式逐渐收敛的一个过程就是现在的人才他不太希望去大厂里面去当大头兵也是下一个范式下一个Transformer会是用我的这个路线还会有下一个Transformer吗我觉得他不一定是Transformer他不一定是一个新的架构我觉得他可能是一种新的范式就像我们刚刚聊到的其实现在AI不管你是Transformer还是什么架构它最大的一个问题是没有办法做抽象所以它就只能够说要么你喂给它的数据就已经足够的抽象了比如说像语言要么你就是给它喂大量的数据强迫让它涌现出抽象像VLA像世界模型其实就是这个样子但是so far仍然不是很可是因为抽象实在是太差了对就对于视觉来说这个抽象实在是太难涌现了我的意思说还会有下一个transformer吗我觉得当然肯定会有但是我想说的是它这个时间周期的问题就是为什么不是就是已经有transformer架构了已经有了现在这样已经部分好用的模型是不是就应该在这个模型基础上去做工业化就是把它推到应用场景里还是说我们要继续在这里探索新的范式然后涌现出新的一种结构也好或者创新也好就为什么大家现在的选择是出现了这么多new lab而不是一门心思就往前面推进就基于现在这个范式之下的这个应用我觉得是对于一些方向是还是需要一些research它并不是完全已经路径清晰的事情就比如说我们这里在做的这个research就AFO researchauto research这个事情它不是一个路线已经完全清晰甚至说在非常早期的这样的一个事情对当然了就是说Coding其实已经非常成功了就是AI for coding也非常成功了那下一个范式其实自然而然的就是AI for research但是我是认为research和coding有很大的不同就是coding它是一个高度结构化的这是第一点第二点是它是有大量的数据的就是我们以为 [40:00] GitHub上面的这些数据是远比互联网上其他的部分要更高的质量的结构化更强的多的但是对于research来说research它不是一个被结构化很好的这样的一个数据结构就是我们现在还大量的在说我们需要研究的直觉我们需要研究的品位就是当我们说这些词的时候其实就默认了研究它不是一个可以很好被结构化的东西就是一旦当一个东西可以被结构化可以被标准化可以被规模化大家就应该会对这个东西去魅但是我们现在还没对research去魅说明它还没有被结构化被标准化被规模化那我们要做的就是我刚刚说的三步第一步是首先要结构化research因为我们有的时候我们自己做research好像是乱的我们脑子里是乱的就是我这里蹦一下那里蹦一下那这些数据其实是没有被沉淀下来的那未来我们要沉淀下来的关于research的结构就比如说我们先观察到了一个什么东西观察到了一个什么现象这个现象预示着这个系统里面可能有什么样的问题然后关于这个问题我有什么样的一个假设然后这个假设告诉我们下一步我们应该去做什么样的一些操作然后我下一步做的这样一个操作是不是真的能够对我带来训练的提升就这样的一个闭环这个是我们应该最近会release的一个博客就是我们会讲我们的这一套方法论以及它的一些初步的一些结果那我们这一套方法论呢缩写叫做office就是ophis这个o呢就是observationP就是problemH它是hypothesisI是interventionS是speed up就是说我们认为所有的research paper都应该按照这种结构去对它进行结构化然后我在做科研的过程中当然它所有的科研不会是说那么顺利的我这样的一个思维链就下来了我可能是在不同的节点当中来回的去跳但没关系但是所有的东西至少我们要对它结构化成它是O它是P它是H它是I它是S然后有了这样的一些结构化的东西之后我们相当于创造了一门研究的语言当然这个说的有点玄学啊就是我是认为研究的语言它大体上是基于自然语言的但是它背后的结构是需要我们自己去做抽象自己创造出这样的一个结构的语言那一旦我们有了这个research的语言之后我们就可以像训大语言模型一样我们训一个research language的一个language model那那个时候这个research它就能够被自动化能够被规模化但是首先第一步是我们要结构化这个research这你在说你现在在做的事情对吧是的我的意思是说为什么现在出现这么多new lab你有没有一些观察就我觉得new lab也是就是找到了现在主流的范式的一些痛点吧然后Auto Research是其中的一个例子就是说现在用Coding Agent的这个范式接着往下去做其实它会有些Missing Part就像我刚刚说的它这个结构还没有被Structured很好然后还有一些痛点就比如说世界模型那世界模型它就是需要设计一些比较新颖的架构那对于这样的一些方向它也是现在的这个范式所达不到的东西对所以简单来说我觉得New Lab的出现就是因为当前的范式一个是你不想去做大头兵第二个就是说当前的范式有一些明显的一些痛点就是明显打击不到的地方而且那些地方呢有的时候可能需要一些早期需要大量的research而不仅仅是说我上来我去兑资源我去兑工程就可以做成的对然后我刚刚举的两个例子就是说autoresearch和world model我觉得是我认为两个我能看到的比较重要的就是现在当前范式不能立马解决的问题简单来说Auto Research或者说AI for AI它其实都在讲一个事就是我们要训练一个AI Researcher把它训练成一个AI Researcher能够自主的去做研究然后世界模型的本质实在是说它要给机器人训练个脑子它其实是For Robotics那个赛道的对这也是当下所谓的new lab融资资本涌入最活跃的两个方向是的是的是的是的你们实际融资感受怎么样在今年这个市场上能不能给大家说一些体感你是三月份回的国对我是三月份回的国然后大概是四月底入职的清华然后五月底开始参与融资然后这个过程我的体感是就太疯狂了怎么说就是我觉得像世界模型当然更大的还是AI for Science我觉得很多投资人会把我们归类到AI for Science其实就是因为AI for AI最后它复的还是一个要复的一个东西可以是AI for AI for世界模型也可以是AI for AI for Science你们复的是Science吗 [45:00] 可以Fort Science但是我们现在还没有定对但就是说其实很多投资人会把我们去画在AFO Science下面然后按照AFO Science去聊但反正不管是AFO Science还是世界模型还是这个AFO AI我觉得都是一个就一级市场是一个非常formal的一个状态有多formal因为我也没有一个比较吧对所以我也很难说但确实就是说大家都在这个相互打探消息然后大家都投项目的动作就都非常的快因为close也非常快而且从种子轮到后面就是种子轮加轮加加轮再加加轮可以无限的加下去这个是现在融资的一个比较常见的一个策略吧就是说上一轮的投资人没进来对那我下一轮那我就开一轮但是我开了一轮就下下一轮投资人又没进来然后就相当于是一个连续的融资的一个状态对你当时为什么没有想在美国创业你为什么做着这个回国的动作就是我觉得我Auto Research这个事情是需要比较多然后高质量高智商就是高人才密度的这样的一个对因为我就去观察因为我在MIT其实也带过二三十个本科生我的体改是其实平均水平是远不如清北的本科生那我要做的这个事情我是要带小天才的就是我们这个事情是需要小天才加入的对然后我要需要很多的小天才那就回到就加入清华吧也不叫回到因为我之前是北大的就是加入清华然后顺便也能从北大那里好险学生过来那就相当于能聚集我觉得不是全国而是全世界最聪明的学生得偿所愿没有对啊就是现在我在七次研究院我带了十几个学生就跟我在七次研究院这边就都是我觉得是非常非常顶级的学生当我们说AFOAI和New Lab的时候我们自然的会想到田园栋在贵国那家公司RSI Recursive你跟他的方向有什么不一样吗当我们在说AFOAI你们在做的是一个事吗我的理解我基于对他们最近他们最近发布了一篇博客他们博客就是显示了他们的第一步的一些努力我感觉他们做的更多的还是说偏coding agent的改进就是我的理解是coding agent的这个路线更像是说把做一个更勤奋的AI for AI就是我有超强的行动力我可以不停的在这里迭代但是我们这里想做的AI for AI是一个更聪明的AI for AI比如说我提三次想法你们有一个就work了之前的话你coding agent可能是你提100个想法他你们只有一个能work对当然最终了这个勤奋跟聪明都是需要的所以我觉得我们是两个正交的方向然后in the end最终我们会在某一个地方去对两个proach进行一个整合你觉得他们也聊过对吧在回来之前对我跟田文东也聊过当然田园栋其实他本人是挺支持Science of AI的所以这个我其实说实话我也有一些危机感吧就是如果说他们的路线最后会变得和我比较相似那就一定是田园栋做的对因为我跟田园栋就是关于Science of AI关于以及就是说就之前那个他做的那个Grokin的研究我们之前也有研究嘛对所以我们Taste其实还是非常相近的但是之前的话就是怎么说呢我觉得还是吧就是不完全一样所以我还是想按照我的意志按照我想象的这个东西去推这个事情我发现了你的原生的想法非常的在意你这个原生的想法来自于哪一刻AFOAI或者是Fixies of AI的这个想法诞生于哪一刻我觉得最近AI for AI的想法诞生于我把自己当成一个模型去做训练这个是我从今年年初开始做的一个事情就是我每天会随机的去拉一个数据集过来随机的拉一个模型过来进行训练然后呢我会在我做实验之前我去问自己现在你来预测这个训练曲线会长成什么样子我就日复一日的做这个我大概做了60天就是我每天做然后这个你如果去看我个人网站上面我个人网站上面是有个博客专栏的然后你会发现我早期是跟的非常平衡我每天都跟甚至有的时候一天两跟就是因为我在那段时间里面我基本上就是闭关然后把它自己当成一个模型在做训练就是我今天做了一个实验之后我就去训练我的大脑这个场景然后我把这个模型这个数据集这个优化器它会产生这样的训练曲线然后呢我做这样的一个训练我发现我一开始预测能力非常差我可能你屈指都预测不对但是我大概自己训练自己训练了四五十天之后我发现我开始变准了就是我在做实验之前我大概能预测它这个实验的结果是什么样的甚至可能有的时候我前几天做的是language相关的实验我今天做的是 [50:00] Vision相关的实验我也能给它预测准这个是为什么呀怎么预测的呢我不知道就是我只是训练我的脑子就是我现在还没有办法把我脑子里的东西给它给写成自然语言它可能是一种视觉的 reasoning然后可能还有一些就是可能它在浅空间有些 reasoning但我其实也说不清楚这些浅空间 reasoning是什么但就是somehow我自己突然获得了这种可以预测的能力就是我在做实验之前我就能够部分的去预测这个实验的结果是什么然后就是因为这样的一个在自我身上在自己身上这个人体实验让我相信存在的原模型这个东西就by the way原模型就是说我的输入是一个模型以及可能还有其他的数据集是什么优化器是什么然后输出就是这个模型的训练曲线所以我在今年年初那两个月时间里面基本上就是把我自己当成一个原模型在训练训练到四五十天的时候我突然grock了我突然顿悟了然后是因为这样的一个我就是这样的一个近似于苦行僧似的一种修行让我意识到原模型是可能的你为什么想来去做这个事我觉得motivation还是AI的物理学就是说如果我能够去预测清楚接下来会发生什么那相当于我脑子里其实是有一个世界模型其实是有一个关于AI的世界模型或者关于AI的物理学因为物理学就是说我拿来我的物理理论我不用去做实验我就能够通过simulation通过计算我就可以预测出来之后会发生什么对所以相当于是一种先知的能力就是你只要能够预言之后会发生什么你就一定是掌握了某种世界模型基于你自己做这个人体实验你相信是存在原模型的然后呢但是呢这个问题就是说我没有办法把我的这种读号写下来因为so far我的这些知识都还是以某种脑电波的形式存储在我的脑子里那我下一步很自然的我就要想我要把这个东西外化就是我要把自己给拷贝一份就我要做一个原模型它能够取代我就是因为我每天最多就做一个实验把一个实验做得非常的仔细这是人的bandwidth这是人的带宽最多做这个最多做两个吧但是一个模型它其实可以一个batch你就可以见到几千组东西对这个还是回到我之前说的如果我日复一日把我自己当成圆模型去训练我可能要训练一千年可能需要训练几千年但是我活不了那么久所以我要去加速这个过程我要去做一个圆模型这个圆模型它不像我一样需要睡觉它不像我一样需要吃喝会有情绪它的任务就是去看各种各样的实验然后去预测它们的结果然后在我自己的人体实验上面我发现四五十次就基本上能开始有Glock的迹象了那对于原模型来说当然可能原模型没有我那么就是抽象能力那么强所以它可能需要四五百次但是可能无所谓可能这个地方多消耗一点这个计算资源也无所谓对所以这里想法主要还是说我想把自己给外缓我想把自己的脑子给外缓它AFOAI的关键是什么我觉得原模型是AFOAI的一个一条技术路径就是一旦你有了原模型它可以做很多事情比如说你现在有一百个想法你不知道该是哪一个更具体一点的你有一百个架构你不知道该是哪一个那么你原模型说的是你把架构作为我原模型的输入这个原模型就能够预测这个模型它的性能是什么样子的那么你现在就不需要做100次实验你就只需要用原模型潜传100次做100次预测那这个是非常便宜的一个事情当然了最后我们还是要真的去做这个实验但就是对于筛选想法这个事情这是个原模型能够帮助迭代的这个AFA的这个迭代的系统更快的去迭代想法就之前你如果没有这种好的直觉你如果没有原模型做辅助你可能需要比如说100个想法你需要都尝试但是现在的话这个原模型它能够给你在你事前就去做一个排序就能告诉你哪个想法比其他的想法是更promising的然后这个地方的想法更多的还是说做AI的research所以是一个AI for AI的一个东西我觉得AI for AI可能有的时候有点buzz words有的时候我会也会管它叫做auto research但是因为这个地方我们auto的research是AI的research然后我们这个地方的auto也是用AI去做的这个auto所以Auto Research它其实也就是一个AI for AI的概念对世界模型说是预测下一个state原模型是预测Next Token你们这个算是预测一个实验结果对我们是预测Next Curve我们的实验结果就是一个训练的曲线那你们的训练预料是什么呢你们需要顺自己的模型吗需要多少那种算力 [55:00] 怎么开始做这件事情呢对我们会先从Demo做起因为这个事情我觉得是一个三到五年比较长期的一个事情对于我们原模型来说我们的数据是模型这个地方有点绕因为我们这个原模型它是一种关于模型的模型或者说关于模型的世界模型所以我们这个地方的训练数据是模型所以我们是要训练这些模型拿到这个模型的训练曲线这样我们就获得了我们的一个Data Point然后我们再生成另一个模型而另一个模型它会有一条对应的训练曲线然后有了这样的一个配尔之后模型和训练曲线的配尔之后我们去训练这个原模型就是用这个监督的方式就是我的输入是这个模型的时候你这个原模型应该预测它的这个训练曲线对用这种监督的方式去训练我们的这个原模型那这个它贵的点就是说我们也是需要挺多的计算资源的但它不像大模型一样需要一个很大的集群需要卡之间communication做得很好因为我们这个地方我们是要做大量的这种小模型但是这个地方的我们小模型不是说就是transformer的小模型而是我们强调的是多样性我们强调的是要让这个原模型见过很多人看起来非常奇怪的架构但或许就是这个架构能够帮助我们去跳脱出这个Transformer现在的这个Local Minimum目标是什么目标是发现下一个模型结构这个是一个终极目标最终我们是希望下一个Transformer不是人发现的不是人拍脑来发现的而是说通过我们这个原模型这个原模型给我们预测出来的那中间呢中间要实现的是什么呢中间阶段因为你说下一个模型结构也许最终目标嘛那中间的目标是什么对中间目标还是就是我们刚刚聊到的去结构化research然后去收集这种结构化的数据然后训练一个我们自己的这个research的这个模型就是为什么我会这么去划分因为好像中间目标听起来它也是要训练一个模型对吧原模型一个是一个模型我可能借用这个Rich Sutton的这个Bitter LessonBitter Lesson说的就是说在短期当你数据不够的时候你需要去引入结构但是当长期当你数据特别多的时候你就不需要结构了对所以说我觉得在短期因为研究的结构化数据还是偏少的对这种情况下我们需要去引入结构到我们的这个整个框架当中来所以这个是短期我觉得比较偏就更务实的一个事情但是长期这个圆模型它是一个端到端的东西我觉得这么说或许有点像我们现在是要做一个世界模型就是短期中短期是要做一个世界模型长期是要做一个VLA我觉得可能我觉得可能有点和这个趋势反过来了但是我觉得可能不重要重要的是我们最终要做成FLA那至于中间的路径是什么我觉得这个就看着半倍就是就边探索着边往前去拱吧为什么短期是world model中间是VLA就是world model in the sense就是它有更多的结构然后VLA in the sense就是它更端到端对所以现在这段你们还不训练自己的模型现在这段其实更重要的是结构化结构化research然后以及收集相关的就是结构化research的数据怎么结构化research呢因为你也说你们的目标并不是说去做一个paper agent不是说我就训一堆的论文让他比如说发现下一个科学原理因为论文其实是整个研究探索的结果过程中的灵光一线或者它的曲折然后它的点点呈现草舌辉线都是没有被记录下来的你这个怎么来做这个结果构化呢?因为论文都只是最后的一个结果,或者你可以说它是某一种公式,但是它可能还没有那么的被符号化。是的,我可以这么说,可能1%的AI论文其实结构化做得不错,举个例子就是朱泽源他们做Physics of RMs,这个Physics of RM就是结构化比较好的,就是说我关注到了什么事情,我决定做下一件事情,他的这个做实验的这个所谓的chain of thought就这个reasoning chain推理链是非常清晰的但是可能99%的paper吧他可能就不会包含这么清晰的这种研究的思维链在里面我感觉在很长的一段时间里面大家把展现思维链当做一种耻辱为什么你要显示你很厉害你就要让别人觉得不可琢磨对你就要直接把这个公式写下来就是说这是我梦到的这是我梦到的不是我推出来的这是我梦到的那这样别人觉得你你最牛然后当然我写paper我觉得也是受那个Max Techmark这个的影响就是我们写paper一个是很平铺直屑第二个是也会把思维链写进来但是毕竟这种会包含思维链的文章虽然不多吧但它也不少OK因为本来论文的基础就已经挺大的第二方面呢是说我们会 [60:00] 收集我们自己的一些数据就我之前比如说和学生去讨论project的时候我会经常有一种感觉就是我们的思维链其实并没有被很好的记录下来而正是这些数据是我们做autoresearch所需要的那之所以现在autoresearch还做得不好其实可能跟架构跟这个路线没有太大的关系其实就是这个数据现在还没有保留下来对那我们第一步是首先我们要构造一个device或者说一个software这个是我们最近在就是在做了一个东西就是它能够更好地去采集就是说我们整个思维链采集就是说话比如开会讨论这个是思维链对最后要做的这么智能现在还就是说我在做下一个实验之前我必须要强迫你去写一段话去评价你之前干了什么然后你得出什么结论你才能进入下一个实验是一个很流程化的系统目前来说还是个偏流程化的系统这要多大规模的数据呢如果是采集你们这几个人的肯定太少了吧我觉得这个地方分几种一种就是说paper是有大量的但它质量不一定高然后人的话就是说这个是我瞎说的因为我们还在构建这个采集系统就我们还没开始采但是我预计比如说我一天采10条20个学生加员工可能每个人每天也能采10条这一天就能能踩两百条而两个月就能踩一万条我觉得就是差不多可能开始够用的就是可以开始训练这个模型来侦领我们自己某种意义上抬击完数据接着你要做的下一步是什么下一步就是训练一个这个模型原模型吗它不是原模型原模型是一个特别终极我们可以把它当成是一个北极星义的一个目标这个模型它就是去预测我的下一个动作是什么就是我们这个数据收集器其实它不仅是个收集器它也是个环境就相当于是我是在类似于一个我的世界科研版我可以在我的世界里面做各种各样的操作记录下来我的这些操作之后会有一个Next Action Prediction就是它就会预测如果是子民就比如说我学生目前做了这些动作然后卡在这个地方它就可以调用子民model如果是子民现在做它会怎么去做它就能够不需要我赞场就能够获得我的这个同样水平的这种反馈但这样的话就是需要去训练一个子民model然后每个人都要训一个model或者说把所有人的东西混成一个model就是要训练一个model对当然这个也是我们在探索过程中不断的在pivot吧因为就是一旦开始做一个事情之后其实想法以及这个路线每周都在改甚至每天都在改甚至每个小时都在改就是只要你迭代的足够快就比如说这个采访如果是上周发生的我就不会讲这一趴因为这一趴是我们这一周在迭代的事情那如果你下周在采访可能我们这个东西就已经做出来就已经开始收书就已经开始有些初步的结果了还有什么人有一些其他的AI for AI的路线还包括现在的模型公司他们也会说自己在做AI for AI或者说他们觉得就是AI能训练AI的时候会是一个比较标志性的时刻就是现在主流的绝大多数人做的还是说基于现有的coding agent我不觉得说我的路线跟他们是矛盾的或者怎么样我觉得是互补的可能如果细分的话可能有些人更偏就是说找到下一个架构就比如说我的梦想是说用AI能找到下一个架构我相对来说不那么care生产paper因为我在博士期间我就是个paper machine然后我也知道这些paper写出来其实真正有价值的可能就那么几个点对但是写paper呢也是有它的价值但只不过就是paper是一个我觉得是一个研究的一个副产物第一性原理就是研究的第一性原理是拓展自己的知识图谱paper只不过是说当我的知识图谱足够大的时候我一出了就是我的脑子里装不下那么多东西我必须要把它写出来我必须要把它和我的同事去进行分享不然我憋不住就是我觉得我很多时候写paper并不是说我真的需要一个paper毕业或者怎么样我真的需要一个paper干嘛而是说它在我的脑子里我就想把它给扔出来我就想把它给dump出来对是有一些AI for AI的公司他们更像是paper agent但这个就不太是我们的目标我们的目标还是说积累尽可能多的这个AI的物理学的insight这些insight它不一定是paper当然我们想也能写成paper但就是说这些insights它能形成这个AI的物理学的知识库能够帮助我们系统和科学的在未来帮助我们去设计更好的模型架构这个是我们的目的我看到你把physics of AI拆成三个方向空间上更细时间上更细平静宇宙间看得更细这三个分法是怎么想出来的我是喜欢从我们所居住的这个宇宙角度来思考很多的问题这是你尝试来解释AI这个黑盒是吗这是你的解释方法是的是的在空间上看的根系呢指的就是说我不仅仅是关注这个模型它端到端的行为我也会去关心它这个模型内部的某些神经元然后它的内部表征会有什么样的一些特性这个是空间上看的根系就有点像是我们去做检剖我们不仅仅是去看表面上是什么样的我们也去看它内部它的这个工作方式 [65:00] 是工作模式是什么样子的这个是第一个就是在空间上看得更细在实践上看得更细呢这个就是说我不仅仅只关心这个模型它最后一个时刻它的表现它的这种性质我也关心它是怎么样演化来的这个其实在生物上面有个对应叫做Nothing in biology makes senseexcept in light of evolution它说的就是如果你不从进化的角度来理解生物其实在生物里面没有东西是可以理解的就是是make sense的也是黑合也是黑河就是因为生物也是黑河但是你从演化的角度来说你至少能有一些理解对你可能会看你的祖先他可能在某一时刻他没有上陆地对吧然后他就一直在水里待着了你就通过这种历史通过这种自然进化你会有一些启发看世界环境对第三个呢这个平行宇宙我为什么这么叫吧我觉得还是因为我的博士导师Max Tagmark他是平行宇宙理论他是提出者之一当然这个地方平行宇宙说的很玄学其实就是控制实验什么意思呢就比如说我有两个培养米都有些细菌然后这些细菌可能在不同的环境里面那对于一个培养米里面的细菌它就觉得另一个培养米那就是一个平行宇宙那这个对应到我们人的科学上面做实验那其实就是去做一些控制实验在一个环境里面我能训出来一个什么样的模型这个环境可能指的就是比如说我的超参数该怎么调调成了另一个超参数我就能得到限制不一样的模型这个其实是朱泽源他的这个Physics of R&M里面其实很重要的一种方法论就是他会去扫一个像图出来就是Phase Diagram那这个像图其实也是物理学中其实比较常见的一个概念像图说的就是说物质它可能有不同的形态它在不同的状态下它可能有不同的像同样的物质都是HRO都是水但它可能不同的压强不同的温度它可能就有不同的像AI里面也是有很多的像的不管是训练动力学还是什么AI里面也是有非常多的像的我们很多时候会有一些know how就是说什么trick它work了什么trick不work其实很多时候是针对这个像而言的就是只有当你的实验是在这个像里面的时候它才是work的当它出了这个像当它进入了别的像它这个trick可能就不work了那可能另一个trick才work但我们现在之所以很混乱是因为所有的人都在说我的这个trickwork但是没有人回答我的这个trick在什么时候work我的模型我的这个系统在什么像里面它才work所以这个其实也是这个science of AI或者physics of AI想要解决的问题就是因为我们知道no free launch theorem告诉我们没有一个模型没有一个trick能够在所有的数据以及在所有的任务上都比其他的方法更好physics of AI的任务就是去理清楚每一个trick每一个架构它的适用条件是什么这个才是一种做科学的态度而不是说你做出来一个东西你就在那里去卖我们这个东西好但是全然忽视掉了可能它好是有一些适用条件的Physics of AI其实你想做的也是AI的可解释性你是试图把它的原理搞清楚是的就是我会比较警惕可解释性这个词因为可解释性现在就是不同的人可能有不同的这种诠释吧我们认为物理其实就是在解释我们的这个自然世界那么是的就是我是在做可解释性Physics of AI是在做可解释性但是我们的这个可解释要解释到什么程度就我们不一定要像Athropic一样解释到Neuron Level当然我们其实二年底二三年二四年初我们其实做了大量的这种工作因为我们自己做了大量的这种工作去解释神经网络背后是在做什么算法去理解一些Neuron我们自己意识到这样的一些故事其实有的时候没有那么的robust就是你可能换一个随机数种子它这个故事就完全不对了或者说我们解释的有点过于微观了好处是说它非常的具体坏处是说它不一定母棒我觉得大体来说可以说是可解释性但不一定就是我们要非得做到像anthropic那种机制可解释性的那种level我有一点矛盾你一方面在做Fixies of AI我理解它是试图理解AI的原理理论化我不知道这个理解对不对是的另一方面你要做的是AI for AI这两个是怎么联系起来的就是你做AI for AI需要去理解AI的原理吗AI更像是一个它自己能够自动化去做的事情的一个系统一个机器这中间需要人去把它的原理搞清楚我觉得这个地方有一个gap就是说之所以AI能够帮助我们去做一些自然语言相关的事情是因为我们已经有大量的自然语言的语料但是我们才创造AI几十年我们其实并没有太多关于AI的语料这个地方可能稍微有点confusing就是说怎么建模型这些我们都是知道的但是关于模型我们训练一个模型拿到它的训练曲线这样的一个映射关系目前还非常不清楚 [70:00] 所以也就是说连这样的一个语言我们现在都还没有把它进行规模化AI for X它能成功的前提是X得有大量的数据但是AI for AI根据我刚刚的逻辑或者说AI for AI Research其实AI Research它其实没有大量的数据至少没有大量的这种结构化好的这种高质量的数据而结构化这个事情本身就需要Physics of AI对这里可能稍微有点绕而且我需要显示的去说明我的这个想法是挺非主流的就是用AI for AI绝大多数人都想到我直接用AI去提升AI就好了但我说stop就中间其实还有一步我们是先要做Physics of AI这个东西能够帮助我们去设计AI但是人做Physics of AI太慢了古法科研做Physics of AI太慢了所以我需要用AI来帮助我们做Physics of AI所以我的AI for AI的全称应该是AI for Physics of AI有了AI的物理学它能帮助AI这其实就是我一开始问你的就是连接主义的过程中需要符号主义吗因为你说你是连接主义和符号主义中间是的因为物理学相对来说是更符号主义的那如果AI能够自精化的话它需要中间有一个符号主义或者是短期是需要的就是这个短期我指的可能是100年以内那更长期或许不需要我觉得这个地方还是一个bitter lesson更长期数据量大了就不需要了更长期就是当AI research已经被结构化好了已经有大量的AI research的数据了就不需要了但是像刚刚说的我们现在连这个AI research怎么样最好的去结构化都不知道就更别谈说这个数据量有多大了所以在这种情况下我们需要很多的人的鲜艳或者说这种symbolic的东西去做约束agent某种意义上就是把这个连接主义又往符号主义往回拉了一点就harness就是说你不能太自由了我要给你一些约束某种意义上我觉得coding agent它其实是在说明这个符号主义把连接主义又往符号主义回拉了这样一点但是我们做的这个autority这个事情我们是希望比较第一性的从偏符号主义为什么我要讲偏符号主义或者我之前自己也捏造过一个词叫做结构主义就是我会认为看它就是一种结构主义就是我为什么不讲符号主义是因为太多符号主义的hater就我一讲我们是符号主义大家就说没意思没意思老古董但是这个事情我觉得符号主义跟联系主义其实在历史上也是不断的在摇摆的我们需要跳出名字机对这一波AI是联系主义非常的厉害或许下一波我们又应该是往符号主义又回摆一点其实像我刚刚说的Agent已经是代表了这样一种趋势Anthropic做的模型的可解释他们现在能做到什么程度Amphorpic就是比较极端的比较激进的就是说我能理解单个neuron它在干嘛可能这个单个neuron它是一个比如说说脏话的neuron那我把这个neuron给它shut off那它就不会说脏话了但像我刚刚说的这种粒子其实非常的不稳健就可能你在一个粒子上面找到了有这样的一个neuron你可能换一个随机数种子它在那个网络上面可能就没有这样的一个行为Amphorpic他们做的一系列工作包括Sparse Autoencoder包括transcoder其实都是基于这样的想法就是说我能够把模型内部的那些混合的表征superposition的一些表征给它升到一个高维但是很sparse的东西这样的话它能够把里面的一些原子的一些概念给它抽取出来但是这个我个人觉得是有一些wishful thinking在里面的我仍然很尊重他们因为我二二年底二三年初我们做机子可解释性其实也是同样的approach所以我们知道这个东西里面有什么样的一些水分吧包括他们可解释性team的像Samuel MarksVesker Nee然后以及我之前那个MIT带的一个本科生最后都去Athropical也是最早从我们组做出来的就比如Vesker Nee去Athropical做的那个怎么做加法Cloud怎么做加法的那个任务其实也是我们组的一个paper后面的一个眼神对所以当我脱下长衫之后我会觉得这些东西就都是很有趣的故事但是What's beyond that这个其实我也一直在思考但是最近我其实又开始在重新在思考机制科解释性这个事情我觉得还是因为到了一个新的这个AFAI的这样的一个框架下我突然又觉得机制科解释性没有那么缥缈的我觉得这个跟我之前的对于AI的物理学的判断是类似的就是机制可解释性其实有一点像biology of AI就是AI的生物学就是我之前也会觉得生物学我们发展了挺久的医学我们发展了这么久那AI的生物学机制可解释性也是需要发展几百年的呀Again就是回到了AI的这个框架下来 [75:00] 我觉得之所以需要几百年需要几千年是因为我们没有办法自动化那一旦我们能自动化了这个进展其实是可以是很快的就是最近看到那个唐杰老师说要制补要投万亿级别的资源到机制可解释性上就如果半年前的我看到我会觉得这是在干嘛对但是现在就是放到了这个AI的这个框架下我觉得机制可解释性它确实是一个好的目标但之所以之前我觉得不promising是因为它实在是太难了那这个跟AI的物理学是一样的就它是一个好的目标但是因为它太难了所以之前会觉得会很frustrated但是现在有了这个autor research就是至少我们在build吧就是现在还没有但是有了这个autor research系统之后我觉得这些之前看起来非常莫名其妙非常遥远的这样的一些北极星的东西其实是有可能能在3到5年之内达到的你觉得autor research或者说AFAID一个关键节点会是什么呀它的一个标志性的路标可能会是什么我觉得是提出一个在一个垂直的领域它都不需要很通用就是在一个垂直的领域能够提出一个新的架构出来不仅能够碾压现在已经有的架构而且能得到人的这个endorsement就大家都说啊它这个架构很精妙但或许也不需要就是好优就行了对甚至不需要你看见对是的我还是在想凯明就是凯明的ResNet大家为什么会用有人说是很优美但是我们不要忘了当时凯明在ImageNet上面是比第二名高10%的所以我就在想你要么就是用拳头把敌人打晕你如果没有办法用拳头把敌人打晕你这个时候就是需要一些口舌去说服别人以礼服人这个AI和AI的系统它能在一个垂直的领域提出一个新的架构出来然后这个新的架构能够去刷榜而且这个刷榜不是说我就涨1%的点而是我能涨到10%的点那这个Auto Research或者AI和AI它是HID路线图上的一个什么样的坐标它是必经典吗我觉得这里所有的词汇都有一点模糊我觉得是necessary的但是还不是充分的我会觉得还缺一个东西就是我们刚刚那些是一直在聊的就是对数据去做抽象因为我觉得为什么抽象很重要因为人是有持续学习能力的然后人有持续学习的能力是因为人会做抽象但是现在的AI仍然不会做抽象如果说他能做抽象最多是因为我们的数据本身已经被抽象好了比如说像自然一边所以我会觉得就是要达到真正的AGI除了AFAI还需要有一个做抽象的能力然后做抽象的能力是做持续学习的能力的一个必要的能力就取决于这个我们对AFAI的定义是说它需不需要具有持续学习能力就因为听起来你这个AI的字迭代了它左脚才右脚它就上天了就是说我说需要持续学习能力可能是我对AI说AI的定义可能更务实一点就是说它能够在一个垂直的领域它能提出一个好的架构出来为了达到这个目标其实不需要解决持续学习的能力但是要解决AGI它是一定要解决持续学习的能力的但有一种说法也是说就是大模型的第一幕是chatbot第二幕是coding agent第三目就是AI for AI所以说其实AI for AI可能也是就是在这些模型公司的这些延长线上的你觉得做一个new lab和这些模型公司的竞争再来看的话竞争优势是什么呢我觉得就是bet a different thing就是因为我的思路是从physics of AI来的然后这个思路其实在学术界其实也是非常先进的就是相对来说比较早期的一个东西但是我比就是学术界的那些人就更加激进就是我是相信AI是可以加速这个Physics of AI的这个事情的从模型场的角度来说是一个过于risky的一个路线但这恰恰是我们的机会就是说因为我相信这条路线而且我们其实有很多小天才在我们的这个足利和在公司里面我能把这些问题去做一些拆解然后拆解完了之后是这些就是小天才能够很好的去把它们给进行完成我们是有自己的一个非常快速的一个迭代的一个东西我们在迭代但是我们的这个东西可能一直到做出我们的GPT3之前可能大厂都觉得我们是在胡闹对所以我觉得某种意义上是一种基于不同的信仰我们相信这个事情我们就会让它发生大厂绝大多数人不相信这个事情那就不会往这个方向投入资源Physics of AI是AFOA的手段是吗可以这么说就是我的AFOA它就是一种automated physics of AI就是自动化去做Physics of AI就是我的这个AI for AI这个Physics of AI的Physics到底要理解到哪一层我们是不是真的 [80:00] 要写出牛顿领率就是牛顿公式我觉得是不一定的而且这个很可能也是需要几百年的时间投资人问你最多的问题会是什么呢在你跟他加密的这个技术路线的时候其实你也都问到了就是说这个原模型要花多少算力投资人可能也关心的是这个东西怎么样去最后去做商业化我觉得也是说在跟投资人交流的过程中我们逐渐的清晰了这个产品它最后是什么样子的对因为原模型不管是原模型还是Physics of Flash说了半天其实都是技术最后这个技术是一个什么产品背后的技术我们最后要做的一个产品它是一个training autopilot如果说短期一点它会是一个training copilot这个是什么意思呢就是说我们现在并不是所有人都掌握着训练的能力的但是未来所有人都可以去训练他自己的私有模型这个私有模型也不一定是LM但或许是LM微调过去的这个用户他就只需要和我们的这个系统说我的需求是什么样子的然后我们的这个系统他就能够端到端的去给你设计模型训练模型部署模型然后交付给你你就可以直接去用这个模型然后很重要的是这个用户说我这里就100块钱我这里就100块钱你要在这个经费允许的情况下尽可能的去deliver一个好的模型最终这样的一个系统他要是能够做这样的一个端了端的事情那这个其实和现在的像Cloud CodeFiber Coding其实很像但只不过现在是说这个对象是程序员就是我要去做一个什么样的任务你给我code出来但是未来的话它会是一个更加闭环的一个东西我都不需要告诉你这个技术物件怎么去做我不告诉你你要用Transformer我不告诉你你要怎么去训练我只告诉你我的需求然后我就能够端到端的去给你去设计训练部署这个模型其实也有投资人会问他就为什么要训练自己的模型对我在想Cursor Cloud Code是让不会写程序的人也能写程序了对那你这个是然后不会做AI Research也开始做AI Research了对吧对就是不会自己训模型的人也会自己训模型当然我觉得你这个是一个很大胆的想法因为你这意味着模型未来我不知道多少年以后的未来它不只掌握在几个巨头手里不是那种巨大的模型对吧每个人人人都可以用你们的系统就能训练人人都可以训模型然后呢那干什么对那这个地方的点就是说现在大家不会训自己的这个模型是因为它的门槛还太高了那之后有了这个能力之后我们把这个性价比弄得足够高之后其实大家都会有这个需求就比如说我买了一个机械狗让它来陪伴我那可能我就是需要把我的一些数据把我的一些语音的数据把我的一些跟它对话的数据给存下来帮着去训练不管是微调还是怎么样去训练这个机械狗让这个机械狗能够能够让我更开心比如说他不是只天天在那里汪汪汪的叫他还能说些话来安慰我那这样的一个事情现在不会有人说我为了做这样的一个东西我要去自己去学怎么去训练东西当然了现在可能会有一些创业公司可能会做类似的想法对但是未来我们想的就是说有了这个系统我们不是自己做一家open air它是能够孵化各行各业各个垂直领域的open air当我说垂直领域的时候我已经是谈论的比language model更高一个层级了就是说我们的这个原模型当然它也不一定是原模型就是说最终的这个终极的系统它能够去设计出各个垂直领域的这种transformer就是可以这么讲就如同是LM它统一了NLP自然语言处理里面的各种任务一样那我们现在造不同的模型还是不同的任务造世界模型的人造世界模型造LM的人造LM造Air for Science模型的人造Air for Science的模型但是这些领域现在大体上还是不互通的对但是未来会有这样的一个God就是Vibe Training的一个东西这现在还是Vibe Coding未来会是Vibe TrainingVibe Training未来会是web training就是你把你的需求说清楚它就能够给你端到端的去设计训练部署这个模型对那有了这个能力之后好吧我实话实说我也没有想太清楚就是有了这样的一个就是每个用户训自己的模型能有什么样的需求但是很多时候是这样就是当你技术便宜到一定程度的时候有些需求它自然会涌现只不过我们现在还没有到这个时间点好像很难去想象这个事情这个是电脑从对啊就是怎么会有household会想要在家里面放一台巨大的电脑到了一个每个人人手可用的笔记本对啊对啊这个倒是一个挺有意思的方向当模型人人可用的时候我们用它来干啥对不仅人人可用人人可训当然我们需不需要人人可训现在是一个大文号是就是说这个时候可训也不是说 [85:00] 你是作为一个researcher去训他而是说你就是作为一个用户你给他提需求他能够端到端的去给你返回一个你想要的模型当然你可能不需要一个AI模型模型能类比成脑子我需要那么多聪明的脑子在我身边或提供情绪价值提供情绪价值或提供智慧我觉得是这样的我觉得是这个聪明的脑子它能produce一些东西它能够生产出一些东西这些东西能给你提供情绪价值而不是聪明的脑子本身会提供情绪价值事实上聪明的脑子很多时候会让你很恼火我觉得所以你对未来模型的生态有什么样的构想你觉得模型会是垄断于巨头手中或者是会模型吞噬一切你觉得有着应用公司的生态位吗会从一个垄断的局面慢慢的变到人手可用吗你对模型的未来的一切有什么样的想法终极的目标如果我们能deliver那个vibe trainingautopilot那就相当于是平权了就所有人都能够去训自己的模型但是这个地方的问题是还是需要钱你现在训一个大约模型都这么的贵你要人人可训我觉得这个地方也是当physics of AI理清了之后其实训练的成本也是会下来就是因为我们现在不是最优的一个Recipe很有可能还有很大的优化空间吧我们也很希望为我们的听众能够提供一些就是行业新鲜的动态就比如说除了你在做AFA我们刚才提到廷文洞老师他的Recursive他们的那家创业公司也在做AFA国内还有一些其他团队在做AFA能不能很像给大家做一个梳理就是大家各自路线是什么好呀好呀其实AFOA这个在国内还是一个相对来说比较新鲜的概念就我觉得还挺有意思就我从五月份开始去融资融了几天发现Recursive就announce了然后国内就开始活起来了目前来说其实还没有那么主流当然孙天祥是很早他们就开始在做了然后最近去百度做然后最近去百度做大的模型了对对对孙天祥是一个特别符合你们工作室名字的这样的一个想法就他之前的一个采访说的是language基本上就是整个世界所有的东西都能够被language描述这是他的一个belief他们之前做的像Farist那个系统就也是自动生产paper的一个系统就是一个paper agent我们AI院还有另一位老师叫陈永超他最近也是在做这个AI for AI他的路线呢就也是更偏这个早期的路线吧至少现在的路线更像是这个paper agent能让AI自己去写一些AI research的一些文章RSI那边这个我们其实也无从得知吧但是从他们的这个博客你们能够窥到一些技术路线我们大概猜测他们会强调这个auto research系统需要维持一个比较好的memory就比如说我昨天做了五次实验我都是在调这个学习率然后五次实验我全部失败了那么我今天就会记住我昨天做过这些实验那我今天就不会接着去调学习率但是again就是说那维持一个好的memory系统但是你不理解它背后为什么学习率会失败你之前的经验也不一定是对的就是可能你之前学习率失败是因为A原因但可能我第二天做实验的时候我这个时候其实是B原因所以这个时候调整形势可能反而是对的对 所以这个地方还是存在一个到底我只是一个经验驱动还是一个这个机制驱动的当然我看他们的官网上然后以及因为田园东老师也在里面所以我相信他们也是会在Science of AI上去有一定投入的但是目前来说还不是特别清楚他们的Science of Life的路线到底是什么样子说到研究啊就是研究中所谓的顿悟时刻而研究的直觉这个怎么训绩模型首先模型它得拿到这个数据你告诉它你的思维链这就是让它拿到这个数据的过程吗是的就是我们要强行的强迫自己把思维链写下来每一个顿悟时刻都是有思维链的吗一定是有的如果没有的话就是你问自己问的不够深因为我自己的经验是这样的就是我一开始也挺相信研究品位研究直觉这回事我其实现在对这个事情有点驱昧了就我觉得研究品位研究直觉其实是一个遮羞布就是说因为我们聪明到可以提出一个想法但没有聪明到可以去用语言说出来我是怎么提出这个想法的所以我们把顿悟这个事情给它说成是所谓的品位所谓的直觉所谓的灵光异显还有句话叫善战者无赫赫之功就是说最牛逼的人他提想法对他来说就跟呼吸一样简单他能够把别人觉得哇这个太神奇了他是怎么想到的他能把这些事情系统变成他的系统而那些不是最顶级的人他们也能提出一些很好的想法但是他们可能并不知道 [90:00] 是怎么提出这个想法的我其实一直在有意的训练自己就是我不仅是要提出好的想法我还要去追问我是怎么提出好的想法的然后在这个过程中其实是尝试把我的想法语言化其实这个事情对我来说非常难因为我不是一个通过自然语言沟通特别顺畅的一个人我的思维模式可能更偏就是Max Techmark就是我博士的老板就我们都是非常偏视觉的偏视觉偏视觉的意思就是说我们会在脑子里面会有一个图像我会特别想要把它画出来但是我美术又不行所以这个就很尴尬对所以有的时候我只能够通过我真的把这个东西做出来把这个东西展现在你的眼前这个是我沟通的方式所以我是觉得思维链这个东西一定是能或多或少的被说出来当然还有一条路径当我们的脑科学发展的足够完善了以及我们没有一些道德的问题就比如说我们去检测一个人的脑电波我们可以用一些侵入式的方式去检测它的脑电波或者我们有些更高级的方法不用侵入式我们也能够检测到比较清晰的脑电波信号到了那个时间点我不需要用语言我直接去测这个人的脑电波就行了但是这个时候我需要这个人的脑电波但是因为现在我们没有办法获取这个人脑电波我们只能够去拷问这个人或者拷问我们自己就是我刚刚到底是怎么想出这个想法的你如果说不出来说明你还没有拷问的太深你只要拷问的足够深你总能说出点什么但他不一定完全可以取代就是脑电波的价值但是至少他能说出点什么你刚才说你当时做博后的那个实验室他们当时创业的时候投资人们跟他们说你们三年不用盈利国内投资人也跟你说那是完全不可能的国内投资人恨不得你现在当天就能盈利能吗能吗你们当天还是不行故意什么时候能有产品什么时候能刷一模式你们这个roadmap是什么样的我们这个六个月之内还是侧重R&D就是去做一些demo然后以及就是说做一些产品的出行六个月之后根据我们这六个月的一些成果去决定这个之后到底要怎么去做肯定是在一年这个时间几点肯定是会开始去产品化跟商业化的但是比如6到12个月这个我觉得6到12个月的这个research and development这个对于一个neolab来说是非常重要的不能过早的去投入到一个其实不是那么好的一个方向只是为了短期能够去交差短期能够去做商业化就要6到12个月的探索去找到一个更好的方向你用Lab的本质你觉得应该是Lab还是公司它之所以我们起了一个新的名字给它就是因为它既不是Lab也不是公司它就是应该像我说的你6到12个月去按照一个Lab的形式按照一个researchinstitute的方式去运转一旦Groak了一旦顿悟了这个事情就应该按照公司的方式去运转就是前OpenAI时代和后OpenAI时代的感受是的那会不会给他做Lab的时间不够长OfenApp已经慢慢做了很多年你觉得现在这个生态或者机制有那么长时间的探索器哪有这个包容度吗还有你们的现金流够吗现金流肯定是我们会也是持续会募资的我个人是觉得就是现在的路线已经相对来说比较清晰了6到12个月我觉得是能够画上一个逗号然后开始去做产品如果说你一年前问我这个事情我可能觉得我们需要做三到五年的research and development我觉得也是我在不断的思考我自己意识到这个原模型的可信性之后我说我要快速的推进这个事情了那像之前我确实也是挺犹豫的吧就是因为我没有找到一条清晰的路线对当然这条清晰的路线在做的过程中实际上也是会不断的进行调整你们这个路线也可以描述成原模型也可以描述成AFOA Auto Research可以描述成Physics of AI你觉得哪个词是最精准的如果只选一个我觉得Auto Research是最接近的但是我觉得我们得创造一个新的词汇他们给我们这个路线起个名字但是我们so far还没有太思考这方面的问题我觉得未来是需要就比如像AI的物理学这个东西就是我们自己起的名字因为现在所有Mew Labs都是他说他形容他在做一个什么事情那创业者和投资人脑子里就不是一个事不是一个事对对不是一个事就之所以用这些clicious words是因为投资人他要得听懂对你看你们也被投资人描述AF science他跟你心目中的构思也是不同的但是你现在心目中构思其实也没有找到一个最准确的词来描述它所以也在套一些词汇是的从投资人的视角我的理解是他们投的方向其实也蛮广的在他们接触到的广度里面AI for scienceAI for AIAuto research其实都算一堆然后机座模型试炼模型都算一堆你觉得今天处于一个AI发展的一个什么样的时期它收敛清晰了吗我觉得对于大语言模型它收敛已经比较清晰 [95:00] 但是新的机会是来自于其实我们一开始也聊到就是关于世界模型然后关于Auto Research这两条赛道我认为还处于相当早期代言模型可能辐射不到辐射不到但辐射不到的原因我觉得我也不是说Transformer的Hater我觉得更多的还是说Mold Model那边其实我觉得更像是说要找到一个更全新的架构它能够更好的去抽象和找到这个物理世界真正的Latent SpaceAuto Research这边我觉得更多的还是说大语言模型没见过这种数据所以第一步是首先要去结构化然后第二步是手机这种结构化的research的数据这个是最重要那有了这些数据其实大模型也能吃其实它做的其实可能也不赖当然了这个原模型的这个路径它是一种关于模型的模型大模型也是因为没有见过关于模型的这种数据没有见过太多关于模型的这种结构化数据所以大模型也做不好你这创业几个月什么感受啊节奏非常快做快基本上就是除了睡觉都是在工作吧对但是我觉得也是一种挺新的体验吧一方面是你有了更多的资源你认识了更多的人你好像就是突然接触到了一个更大的世界但另一方面技术上的事情研究上的事情还是得踏踏实实的去做是一个不小的一个挑战吧因为之前的话就是说踏踏实实的做研究但是现在的话不仅是做当下的研究你还要和很多的人去做交流而且你还要去想不仅去想当下的事情你还要去想几年之后的事情根据几年之后的目标去倒推那我们这个路径到底该怎么去走所以这个我觉得是个有一点out of my distribution的东西也是我在学习的事情如果只能选一个做professor和做写家entrepreneur你会选哪个我都要就是我现在都是我都要的状态如果非要选一个我觉得这个再看吧做做看做做看对今天这个创业的时代好像跟以前变得特别的不一样因为很多都是学术背景或者是像你是有了教职以后也创业也有的是学生开始创业就是好多都是research背景的人在创业对 我觉得还是取决于做的事情它是一个是否需要早期去研究驱动的就像autoresearch跟world model我觉得至少需要6到12个月研究驱动的时间那这个时间是不能够被跳过的那至于比如说6到12个月之后当我把我脑子里的这个东西给它荡不出来比如说荡不成一个雏形它摆在我的眼前然后之后比如说再引入一些有这个产品经验有这个商业化经验的一些联创进来帮助去把这个东西的影响力打出来而不仅仅是一个小而美的一个东西但是我觉得还是需要就是说六到十二个月的时间是首先把这个原型打出来所以理想状态是六到十二个月这个研究探索的成果及某个产品是的那我最后几个快问快答全球范围内一个你喜欢的食物反正我不管在哪里去读书还是旅游我都是会想吃这个热干面的一个全球范围内你喜欢的地点只要有江河的地方我都挺喜欢的包括武汉包括上海这边就是在这个黄浦江边上在MIT就是在沃斯顿那边就是查尔斯河我喜欢没事就去河边走走一本影响过改编你人生的书人类简史吧就是我其实就一直都比较nerd就是不是很懂这些social science的事情然后我有的时候会觉得这个事情明明不合理但是为什么大家都相信这个事情然后读了人类简史之后就知道我们的这个社会其实就是故事驱动的所以叙事非常重要不仅仅是技术重要这个背后的叙事也是非常重要在你心目中影响AI进程的几篇论文这个太常规的就不说这不是像Skilling Law呀这些文章就我觉得对我个人影响来说最大的就是干这篇文章吧因为它相当于是为我打开了这个AI世界的大门基于你当下的认知一个关键的重要的but是什么可能就是我们刚刚一直讲的就是AI for coding下一个会是AI for research但是是需要用Physics of Fire的方式去做好了今天的节目就是这样这里是商业访谈录是一档由语言及世界工作室出品的深度访谈节目你可以到公众号关注我们的工作室获取更多的信息我们的公众号是语言及世界Language is World也欢迎你在小宇宙的评论区与我们有更多的互动我们希望和你一起从这里探索新的课题 [100:00] 世界by bwd6