谷歌科学家姚顺宇指AI英雄时代终结

谷歌科学家姚顺宇：AI个人英雄时代终结 大模型研发已全面转向依赖组织协同与系统工程的集体主义模式，个人神话不复存在，未来决胜点在于让AI自主闭环做实验与长跨度任务突破。 在访谈中，姚顺宇分享了他在顶尖AI实验室训练Claude 3.7、4.5以及Gemini 3的历程与技术洞察。他断言预训练Scaling Law远未见顶，并深入解析了Coding场景的爆发、中美模型在“蒸馏”技术上的博弈，以及无限上下文的未来趋势。同时，他提出了AI本质是简单的“冲浪理论”，认为AI的个人英雄主义时代已经过去，未来的技术与科学突破将由高执行力的集体主义与组织协同所主导。 大模型三巨头（Gemini、OpenAI、Anthropic）在公开测试集上的差距已收敛至噪声区间，目前的体验差异主要取决于早期的押注意愿和基础设施积累。 (5:00) 坚决否认 Scaling Law 见顶论，评估放缓常因 Benchmark 触及天花板或存在未排查的工程 bug，算力与数据仍是核心驱动力。 (20:00) AI 个人英雄主义时代已经落幕，技术推进演变为高度协同的集体主义，核心在于团队能否有组织地将显而易见（trivial）的想法落地执行。 (163:15) 长文本（Long Horizon）技术的关键在于后训练机制，通过模拟人类记忆实现“用有限上下文训练，达成无限上下文使用”，并预测 6 到 12 个月内 AI 将实现自主做实验的研究闭环。 (154:15)

大模型研究员姚顺宇指出，前沿大模型在公开基准上的差距正逐步收敛，个人英雄主义时代已经终结，AI研发已彻底演变为依赖组织协同、系统工程与执行力的集体主义竞赛。 模型能力纸面收敛与实际体验分化 (5:00) 姚顺宇观察到，Gemini、OpenAI与Anthropic三巨头在前沿评测（如SWE-bench已达80%左右）上的纸面差距已缩窄至噪声区间，行业不再焦虑能否实现某项能力，而是聚焦于定义新任务。但在实际体验中，模型仍展现出由各家组织“意愿”决定的特异性：Claude擅长工具调用（Agent）与编程，Gemini在纯推理及日常对话中见长，OpenAI则在推理与代码间平衡发力。 在各类应用中，编程（Coding）场景率先实现爆发。姚顺宇分析，这主要得益于软件工程任务拥有明确客观的反馈信号，且GitHub提供了几十年来人类沉淀的高质量结构化代码。目前代码生成已显著重构研发流程，人类工程师重心正转向系统设计、任务拆解与上下文规划，而顶尖规划者与普通执行者的产出差距或将被进一步拉大。 技术演进路线：驳斥见顶论与长上下文突破 (20:00) 针对外界盛传的“Scaling Law撞墙论”，姚顺宇予以坚决否定。他认为评测放缓往往源于基准测试触及天花板，或是训练工程中存在未排查出的Bug，模型的通用学习能力与数据吸收效率依然在持续增强。在预训练和后训练框架下，算力与数据仍是核心驱动力，算法层面的重大突变往往呈低频相变特征，其余时期多为平滑工程优化。 面向技术落地，姚顺宇提出“有限上下文训练，无限上下文使用”的研究哲学。他预测在2025至2026年间，模拟人类选择性遗忘与动态检索机制的上下文管理技术将走向成熟，真正解锁全天候个人助手；同时，在未来6至12个月内，AI有望独立闭环完成“写代码、跑实验、分析结果并提新假设”的自我迭代链路，推动ML Coding加速演进。 应用生态壁垒与中美研发生态差异 (10:00) 在产业落地层面，姚顺宇认为当前AI应用的真正壁垒依然牢牢锚定在模型层。除Agentic Coding外，行业尚无绝对成功的纯AI原生应用。开源或轻量级“壳”产品面临被底层模型吞噬的风险，突围路径仅限于在巨头反应前建立自研模型壁垒（如Cursor路径），或深耕巨头无暇顾及的垂直长尾市场（如Midjourney模式）。 对比中美产业生态，姚顺宇认为技术差距在过去一年半显著收窄。受制于算力短缺，中国团队在“软蒸馏”（引入跨模型协同评估构建数据链）与多智能体训练上展现出独特工程智慧，且在消费端（如字节跳动豆包的语音交互与长链路商业化）具备更强的精细运营闭环；美国团队则依然将重心死磕在提升智能上限与企业级效率工具上。 个人英雄主义落幕与集体工程体系 (147:15) 结合在Anthropic与Google Gemini的从业经历，姚顺宇强调现代AI训练是一套高度耦合并受制于底层基础设施（如TPU集群编译器与通信切分）的复杂大系统。单一的技术秘诀脱离具体软硬件环境后极易失效。随着模型从早期的探索期过渡到规模化扩展阶段，单打独斗的个人英雄主义时代已然落幕，取而代之的是依赖跨部门紧密协作、细致排错的集体工程体系。 这也重塑了AI团队的组织范式与人才标准：自上而下的工程确定性（如高度标准化的预训练）与自下而上的探索灵活性（如后训练与多模态尝试）需要有机结合。行业对人才的核心要求不再是虚浮的算法想法，而是能否严谨利用AI协同工具、系统性拆解任务并对工程细节闭环负责。 访谈表明，基础大语言模型的参数扩张竞赛正逐步让位于长时程任务规划（Long Horizon）、自主科学实验与多模态生成等全新维度；然而，在多模态范式尚未收敛、端到端世界模型缺乏统一定义的背景下，AI能否真正突破特征工程并形成自主迭代的研究闭环，仍有待未来实践验证。

[0:00] 姚顺宇: 我在这个行业又没有什么导师，又没有什么旧友，我当然想喷谁喷谁。 [0:00] 姚顺宇: AI这个事，本来也不太需要脑子——真的不太需要脑子。这个行业最重要的特质，就是靠谱，就是做事细，对自己做的事情负责任。 [0:00] 姚顺宇: 现在大家都是冲浪的人，本质上是那个浪，而不是你那个冲浪的人 [20:00] 姚顺宇: 完全没有，我觉得完全没有。 [35:00] 姚顺宇: 在战 AI 这个领域，没有谁可以养老，没有 Work-Life Balance。 [50:00] 姚顺宇: 硬蒸 [50:00] 姚顺宇: 软蒸 [70:00] 姚顺宇: 光脚的不怕穿鞋的 [75:00] 姚顺宇: 胆子要大，你不争取是永远得不到的。争取了也有可能得不到，但不争取就绝对得不到。 [85:00] 姚顺宇: 要做有比较客观评价标准的事，或者做对这个世界能够产生影响的事 [140:00] 姚顺宇: idea is cheap [205:00] 姚顺宇: 美国做产品的人不行，比中国差远了 [210:00] 姚顺宇: 本科生就能干 [220:00] 姚顺宇: not even wrong [225:00] 姚顺宇: Long Horizon

[0:00] 请不吝点赞 订阅 转发 打赏支持明镜与点点栏目从近期一系列的模型巨变开始聊起那接下来就是我对顺语的访谈Azop作为一个公司来说它能够实行这种就是比较top-down的机制是一个很独特的事这对于其他模型公司很难吗很难比如说OpenAI就干不了就是Gemadai也比较难大公司和Startup它打发本来就不一样因为Startup重要的是make bet就是我得赌一件事我觉得大家现在就是每个人都是冲浪的人本质上是一个浪而不是你那个冲浪的人因为AI这个事本来也不太需要脑子需要脑子真的不太需要脑子需要什么我觉得这个行业就是最重要的特质就是科普就是做事儿系然后对自己做的事负责任这是最重要的特质硅谷不是有两个姚顺宇吗你要不要先给大家介绍一下你自己然后给大家科普一下两个姚顺宇的区别可以对就是我叫姚顺宇然后显然也有一个跟我几乎同名的朋友然后我们俩主要履历也有一些overlife所以说可能看起来非常的难以区分对然后我是我以前是做学物理的然后我本科时候在清华那时候做宁太理论然后后来去斯坦福做理论高能物理然后和量子进西黑洞相关那些方面然后离开斯坦福之后去伯克利短暂的待了两个星期的Postdoc然后就离职了去了Ansopic然后在Ansopic待了一年去年9月底10月初的时候加入了Gemini对然后如果大家非要区分的话我觉得最大区分就是那个顺与他一开始就是一直都是做CS就是计算机相关的然后我其实从某种意义上来说是个半道书家所以就是那个顺宇他一开始就是一直都是做CS就是计算机相关的然后我其实从某种意义上来说是个半道出家对就是我之前是做理论物理为主的对你们是不是好朋友你们好像大学就认识而且是一级的对吧他是一个什么样的人你是一个什么样的人你评价一下他你也评价一下自己对对对我们本科就认识因为我们本科是一级的然后在清华但他一开始就是学计算机的嘛所以他在那个摇班就是计算机科学实验班然后我学物理所以我在极客班对然后后来他去了普林我去斯坦福这可能也是另一个有点令人费解的点就是好像这个普世世界里觉得斯坦福应该是学计算机的人该去的地方然后觉得普林斯顿是学物理人该去的地方但我俩然后反过来所以说也可能产生了一些费解的事情对然后我俩其实也还真的挺不一样我觉得他是一个比我有趣的多的人我觉得我从他身上也是在过去也是能学习到了一些和我很不一样的点比如说他可能花了很多时间去思考比如在AI方面他花了很多时间去思考就是人和AI的交互然后包括一些产品以上的事情然后我觉得其实对我来说是一个很不一样的朋友然后我也从他那儿学到了很多东西你们之前在硅谷的时候多久见一次面了你们现在是不是还频繁打电话多频繁我们在硅谷的时候见面确实挺频繁的可能没几个星期吧但是好像见面主要是为了凑一块玩玩啥就是真的就是纯玩就是可能出去散散步车车有的没的然后可能有时候吃个饭打个牌之类的对对然后他回去之后其实我们也还是经常会打电话最近一次电话聊事了好像就是前一两个星期你怎么知道的可能就是会过几个月然后就cash up大家最近的近况他是不是多次想把你拉过去可能有这个意思但是我觉得不关键你为什么不去我觉得对我自己来说我没想清楚吧我觉得多半是我自己的原因然后我也没有去任何中国的地方然后我觉得主要原因是因为在去年的9月或者89月这个时候我觉得那时候我离开离开安苏菲克然后离开之后决定要去哪的时候最大的动机 [5:00] 我想学一些不一样的东西对我来说我可能就没有去考虑没有更着重的去考虑说能够我去领导一个项目或者领导一个project之类的我更多的是那个时候更多的是优先去学习一些东西所以那时候选择去了我把你们两个老被放在一起比较和讨论对你来说是困扰更多还是享受更多我没什么感觉然后因为我这个人也不太关注社交媒体所以我其实真的没什么感谢因为那个顺宇他之前在去年的时候说AI进入了the second half进入下半场这个成为了一个非常有名的观点你觉得今天的AI在一个什么样的时期你能给他一个定义吗对我觉得对我来说我可能看的没有那么清楚什么叫做上半场什么叫做下半场或者说这个定义一直以来对我并不是特别清楚对我来说确实现在AI进入到了一个阶段就是我觉得大家都已经开始不那么担心一件事AI是不是能够做得到而是担心这件事是不是被良好定义对我觉得这是一个很大的区别比如说我觉得一年之前就是可能去年年初的时候那时候我在Azorbit然后大家可能担心的事情还是说OpenAI这个Reson做的这么强我们有没有机会能够追上然后有多大的机会能够超越它大家很担心这个事我觉得现在就是在任何至少在Gemini OpenAI和Azorbit这三家当中我觉得没有哪一家会真的担心自己追不上然后我觉得可能现在对大家更难的事情是是想明白要去做什么这个是一个我觉得是一个是一个bat是一个赌但是也是我觉得也是一个很需要人的inside的事情对那这也意味着模型的能力被拉平了对不对它变得同质化变得商品化所以模型没有很大的区别就是在好坏上没有很大的区别但是它需要分化我觉得从用户的实际体验上来说这三家的模型是能够感受到区别的但是难的一点是过去这个区别在纸面上也能看出来在纸面上是指就是比如说像公开的有很多这种benchmark这种测量的规范然后比如说大家以前能够去看sweetbench对对对能看Sweepbench然后可能数学大家那时候会比像简单一点的AME然后难一点的SAMO那个时候感觉就是你从纸面上就能看出来这个模型好像Reasoning强一点那个模型好像Coding强一点那个模型这个强一点现在就是纸面上大家其实都比较相近当然你去看那个纸面上的消息比如看Sweepbench你会发现好像好的会比不好的可能高一倍百分点或者两个百分点但其实大家都在80%附近那个附近数字高一点低一点其实主要是noise主要是噪声而不是信号但是从另一方面来说大家使用上确实还是能体现区别的我觉得就我个人了解到的信息而言Cloud目前仍然是比较通用的这种工具使用类的agent表现最好的然后在纯粹coding的方面可能最近codex稍微追上了一点把这个中间的gap变小了一点然后gemoni可能在纯的reasoning然后和一些比较日常的使用环境下可能目前还是比较好的然后在coding和agent上还处于一个比较在接近的状态这些能力他们是有意选择我优先发展哪个方向还是说它就是好和坏的区别它是能力问题还是意愿问题我觉得其实是有意愿的成分在的尤其在过去的情况下主要是意愿当大家能从纸面上就看出区别的时候那时候意愿肯定是占大多数的因为可能像Cloud就一直更看重这种使用工具的能力然后包括Coding那可能OpenAI有一段时间非常看重Reason对当然现在开始看重Coding了那时候肯定是意愿会占大多数因为你花你更有意愿的话就意味着你能花更多的精力去构建合适的基础设施合适的Infra构建合适的数据然后尤其数据它是一个从某种意义上来说很花时间很花精力的事情对所以说那个时候肯定是意愿专注的但是到现在这个时候呢我觉得两方面其实都有因为其实因为纸面都看起来差不多然后其实甚至你就做一些更内部的测试说这个数字也都变得差别没有那么大了然后这时候 [10:00] 更难的事情就是你该怎么去定义的问题定义你想要的行为然后在这个事情没有定义那么清楚的时候模型的很多差异其实来自于一些其实是你想象不到的事想象不到的是指的是我觉得当然想象不到的事就是你现在去问其实我很难给你一个特别清楚答案可能过一段时间之后回过头来看我才能给一个清楚答案但是我可以举一个想象不到的例子比如说比如说退回往回退可能一年两年甚至三年的时候那时候如果你比如说去网上取这些预训练的数据的话你可能训练一个模型就会发现模型在写代码那时候当然没有这种A站这个的写代码它都是写一段代码那时候你会发现模型化写代码会写的很好但是可能那时候大家不知道为什么但是这个里面意外的原因可能就是你从网上随便的去如果不做任何的数据的筛选的话自然的这个code data的质量就会比别的高一点因为你去看网页也会发现GitHub的质量是显著比别的正常网页要高的在进入我们今天主题之前我想先聊聊我们最近模型的一系列的禁文就是你看最近大家都在讨论OpenCloud你作为一线的研究员你对这个新的产品形态是怎么看的你周围有哪些讨论我觉得有趣的是我感觉这个事情在业外的讨论好像比业内的讨论更激烈业内没有人讨论业内有人讨论但是我觉得对业内的人来说它并不是一个特别令人惊讶的事我怎么说就是可能在公司内部也有人已经做了类似的这种实验或者这种demo只是可能并没有作为一个产品去很认真的宣发然后把它打磨然后发出去对然后当然实实情况就是你去看这个OpenCloud最早版本的Github的那个code其实那个code也就从某种意义来说写的也不是特别的干净但是我觉得它很重要的事是它给大家展示了这种可能性那可能展示这种可能性之后未来像OpenCloud作者自己也加入了OpenCloud然后可能这些模型的实验室或者说一些大一辆创业公司会很快跟上然后把这个东西打磨成一个真的可用的产品所以我理解其实在OpenCloud发布之前Google就已经有人在做这个事情了只是还没有发布因为大公司的流程比较长对至少我个人所得到印象是这样的所看到的是这样所以这种类OpenCloud这种产品形态背后它本身说明了什么在今年初的这个时间点上我觉得其实其实我觉得技术上来说其实并不能说明什么就是说OpenCore这个产品当然它依赖于模型能做的很多事情但是那些事情的能力其实并不是到今年年初才准备充足我觉得可能在去年就是像Opus发布4.5然后当然那时候Opus其实比OpenEye和Gamla3在2Use能力上都要强一些所以我觉得在那个时间点其实你做这个事这个事就已经是可以展示出来嗯然后其实他他一开始发布也没有立即就火他就发布了之后过一段时间才火起来嗯所以说呃我觉得可能对我来说技术上他并不是一个呃并不是一个就是说那么令人惊讶的事他是模型能力的自然益处对对对我会这样觉得但是我觉得它可能一个对于大家的惊喜是说以前可能大家都没有意识到它让大家意识到这件事可以做意识到什么就意识到了这个你可以让模型做很就是你可以控制很多不一样的模型然后做很多不一样的事情然后把这个事情汇总汇总之后做一个很长很长很长long horizon的这种工作我觉得可能以前大家并没有并没有广泛的对这个事产生共识这个事情给大家展示了这样一种可能性你看从去年出火的是minus今年出火的是open cloud就是从minus的open cloud变化是什么是模型能力的变化还是产品的变化这也是一个我其实一直没理解的事就是minus和open cloud之间的质的区别是什么是一个我其实自己没太看明白的事情说实话或者换句话说可能OpenCloud这个事火了但是如果你要回头问我为什么Mindas做不了这个事我不明白Mindas为什么做不了可能只是他没做但是你看不管是Mindas还是OpenCloud他们都选择了Mindas卖给了MitaOpenCloud卖给了OpenAI [15:00] 那形象说明什么呢为什么他们都卖了我觉得我自己的感受是一个东西如果要长久的生存还是需要考虑一些壁垒的壁垒是模型我觉得至少目前来说很多壁垒都是在模型侧但是未来会不会产生产品侧的壁垒我觉得是说不定的因为大家市场上这个都老生长男话题就很多人就要谈论这个什么数据非论啊之类的事情目前来说我觉得没有哪一个场景真正的形成了数据非论甚至AI纯粹原生的应用场景我觉得目前除了agentic coding就写代码之外没有哪个场景是AI真正原生的场景变得非常成功因为从某种意义上来说XBot其实是搜索的一个延伸XBot是搜索延伸对他为什么不是独立于搜索的他是因为因为你想大家其实和chatbot最多的交互是我有一个问题就问这个chatbot然后这个其实是搜索本来干的事但是他带来的比搜索要远强的一个事情是它变得非常interactive就是它有交互性你可以追问然后它甚至可以帮你总结出一些通过它获取的一些信息帮你把它压缩成浓缩成回答你的问题的那个信息对这个是以前搜索给不了你的但它当然就不是完全一样的需求但是从大的需求上来说是比较类似于搜索之前的需求Mindas和OpenCloud我觉得都是现在最有名的壳但是壳最后都卖给了模型那是不是说明壳还是难以逃脱模型的掌型这个逃逸速度不够快是不是我觉得我觉得壳在目前这个情况下活下来有两种我大概能想象的方式一种想象的方式就是像你刚才说的逃得足够快我增长速度足够快以至于在模型公司反应过来的时候我其实已经占领了大量的用户心智然后在模型公司追你产品形态的时候我又自己演发出了自己的模型我觉得Cursor就是试图在走这条路Cursor其实在这种AI原生程度下几乎是我能想到的创业公司里增长得最快的就算这样的公司它现在也很有危机感它有多有危机感反正我的感觉是对Cursor来说现在和Ansortric已经进入了一个非常微妙的关系就是曾经他们是亲密无间的合作伙伴Azor提供模型Kerser提供产品后来Azor自己有了Cloud CodeCloud Code现在变得非常成功然后Kerser现在又自己试图做自己的模型所以Kerser在努力的训他的Composer所以说我觉得都不用说为了其实现在他们已经处于一种比较竞争的关系了如果在竞争中输掉的话我觉得是比较麻烦因为代码这个事情Coding这个事情其实它本身上是一种服务于专业用户专业需求是一种效率工具效率工具很容易出现了一个场景就是赢家通吃我觉得这个是不管对Cursor还是对亚索费还是对任何一些做coding的公司来说可能都是他们比较担心的事对然后这是刚才说的就是一条路要快对你长得够快你在别人还没想吃你的时候就疯狂长等他想吃你说已经足够大另一种方式就是这市场足够的小小到模型公司根本懒得去管我觉得Mint Journey就是这个例子就是这个市场小到可能虽然你说咱们来努力吧能不能做Mint Journey那个事可能花一些精力花一些钱花一些data是能做到的但是足够小以至于可能咱们来就不是很会在那层门花时间了看不上对我觉得那可能也是一种活下去的方式所以哪怕是Criset今天也没有逃逸出模型的收掌性有谁成功逃逸了吗没证明我觉得大的就我目前还没看到小的可能没证明这个例子当然肯定有别的例子只是我还没看到小的我觉得会有利子Elafat算吗我觉得他们有机会他们有机会对反正就不能做那种通用的场景我觉得就是我觉得这是Founder自己要决定的一件事就是 [20:00] 你要不要抱着万分之一的生存几率去赌一票大的还是抱着百分之一的生存几率去先吃另一个小的事情如果是你你会怎么选如果是我我内心肯定是想吃一票大的但是我真诚的想是我觉得第一步是不能一步登天所以如果是我我会选择去吃一个先吃一个小的但是我会选择一个有想象空间的小的你说OpenR为什么要收OpenCloudMeta为什么要收minusGoogle为什么谁也不收Google也收了Google买了Winsurf的人OK WinsurfOK我不理解什么叫你不理解说实话就是我不理解我觉得我觉得Meta买minus这个事我觉得对他们来说最大的用处如果抛掉花了多少钱之外最大的用处是获得了一批很好的在亚洲的产品团队在亚洲说明什么因为我觉得一方面就是显然大家都知道中国的AI人才出贵还是很丰富的虽然可能目前从技术上纯技术上来说中国的AI还没有真的追上美国但是显然中国是有很多好的人的不管是从纯技术上还是从产品上我觉得可能中国的本质上人才是比美国要更好的对所以对他来说我觉得Mindos成为了他在新加坡的一个锚点就他可以从那里吸引一些比如说从中国的或者是新加坡或者东亚的人才然后我其实没有特别看明白这个产品本身对Meta来说有多重要或者换句话说就是为什么Meta不能自己干这个产品但是不管是Mindos还是OpenCloud它事实上就是诞生于外面的团队为什么不是硅谷的这一帮研究员做出来的呢你有没有反思过这个问题对我觉得对我来说这样这个问题其实我觉得一个公司一旦变大了之后它的负担也变大就说我可能作为一个研究员然后我们可以做些看起来很有趣很有特点的产品但是我一旦把这个产品去公开给公众那要负责的事情是非常多的第一你这个产品不可能说一上线然后告诉所有用户你得再去买一台电脑干这个事否则他就有可能会获得你电脑上所有的权限然后把系统搞崩这就作为一个大公司来说Google是不可能提供这样的产品出去的对吧然后所以你产品要花很多时间打磨然后你要确认法律上它没有一些风险然后用户上又不会损坏自己的品牌然后你如果把它送出去了你可能还要给它比较固定的一些资源去serve这个模型或者serve这条产品的线所以对大公司来说我觉得还是有挺多负担但是对于个人来说无所谓我反正是一个开源的项目我代码垃圾又如何你帮我来一起写吧对吧但是我觉得不管是minus还是opencloud它其实指了一个方向可能这也是2026年的某种叙事的可能性你对2026年怎么样思考和预期的我觉得其实有太多的可能性然后对我来说从模型能力上来说我觉得模型就是我有时候特别爱说这个口号我觉得模型做到trim with finite contextuse as infinite context换句话说就是你用有限的context length去训练它但是可以在使用的时候用非常非常长甚至接近于无限的context lens我觉得这件事今年是有机会能够实现的然后这件事情实现之后我觉得会解锁很多新的应用也会因为举一个最简单的例子就是你有可能可以让这个模型跟你持续的交互然后持续的获得你的信息然后它在运行的过程中会持续的根据当前的场景和你的绘画可能把那些他觉得不重要的信息扔掉然后就成了大家梦想中的个人助手对我觉得从技术上来说我觉得这件事是会今年是无论如何是会实现但是当然我觉得现在大家没有达成共识的是技术上怎么去实现这个事显然是有很多技术路线但是现在我觉得更多是属于在尝试哪条路 [25:00] 能够跑通的同时可能有好几条路线都能跑通那我们到时候就要去实验上去测在用户常用的使用场景下哪条路线的效率是最高的对我觉得现在更多处于这个阶段而不是说大家没有想法的结果就大家有想法但是要确定哪个想法是最后的想法站在这个2026年的Q1作为一个一线的研究员你觉得模型的进步速度在放缓吗我觉得完全没有完全没有我觉得完全没有它的速度曲线对比25年24年的变化是什么这个很难量化的说因为就是你得给一个标准我才能量化的告诉你因为如果你给的标准是比如说我就看在某一个Bunch Park上比如说随便Bunch上它每一个月涨多少个点那这个事是肯定会变慢的因为根据定义这个Bunch Park最高就到Bunch 100所以你越接近的肯定是越跑越慢但是这可能并不代表用户体验这个模型的能力增长变慢因为可能从50%到60%他可能感觉好了一点但很有可能比如说从70%到75%他反而好比50%到60%那个还多这是完全有可能如果是80%到90%90%到100%这个感受会更显著那也不一定因为可能过了可能到80%到90%用户就发现没有任何区别甚至还变差了你说完全没有变慢你是基于什么标准我觉得是基于我个人作为一个研究员的感觉就是我觉得我个人得到的感受是这个模型学东西的能力越来越强以前可能让模型学会干一件事情需要动很多脑筋但现在可能不需要动那么多脑筋了最重要的事你是要把这个问题定清楚然后想清楚怎么去构建合适的数据但是数据现在数据就更宽泛只像环境之类也都在包括在内了然后剩下的事情好像很多时候是是顺其自然的了对学习能力变强是为什么模型的学习能力变强我觉得可能一方面原因可能有很多分但我觉得可能一方面也是因为预训训练其实在过去的几个月里我觉得还是越来越强了预训练对模型的预训练其实在过去几个月里还是变强了我觉得这个可能是一个从某种意义上来说比较有争议的事因为几个月以前我觉得很多人已经在讨论预信恋的scaling law是不是已经到头了我的体验是没有而且我的感觉是在未来的四个月也没有看到到头的迹象对觉得到头是为什么呢我觉得我显然不知道大家觉得到头的原因是什么因为我自己没解的到头但是我觉得我的猜测是一个人觉得一个规律到头了无非以下两种情况一个情况是他觉得这个规律的适用范围到头了就可能从根本以上讲Skin Law就是没有办法无穷延展下去的维持有可能是对的但是这是一种猜测就是这个人可能觉得这个规律适用范围到头了另一种可能是这个人觉得这个规律其中的有一个条件不能满足了比如说他觉得数据就已经撞上墙了那我完全没有办法沿纳下去了这是另外一种可能性但其实还有第三种可能性其他可能性就是其实他这个工作哪里有一个bug他自己没发现所以他觉得到头了我觉得从我的观点从我的观感上来说我觉得可能绝大多数撞到墙的人是因为第三种是有bug是哪种bug我觉得bug是有很多种可能性的比如说一种可能性是你SkinLaw做的时候一些科学的假设没有做对就是说你选什么样的Token Horizon就是每一个大小的模型选什么样的这个期待的训练的数据量然后怎么这个数据量这个数据是从哪里选然后有可能这些比较科学的选择没有选清楚是一种可能性但我觉得还有一种可能性就是纯粹有个bug这个其实在业界我觉得也不惊奇很多时候修好一个bug带来的进展是远大于一些很神奇的技巧的然后大家还有另外的情况我就刚才给了这两种例子反正是我见到过比较多的情况那你们的bug怎么办你们怎么解决bug问题的 [30:00] 我觉得我感觉这更像是一个信念的问题因为当你遇到一个bug你觉得它不能解除你就会说这个到头了当你遇到一个bug我觉得这个肯定可以解决那你就觉得这还没有到头因为肯定每个人都要遇到bug对我觉得我觉得这可能就像你说的就其中有一些比较信念性的东西但对我来说更重要的一件事是做事系统就是你当你一个事情和你预测的不一样的时候你能不能系统性的排除各种可能性这个我觉得是一个很重要的事这个是我觉得咱们来和安徒贝做的比较好的事就是尤其在预测上就是说当某一个尺度上的行为可能和你想象中不一样的时候大家能够去设计合理的我们所谓的ablation实验合理的这种实验能够看出来测你的一些想象中的可能的因素是不是真的因素我觉得这个这个做问题的系统性才是才是关键你觉得模型能力还能提高那它的驱动力数据算力算法你觉得它的驱动力主要来源于哪个我觉得其实都有但是从某种意义上来说数据和算力两个事其实是很强关联的一件事数据和算力对因为你算力上去了自然就会吸到更多的数据对数据上去了你就自然吸到更多的算力对然后算法上来说我觉得算法作用往往是有一个相变的就是算法有一个阶段是你完全没有搞清楚该怎么做那个阶段就算法会非常非常关键因为你没有完全没有搞清楚怎么做的时候你可能就完全没有办法skill up然后可能就卡在那了但是在某一个点你可能发现了算法当中最重要的一件事它可能一下就变成了从完全不能做变成能做然后之后算法的提升更多的是一种比较平滑的提升就是它可能从模式上提高了你计算效率或者使用数据的效率对然后我觉得就举例吧就比如说从语言模型的预浅人来说那可能这个算法上的这个跳的过程就是发现就是发展出transformer这个事情但transformer发现之后更多的多的都是慢慢平滑的让它的效率或者你使用对达或者使用算力的效率变得越来越高了所以现在的驱动力是算力和数据我觉得在现在比较清晰的框架里面主要的驱动力是算力和数据清晰框架是指比如说预议训练和后训练不管是基于乔和学的后训练还是基于supervised learning就是监督学习的后选在这两个就是比较清晰的这种这种paradigm下确实算力和数据是主要的驱动力但是不可否认可能有别的方向可能驱动力失算你什么意思举个简单的例子比如说多么太生成那个我觉得可能就是一个算法上来说没有太想清楚的事对所以那个还是一个科学问题还没有解决对但是语言已经不是科学问题了自然语言的生成我觉得目前这条技术方案撞到头之前我觉得在科学上是比较清楚但是工程上还有很多要做的事你觉得预训练还能提高多少通过预训练提升模型能力还有多少多长路可以走可以预期到人就是这样就是当你没有撞到头的时候你其实不知道这个路有多长我能我能看到的就是现在还没撞到头但我也不知道哪天会撞到头如果真的让我去估计一个时间线的话就像刚才说我觉得四个月接下来四个月还是会继续有进展但是AI这个方向没有人能预测四个月之后的事所以过去几个月你在看预训练和模型能力的时候你还是很兴奋的这是你周围的普遍的心态和状态吗我觉得是的这是在Google一个小环境里面还是说在整个硅谷的环境里我觉得很难说在整个硅谷因为硅谷是个太大的地方可能做产品人对产品很兴奋做产品来说对他们最兴奋的是可能有分口但是对做模型的人来说可能就是我们会对这种模型的进展更兴奋一些对 我觉得在对于做模型的人来说兴奋是一个共识吗在过去四个月我个人认为是的至少在我能接触到的范围内我觉得在Azorware和Google大家大家可能想的更多的是我们AI会不断的进展下去很快我们进展 [35:00] 被替代掉替代掉之后我们该干点啥而不是模型撞到头了该怎么办说到这个问题为什么在过去几个月coding的发展速度是最快的为什么是这个场景我觉得coding这个场景首先coding这个事只是过去几个月发展最快我觉得coding这个事其实从cloud的3.5new外界有人管那个Coloc 3.6从那个之后一直都处于高速发展的状态然后我觉得那个是去年初还是前年底那个是前年的10月份前年10月份应该是有可能10月份或者11月份大概差不多那时候从那个之后我觉得一直都处于高速发展的状态我觉得Coding这个场景有两个最大的优势第一个优势就是它的回馈的信号是很好定义的比如说像Software Engineer这种Task有时候经常情况就是我需要写一个Code实现一个Feature一个特征这个特征需要的是某些输入会得到某些输出这就是一个很容易能够很容易能够测试的事情所以它的回馈信号非常清晰你输入和这个输出能够对那就说明你的实现是成功的不对那就说明不成功但这只是一个例子就是在这种和写code相关里面有很多很多会能这样良好定义的回馈信号然后另一个比较大的优势是coding的数据有一个非常天然的基础这个基础就是getupgetup上汇聚了过去几十年很多优质的程序员所写下的代码然后从那些代码出发是可以构建出非常多环境我觉得这两件事从模型的角度上来说是为什么coding可以做得很好当然我觉得从产品上来说还有另外一方面的原因就是coding这个产品的使用需求其实是从某种意义上说是比较单一的它不像你去做一个像社交软件或者游戏可能每一个人都有不一样的品位然后你可能很难就是能够满足每一个人的需求那可能就是需要推荐算法但是Coding这个事好的事情在于优秀的程序员写代码其实风格是比较类似的什么风格简洁单净对就是好的代码是不脏是有一些共同的标准的比如说像你说的就是这个代码简洁结构清楚视于未来的开发然后有合理的抽象当然还有别的很多标准但是我觉得好的程序员往往是有比较共识标准的对这件事所以这件事从产品上来说其实让coding这个产品变得更简单了那你现在的工作百分之多少会用cloud code写代码它能帮你提高工作多少倍你问了一个我差点会被开除的东西我google不能用cloud code对就是我觉得对我来说一个保守的估计可能90%的code是模型产生的但是可能就是我需要花很多时间去去看这个code是不是写的合适写的合理是不是真的是我想让它写的然后我觉得有了AI辅助工具之后可能写code这个事最重要的地方变成了你怎么去设计你怎么去设计你这个code的逻辑然后它需要和哪个文件相关联然后需要做哪些事情然后你需要给这个模型可能给一些合理的context比如说这个code你可以做一个reference去看真正去输出code我觉得模型比人的能力强太多所以说对我来说你要实际去数有多少code是我自己手写的有多少行扣的是模型写的我觉得保守估计模型写的超过90%不保守的可能就是99或者100剩下10%是他不能写还是为什么你没有让他写保守估计90%给我自己点面子我觉得他不能写而我能写的部分已经 [40:00] 越来越少过去可能是什么样的是他不能写的我觉得很早的时候可能在一年半以前那个时候市面上其实说白了只有Cloud一家能够真的写这种软件工程那个时候模型还是还是能体会到很多缺陷比如说他有时候可能写code就只关注这一个文件他就不会很关注那种多个多个多个文件之间的关联然后如果一个比如说一个class它的定义其实藏在很多层里头或者说它其实没有直接被套在这个直接的树里面可能这个模型就找不着现在我觉得这个事已经越来越少了真的越来越少了作为一个researcher你的写程序的工作量能够是过去多少倍因为从写扣的角度来说是比较能难量化这个事 但是如果说从比如说我呃做实验 然后实现一些idea的效率的上来说 我觉得可能比起一年甚至一年半以前可能都是20甚至50倍的这种加速 对 因在模型真的变得就是可以很离谱就是你可以同时开好几个然后你好几个idea同时的去去试甚至有些时候这个模型可以帮你监控一些实验监控一些结果之类的所以说还是真的是一个挺大的效率提升对但是如果从个人工作时间上来说我觉得它好像让我工作时间变更长了这是为什么就是因为开发的速度变快了之后就越试越想试有越来越多的想法要去试所以说感觉以前你可能存在说你有一个东西比如这个文件以前没见过你可能自己看你搞得不是很明白你要去花时间去找那个人让你一约那个人可能就几个小时之后但现在就不是你就看到这个文件你不懂拿去问一下Cloud或者詹曼詹曼可能五秒钟就告诉你结果你就接着干了所以说从工作时间上来说我觉得好像工作时间反而变长了而且工作的密度也变高了Google已经不是那个Google了什么不是那个可以养老的Google不是那个Work-Life-Balance的Google我感觉在战艾艾这个领域没有谁可以养老所以你现在早几晚几我一般可能早上九点钟开始然后晚上到公司吗九点我就早上九点钟回起来可能先起来看一下邮件然后看一看我前天晚上十点然后到公司可能一般十点左右然后晚上如果我一个人在美国的时候我可能就会待到可能十点十一点这样然后当然我如果我家人在我老婆在的话我可能就会早一点回家但是在家反正也是干所以我觉得战云爱这个领域没有谁是在躺着的除非就是你已经完全对技术没有兴趣了对自己没有追求了那你躺着其实也没有人管你但是我觉得大家还是比较self追问就是还是自己想干你觉得其他的领域会出现更多的这样的cloud code的时刻吗coding之后会在哪里爆发你问了一个好问题我要是看清楚了我可能已经出去创业了对但是确实就是除了coding之外我们已经能看到就是对很多别的方向已经产生大的影响但只是说那些方向可能并不是一个好的这种市场上的方向比如说好多现在的做基础科学的研究就是做数学做理论物理好多人其实已经就大量的开始使用AI工具因为过去你可能像我们做AI研究其实很像就是说你可能想到一个想法你想跑一个数值学物理的人又不是很会写课的光学明白怎么打开这个编译器把code跑起来可能半天已经过去了现在就没有这个烦恼了就是你现在想试五分钟之后code写完了你就可以开始试了对然后甚至像Jermyn DeepThink发布之后有很多基础科学的研究人员就把这种比如说数学推导数学证明然后甚至就是去看这些不同的这种文章然后归纳这些事全都交给模型所以说已经我觉得对除了coding之外的方向产生了影响当然那些基础研究可能很难变成一个万众瞩目的事情除非你就真的发现了一个以前人都没发现了很妙的理论比如AI产生了I3理论这样级别的东西那可能会变成万众瞩目但是那个时刻可能会变成万众瞩目 [45:00] 还没到完但是影响是已经在产生了AI好神奇他为什么首先上来做的都是人类觉得最难的那部分工作我觉得这是一个特别好的问题我觉得过去的在我人生的阶段里大家往往会觉得最支理上有挑战的工作反而是那些比较理性的事情比较客观的事情比如说数学比如说写代码比如说做AI研究还有科学研究对就是越是这些事其实AI越容易做好因为你一旦想清楚这个事怎么去评价你就知道怎么训练人为什么比较难呢你看人都是智力分配最高的那五人做这些工作对但是可能未来就不是这样了未来会怎么样我觉得未来未来其实会发生了一个改变就是那些AI就是有很多AI其实没有那么容易做但是反而是人可能做比较好的比如说做产品经理我说实话觉得做一个好的产品经理是一个我现在想不明白该怎么训练AI去做的事这是为什么没有标准没有标准就是没有刻度什么叫做一个好的产品我其实想不太明白没有一个很可玩的标准你一定是做出来之后给人用了你才知道他好大家才会说他好我觉得那个就是一个回馈信号很不明确的事那个我就不知道该怎么去训练AI做对程序员什么时候会被彻底取代吗会有这一天吗我觉得这一天会来但是它不会是一瞬间的来就不会是程序员都还在过了一个晚上第二天程序员全被开除了不会是这样的它一定会是一个见面的过程但是大家现在已经看到这个见面的过程因为有些公司已经开始裁员了对我觉得从某种意义上来说AI是一个从某种意义上来说它当然是一个很好的东西但从某种意义上来说它可能也是一个很不幸的事就是AI是一个很centralized technology它会让少部分人变得更强但会让大部分人失去他们的他们的独特价值对所以说我觉得对于传统的软件工程来说最后变成结果可能就是现在千分之一的人干了过去所有人的工作拿着现在一百倍的工资那你对程序有什么建议我觉得我觉得可能接收新事物我觉得很重要我觉得未来程序员可能很重要一件事是怎么和AI去有效的协作比如说有很多事情是AI可能做的不是那么好的事比如说怎么去合理的设计一个事情的实现方案然后怎么样设计让他可能跟这个公司未来的发展比较契合这些东西可能你很难去告诉一个模型让他理解这些事这些事可能还需要人去做但是可能像具体的很具体的就是像过去很多程序员做的工作又是你的精力告诉你实现这个方案下周五直接给我因为这样工作未来可能就不会再存在了千分之一的程序员或者什么样的程序员他们的特质是什么首先千分之一是个叙述我真的不要会是千分之一还是万分之一还是十万分之一也可能是百分之一你不要那么悲观我是一个著名的悲观主义者所以说也不要太内什么对然后我觉得我觉得未来好的程序员首先他肯定是从技术上来说他一定会非常强因为如果你技术上弱那没有什么道理也还不能取代你但技术墙可能不会是唯一就不会是一个必要条件它可能是一个充分条件另一个事情我觉得会很重要就是你得能够理解你的这部分工作在一个大的组织或者一个大的公司里该去怎么适配进去这件事情可能也是一个重要然后当然还有可能别的很多事情比如说这个人的规划能力是不是足够墙他规划能力强的话他可能可以同时把这个大的一个很复杂的事情拆解成很多相对较小的事情然后交给不同的AI去做但是现在看这三种意义是重要的可能AI还不能完全做不代表六个月之后不能可能六个月之后你过来问我我发现最后一个事AI已经能干了那就只剩两个事再过六个月看 [50:00] 剩下两个也能干了那可能我就我的回答就会变得更悲观所以说没有人能预计六月之后发生什么我只能说从现在的观点来说刚过去的那个春节很多人关注另外一件事情是CdanceCdance会让Google焦虑吗我觉得其实有可能有但是这个焦虑的情绪目前还没有传导到我这可能让Google Demand负责多么泰生成的会有一些压力但是我如果你要问我的话我觉得我可能不觉得他们有什么可焦虑的就是我觉得并没有体现出什么范式上的改变更多的是我觉得自己在不管是这个产品的效果还是可能在数据上之类的这些细节会做的非常好我觉得确实是自己过去在多么泰生成一直以来都有比较强的优势但是我觉得至少我个人没有体会到它是一个一个范势上的变化那可能就不足以说让大家非常的焦虑吧对但是肯定是有压力对C-Dance它的产品能力来自于模型能力还是产品能力我没在自己也干过所以我也不知道具体的细节但是你要让我猜我觉得可能模型还是占打头的模型能力的好来自于什么来自于数因为算法可能没有本质创新我觉得算法首先就是因为刚才多摩泰属于咱们说的就是科学问题多摩泰的生成属于科学问题东方才生成还属于一个比较科学的问题东方才理解解决了吗比生成肯定是要更系统有更系统的理解但是比起Tax2K来说肯定还是没有那么的泛式还没有那么固定对我觉得生成上可能就是因为它是一个还没有泛式还没有固定的事可能每家用的技术都会有一些大的或者小的区别然后现在更多的只是能看到说效果上来说可能字节和Google B-Mind属于在效果上来说做的比较好所以它可能也是来自于细节做的更好对你如果要让我猜我会猜数据数据你要让我猜我会猜数据但是我没在自己的干过所以也是我硬猜的你怎么看从Google去自己的吴永辉我喝的很能评价有会我觉得我觉得我当过去没有和永辉一起工作过所以我其实真的不是很能给什么很好的评价很客观的评价就是说但是我觉得我去了詹姆奶之后看到的更多的是勇回好的一面就是我觉得它是我通过去看他偷偷去看他以前教过的代码以及他带过的项目我的感觉是它是我见到的少数层级非常高然后人也很senior但是还有很强的技术能力我觉得是非常非常少见所以我觉得我觉得我可能是还没到能够评价勇晖的水平但是要让问我说的话我觉得勇晖是非常强的你说站在2026年的QE的拍一张快照你觉得中美的模型能力差距是在放大还是所小差多远我觉得如果现在放一张快照去看过去一年的发展趋势或者过去一年半的发展趋势显然中美之间的gap是越来越小但是最后这个gap会不会完全弥合甚至中国超过去那我觉得是一个不清楚的问题我觉得对中国的AI的研究机构来说也是一个机会然后我觉得一个很真实的事就是中国确实在实际的算力资源上来说是占很大劣势但是这个很大的劣势可能反而逼出了一些有趣的事比如说中国的模型公司其实对Distolation就征留别人很在行最近Darri不是点名了三家公司征留他对我觉得其实可能是一个蒸馏这个事存在是一个一个心照不宣的事实但是我觉得蒸馏它也有不同的方式就是也有应征和和聪明的征两种不一样的选择嗯应征 [55:00] 应征应征就是觉得最简单的意思就是我从Cloud里面取出一堆他生成的token然后强行在上面做训练如果干这样的事我就觉得首先商业上也不是很道德然后治理上来说也比较愚蠢因为干这个事的公司其实本质上来说他体现出来的一件事就是他其实都不知道自己想干嘛他能干的唯一一件事就是抄别人然后让自己的模型数据上能看好看一点但本质上就说明他自己都不知道该干嘛这是印证但是其实张伯伯也有一些很有趣的科学问题就是比如说我是不是有种可能就随便举个例子就是有没有可能是我生成我自己生成数据的这个链桥当中用到了别的模型作为辅助或者说我自己模型生产的答案用别的模型作为它的评价者这个其实是一个我觉得商业上来说比较灰色的地带但是从技术上来说其实很有意思因为你想其实从某种意义上来说可能中国的实验室成为了做multi agent训练的先驱而且是真正的multi agent因为他如果从不同家的模型里用这种比较聪明的方案把它们融汇到一个训练系统里的话每家模型他可能是分布很不一样他的语言的分布很不一样这个是真正的毛铁针的他可能比起比如说我用好几个詹姆奶一块做是一个技术上更有趣的事所以说我觉得对我来说聪明的证我不知道这个商业上最后会不会变成一个很明确错或者很明确对的事但是技术上其实很有意思你这两种证分别说的是谁能不能后期把名字逼掉我首先没有在中国的lab干过所以我不知道确切的事实但是我的感觉就是应该是应征了然后可能曾经应征过但是后来可能慢慢也在努力向软针的方向转化我觉得比较明显可能蒸留比较少的是自己我觉得自己也是我感觉到这个模型还是比较有特点特点体现在哪里比如说这个模型你说它有多聪明我觉得豆包是肯定没有Gemini和Cloud聪明的但是豆包首先比如说豆包的语音生成非常非常强这个很难吗在技术上确实豆包是做的最好的因为我发现我生活上的问题我只想问豆包用它很快但其他模型为什么不优化这个产品功能呢我觉得还是跟它的用户群体有关系在美国我觉得大家的这个想法更专注于怎么能够提高工作效率你生活没有一些困惑吗我生活中有首先我个人确实是一个生活上比较无聊的人所以我生活中没有很多有趣的困惑可以去问豆包我生活中更多困惑都是技术上的困惑问詹文来这种聪明的模型就是最好的对我没有什么半夜去打豆包情感电台的需求不只是情感就是很多比如说你做饭你可能会遇到一个什么问题你可能及时需要一个需要有人告诉你但是你有没有不知道没有这样的人那些我觉得可能更多是数据上的问题然后可能更多只是说美国的公司现在主要的主要的优先级是在智能或者工作效率上未来有天会不会变成这些日常的事情我觉得是有可能的事实情况是你如果去问这种日常话题其实你能发现JAMNA每代一代到另外一代会做的也越来越好所以说我身边很多朋友包括我自己以前也是就是我以前在哪套路的时候可能写扣子会去问Cloud但我可能日常查个什么东西我就会去问JAMNA对你用过豆包没有我其实只用过一两次我发现你们都不怎么用是不是有鄙视链有智力的鄙视链没有不至于我觉得首先就是就跟在中国的人试图用美国的模型会有一些复杂的事一样我在美国用中国的模型其实也是挺复杂的第二就是确实也没这个动机尤其我觉得我可能生活 [60:00] 工作是工作休闲的时候就是找不一样的工作其实对我来说我的最好伙伴就是Cloud和专门奶但是可能对别人来说并不是这样所以可能也只是我个人的问题我自己用豆包的那一两次是因为有人给我展示豆包手机那你怎么看豆包手机我觉得是一个很好的想法我个人觉得效果上来说其实做的也不错当然我不知道的是技术上来说它的优化做的有多好就是说我觉得它实现一些任务的实施从效果上来说是没什么问题但我不知道它会有多大消耗如果这个消耗非常大那可能是一个技术上需要解决的问题因为你并不希望什么让你的模型去给你订了一张高铁票结果花的钱比高铁票还贵这个肯定是一个不可以接受的事对所以说可能技术上来说我个人不清楚它有多成熟然后我觉得产品上来说对大家来说还是一个挺不能说惊讶但是让大家觉得挺兴奋的事然后我觉得可能苹果以前也想干这样的事其实苹果可能自家的模型一直不太行苹果好像不是在意它的AI战略现在我觉得苹果一定是在意AI战略了因为曾经Siri手机助手是苹果发布会里一个非常重要的闪光点但是自己的模型没赶上趟现在可能要通过和咱们来合作来试图做这样的事至于现在他是不是重视首先我也不知道你要让我猜我肯定觉得是重视但你要让我解释他为什么从外界来看没那么重视我的唯一猜测就是如果你外界来看就显得很重视还做不成那就显得很蠢晚尊对我们说一下你刚刚说豆包模型比较有特色你们具体一点李克什在语音做得很好这是第一点我觉得语音做得很好是我能感觉到最有特色的事我觉得语音这个效果可能是客气的说可能是全世界最好的之一不客气的说我觉得就是全世界最好的这很难吗我自己没做到那个地步过所以我也不知道是不是难但是我觉得可能是一个很费功夫的事不管从数据上还是各种优化上来说是个产品的事还是个模型的事它一定会是模型的事它有可能也包含一些产品的部分但一定是一个模型的事对然后我觉得这是一方面然后另一方面另一方面我自己感受就不多了因为我其实用的机会没那么多那可能就是更多的是来自于就是亲朋好友的反馈也就是说这个多巴旅模型就是fun to talk就是聊起来很有气但我觉得那个那个更多的是一些主观的反馈我觉得它的那个一个是语音然后一个是它生成的很快也是一个很重要的因为我很多模型它都在给你展示思维链但是我就说那种生活上的琐事我不想看它的思维链对这个是我觉得技术上并不难只是可能大家目前还没有花更多时间在这上面然后事实情况是如果你去尝试Gamai 3.1和Gamai 3的话你会发现Gamai 3.1在完成同样一个问题的时候已经会比以前快很多然后废话少很多了所以说我觉得这个不是一个在我看来不是一个技术上的难点它更多只是什么时候去重视去做这个事我觉得可能就是现在现在美国的这几家还都处于在努力把智能的上限往前不断推进而自己呢当然它也肯定是在推进上限的但是我觉得它可能就是在用户的用化上也做得很不错最近还有一个话题就是中国的机器人红货在春晚上我不知道你对这个有没有什么观察看过一些表演也在亚马逊上搜过一些价格确实很惊讶它居然这么便宜买了吗没卖我买了也没什么用但是确实我以前会我不知道我以前脑海里觉得这种人型机器人然后当然就是软件层面其实没什么但主要是硬件我觉得硬件上做的这么成熟可能怎么也得是个什么大几百万美金这样的那就好像我去看了一下价格比这要便宜很多我觉得这还是体现出中国在硬件这个产业链上还是很有优势但是我并不知道它作为一个它作为一个机器的硬件来说我觉得确实是非常非常强然后从软件上来说 [65:00] 没太看明白我觉得机器人的模型也是一个目前非共识比较大的事情对怎么说就是说他我觉得机器人的模型可能更多的处于Future Engineering的时代就是你让你有一个给定的环境给定的场景你去优化这个场景大家是知道怎么做的但是做RL嘛做强化学习做强化学习构建合适的虚拟环境还是虚拟的这种数据然后你去做训练是可以提高的但是它没有很强的泛化性我觉得这个是就是有没有泛化性其实是很多AI方向它的一个分水里就是一个确定的场景一个很单一的场景能不能做好这个事不是最近这几年才解决的十几年前就能干就是像语言也是语言在基于Transformer这种类似架构之前的时代里并不是说完全做不了那时候你也可以训练很强的模型去做翻译你可以训练也很强的模型去做语义分析但是你不能做的事是我可以水平的提高所有能力这个我觉得是一个分水然后我觉得LanguageMall在Transformer和GPT之后跨入了那样一个阶段跨入了一个就是可以水平的提高所有能力然后你可能在一个点上来训练他会把这样能力抽象的放话到所有相关的事情上但是机器人我觉得没到那个阶段更多的还是在那个阶段之前就是我有一个单一的场景单一的的事情然后我能够为这个事情去做的优化所以你怎么看硅谷的这些机器人团队还包括詹米的内部也有很多机器人的人你会怎么看那个方向有点这算什么这是你们的子方向还是你们的平行方向还是什么我觉得过去是一个挺平行的方向但是现在机器人我觉得大家也在尝试就是能不能利用语言模型作为一个基底模型然后在上面去训练这种类似比如像VLA这种类似的特别是东文汉模型对对对然后所以现在来说就是和变成了和语言模型这个这条线比较相关的一条线然后我觉得我个人的感觉是他们未来会变得很重要但是目前还没有找到自己的路但是他们做的事真的很有意思我非常推荐大家去看看机器人的实验室比做语言模型的实验室要有趣的多做语言模型的实验室感觉就是正常的办公室但机器人他们是真的就是会有人去操控这个机器人采集各种数据然后去看这个机器人在什么在货架里取不完样的货品之类的干什么事情这就是很有意思的一件事你去的是哪家我在Jama自己的实验室不是Jama就是Google D-Mine自己的实验室去看过然后还有Dana我一起看过他们是一个叠衣服的机器人对他们就是可能场景更单一一点就是我叠衣服是一个机器人可能做一些别的探索就比如说倒个水之类的你直观感觉机器人进展相当于大原模型的一年还没有到GPTE的时刻一定没到我觉得一定是没到对就是相当于大家还没有没有想明白怎么去scale up我觉得对我来说不管机器人还是东文太生成都没到这个点那接下来进入今天的主题我们还是对你非常的感兴趣然后聊一聊你是怎么从一个学物理的人进入AI的世界的你从小在哪长大你是怎么长大的我出生在宁夏然后一个很小很小的城市叫大沃口看就是你这困惑的表情你说明了这个城市有多小这个城市过去的存在是因为一个煤矿因为石碳景一个煤矿然后有了这样一个城市对所以我在那出生但是我小学的时候跟我父母一块去了上海然后所以我小学的后半段和初中高中是在上海然后我上本科就去了北京就是刚才所说的那些就是本科在北京然后博士在美国对你从小就成绩很好是吗你是物理竞赛保送然后在清华和斯坦福读的是理论物理对我不是物理竞赛保送的我觉得我小时候挺菜的首先我读的初中和小学都是无名之辈我觉得我当时读的初中好像就是竞赛 [70:00] 不是一个你该考虑的事就处于这样一种这么一个初中理那个叫上南中学东校又是一个大家听了很困惑一脸一头雾水的学校现在都说到这里那小学是哪个小学小学叫啥来着我的contact management能力太强了我已经不记得叫什么了其实对然后对就是那个初中就是一个班里面一个小的环境是还是有一些想要好好干事的同学的但是总体来说那个初中我觉得是比较躺平的状态对然后我觉得就是可能还学习还可以还可以还可以就是当时的状态就是上海高中有所谓的那时候有所谓的四校就是我们上海中学然后华尔交大和负担的附属中学对然后当时的状态就是能上这四个学校但上不了这个四个学校里最好的班但是我当时特别想搞竞赛因为以前都没搞过竞赛你初中开始搞竞赛我初中没搞我初中没搞过竞赛你没搞过竞赛为什么想搞竞赛因为没搞过所以想搞怎么植入了这概念我这个人的个性就是总是爱干一些自己不太会的事对然后当时没搞过竞赛但是知道有这么回事所以觉得一步教育不是一步教育就是上大学之前得干一把所以但是呢那个成绩也没好到那个份上所以去四校就是最好那四个学校是进不了搞竞赛那个班的我当时就发现有一个稍微差点的学校那个学校就是格志中学稍微差点的学校但是那个学校有一个竞赛班然后我感觉这个竞赛班按照现在的话说就是underdog厉害用当时的话说我感觉就是光脚的不怕穿鞋的我觉得可以一搞所以就其实当时那个那时候就是那时候上海还有这所谓的退优生的制度就是你可以在考试前就去和某一学校签约然后你就提前向郁登宇学校的名额然后就直接去他们那然后就很自然去了然后去搞了竞赛搞中对然后所以你其实是在上海四校的普通班里面和这个格志中学的竞赛班里面义无反顾的选了格志中学的竞赛班当然我也不能我不能说我做选择的时候这个上最好的四个高中是那么百上定届的事虽然后来的分确实够了但是还没有中考但是当时就觉得就算能上我也应该去一个underdog的地方赌一把为什么因为想干这个事你想干竞赛的目的是什么我觉得当时最主要的事是想体验我觉得没干过一定要找机会干一下为什么一定要干一下这个第一就是觉得它确实难就是确实比就有一种对男的兴奋感对确实至少当时没搞的时候大家给我的印象就是感觉这个事比你不搞竞赛学的那些东西要有挑战性的多了我觉得干这个事确实巧包括干你也就只是平庸石头里最光滑的那一个所以我当时觉得要干所以就去干了当然干了之后也实际上带来一些好处我后来回想起来如果当时没去搞竞赛可能就进不了清华了你是有加分还是什么当时其实竞赛的保送生制度已经比较锐减了就只有进国家集训队才能保送我那高中反正我觉得我当时没进国家集训队这个水平的所以就别说了但是呢就是我在考高三竞赛之前阴差阳错的去清华参见二的一个夏令营然后阴差阳错的在夏令营的最后一天听说了他们在搞自五招生但是主要是面向北京的学生我就疯狂给招生班的老师发短信说我要跟他们一块考他答应了然后他就答应了我们去考你们还是你就是答应了我们高中一块去的那几个人去考就上海上海去那个夏令营的那几个高中同学去考你有什么理由说服他你跟他发短信我已经忘了一个短信具体怎么说了但这个短信大概说的意思就是你给北京的同学考为什么不给上海的考你当时觉得他们开后门是吗我也不是觉得他们开后门就是觉得人家有这个机会凭什么不给我们大家都在一条线上竞争就是你们当时同学然后所以就发了这个信息然后人家就真让我们去考了几个人 [75:00] 我记得在新闻可能有上海去那个考场里可能有七八个人的样子是你发的那个短信可能别的高中也有别的学位但我们高中是我发的哦就是都是上海高中去北京参加那个夏林营的同学参加夏林营的同学对然后就让我们去考然后就签了这么好说话对所以我从那件事比较到的人生最重要的道理就是胆子要大你不争取是永远得不到的争取了也有可能得不到但不争取就绝对得不到你当时发那个短信的时候忐忑吗你当时还高中我已经不记得了当然觉得自己这是个很大胆的事吗还是还好我当时满脑想的都是现在就得争取再不争取明天就争取不到就当天就发了就是我在听说的那天就赶紧去疯狂发短信疯狂发给谁发发给清华赵生曼的老师就发给了一个人还是多个人不记得了应该是一个老师他很快回了吗我觉得清华就说yes了我不知道他们自己有没有讨论了但是反正最后就说了是同意那就一起考试了所以我为什么我感觉我一直对新华还是挺有感情的我感觉这个学校是愿意给大家提供机会给大家提供评论的机会对那个考试考怎么样我当时出来的时候觉得考挺崩的因为有半道题没做出来但是我后来发现别人没做出来更多就果然就着了对你们那一波上海同学见了几个好像两个自主招生是减分还是什么是降到一本线降到一本线然后你高考考好吗后来高考果然没考到清华的分但是就是除了清北之外的学校都能上所以为什么网上都写你是保送的我觉得就是大家不在那个没在那几年上过学的人很难理解清楚那几年到底发生了什么因为在我的两届之前还是拿了省一等奖就能保送的拿了省一等奖就能保送就能保送的你们那时候呢我们那时候就是拿了省一等奖进了省队然后再代表省队去考国家的比赛然后进了国家集训队才能保送我是进了省队去考了国家比赛但我没考进国家集训队对所以说我那届我是没有保送省民额的你搞进赛搞得好吗我就挺菜的就是难道不是没有干到最好就是很菜吗然后我显然没有干到最好所以就是很猜你家里人对你搞竞赛这个事情是什么态度我觉得我爸妈最好的一点就是他们不太管我他们可能曾经也试图管过我后来发现管不住怎么管不住就是我也不听他们的我觉得可能大多数中国家庭都是孩子和父母商量已经算是很好的了我一般都是通知你同志了啥同志我去自主招生了然后包括中高考田志愿也是我爸妈甚至可能都没见过我志愿单他们比较富是吗他们我觉得就是当你没有办法理解别人在干什么的时候别指手画脚就是最好的我觉得我爸爸这个道理懂得很好那你是比较叛逆是吗我觉得我是比较因为我觉得我个性是我很care我想做的事如果这件事我自己想明白了要去做就是别拦我然后我也一定会尽最大的努力做到最好但如果这个事我不想干逼我干也没用我也不会干你的胜负欲强吗挺强对但我觉得我更多的是在跟自己较劲不是不太不太愿意和别人较劲当然就是如果就是如果正好是我觉得这是很重要你也觉得这是很重要那我肯定是要干得比你好好那你到了清华就更神了去学了量子物理为啥对我当时做那个宁泰旅文然后为什么选这个专业阴差阳错现在回头回过头来说当然 [80:00] 能编造出一些听起来很合理的理由但是摸着良心回到当初我觉得就是阴差阳错就是当时我们在极客班然后极客班有一个非常好的传统就是首先极客班他虽然在物理系但他不限制学生干什么所以极客班实际上三分之二的学生都不会做物理然后对于你为什么会进这个班当时清华的物理系全都是极客班现在可能不是但是当时是然后他另外一个好的传统他鼓励学生在实践中学习所以他鼓励学生尽早的去进到科研的实验室里去然后去和在科研中学习然后我当时很想做理论然后他会觉得这个难吗感觉就是你对难有一种着迷可能也是一种病之后可以再讲讲这个病带来的不良后果是什么然后我经常搞理论然后当然极客班或者我们学堂班有一个更小一点班然后那个老师就推荐说高等研究院是个很好的地方契化高等研究院就是杨泽宁先生创立的研究院是个很好的地方然后我就去那找老师然后正好有一个那时候还很年轻的老师叫王忠是我本科的老师那时候他也没几个学生然后我也就聊我当然啥也不懂但他还挺担心还给了我一些这个paper让我去读然后读我就跟他讨论后来就发现女太理论尤其当时做的那个方案就是跟托布解缘体然后这些比较相关的方向其实是一个很适合本科生上手的方向就是他需要的背景知识不太多他只需要你可能懂最最基本的就是你得会量子力学会统计力学会固体物理就是非常非常容易学的基础但是他可能很考验你对这些知识理解的深度所以对本科生来说其实是一个特别好的方向就是你能够很快的上手去做一些实际的项目然后我们就一块做了一些工作其中有可能在开放量子体系里面的那个工作现在看来还是一个挺重要的工作对然后从某种意义上来说我觉得现在回头来看做那个工作做那段时间的科研其实和现在做AI特别像其实它更多的是你有一个想法你有一个理解然后你可以在那个阶段就是你可以做一个数值的实验去验证你这个想法和理解是不是对的你发现AI其实也是这样AI也是你有一个想法你有一个理解你去设计一些实验验证你的理解是不是对的然后你设计一些模型上的训练的这个Plaplan来把你的你的想法实施出来对所以其实这两个是很像嗯你能不能讲一下你这个非厄米系统的研究啊可以讲我尽量说人话嗯但是也有可能实际上说了鬼话所以要是不想听的人可以跳过画一下镜头画一下镜头但是可以在镜头前上设置两个车对然后对非厄米系统是这样就是说量子力学一个最基本的假设是一个孤立系统它的演化被腰正演化所描述腰正演化是个鬼话对不起腰正演化的意思就是它是一个线性的过程然后这个线性过程它可以被一个算子叫做哈密顿量来描述哈密顿量从某种意义上来说它有点像这个体系的能量那不完全是就是有点类似于所以它决定了这个体系随着时间的演化然后如果是一个孤立系统的话这个哈密顿量会是一个恶米的矩阵恶米的矩阵就是你转置一下然后做一下共恶它和原来是一样但是呢真实系统绝大多数都不是孤立系统比如说你我作为人肯定要和外界有信息交互有物质的交互材料也是一样就是你一块材料放在那除非你抽特别特别真空的你总得和陈底有交互你得和外界环境有交换所以真实体系绝大多数时候都不是孤立系统然后孤立系统它就不会被一个腰症的过程去描述然后它所对应的汉密能量也不会是一个厄米的汉密能量就是这个非厄米这个词的来源它本质上是为了研究开放量子系统就和外界有交换的量子系统他的行为然后当时发现一个很困惑的事是我们一开始是试图研究这个开放量子系统里的一些拓扑现象然后就发现手算出来的这个理论的结果和数值子活也对不上然后更确切的说就是手算这个结果是假设了这个 [85:00] 体系是一个周期的边界条件比如它在一个环上或者在一个轮胎的表面上然后数值的话就会因为就和实际的情况比较类似会算一个开放边界的就是一个方块这个材料上的行为就发现这两个结果死活也对不上然就试图理解这个事后来就发现大家过去用来描述厄米系统的一个基本的范式就是所谓的布罗赫波就假设物体的本正态都是一些波的线性组合这个算是一些正确预先波这种波的线性组合这个假设这个假设其实在FailMe系统里面会breakdown就是会变成错的实时情况就是后来我们就发现在FailMe系统里其实它的这个能量的本状态都会有可能会聚集到这个体系的一边边去对然后我们就系统建立了这套描述的方法然后就是建了一套体系去描述一个开放边界的非厄米系统它的本正他该怎么去描述进而描述他的一些随时的演化和动力学所以这个是当时这个工作然后后来就有很多因为他其实是一个一个范式上的更新所以后来就有很多很多follow up的工作但是后来其实我换方向了所以就没有太在这个方向继续做了你为什么不严认他做很难抓住一次范式的变化呢是不是很难抓住一次范式的变化是的是呢这就是人性的弱点就是我感觉我总爱挑战一些自己不会的事尤其当时就我不知道我当时的感觉是在那个方向可能那个工作从再过几年回头来看就会是这个方向最重要的工作后面你再去做一下工作可能确实会让你更有名获得更多的引用写更多好的期刊的文章找到一个好的教职但是感觉作为一个科学生来说就没那么令人激动了所以我当时就想换个东西做换一个自己不太会的东西做对然后所以就读博士的时候就换了一个方向去做高能理论高能理论对高能理论物理对所以你本科和博士也是不一样也是不一样的还不是从物理跳到AI其实你本科和博士看起来都是物理其实方向也已经发生了很大的变化对是两个几乎没有任何联系的方向你这个很神奇还包括你选竞赛去那个格志中学也很神奇对这是你的什么人性我觉得就是说难听了就是爱折磨自己说好听了是挑战自己被折磨开心吗我觉得如果为了被折磨而被折磨那这个人就是有心理疾病但是如果一个人是为了学习更多的东西丰富自己的精力和能力而被折磨我觉得是值得的你本科那个老师王忠老师也是个underdog是吧算吗不算人家做的挺好的怎么可以这样说在那个时候你刚刚才说还是很年轻吗他很年轻但是他我对他的印象一直都是他是一个很sharp的人就是很能看问题试图理解问题理解很清楚的人确实可能不像很多老师那样是很有名气在社会上或者很光彩夺目知道那时候不是现在已经很有名气了那时候还没有那么有名气但是我觉得从能力上来说我觉得他是很强的对然后其实他一开始是他读博社是和那个守成老师张守成老师学习所以说能被守成老师挑证的人基本都不会太差他对于你博社换方向说过什么吗没说过什么我觉得他是一个他是一个不爱干涉别人的人我不知道他内心是怎么想的但是我觉得他是一个不爱干涉别人的人量子物理整个是一个什么样的世界观它跟我觉得最大的区别就是我觉得和经典物理有很多很多不一样的地方但是我觉得他们两个是一个对应的概念是吧经典物理和量子物理他俩是一个在不同能量和时间或者空间尺度下的就是说本质上我们这个世界都是量子的当然就我们现在也不知道比更小的齿度上会是什么对吧就更像是有很多不一样的想法比如说旋论是一个想法然后看到其他想法全量子引力也是个想法之类的但那些都没有办法验证被验证的小齿度上的有效理论就是量子无理最小的 [90:00] 尺寸对就是被实验上能够验证的最小尺寸的有效理论就是量子当然这里面包括了量子力学和量子草论然后经典物理是当你所看的这个空间尺度和比较大的时候这个量子物理会慢慢退化成了经典物理其实它更多的是在不同尺度下的有不同的有效理论对这个事其实在物理上是一个很深刻的想法就是所谓的虫虫化群风软化群说的事就是说在描述一个体系的理论在不同的能量尺度下可能看起来是完全不一样对然后哪怕他们可能从根源上来说都是一个大一统理论当然现在没有什么真正的大一统理论如果存在的话他们哪怕在根源上是同一个根但他们在不同尺度上可能看起来也是完全不一样然后所以经典物理和量子物理更多是两个不同尺度下的描述讲到量子物理有几个词好像是相关的比如说蝴蝶效应比如说量子纠缠能不能讲讲这些我觉得这个可能是大家能听得懂的然后我也不懂物理大家不要骂我我也不懂量子物理对我觉得量子纠缠确实是一个大家比较耳熟能详的量子物理比较独特的事情很简单就是说我有两个粒子比如它属于一个纠缠态然后我可能它们实际上相隔很远但实际上我可能对其中一个做一些测量或者围绕它也会影响到另外一个的状态这个是真实存在的对真实存在的什么样的会有量子纠缠什么样两个物体有很多就是有很多实际的情况就是实际上当你足够看得足够足够细足够足够微观的时候绝大多数的粒子可能都处于纠缠态但是实际上来说你可以比如说制造一个自选和另外一个自选你先把它俩扣在一块然后把它摊疏到一个纠缠态上然后你可以把其中一个拉得很远它俩就成了一个就是一个距离很远的纠缠态然后甚至好像我记得几年以前还有人专门去做就是把一个细菌和一个什么东西然后置配在一个量子纠缠态里什么叫置配在一个量子纠缠态里这个是可以人为操作的这是一个可以人为操作的为什么怎么操作一般来说就是通过一些测量和和演化算符的作用能够把它制备到这个状态上但是这里面难的其实是实验上怎么实现的过程就是你可以想象就是说你做一些量子测量和一些所谓的量子门的操作其实是比较难的因为因为就又回到刚才这种就是每一个体系它其实都不是孤立的你可能这两个字型你觉得我这么制备一下他不知道到纠缠态了我再把它拉开不就完了但是实际的问题是这两个粒子就是活在我们这个世界里会不断有别的粒子状态一下或者外面的热烂癌找动它一下它一下子状态就没有所以难得是怎么具体实验上去实施这个过程对然后纠缠的另外一个粒子可能更耳熟能向我其实应该提那个粒子就是薛丁额猫薛丁额的猫对那就是一个更耳熟能向的粒子就是说它的状态其实是叠加了这个某一个放射源发出粒子和猫死了这是一个状态另外状态是放射源没有发出粒子猫活着这两个东西都叠加状态其实比如说你去测量一下那个放射源发现放射源放出粒子你就知道猫死了不管这猫和这个放射源离多远对其实那是这是纠缠但是蝴蝶效应是一个是一个另外的事然后蝴蝶效应这个事蝴蝶效应就是耳熟能像的部分其实反而是经典物理其实大家经典物理听到的蝴蝶效应就是那个著名例子就是什么可能南美洲一个蝴蝶扑冷一下翅膀半个月之后什么北美洲挂了个台风但是他从更数学的表述来说他就是说在时间起始的时候你如果做一个很小的扰动然后去测量这个扰动产生的影响在未来有多大你会发现这个扰动的变化是指数级变大的对这是他数学上对经典的护脸效应的一个描述但是之前大家比较费解的一件事就是这个事情在量子体系里怎么可能存在因为量子体系刚刚说了孤立量体系是一个腰正演化是一个很线性的过程所以说从某种意义上来说就是你如果一个状态就是一个矢量和另外一个矢量开始的时候夹角不太大那经过一些演化之后这个夹角应该不会变然后所以怎么会存在这种就是初始状态变得离得很差别很小在未来 [95:00] 变得就是指数级变大了好像在量子力学上看是不太可能实现的事但刚刚又说了其实我们的世界是在微观是量子然后在宏观就变成晶炼了那它俩一脉相承呢怎么可能这有的没有这是大家试图理解的事当然后来大家就有一些更好的理解就是说其实你讨论量子里面宏观效应的时候不应该讨论两个态之间的变化而是应该讨论一些就是所谓的local absorber就是局域的观测量的变化那个其实是对应了经典物理里的你的看到的那些变化那你读了四年的量子物理以后你当时在想什么你觉得物理对你的帮助是什么在你大四要毕业的时候我觉得本科期间读物理最大的帮助就是第一想问题要想清楚就是读书不在于读的多而在于读的深你读的多不代表你能够发现新的东西但如果你对一件事有和别人不一样的见解那个才是对这个社会来说更有价值的事这一件事然后另外一件事就是别太相信理论别太相信纯理论因为都说了这个节奏因为当时那个事发现的主要原因还是因为能做数值就一开始是因为数值和理论对不上才仔细的研究那个问题然后发现了这个事对那你博士为什么去读了高能物理也是一个理论这就回到了刚才这个话题就是总爱挑战很难的事有时候也是会带来一些不好的结果的什么不好的结果比如我就感觉我觉得我这个博士就是对我自己来说学到很多东西成长很大但是于这个世界来说没有产生任何贡献高能理论这个方案就是足够难非常非常难然后但是它不好的事情在于它其实不是特别可以验证没有什么客观的评价标准因为高能理论已经发展到了就是实验完全追不上的这个阶段实验完全追不上你在理论讨论那些不管是能量尺度还是还是这种微观的尺度对所以说他是怎么进步的呀他的进步依赖于什么呀如果不是实验小一个一个一个进步的来源是来自于数学上的自下的性嗯就比如说你提出一个一个进步的来源是来自于数学上的自洽性比如说你提出一个框架来描述这些事情你能和现有的已经被验证的更低能标下的理论相自洽比如说你研究弦论可能自然大家问的就是弦论能不能在低能情况下回到两个场论即将回到进展物理这个自洽性是一个判定方法我觉得这个是很很合理的就是很科学的一件事当然也有一些不科学的因素就是当这个领域完全没有实验没有客观标准的时候肯定不会只有一个框架出现肯定不会只有一个自下的框架出现这个时候谁做的好谁做的不好其实就依赖于领域那一些老灯的主观判断你是被谁伤害了是吗我也没有被谁伤害只是我在那个领域单时间越长就越觉得这件事蠢就是人这一辈子也没多长为什么要把自己的时间浪费在伺候老灯身上对所以感觉是花了五年学了很多知识买了一个大教训这个教训是这个大教训就是要做谁就是要有做有比较客观评价标准的事或者从从另一个角度来说就是要做对这个世界能够产生影响的事所以其实你本科还是比较顺利的对吧在量子物理这个研究领域很快你很快就有了非常好的叙述成果而且是范式级的变化但是你很快觉得没有心力了所以你想到博士去挑战一个更难的事情然后在博士期间其实是比较落寞的至少从结果来说是这样的外界看不出来外界看都是非常光鲜的旅店博士在Stanford对我觉得从实际的课讲阐述来说我觉得没有人会说我博士今天的文章不好但是摸着良心说对这个世界有多大的影响我觉得几乎没有影响几乎为零对所以对我自己来说我自己很不满意的但是我觉得确实也没有不满意到说我会担心有人说我在混日子确实也没在混日子就是你还是能达到所有的外界标准 [100:00] 对这是怎么做到的呢就是我觉得这还真的是很多事情冷暖自知对吧对我觉得达到外界的标准会达到一个小的圈子的评价标准是像训练模型一样就是一旦有了这么一个小的圈子你知道他们的评价标准之后做得好是很容易的但是其实你哪怕不认可这个标准你是可以达到的但是你还是知道你是不认可的因为有时候你哪怕不认可你达到了我也可以猛逼自己就继续往前走但我后来就发现我猛逼不了自己骗不了自己是哪一年发现的我觉得可能从不是最后的两年吧就会有这样的感觉但是那时候确实也没有想好没有想清楚如果不做这个该去做什么那可能就花一些时间去了解一些不一样的方向比如说一开始我可能更多的是去了解量子计算或者量子信息这样的方向然后拿了postdoc offer就是博后的offer之后感觉这个事更紧急了因为在学校里的时候你还可以一个学生的心态离开学校之后就是自己的career你得给自己找一条路那当时就是觉得可能量子计算和AI是两条我觉得给年轻人给小灯机会比较多的对所以你博士后的方向是啥博后没有方向其实就是理论物理这个方向伯后是一个很独立的职位就是你自己想干啥干啥他更多的是从某种意义上说有点像搞慈善谁搞慈善就是有一些可能不管是在意科研的国家组织还是个人组织他可以给学校捐一笔钱或者给学校批一笔钱学校用这笔钱来招一些国之后在一个系里面就做他的研究然后把自己研究广泛的告诉系里的别的人觉得它更多的是一种一种社会氛围的这种工作对然后所以其实没什么限制就是你其实想干什么就干什么但是我其实也没做到多长时间的薄厚就我实际可能到伯克里待了两三个月但官方来说就值得待两个星期官方来说是什么就是我其实在入职之前已经去哪因为我反正人就在湾区我觉得入职之前就去哪但是我入职之后其实只待两个星期官方来说是什么就是我其实在入职之前已经去哪因为我反正人就在湾区我对入职之前就去哪但是我入职之后其实只在两个星期就辞职了对这两个星期发生什么这两个星期啥也没发生我本来都不准备入职的但是伯克利人就是太好没事就是等事情定了再说能来多久就来多久你告诉他们你其实在跟Anthropic谈对我告诉他们其实我觉得我可能会去做AI了我要不就别入职了不止不合理我觉得就是湾区这两个学校的老师都人很好他很照顾你他就觉得你还没有完全谈定那还是先把现在的工作先拿着你觉得物理对你后来做AI有什么帮助吗我觉得硬实力上其实没什么帮助就是存工具性的技能上来说其实从物理到AI的转化是非常少的但是我觉得可能非要问的话我觉得可能主要的不能说能力就是性格可能是做物理人会更想刨根问题更想理解一个事然后更想做事很系统因为我们习惯那种很系统性的不管是做实验的方式还是做理论的方式所以我觉得这个可能是一个比较好的地方但是我也不觉得这个事是作物理人独特的就是为什么做计算机人没有这个特性我觉得我认识很多做计算机的人也有这个特性很多学化学人也有这个特性学生物也有这个特性所以我也不觉得他是做物理独特的但是事实上可能比较有趣就是这个领域里面确实有很多尤其就是原模型这种比较就large scale的一种AI确实有很多物理出身的人让他做的很成功尤其在操作这个公司因为很多人在描述这一代AI的时候都会说是黑盒你能用科学的角度来理解一下这个黑盒吗就人工智能的运作源我觉得这世界上所有东西都是黑盒就是哪怕像物理这种大家觉得很理解的东西其实也并不是真的有一个从它微观的行为一路演化到了宏观体现的这种理解像不管是刚才说的量子力学还是量子力学其实都是描述那个能标下的行为本质上这个系统还是一个黑核你还是不知道它最微观的地方是什么样的动力学 [105:00] AI也是一样就是黑合不黑合其实都是一个相对的事我们确实对语言模型没有理解到神经科学手术到级别就不是说我理解这个行为能理解到说这个行为是由于哪一个neuron哪一个人工神经语言的哪一个激发产生的这个行为没有不会有这个没有到这个层面理解除非就是在一些很很稀疏很小的这个网络里面就是像Zopi有这个所谓的interability就可解释性团队他们可能会做一些类似的工作但是在实际能够使用的语言模型里都没有达到这样的理解但是也不代表我完全没有理解比如说Skin Law它就是一个描述了那个尺度下模型随着模型大小和数据是怎么在perplicity就是这个指标下变得越来越好所以你说是完全没有理解吗那如果说Skin Law不算是理解的一个小部分的话那是不是我们可以说我们其实对这个世界也完全不理解这个世界也是完全黑色所以Skilling Law是一种科学规律它是一种经验规律经验规律对但是经验规律和科学规律它之间的界限是很模糊的比如说我们回头去看这种热力学的各种不一样的定律第一定律第二定律什么克拉伯隆方程中这些东西在当年被发现的时候也都是经验规律但是只是说后来随着时间的发展我们慢慢知道了它的微观机制那它可能变成了一个科学规律我觉得可能像斯坦奥或者类似的这样的东西它目前肯定还是很亲眼的但是未来当技术它变得比较固定然后大家开始越来越多的理解它微观的过程的时候会不会变成一个科学规律如果这个定义是存在的话我觉得是有可能的能不能用科学的表达来解释一下所谓的智能涌现首先这个话就不太科学所以自然也没有办法用科学的话来表达一个不科学的事智能涌现吗对我觉得智能涌现对我来说它更多的是一种主观的感觉而不是一种客观现象当很多人说智能涌现的时候他脑袋想的可能是以前的语言模型只能做某一个方向的事比如只能翻译只能做分析只能做什么但现在模型好像可以做所有的事但是这个事我觉得像是对我来说它更多的是一个技术上的涌现而不是一个行为上的涌现说是我们通过研究发现了该怎么去做这种大规模的训练然后能够水平的提升所有能力我觉得这个是一个更本质的事至于智能涌现这个事其实我觉得每个人可能心理定义都不太一样对你的定义是对我来说就是没定义对我来说这个唯一致的区别就是有没有发现发生一个技术上的改变使得我们可以做scope可以水平的提升所有的能力这个对我来说是一个是一个良好定义的事你最后是在量子计算和AI之间选择了AI这个是怎么发生的变化对我觉得还是花了时间一些时间去了解两个方向的瓶颈在那我觉得好处是他们都给年轻人机会好处是都有机会但是量子计算对于来说好像是离你的主线更近一些在那个时间后对不对这就是为什么要去了解一下细节因为了解细节之后就发现不是的是反过来的因为量子计算不是量子计算我觉得它现在的主要瓶颈其实在实验上并不是你怎么去设计那些算法或者设计那些算子更多的是你怎么在实验上实现它那个事反而是我不擅长反而是和我过去很多我有兴趣的事其实是很比较不相关的然后反而跟我相关的事是更多像AI就刚才说的AI其实更多的是你有一个想法然后你可以用一些数值去验证这个数值在AI里面可能就是训练一个模型或者怎么样对然后这个反而和做物理很像它甚至是就是为什么我之前一直把这个和18世纪的这个物理学做比较就是它热力学对更像那个时代的物理就是那个时代就理论和实验不分家没有什么理论物理学家实验物理学家你就是搞物理就是搞物理的你自己也可以做实验然后也可以做理论的推测我觉得AI就有点像那个时代所以其实从理论物理跨越到实验物理的距离比你直接跨到AI要远要远其实要远而且从兴趣上来说也更远你不喜欢实验物理我觉得你不喜欢做实验我觉得确实不是我的 [110:00] 兴趣所在虽然我不自己不愿意做但是我确实很有兴趣知道别人的实验座怎么样不用做实验吗用但是它是更多事项数值对它不太像就是你实验室去搭一个光学平台然后什么你还我觉得实验真的是一个就可能因为是我不懂我没有达到那个境界所以有些事在我看来挺玄妙的比如说就是大家都知道这个光学学校怎么搭但有的人就能给你搭出来有的人就是耗了六年都没搭出来这个是动手能力我就是没搞明白我有时候觉得这是有点玄妙所以还是数值数值实验清晰很多对对我来说做数值实验或者像AI就是训练模型然后研究各种不一样的技巧看某些细节这些事对我来说反而是我能想明白他为什么要这么干但是在搭台的这个事上我就是一头雾水你做过什么当然大家可能都做过基本的读物理人肯定都都做过基本的实验培训但是更多的就是有很多做实验的朋友然后不管去看他们的实验室然后看他们怎么做实验的还是跟他们聊了这些什么设计实验我就感觉很多事我其实不太能够理解但是他们确实有的人就是做的好有的人做的就是不好所以你说现在从事AI研究像17世纪热力学研究其实在表达虽然大家没有办法很清晰的从科学上去解释和理解这个事情但是它并不会组织它的发展对就是它更像是在为什么呢比较那个时代的理学就是那个时代大家其实不理解什么是热的微观理论大家不知道热是什么东西就像现在不能理解对就像现在大家不能理解这个Language Mono里面哪一个矩阵源是在干什么其实大家也不理解但是不妨碍你有一些好的经验定律比如热力学的各种定律和现在的各种Skilling所以说从这个角度来说就从这个方向的角度来说这个层面上来说它是类似然后从研究人员的角度来说刚才说的另外一个问题就是它理论和时间起不太分家对那你是怎么去面试Anthropic你这个Anthropic的历程是怎么展开的我觉得其实主要还是因为有前同事在Anthorfic前同事对就是Anthorfic其实有很多做物理书生尤其是做理论物理书生的人为什么呀就是他们从人的选择上为什么会选择这一拨人我觉得当然就是很多很多人可能会找一些原因说做物理人赏上这个或者赏上那个但是就我个人的视角来看我觉得主要的原因还是connection就是联系就是因为Azorvig的创始团队里面创始团队里面其实有三当时有三四个比较技术的人然后其中有两个现在还很在技术一线领导的人他们俩都是做物理出身的然后他们可能招的一些人也是作物理复生的所以就这样一直延续下来但其实到了现在这个就在我之后其实也几乎没怎么再招完全没有AI背景的人了对所以说也是一个我觉得也是一个一个时代的产物对然后我反正是当时我决定就做AI了所以我就就涉出去联系一些地方然后你去找了Dropik吗没有我还找了OpenAI和Gitian就GoogleDMine但GoogleDMine因为它那时候速度太慢了所以就最后没有出现在考虑的范围内但是速度太慢了是指他们面试的速度慢但是后来显然后来詹文莱这个事就获得了成组的提升后来动手就非常快然后Azopir就是OperA呢OperA也联系了但是OperA可能没有找到特别合适的事和人然后Azopir是因为我当时联系了后来就是我的第一人那个manager我第一任经理然后他以前也是做这个理论物理的然后他当时就说我们在尝试做强化学习常常做这种大规模桥花学习有很多科学问题要去理解那个时候24年9月89月的时候那时候其实桥花学习还没有像现在这么成熟那时候大多数人其实都不太知道怎么做因为欧万其实还没发布的那时候欧万只是快发了对对对就是只是大家都知道有对 [115:00] 大家都没看到结果但是Anthropic当时其实不知道怎么做的当时是大体上知道但是有很多细节需要仔细去研究然后所以他就跟我说有这么一个事你要不要来面试一下然后我觉得他觉得可能是一个好的机会你当时怎么认知强化学习没认知你大概知道print train post train我大概知道这个流程但我其实不太知道具体的这种工业级别的原模型是怎么训练的只能知道像学术节是怎么训练对然后所以其实现在谈那时候的认知其实在我现在看来就是没有认知对然后更多的还是我倒是觉得这个事是一个不确定的事然后是一个好的机会所以我就去干了当然也有些面试的准备和面试过程怎么准备的聊啥我当时跟谁面的后来的我的一些同事当时面的然后面试题也不太难反正对但是对我来说我当时也不知道怎么准备然后我就去把我能找到的那些课自己能学的学了一遍然后能做的作业做了一遍然后自己手搓了一遍就是那个Andrea Capacity他有一个著名的那个项目叫拿到GPT还叫什么反正就是他有一个可以在一个Google这个Collab Notebook里面就能训练一个很小的GPT模型然后我就手搓了一下那个然后就去面了然后很快拿到了offer然后就对然后就拿到offer然后你第一个方向就是大规模的强化学习当时其实是有两个组来两个组manager来跟我聊一个是做evaluation就是模型评测然后另外一个是做强化学习然后我是选择了强化学习当然选择强化学习是因为他更加的不明朗对然后那时候其实SRV也不像现在是一个大公司了那时候公司其实也很小多少人我去的时候我们的大的team才只有10个人左右不是10个人或者11个人大team叫什么叫horizon对然后那个时候大team这个大team的平行team有什么大team其实后来几乎就是强化学习的方方面面都在这个team了对所以他的整个大组就是一个强化学习整个大组首先这个创业公司你也很难说这个组的目标是什么因为他可能曾经也有过很多不一样的目标但只是那个阶段可能主要的目标是做强化学习对然后当然底下也有做更数据的组更做环境和infra和基普硕士的组也有更做这种research和算法的组然后我去的那个组是比较偏research和算法的组那种Authropics多少人那个时候可能七八百的样子吧总共但是对是整个的公司七八百对你一进去对这家公司的印象是什么呢我觉得我觉得我对亚稍微的印象其实还是挺就挺consistent就是我觉得进去之后我觉得公司的印象就是执行力非常强就是他其实是一个比较top down的公司对然后所以很多事情决定了之后就会全力去做然后公司其实员工之间的氛围也很好就大家都不会藏着掖着然后尤其刚去的时候很小所以就是大家也都认识所以就氛围很好然后我觉得如果是做只是做语言模型相关的事的话其实现在回头来看那是一个非常非常好的学习机会就是你能够接触到这个模型训练的方方面面然后都能找到对应的人去问对那个时候的Anthropic已经有了现在我们都知道它那个非常坚定的BET了吗有的这个BET来自于哪里为什么会有这个BET我不知道它完全的来源在哪我自己能看到的一个显然的来源就是前一代模型Cloud3放了之后嗯推特上那时候可能还没叫X推特上有很多人在讨论说那个Cloud3好像写code比GP4强哦那个年代GP4还是一个和大家gap很大的模型所以能有一件重要的事比GP4强 [120:00] 就很厉害了所以是试出来的我觉得至少是其中一个原因就是是很快的对这个市场做了反馈这也是我觉得这个公司很强的一点就是它Exclusion执行力非常非常强一旦给它一个信号让它觉得是很reasonable这个公司该做的事那就会铺上去它没有那些大组织那种荣誉为什么它的coding会比GPGP4要好不能说是有原因的是有原因的但是是个随机的原因不是一个我这么选择所以有这个结果的原因是一个纯技术原因但是确实我不我不能确定一开始是随机视找的还是故意选择的你要让我猜我肯定会觉得是随机视找的纯技术的原因是有某个人做了某个事情是确实有某一个团队做到某个事情是自上而下的还是自下而上的我觉得最开始可能是自下而上的但是后来就变成自上而下的事就是要快速捕捉到一些市场就是内部和市场的信号对我觉得这个是然后要赶快要铺上去对我觉得这是Anthorpe非常强的一点对它非常非常的reactive反应非常快它执行来自于哪里来自于Darrow这个人来自于它的某种特质我感觉就是Anthorpe作为一个公司来说它能够实行这种就是比较top-down的机制是一个很独特的事为什么因为实行top down其实有一个很难的点就是你做技术的决策人必须也得是公司本身的决策人首先就是你技术上得能服众那下面的研究员才会你才能够就是信服下面的研究员去做这个事另一方面就是你得是公司的决策人你得能为这个公司负这个责任有这个条件就是说他的技术上的leader的领导人其实是公司的口方的那是你指的是谁不是Darrel就是JR像JR Kaplan和Sam然后像他们俩就是公司口方的他们自己做这个决定那是人家的公司所以他有权利做这个TapTown的事那Darrel作为CEO他会say yes和no吗我不知道他们决策层的讨论里面达尔有起到什么样的作用我只能说就技术leader是有决定权的我只能说对我当时的工作来说我接触的最多就是Jirard可是这对其他模型公司很难吗很难比如说open high就干不了伊利亚在的时候难得不行吗伊利亚在的时候有可能可以但是伊利亚后来一方面我也不知道因为什么原因他失去了做决策的能力然后就走了所以就其他公司呢其他公司我觉得都比较难就是詹姆代也比较难但是我觉得詹姆代就是另外一套打法不太一样就是说我觉得就是大公司和startup他打法本来就不一样因为startup重要的是make that就是我得赌一件事我如果想要赌就意味着有风险所以就意味着我能够去很快的做一些决策然后很强力的推进一些决策可能在这种情况下逃不当我觉得是一个很有优势的事所以我觉得从组织上来说是比欧海更有优势但是作为大公司来说可能就是另外一套想法因为大公司的想法可能是我不仅能尽量减少做赌的成分而是我能在方方面面都有储备然后任何一个事成了我都能跟上然后如果有事我自己做成了我可能还能领先这可能大公司的精彩所以说在GermanyGoogle是一个很传统的就很bottom up的组织就是公司层面可能有一些比较良好定义的框架来看你的工作是好是坏来引导你做一些公司需要的事但是本质上还是你自己来决定自己做什么所以你觉得Anthoropic能make best是因为它的独特的文化组织和文化对这个听起来其实应该是其他公司也能做的但是却非常奇怪的发现其他公司很难做而Entropic可以做到对我觉得还是需要技术的或者公司的leader有公信力这个其实挺难的我觉得你说的还不是CEO有公信力是技术的e-how有公信力对我来说我觉得技术的e-how有公信力很重要但是与此同时CEO可能没有成为 [125:00] 阻力对觉得难吗这个我觉得就得看你这个口方定的这个team有没有足够的互相信任这个也很关键我觉得安萨贝这点也是在startup也很强了就是他口方定team没有一个人离开公司他们如果你看他们过去那就是那是一群真正一起打过仗的人就过去他们源自于他们都是以前open eye的open eye对然后像他们甚至好多人都是就是在一系列关键的文章上的合著者因为你像Skin Law这个paper是Giart Copland然后Sam然后当然还有Darrow然后还有一些可能Tom Brown也在吧我不太记得Tom Brown在不在然后GPT3的paper就是Tom Brown在然后Ben Laine在然后Giart和Sam也都在Darrow也都在其实他们是一块趴过站毫的人我觉得互相之间的信任还是很关键有很多公司可能就是干着干着连这个小集体都团结不住了那你怎么能指望这个大公司能团结住呢你在说我不能爱是吧你一加入Auntlopic公司正在做的最重要的项目是什么你参与到那个大项目里面了吗对当时就是为了能做大尺度的强化学习然后能够用它来提高Coding的能力这个就是当时最重要的事然后我们当时做这个组当时的研究重心就是一个事这也是这个组为什么后来就慢慢变大然后变得越来越重要的原因然后最终带来的结果就是大家一块儿充了这个3.7Cloud 3.7这个模型你说内部叫有一个3.6这个是不是内部叫就是外界的Cloud 3.5其实有两个版本一个可能是6月的版本另外一个10月版本然后你也可以看出Ansorway这个公司曾经也是没啥产品能力的居然管两个模型叫一个名字所以后来外面人为了区分管3.5后面那个版本叫3.6所以Azop跟随着外面的习惯就叫3.6了管再新的模型叫做3.7所以你去看实际的公司的产品时间上其实3.53.5NU3.7怎么会有一个3.5NU这个是怎么想的你觉得我只能说那个时候的Athrope可能真的是没有什么产品上的想法所以你第一个项目是3.7还是3.53.7还是3.5NU3.5NU其实我没参与几乎没参与因为它3.5NU就已经看到了coding的迹象是吗你刚才刚开始的3.5NU的时候已经看出Athrope的模型在Athrope的coding会比别的模型强了这个是为什么所以你进去的时候刚刚好就是他们有他们知道了这件事情就是管理层也知道了这个迹象然后他们要make best的时候你这个运气很好我觉得对我觉得我进去的时候是大家肯定已经看到这个事能做成且重要但是不太清楚怎么去把它做成然后我去的时候是跟大家一起去研究怎么把它做成所以方法是大尺度的强化学习对从大的角度来说是但是当然有很多技术细节是需要去研究的这里面有什么诺好有好多NDA的内容NDA是会写的这么详细的吗其实原则上来说员工是不能在在指期间和离职之后透露任何跟公司内部相关的信息的当然实际上来说大家可能心里都有一个度就是说如果这个技术没有公开的话肯定是不会公开去谈的但是我觉得虽然我不能公开去谈但是我觉得把简单的事做得比谁都干净是最关键的什么叫干净你刚才用过这个词对我觉得有很多花里胡哨的技巧比如说做强化学习最简单的algorithm就是policy gradient但是不代表这是唯一的规律它还有别的算法比如说各种复杂的这种搜索算法之类的东西但是是不是这些复杂性是必须的然后这些复杂性可能给你带来了一些一些efficiency也就是效率上的提升它可能给你带来一些比如说基建infra上的困难那你怎么去trade off这些事这些是其实做研究需要去理解的就是怎么去balance这种不同的因素然后选择最好的那条最稳定的那条路 [130:00] 对然后我觉得很多的knowhow其实都是在这些细节里面怎么去处理这方方面面细节里面对那那个时候怎么来描述coding很重要呢我觉得他认为是大约模型的一个分支一个重要的分支还是什么呢我觉得每个人可能想法不一样对我来说对我来说他重要的原因有二一个原因就是一个原因是安曹贝一直在讲的事就是说Coding本身也是做原模型研究的一部分如果你能够把Coding做得很好那可能会让你的研究效率有范围的提升就是形成一个研究上的飞轮了这是一方面原因对我来说另一方面原因是因为Coding其实是模型使用工具和环境交互的一个很好的抽象首先这个抽象刚刚已经说过的就是这个抽象的好复材比如说回馈信号清晰然后数据充分然后其实你是很很难在别的场景下找到能同时有这两个特质的使用工具的场景所以对我来说这是一个好处像在这里面做的一些研究可能是对更通用的那些使用工具和环境交互的能力的一些有用的 lesson 有用的课那时候Cursor是什么状态那时候Cursor还是一个纯产品公司我觉得从某种意义上来说好像在我去Enthorzik之前的那段时间里Cloud和Cursor都属于比较underdog的状态然后somehow在3.5new就是3.6外界的3.6这一代的时候首先是这个模型能力上去然后cursor又发现这个模型真的能够做了这种agent coding的工具了它就是一个壳对但是这个壳包着这个模型一下子让公众体会到了不是公众公众的事情就是软件工程那个圈子当时体会到了这事好像是真的是效率工具了所以后来就是这个一下就起来了所以那时候他就Anthorpe就意识到Chris is未来的清晨对手那就不知道Gavin Dario3.7是怎么做出来的这个是一个分水岭对Anthorpe来说是一个分水岭式的模型我觉得对于Anthorpe的后训练是一个分水力就是在3.7之前后训练都是处于一个比较小规模然后可能就是修修补补模型的这种一个状态大家不重视后训练是吗也不是不重视就是一开始大家其实很长时间大家都没有搞明白后训练该怎么scale up但是在那个阶段不管是OpenAnswerp还是包括像中国的DeepSeek大家意识到了这个事该怎么去skill该怎么skill就是你得找到合适的环境这个环境它的回馈信号足够的清晰然后这个环境本身也是一个很强的数据源然后在这个上面其实能让这个训练非常稳定这事就能做成对对我记得那个时候其实大家都不知道Ofen Admin保密项目是什么就知道它有草莓叫Strawberry然后大家觉得会带来一个新的范式新的范式就是后续强化学习但是更多的就不知道了对其实我觉得我去Azopic的时候大家已经比较清楚这个事大概该怎么做就是大概的这个方向是怎么做然后当然后来就是后来随着我对这个领域知道越来越多之后我就发现其实那个时刻其实OpenAI做的方式和Answery其实还是差别挺大的怎么说就是具体这种算法和使用数据的方式其实是不太一样的虽然都叫侯训练和强化学习虽然都叫但是当然就是我觉得那些不是本质区别就是大的方向来说他们是同一个就是找了一些找一些这种很回馈信号非常清楚非常客观然后数据本身又比较干净然后对于模型来说是可学习的然后在上面做稳定的强化学习系列大的方向来说都是这个方向但距离实现其实是差别比较大但后来事实也证明就是距离实现其实每家方向都不一样但是都能做成而且当时OpenVide的目标也不是coding当时我了解到的叙事是说预训练作为第一个范式已经金矿快挖完了所以我们现在开启第二个金矿就是后训练想法学习然后来让Skin Law继续对我觉得很长时间我还来都是这个想法我不知道他们现在想法有没有变我觉得对我来说我的想法经历过 [135:00] 在三两期那个时代我其实觉得我当时也抱着这个预训练已经快party is over这种感觉然后就在你要入职的时候就我刚入职然后当时在做这种三两期相关的这种实验的时候我当时也曾经抱过这个想法但是后来随着了解一个人生我就觉得发现就是其实还有做的空间的然后预讯链它预讯链Skin Law这个事它也不是告诉你你要一直变大它其实本质上是一个很系统的框架能够告诉你做什么样的事是更有效的对然后所以后来就发现其实还有很多做事然后事实情况是后来Ansorbit和Gemini的运讯链也一直在不断的进展OpenAI自己卡了很久他现在又重视预讯链他应该已经重视运行战挺久了最近可能刚刚有点进展所以预训练和后训练作为两个范式都没有达到他的平台起我觉得都没有但是你说要去预测到了多少这个做不到对就我觉得我觉得到达平台期有有两种两种可能性一种可能性是技术本身到达就是你明明还有想让模型要干的事但是这俩技术就死活消不会了另一种可能性是你想干的事到平台期了我觉得现在就是后者就是我们现在知道了有一个chatbot你可以教他干这个然后又有一个coding你可以教他干这个后面就不知道了对就不知道该教他啥好就是说模型还是一个非常聪明的小孩你其实可以教他很多东西但是我们人类作为老师现在还不知道下一个东西该教什么对或者说该怎么去合理的教他用现在的一些范式说到3.7还有什么know耗这是几个月做出来的这个最后林林总总从开始训练到发布可能花了四五个月的样子吧对就是从你刚进去就是从开始大家为了这个事做研究那可能花了两三个月然后后来开始训练到训练结束中间磕磕绊绊很多事情要处理然后有很多新的基础设施其实基础设施真的是很重要很花时间然后又可能花了可能两个月这样子你在集中做的重要的工作是什么我觉得我也没什么重要的我觉得我对我个人的贡献我觉得我对我个人对任何一个模型的贡献我的陈述都是我觉得我自己对那个事没那么重要我觉得我更多的是我很幸运有机会在那个时候加入了一个重要的项目做了一些事因为从某种意义上来说我觉得AI在现在最近这几年这个事本身是一个不可阻挡的事它不在于你这个人去干或者不干你不干也有别人一样能干出来所以我觉得在这个时代其实所有给个人贴金的事其实都有点炒作的嫌疑但是确实我觉得对我来说我是很幸运能在那个阶段加入一个重要的事然后学习了一些知识好的那你在幸运的在那个阶段在Authropical这家公司的大尺度强化学习的团队里做了什么我觉得3.7那时候可能主要做的还是就是在R8里做agentic coding这件事这件事怎么把它screw up或者怎么去准备各样就是怎么去制备各种各样的环境和data然后包括算法上会遇到什么样的问题当时主要的研究都在这部分这有点什么tips吗现在来看没啥特别有用的tips我觉得说到说技术的tips其实这个事是一个大家一方面很愿意听公司又不让你说但实际又没啥用的事为什么因为很多算法设计其实并不独立算法它是非常强的依赖于你的基础设施举个简单例子有些公司他可能就大家经常讨论一个问题就是说在强盛学习的时候然后这个sample就是给你产生这些trace这些token的机器和trainer用来实际训练这个模型然后改变这个模型权重的机器这样的机器可能会有不一样当然不一样有一些原因是因为数值上的不一样有些原因是因为使用这种异步的训练架构 [140:00] 它自然就是从根本上来说就不一样那你不同公司可能这个不一样程度是不一样所以你算法上设计也会不一样有些公司它可能这两个difference这两个区别非常非常大那你算法可能最大的部分就是在于怎么控制这个然后怎么让这个训练稳定对于训练的这个实际的效果之类的权重就会稍微小一点但有可能有的公司它的基础设计设计就特别特别好这两个差别没那么大那可能就可以花更多精力在这个训练效果上所以说很多这种小的tips其实是没有什么用的就很多knowhow其实是没什么用的我是因为我确实也发现了就是很多别的lab就不是在这三家lab里的人可能很想知道Itsabit怎么做这个或者詹卫怎么做那个但其实我有时候不愿意回答一个主要原因是因为我觉得本质上我回答这个问题也是在误导它就是现代的AI训练是一个大的系统你其实要把要了解这个系统的方方面面才能有一个全局的认识什么事是因为什么而变得有用了而不是说这个事本身有用从3.7到4.5又发生什么呢这个预旋两号会员都有对然后当然就是一个就是Skill Up上做的更多了然后Data不管是Data还是训练的这个算力都更大的制度但是我觉得从范式上来说就没有特别大的改变到你离开Antropic的时候他已经多少人了接近2000人了扩了一倍多所以你在Antropic时期刚好是他最具变转变的一个事情我可能就踩在了他还是个小公司的尾巴其实我觉得进去之后过了可能三四个月这个公司就已经开始就是人一下就变多了文化有变化吗还是经历一些比较混沌的阶段然后尤其可能就是在我离开的那段快离开的那段时间我觉得文化上还是经历了一些混沌因为从外面来了一些人然后可能跟本来的文化有一些冲突对然后之前的文化是我觉得之前就是很简单对就很简单就是它更像是一个小作坊大家都是朋友然后大家都知道对方在干嘛然后也没有人特别特别会就是做过多的这种个人宣传还是怎么就是做一些没有用的事也没有人做没有用的事大家都是有很多事要处理然后公司那时候可能紧迫感也更强一些然后后来可能就觉得这样人多了这样的文化肯定会受到一些冲击带来了什么风气我觉得确实有一些人我个人不是很喜欢当然不代表他们真的不好就是我个人不是很喜欢就是可能我不太喜欢在这个领域里面说很多话的人就是那个我觉得idea is cheap想法是便宜的很多想法其实很显然所有人都知道男的是怎么把实现怎么把它变成一个一个小的可实现的步骤把它做出来我觉得我不太喜欢那些一天中很多时间花在在slack就是slack是美国用的一个办公的这种软件然后在slack上花很多时间在那讲一些大道理我觉得就是没啥用你后来为什么突然离职了你是完成了什么阶段性的工作吗当时酝酿了多久我觉得可能酝酿了一两个月一个多月吧一个月多一点然后对我觉得一个方面是就是我其实不是太特别认同Darrow反华这个事我觉得他作为一个公司的CEO来说对他个人来说他做什么样的观点我觉得都无所谓但是作为一个公司的CEO来说我觉得把这个观点推到这么极端的地步是一个非常情绪化的体现对然后这是一个一个比较小的原因当然大方面有很多公司刚才说的公司的文化上有些冲击然后包括我自己可能也想去学习一些不一样的事情就是说isopi它毕竟非常的专注然后你可能做如果你想做和语言模型相关的方方面面然后做这种使用工具这种agent这个然后coding这种事那在isopi其实很好能学到很多东西但是isopi有很多不做的事比如说isopi [145:00] 完全没有人做这种东北台生成你想学没点学然后他可能也没有花太多的精力在这种更底层的工程的技术家技术设施上对所以可能想学习更多的东西也是我当时离开的一个动因对访华占百分之多少比例因为他有个人原因我在公开场合说40%但是这个数字反正就是听听就好这个数字就是告诉你它不是主要原因但它确实是一个很大的原因对就没有控股不是个控股原因对不是个控股原因但是是一个majority holder的原因你这个选择也很神奇因为大多数人在一个他还是一个underdog的时候加入会更有感情然后会愿意陪公司走更长时间但你反而跳去了Google因为很多研究员一进去Google他会觉得Google给的scope不够所以他会反而想跳去像XCI或者Anthropic这样的更小一点的组织你这个反行动好像也是反的对我觉得其实取决你自己想要的是什么如果你很想要的是我有一个很明确的像你说的很明确的scope然后这个事和我的最后产品的模型息息相关我一定要把我其中的一个想法送到这个模型里去那可能Google是一个很差的地方因为毕竟有那么多的研究员有那么多已经成熟的组织做这件事情是有很复杂的过程但是我觉得如果你想要的是你有研究的自由有探索的自由然后想去能从更广泛的人类学习我觉得这个世界上可能找不到第二个比更强的地方所以所以就是我觉得本地上还是取决你要自己想要什么但是我觉得很多人离职不管从哪离职换到另外一家之后可能会觉得不开心的主要原因是因为没想明白自己想要什么比如说你二十到了Google你可能刚开始如果你刚开始想的是我要有研究自由然后更多的动机是学习然后你去了之后发现还是想要有产品impact那你可能就会很难受你不追求impact吗你在你也说现在这个AI是一个非常大的系统然后是一个很大量的人协作的一个东西你在里面追求什么我觉得分阶段就是我觉得在Ansorby经历了太多和产品息息相关的事之后我可能也想给自己换个脑子去学习一些不一样的东西但是你说有没有哪一天我可能又换回脑子又想去产生一些产品的影响也有可能的产品影响力怎么量化内部都很清晰是吗不好量化因为发罗文的时候他还是有一座这种作者自导作者现在呢其实没有办法量化实际情况就是没有办法量化这也是为什么我觉得在这个时代其实谈每一个个人个体的影响是一个很虚无相表的事情我觉得本质上还是组织做了这样一件事或者这个世界需要这样的所以产生产品impact是个主观感受在模型测试是这样在模型测试是这样然后当然实际上你可以我觉得可以细节谈的是说你自己做过哪些事情具体的技术的贡献然后它在技术上产生了效果这个是可以客观的去谈论的但是比较主观的事是你说这个效果在最后的产品里占了多大的比重这个没有人能说清楚对在3.7上你能描述一下吗我觉得你觉得什么样的技术性的工作对模型是产生一样主要还是跟Agent Coding的环境有关的工作然后也有一些算法上算法上主要是怎么让这个训练变得更就更稳定说实话但是我觉得算法上肯定是有一些提升但是也没有达到特别理想的效果说实话比之前的算法肯定是要好的但是那个我觉得也不是我个人的贡献我觉得也是大家集体的贡献对我每次问你你都会说这是集体的贡献不是一个个人英雄主义的时代我觉得该因应生之一实在对于蓝鬼之毛的来说可能过去了什么时候是就是在Fansform的那个时刻对就是在那个技术还没到scale up那个点之前那找到了那个技术的人可能是一个英雄或者找到那个技术的一个小团地可能是个英雄找到那个技术之后可能很长一段时间从模型测来说 [150:00] 都是我觉得更多的是集体主义就是这个集体能不能一起工作能不能为了一个目标一起花自己的时间花自己的精力这个是最重要的事而不是每一个个人提供了什么样的东西说集体主义的原因是因为其实能力是来自于AI是吗说集体主义的原因是因为我觉得AI这个方向本质上是简单就是没有哪我觉得没有哪个除了可能跳变那一下那个idea可能是得有一些很深刻的洞见在之后的那个过程中很多想法其实是非常trivial就是非常愚蠢的就是谁都能想谁都能干只是你预计好撞到这个机会去干而已包括你在描述Authrafic做coding好像它也是某种随机性但是你要抓住它对对但是就是我觉得做coding可能还比做模型测的这些记录上的东西可能还更稍微有点公私英雄主义就是说你能不能足够快的赌这件事确实还是一个安装片很强但如果今天没有Enthropic做可能别的公司也做我觉得是是一个必然的事所以它都是AI在涌现能力对我觉得就是看你能不能抓住能力不管对对我觉得就是在在这个可用的语言模型大尺度语言模型出现之前那个时候很多事情是一个非比就是有没有一个人能够发明一个东西一个语言模型能够大尺度做训练然后以及GPT这个范式能不能被发现出来那是有很多不确定性的但是你说比如那个时候你说如果没有Google print那可能Transformer就不会被发现可能要过很多很多年才会另外一个有钱又有人的组织发现那可能就是一个很大的影响但是进入那个阶段之后尤其到现在已经反过来就是你任何一个组织想要停止AI进展是做不到的Azorby有Azorby很担心AI安全那Azorby有没有这个能力阻止AI发展他没有你停止发展别人会发展你的话语权还会变小对其实现在是其实更多是这样一种状态是这个世界在推着我们前进而不是我们在推着这个世界前进感觉未来我们会更加难以阻止我觉得已经阻止不了就是我觉得试图去阻止AI里的一件事发生可能本身就不是一种正确的想法这也是就刚才聊到因为刚才聊到是安曹贝就是安曹贝其中一个很重要的动因是所谓AI安全我觉得他在AI安全的事这是他创立的时候动因对现在跟他有什么关系现在的关系比较复杂就是说一个自然的问题是大家可能会问一个做AI安全的公司为什么现在开始训前沿模型了Azorway的解释是说我首先得拥有一个最前沿的模型我才有话语权来推进我的AI安全所以说他其实一直以来的想法是说我要做这个事上最好的模型你大家不得不听我的来推进我的安全政策但其实从我个人角度来说我觉得这个想法是非常幼稚就这个事现在看来它是不会发现不会发生的更有可能发生的就是大家都有很好的前沿模型而你没有办法阻止这个事任何事发生对我觉得可能对于对于这个事来说现在更多关注更多该想的事是如果你真的想要避免AI带来一些危机什么才是一个更自动化的事对举一个自动化的例子就是比如核武器核武器也是一个可以大家觉得可能有毁灭世界力量的事但核武器最后最终受到控制的方法就是multiparty control这是这样大家有很多个有核武器的国家他们互相都有回应对方的能力所以通过这样一种制衡才稳定住我觉得你要阻止AI干一些不好的事可能最终是需要一种类似的机制来实现而不是希望即希望说一家公司制定一个法律员而干一件事对而且他自己制定他也只能管得了自己对你刚刚也提到Unthropic有个可解释性团队是吗他的可解释性到达哪一步了在一些比较简单然后比较稀松的神经网络里面他们能够做一些有趣的研究比如说看看某一个输出或者输入的文字或者图片它内在的表示是长成什么样的然后你可能把那个表示什么反一下之后它会能输出一个什么样的东西做一些这样的研究 [155:00] 你刚才还提到一个观点就是AI本质是简单的你这个能描述一下这句话这是一个结论对我觉得这甚至不是一个结论这是我的一个statement是我的一个陈述它可对可错然后我对这个这是你的观点对我对这个陈述的解释是我觉得它本质上简单的点在于它能做实验就是它和比如说本质上难的东西比如说物理它的区别在于那个东西你没有那个能标下的实验数据你就是理解不了那个能标下的理论但是AI不被这个所棒的目前你理解不了没关系我也可以往前发展而且就是我现在事实就是能够做任何我能想到的实验只是可能说我需要一些时间去把这个计算量提上来或者把这个基础设施准备好但是没有什么本质上的困难对所以我一直说就是觉得AI就是没有给人感觉它碰壁的原因就是首先很多东西你都能试其次现在不是说大家已经想空了脑袋没有什么想法可以试了更多的情况下是有太多的想法得一个个试花时间感觉真好渺小在这个实验面前是的所以说我觉得很快可能AI就会开始自己做实验了然后就开始四个月内我觉得未来的六到十二个月AI就会自己做实验我觉得其实当然就是这话不太良好定义对不起我说了一个很模糊的话就是AI自己提高自己或者自己来加快自己的发展过程这件事其实已经在发生了对吧像我们刚才最早的时候聊过就是他已经开始帮我们能够去实现一些一些我们想要的东西然后加快我们实验的速度但是我觉得未来6到12他目前还做不到的事情是什么是说他能不能从头到尾把一件AI研究的事做完比如说他不仅能写这个code他还能跑这个实验跑这个实验还能看到这个结果看到这个结果还能分析这个结果分析这个结果知道他哪做的不对然后提出新的假设设计新的代码跑新的实验这条链条目前还没有完整但我觉得这条链条可能是下一步会慢慢变得完整的事基于你的各种原因在你决定离开Authropical那一刻你对这家公司未来的预期是什么我觉得我离开的时候我对这公司其实挺悲观的但后来显然是我过度悲观了为什么悲观我当时悲观的原因是因为我觉得我当时离开Azopi的时候Azopi其实主要的收入来源都是API就是卖Token然后这个差生意是差生意因为这个生意只有对一个公司的好生意就是Google因为这个生意最后就是得打价格战就是一般处理就是要打价格战打价格战你没有完整的这个链条是没有什么太多优质但是后来Ishare显然在产品方面我觉得确实有很多巧思做了很多好的事不管像是Clocko的也变得越来越好用了然后ClockoWork然后各种各样的这种和工作和效率相关的事情都慢慢汇聚起来了所以感觉它现在反而变得比我当时觉得你要问我OpenEye和IshreV哪会先死但是就不会真的死就是说哪会先变得没那么重要我当时会觉得可能是AzureV会先变得没那么重要但是后来首先OpenAI被Google揍了一拳然后AzureV自己就上道了所以现在看来好像AzureV更占优势一些你后悔过没有不太后悔我觉得对我个人来说我个人的动机还是想要去换一个地方提高自己我觉得对于想做的这件事来说这个选择没有什么错误你也提到Enthropic的产品有很多巧思特别是今年像Cowork这些这个来自于哪里我觉得我没看到Cowork的发展过程所以我不知道然后Cloud Code我觉得人产品可能还真的是是有一些个人英雄主义的机会是研究员还是他民主主义就是我觉得Clarco的几乎至少这个事的开端是他自己想要做这个事提高自己或者同事的工作效率最后变成了一个对所有人都很重要的事Boris是个什么样的人我跟他没有太多的个人接触 [160:00] 很多的是看到他的工作在公司的时候他是个researcher是吧对但他主要是在产品那边所以Unthropic是有专门的产品部门的以前没有分的那么开后来有单独的对Unthropic感觉是很懂AI的产品对我觉得我觉得这是为什么刚才刚开始说的时候觉得这个产品经理可能还是目前挺难被AI期待的好的产品经理而且他好像不是上一代那种产品经历他不是那种feature的摆放什么的他好像是知道怎么跟AI协作的某种产品经历对我觉得上一代产品经历可能但也不全是就上来也有一些就是交互方式级别的变化但每一次交互方式级别变化其实就带来一很大产品比如说就是可能这个抖音就是一个交互方式级别改变的产品那他一下就带来了很大的打开了新的方向然后我觉得可能Cloud Code也是一个这样级别的产品对Cloud Code和Cowork都是Boris吗我不知道Cowork是谁做的我已经离开了那说说你到了Google DeepMind以后的工作吧工作重心发生变化没有还是发生了一些变化的然后我反正我自己主要在展外就是做ML coding然后和一些比较long horizon的事就是这两个事其实刚才都大概提了一嘴就是ML coding其实它主要就是想要实现刚才说的这个完整的AI自己研究自己的这个立场当然这个过程当中有很多实际的问题有很多实际的细节要去解决我觉得大的方向上来说大家其实是比较有共识是该怎么去做但是还是回到细节就是细节上有很多要处理比如说怎么样去选取合适的data怎么样去选取合适的回馈信号以及它又带来新的基础设施的挑战然后现在就是要把这些事情慢慢磨清楚然后像Long Horizon刚才说的另外一件事就是说想要能够实现说这个模型能够在还有那个口号Trim is finite but used as infinite我觉得想要把训练的长度一直变长可能并不是单个训练的语断的长度一直变长可能并不是一个很现实的方案但是很现实的事是你如何在有限的contact之下去做更长的工作其实你其实去想人其实就是这个样子人的contact其实很短很短你现在问我昨天晚上吃什么我是一点也想不起来了你可能想起来我是一点也想不起来了因为什么因为他对我现在这个场景说不关键对吧就是我现在知道昨天晚上吃什么又能怎么样所以我选择把它忘掉所以人本质上context是很短但它能够选择性的一忘然后它选择性的去retrieve就是去把这些重要的跟当前场景相关的信息再抓回来对所以说我觉得那个可能也是一个对我来说的很有趣的这种方向这两件事其实是有点相关有点互补的为什么就是说这两个事其实都在模型使用工具和环境以及不同的模型不同的人交互的大的范畴内在这个范畴内大家过去完成的节点就是Agentic Coding就是又是工具又和环境环境就是虚拟机或者你自己的电脑做交互然后这个事其实它横向就会长出不同的使用场景那作为AI research其实就是横向这个场景另外一个场景而这个场景它其实不仅横向上是一个新场景它在纵向上也让这个事情的尺度变得更长因为你可能完成一个一个代码的补权之类是一个很快的事但你做一个完整的AI研究或者做一个这种积材机科学的研究那是一个很长的过程对所以说它其实就是像一个T字形一样就是横向也有演战然后走向也有演战那Horizon是不是还是个科学问题有科学问题也有工程问题我觉得它科学问题更多的是怎么把不同的方案尝试一下以更科学的方式尝试之后来找到一条最后我们要走的走的这个方案这个有哪些方向我可能不太说说太细的但粗的来说从有一些方案是从Pretrain的角度从预讯训练的角度来说有一些方案就是类似于这种西出的AttentionSpotAttention那这个比如DeepSea可以 [165:00] 有些工作然后学界也有很多工作然后从后训练的角度也有后训练的方案比如说像外界比如说你每天用什么cursor这些他们就是很强的context management管理这个context能力比如说他可以让这个模型去选择我把这个中间某一段觉得不重要就扔掉了然后那一段重要就存在某个文件里到时候再取回来这两种大的来说这两种方案都有人在研究当然它具实时细节是不止我刚刚说的这些例子刚刚说的这些例子就是比较公开的例子具体实时细节当然就每个公司还有自己的小秘密我觉得其实也就是最终也都会大家都会互相知道然后我个人是比较花更多时间在后选人这部分的方案上因为当然首先因为我自己本来就没有花正式的工作时间在预训练上预训练对我来说更多是一个其实兴趣我想学习的事但是我自己其实没有在那上面做太多的工作然后另一方面是我觉得后续的这个方案其实更符合我自己对这个事的理解我对这个事理解就是刚才一直在说的一件事就是说能不能用短的contact去训练但是他能做长contact的事预训练的那些方案其实本身还是需要你有长contact的训练他需要数据里有对所以说所以他不太符合我对这个问题的哲学所以你现在看可以吗用短的去训练长的我觉得可以是一定可以但是我们不清楚哪个方案最有效詹曼达的长文本做得很好好像为什么呀有些技巧有一些让我很惊讶的技巧这是预训练的事长文本做得很好一定是两边都有但是我只是说对我来说预训练那边那个技巧还是挺让我惊讶的对OperA做的没有Gamina好在长文本上但是也有说法也不一样有些人也说Gamina3这一代长文本反而变差了一点之类的again你加入Gamina的时候感觉大家对Gamina预期不高没我对Gamina当时预期已经挺高的了你那是几几年纪我是二就是去年的9月底那个是Gamlight放Gamlight3之前你对它的预期高其他人呢我觉得业内的人当时对Gamlight都还是印象不错的吧就是我觉得之前一直觉得Google很有危机在OpenEd的冲击之下我觉得大家的感知可能在占占2.5这一代产生了变化因为2.5是一个明显你能看出来谷歌开始上道了当然之前就是占占的1.5也有一些就是小的事情某一个具体的上面做的已经算很强就是很明显它已经不是很过后但是2.5是真的一代就是我觉得开始有人开始用的模型我自己其实也用过2.5用的挺多你是看到2.5去的詹文娜我去詹文娜跟这没关系主要还是我知道詹文娜它大概是一个什么样的问题就是有很多人在做不一样的研究然后我也知道一些人其实做的研究很有意思然后很多詹文娜工程师我觉得技术是非常强的我觉得我是从他们身上学到了非常多然后对我来说那是原因但是我觉得从大家的感知上来说可能我觉得业内的人在看到JAMINDA2.5之后就可能就已经意识到了说JAMINDA是要赶上来了对那就你来说是不是你加入JAMINDA的一个信号不是我加入他的一个信号那你为什么加入詹姆蛋那就是刚才说的主要是因为我当时想做事其实我想要去有但你知道詹姆蛋人强对吧对那个是因为他们来找我的时候肯定也会让我去去和他们的人去聊从聊的过程中其实是能够能看出来状态怎么样是他们来找你对但是我觉得最后就变成双向奔赴了你当时OpenApp不是选择吗如果你想从Authrafic离职对Openei也是当时的选项Openei当时应该还是比Jamina从视能上要强吧在那个时候但是不过那个时候是不是各种内部的内斗开始出现了我觉得对就是Openei确实也是我当时的一个选项然后当然还包括像XII之类的然后 [170:00] 我觉得欧刚才最后没有去的一个转弹原因还是我对他的文化至少当时来看我对他的文化是有比较大的担心的就是我觉得用粗话来说就是感觉踏实做事的人没有詹姆乃多也更没有玩笑话也多对这个我很care所以一种文化和人的亲近感让你去了詹姆乃对然后你又改上了到三的那个转折点是吗詹姆大三应该对他来说是一个很大的转折的一个时期是吗我觉得从实际的效果来说我觉得是两件事让詹姆大产生了一个大的转折就变成了一个市场里举足轻重的的player的玩家是Nano果达和詹姆大三两件事连着就是你我觉得如果只有詹姆大三可能也不会有现在这么好的效果因为当你的市占率连10%都不到的时候你这个模型好一点坏一点其实等它传播出去就是太慢了但是拿多不拿多做到一件事首先市场上这件事很爆款然后大量的人去下载了JAMLin的APP然后Gamman 3又紧接着放把这个部分留下来了所以现在它变成了一个举足轻轻的玩家觉得可能就是没有Gamman打这么一拳其实OpenAI的位置很爽就在市场上已经高到你其实模型上干点啥对它来说可能影响都没那么大甚至说实话我觉得就是真正普通人用模型的时候对于模型的能力的感知其实是很弱很弱的绝大多数人甚至都不用O系列模型绝大数人都用普通的GPC的所以说我觉得对于詹姆来说一个纳多宝珈尔把量打起来然后詹姆来想又把人留下来是一个很关键的事他有事实上抢走多少XPT的用户我不知道现在具体的比例但是我的感觉是Gamna可能市占会在20%左右但是我确实没有仔细去检查我现在的数据这是从事后归因来看这两个因素共同促成了Gamna今天对于OpenAI的冲击那你从内部视角肯定能更前置的知道为什么就发生了什么Google会有这样的变化对我觉得我觉得首先就是Google的这个技术储备一直是够的人够对人一直是够的然后组织上来说就是后来变得越来越清晰就是有一个更好的框架来让大家一起干这个事所以说可能会慢慢有些进展对然后我觉得从某种意义上来说我作为一个局外人从某种意义上来说我觉得OpenAI是救了Google移民就是因为大家以前一直都担心说这个聊天机器人会不会完全把所损取代掉对如果这个事真的发生那Google其实很难受但是好在呢就是OpenAI先把这个事做然后让Google意识到这个事很重要但是他又没有把这个事做到底没有把这事做到极致又完全没有完全把搜索干掉可能就是吃掉了一些分结果让Google自己把耀天机器人也追上来了那现在难受就是它了你要万一有一个公司就假如说在一个虚构世界有一个公司不仅做了shareboard而且还一路高跟往前越走也好真的把你一把就把你搜索吃掉了完全没有给你反击的机会那就很难受了那其他Bot没有吃掉搜索是因为OpenN干的不好还是为什么呢还是因为这个型家干不掉搜索我觉得两方面其实都有就是说首先目前的查理Bot这种交互方式其实不会完全吃掉搜索因为他比搜索强刚刚最早的时候说过他比搜索强的一点是说他有很强的交互性你可以追问然后你可以把他可以帮你把一些很复杂的信息去浓缩这是他很强的地方所以这部分使用场景他确实会把搜索的人抢掉但是搜索里还有一些非常愚蠢的场景就是你有一个特别简单的事你根本不想浪费这个时间在聊天机的人比如说我就搜买大米我就一搜买就完了我还非得去问XGPT我还非得问哪个好然后他还在那转钱转半天然后给你个另一个人再一点再跑到网页再去买没有那个必要所以说从事实的使用上来说他目前的形态并不足以把搜索完全吃掉然后当然从那个角度上来说 [175:00] 可能在聊天机器人这个世界上也没有做到登峰造极就他还真的让Google把他给赶上了那就是他自己的问题现在还不算赶上吧在产品上我觉得在产品上不算赶上但是在模型上已经是赶上了但是投资人头OpenEye他们会说他们下注的时候是认清楚OpenEye其实是一个产品公司的时候它的护身盒其实是产品和品牌那从今天来看的话似乎Google还没有在这件事情上能够不能说超越open爱吧赶上open爱吧对就是我觉得这其实这都是我作为一个局外人观察者的视角来说你今天是点评家观察者的角度来说我觉得Google传统上在产品就是有点慢是一直都比较慢然后所以你说OFIA会不会在产品上有优势我觉得是有可能的对然后Google特别擅长的一件事是什么是找到一个据为简单的产品形态大家都长一个样它就疯狂给你卷技术你就卷不过它对所以那个事是不过善长的因为搜索引擎就是这样的一个事搜索就是一个典型的就是大家都是一个框一个键但他就是比你搜的快搜的比你准你拿一点办法也没有所以这个为什么就是我感觉就是一直以来Google都处于一个做的很好华尔街都不太认可的状态大家总觉得这公司比利大利到底在哪也没有什么产品的巧思也没有留恒的机制但他就活到了现在所以他技术好的原因是啥我觉得还是就人好吗我觉得还是氛围吧就是说是一个是一个特别特别重视以前就特别的重视工程师后来就是特别重视研究的这样一个氛围所以他很适合那种通过技术能力溢出的产品能力的产品如果从这个角度来看的话那你觉得OFANI的位置是稳固的吗现在我觉得像谁的位置都不稳固对我觉得就是AI的形态还有很长的路要走没有到什么终局之战这个地方的感觉呢对感觉国内已经有点这意思了对我不理解为什么不理解我很费解国内觉得我们在争夺一个Super AppSuper App就是此消彼长的我觉得Condition on聊天机器人这个事就是Super App那可能可以争夺一下但是问题是你这个形态是不是SuperF的形态会被别人就是哪天出了一个完全不一样的形态然后你的功能变成那个东西一个子级这是很有可能的是吗我觉得没有什么我觉得我看不出什么不可能为啥插爆不是那个终极形态但是这么多年我们也就看到这个了对就是都是一个对话康我觉得在这个身上我确实没有什么没有什么理性或者量化的标准来说明更多的是你觉得这事很蠢就是这个模型明明有那么多的能力但居然用的方法是查的爆的就是不太make sense所以需要一个产品经理来解放一下模型的能力人类到现在只通过查爆去跟AI沟通让你觉得很蠢是吧很蠢就是那应该用什么去跟AI沟通没想明白要想明白我就干了你没有告诉我Google内部到底发生什么变化然后有了外界看到的还模型能力的突飞猛镜对就是刚才说我觉得组织上更清楚了然后组织上一旦清楚的话组织变化了吗对尤其像预训练现在变得非常非常清楚就是谁负责什么事情然后每一个点每一个这个节点上谁是负责人这些事情都很清楚以前是混沌的吗以前最早的时候很乱我没有最早时候在那待过但是就是同事根据同事或者我以前认识的人的描述以前还是更混乱一些的对然后现在就是至少运行现在是变得非常非常清楚然后加上这个这个Google一直有的这种就是比较比较强的技术背景然后他做事也比较系统所以我觉得预先链在Google是一个非常可控的事可预测的事你能够知道下一代不会查然后可能你还会知道它会有多好通过Authropics这种自上而下的管理它也不错Google是这种自下而上的它依然是自下而上的 [180:00] 他比以前肯定要更自上而下了比起最早的时候但是他比antropia来说还是更自上而下就是好像不同的文化都可以是吗对对模型的训练来说对就是我觉得大公司有大公司的答案Starsha有Starsha的答案所以大公司是你刚刚也说它是一个完全不一样的叙事它是一个不一样的方法Google是什么方法现在我觉得Google更多的说是像这种比较确定性的事比如像预训练已经是一个比较确定性的范式了那可能Google就会更想把他做成一个工程项目然后Google的工程管理能力又很强所以说他就能慢慢把它做好什么叫工程项目工程项目的意思就是你其实是非常非常非常非常top down的一个组织然后很清楚我们下一阶段要做的是什么事情然后去做这个事情中间需要有哪几个节点被处理掉然后哪怕是做研究也是说就是有一个很清晰的框架告诉你怎么去去验证你的结果是好是坏以外六点结果是好是坏对所以这个是是Google很强的事情在过去的任何的一个大的工程项目上所以说就是预训练其实得就是现在进入到咕噜咕的舒适区里了然后后训练当然就是有更多的不确定性那可能后训练现在说还是更bought them up一点就大家可以跟我广泛的试对你说print training也是一种RL为什么这么说就是我觉得就是你很难从纯技术的角度说pretrain就是预训练和或者说这个监督学习SFT和RL的本质区别是什么因为预讯量和SFT但是预讯量和SFT本质也没啥区别就是你无非就是把你拿到的那些数据当成你的quant truth然后你就把那个当成你的expert把那个当成你的专家输出然后你朝那个专家输出的分布上靠乔小学这可能就是更宽广的一个级别一个级他就是说我首先就是这个本来输出的东西也不是一个给定的专家而是我自己产生的一些东西然后我里面有好的结果有不好的结果然后好的结果我往上靠不好的结果要引力它之类的这样的东西所以说从某种意义上来说Pretraining和SFP是强化学习的一个字但是呢这两件事确实在现在这个时代是有区别的我觉得对我来说它的最大区别在数据上就是Protraining的数据更多的还是要distribution够好就是分布足够的广或者足够符合你想要覆盖住的那些范围但是数据的质量并不需要非常非常高但是后续来就反过来就是说它分布上来说可能要远窄但是它在有的那些数据质量上会要求非常高对所以我觉得目前来说对我来说它俩最本质区别还是在数据分布上的区别而不是在算法或者训练范式上的区别那像不同的Lab它是怎么分这个组的预训练后训练有不同吗还是都一样Answerp和Google比较类似两个都是就是预训练是预训练一个组然后后训练是后训练一个组OpenEye可能比较混沌最早的时候一开始的时候它是分三个组就是它有预训练然后它还有强化学习就是Strawberry草莓组然后它还有一个Post Training组然后我的我没在这儿干过但我的理解是它的Post Training其实是就不是它的那个RL组就是Strawberry和他的post training其实是别的公司的post training和产品然后他可能是以这种不一样的方式给他切了他把后训练到产品做就是他的一部分后训练其实是和产品是在做产品他是名字没改过来呢也不完全是因为绝大多数公司的产品其实不太逊模型了他更多的是把这个需要的需要的这个特指模型特指告诉训练模型的团队但是他好像就是他的pose是你从某种程度上说自己又是产品但自己又能训模型这是不是他对于产品的理解就是需要有可能训练模型的人来做产品对对对有可能是点好事对但是他后来也这个组织变化很多次我现在也不知道他们组织成啥样你们最近发了几个模型然后我看到你也都参与其中Gemna3 DeepThinkGemna3.1 Pro我觉得可能只能说是有幸参与对感觉都是集体工作你为什么现在都变成明星人物然后每次都被拎出来单独写一下我不明白我觉得其实 [185:00] 还好每次看到之后我都感觉明天该怎么去办公室见同事呢会有异样吗在办公室就还好我觉得同事可能可能还是人比较好就是他们可能不是特别看重这些事但说实话我是觉得我参与过的任何一个项目不管是在Google还是在没有我都会发生都一样会发生效果也不会扁差我觉得大家现在就是每个人都是冲浪的人本质上是一个浪而不是你那个冲浪的人浪是AI吗对就是AI这个事情本身是这个浪它会往前走不管你冲不冲这个浪这个浪都会拍到暗上只是说有人可能就冲了这个浪有人就可能晚了一点没赶上这个浪尖你有心的参与了这两个工作的什么主要可能就是一些有一些算法上设计的小的细节然后你就会一块讨论然后有一些数据上的东西但是数据上的东西我觉得可能对之后的工作会影响更大一些这几个模型有翻式变化吗我觉得没有哪个没有哪个变化大到了从不知道怎么做大程度强化学习到大程度强化学习那个级别的变化没有哪个变化大到这个地步肯定都是会有一些小小的变化这几个小小变化能讲一讲就这几个新的模型不能讲好很不幸对不起最近我感觉模型已经发麻了国内一堆模型国外也是很多模型OpenAI你们国内GLM自己Deepseek一直期待还没发Kimi你能不能给大家画画重点我觉得从某种意义上来说都没那么值得关注大家在争什么现在感觉群魔乱斗我觉得有一些争的事情其实现在看来已经在这个时代已经没那么重要了就是因为过去带来的惯性是大家会争各个benchmark的第一名证明自己模型的基本能力很强这个事情其实到现在已经到了公众关注那些benchmark都有点打满了就是你想最早大家关注SweetbenchSweetbench大家都打到80多幸亏没有人超过83因为最近OPI刚刚放一个pose说超过83的题目都是不良好灵异的幸亏没人超过谁超过谁尴尬然后大家以前Reasoning就是打完AMI打MO打什么想不说RKGI这些然后RKGI在GEMLite3之前大家看最高的都那时候可能10G这样子吧然后大家就哇登天难然后GEMLite3变成30多然后Cloud4.5还是4.6变成S.6应该是变成60多了然后JAMLADSUN DeepSync一下达到80多所以这个也达满所以现在就是感觉光靠打这种公众认知的模型能力其实已经没啥太大的意思了然后所以从这角度上说其实本质上就是没有什么太多的重变虽然大家发的很快发的快也说明其实这道题对大家所有人来说都别简单了大家都知道know how了没有什么秘密了已经对就是还是说还是这个就还是那个冲浪理论也还是这个浪在往前走对大家下一个可能在寻找的目标是什么下一个范式级的变化是什么还会有吗我觉得我刚才自己聊的那两个事是我觉得ML coding和Long Horizon对然后这两个事我觉得是我觉得是一个可能没有到范式级变化但是我觉得是对于Google来说会很有价值的事情因为首先MF固定是因为Google首先自己是一个AI research大户然后它自己又是AI research最全占的就是它不仅有这些训练模型这些部分它还有涉及硬件的部分从硬件接到模型的部分这一整套东西如果能被加速或者说 [190:00] 被更好的管理那可能对这个公司来说是很有价值然后Horizon就不说了所有人都知道所有人都觉得很重要对所以说我觉得那个可能是对我来说不能说是范式级别绝对是不到范式级别但是是一个我觉得是很有价值需要去在未来几个月之内能够看到曙光的事然后我觉得范式级可能就还是那些更非确定性的东西就是什么动物台生成那个我觉得可能会有一个英雄吧或者会有一个英雄集体吧然后对像那种可能会有一些还有聊比较多的continual learning世界模型呢我觉得continual learning和这种long horizon刚刚说了没有本质的区别因为因为大家以前觉得这两个事差别很大是因为continual learning会改变模型的一些权重然后你做这种比如像开放开开开开人大家做很多这种这种contest management是不会改变模型权重的但其实你想这两个没有本质区别因为contest里那些词自己的kv不也是一种权重吗所以说你觉得这两个方案就是最后谁能谁能更有用在长久来说更就更有用我觉得是不清楚的但是他们本质上都是为了做刚才能Horizon这种类型的事情然后世界模型一万个人有一万个世界模型啥意思就是定义不清晰就是首先我不知道什么叫做一个世界模型其次就是每个人在说他们做的世界模型的时候可能也在说不一样的事比如说翟美乃做的世界模型可能就和比如说像像李飞飞他们做的世界模型就不是一个事对描述一下区别是我不是特别了解像外面像李飞飞他们这些lab做的事情到底是怎么样的但是翟美乃的世界模型更多的是一种是一种end to end的这种级别训练他想要的结果是说我比如说视频生成是大家能够给定一个描述然后生成一个视频但他想到的结果是我不仅能够生成一个视频我是能生成一个场景什么叫一个场景场景就是说我生成了这个时刻的状态然后我还可以再给他一个condition一个条件这条件是我在这个状态下做了一样什么样的什么样的动作嗯然后他下一个时刻状态会变成我上一个是个状态和动作的函数然后它是按照按着去训练这样的能力所以说这个可能是一种花样然后我首先也不知道大家最后想要的到底是什么结果然后我也不知道大家对自己世界模型的定义到底是什么所以我觉得更多还是一种探索状态刚才我们一直没有聊到一个组织是XAI我们刚才聊了Enthropic聊了OpenAI聊了DeepMindXIA呢XIA我是要不明白作为点评价来说一下他们怎么最近这么动荡我觉得他们一直都挺动荡但为什么最近这么动荡我也不知道然后我其实我跟XIA接触的没有那么多然后我接触的一些人现在也走了所以我也不知道他们发生了啥对了你刚才说Unthropic的时候你说技术的一号位能能被MacDance是非常重要的那在Google这样的一号位是谁这个英雄是谁我觉得英雄在可能在不同的阶段是不一样的人但是英雄的背后都有一个人就是Serge就是Google的一个co-founder我觉得最终很多大的决定可能不是由他来决定怎么做但是最后拍了个版给他来拍现在也是Dimes呢我觉得可能更多的在一线出现的是Core其实是DMine的CTO然后他现在也是Google的SVPDemis在负责什么我觉得Demis可能管了更多那种就是偏Science的事情就比如说那个药物的DesignIsomorphic Lab那些事情对Jamina他管的不多至少从我的视角来说我看到的更多的人是CoreOK但是有可能就是那公司那个管理层的事其实也有可能很多是我看不到的部分嗯那就我就不清楚了你刚才提到AI是怎么是一个系统吗嗯你对于怎么系统性的做AI有什么认知吗现在经过了你这两年的工作有几方面吧一方面是从从整个系统来说他需要一种比较可 [195:00] 就是你要清楚的像Skin Out就是你要清楚的理解自己做了什么样的预设然后我在做一个改变的时候其实有哪些因素是相关联哪些因素是不相关联的然后这是从组织情况下来说从人的情况下来说其实需要人很reliable就是需要很负责任的人其实每一个系统就每一个评价的框架都是很容易被hack的你总可以做一些事让你的指标看起来很好看但是一个可一个值得信赖或者踏实的人他其实是会想自己做的这件事如果效果好的话是不是真的比如说在大的时尚上效果好是不是我中间漏的那些因素对所以说其实其实把视作系统听起来是一句话但真正做起来是很复杂的事就是有很多细节有很多阻力会因为它其实违背人性因为每个人个人的人性可能都是为了让我自己做的东西能够体现的更好但是对一个公司或者说一个组织来说最有利的事是把整个公司的系统性做得非常扎实非常严谨这能不能举点例子好像有点抽象对它确实有点抽象所以这也是你说没有那么多的个人英雄主义的一个表现对就人要变成一个更可信可靠的一个它是一个系统的组建我可以举一个一个可能也是比较鬼话的例子就是就是比如说做乔法学习你可能可以做一个算法出来效果比别人好但是可能更关键的问题是你要去问比如说在真正的大的词录下我是不是能够保持稳定性是一样好的然后以及我比别人的东西效果好是不是因为我用了不一样的data以及我是不是用了更多的training的flop是不是用了更多的sampling的flop然后我具体在真的生产的最后大的跑的production round里面到底哪个才是我的限制因素然后我该看训哪个指标这些可能都是需要研究员自己对于这个系统怎么运作有一个好的理解然后以及对公司负责任才能做到否则就是你很容易做到一件事就是你可能比如说你在考虑training的时候是比别人好的但你考虑training加三分之候比别人差了你总可以选择你只是有training但这就很糟糕所以这个就是既需要你个人的负责人又需要说组织所建立的这个体系里能够能尽量的发现这些有意的或者不意的这种边界的事情但是你作为个体的话你不知道怎么样是对全局最好的其实是需要我觉得如果一个研究员做不到对全级去考虑的话他就不是考的研究员在现在这个时代就是这个和我觉得这个和你就是在学术界做research是很不一样的事因为在学术界做research本质上是一个人吃饱全家不愁的状态就是我为我的项目负责对吧我为我的客宠附近负责但是在一个公司里你其实更多的时候是我得为这个公司负责对这是两种完全不一样的心态那你这种自觉性从哪里来了不知道我觉得我可能就是拉不下脸拉不下脸是什么就是你对一个公司负责任是你和这个公司的契约的一部分其实我觉得没什么道理不这么做这么做是没有原因的所以个人英雄主义会破坏这种整体性我觉得如果只是为了个人英雄主义而做事的话很有可能是会迫害整体性的当然实际可能你能力很强然后你真的成了一个英雄那也是有可能因为你也经历了两个组织了你觉得什么样的组织更能够激发智能在这个时代我觉得其实这是一个很很有争议的事就说因为刚才也聊了就是不同组织可能有一些比较自上而下有些比较自下而上一个自然问题说比如说这两种组织哪个更能够激发创新过去的观点就是自下而上是激发创新必要条件因为就是你得每个人有自由自由才能有创新但是完全自下而上就发现其实也不行因为它就乱那就是Google之前的样子是吗对至少在我印象里就是在我了解到的印象里是这样就是它就乱就是大家甚至都不知道我做这个事有什么用那可能也不好所以就可能要需要有一个人或者有一个小的集体能够把这两件事稍微融合一些对 [200:00] 其实这个一个组织运行的好不好看起来是组织问题但其实归根结底是技术leader的问题就是这个技术leader有没有特质能够把这个组织运行的很稳定因为最好的那个状态往往都是最不稳定的那个状态就很容易往不好的那个方向踏缩的所以得有一个leader来控制这个事那你觉得都是技术leader来做这个事情而不是CEO来做这个事情当然美公司的CEO可能有不一样的职责但是得有一个leader我觉得至少得有一个leader他能有两个特质才能去做这个事一个特质就是说他自己有救货的能力不是说他光嘴上说要做什么要做什么要做什么而是说有一件事真的遇到困难了他能自己下场去带人把这个困难解决掉当然绝大多数时候可能一个leader是不会有时间去做这个事但他至少有这个能力第二个重要特质就是他得能够理解别人就哪怕一件事可能是他不做的事但他能够理解到为什么别人做那事重要能够容得下别人那可能是另外一个特质对你觉得Google的TPU在哪些方面表现的比GPU更好劣势是什么我觉得从纯硬件的角度来说很难说哪种硬件真的好或者坏尤其是在这种大规模商用的情况下因为本质上来说GPU和TPU在使用上来说最大的区别就跑掉硬件的区别来说使用上来说最大的区别就是GPU它有比较好的开源生态TPU没有但这个事其实在大规模商用的时候并不是一个问题因为比如说Google自己用TPU那自然会花时间去搭这个基础设施而基础设施就是一个你可能比如说你只跑1000张卡那可能是一个很大的负担但你跑一个几十万张卡的集群那搭一个基础设施也不是一个多大事然后从实际所以就是从实际上这种大规模商用来说没有哪个熟悠熟略但是这两个确实有一些设计理念上的区别比如说GPU至少我可能后来这几代GPU没这么用过比如像Hopper那代GPUH7的GPU它的设计就是说我一个POD里面可能没有多少张卡比如说就8张卡然后这8张卡之间可以两两互联NV-Link非常快所以这一个POD几乎就是没有什么communication的Bound但是TPU它可能就反过来它就是说我抛弃了卡之间两两互联但是我能尽量的把尽量多的卡放在一个大的架子里面它就是有这种三维Taurus的设计所以它就一张卡就只有在三个方向连三个最精灵的但是它整个集训可以连成一个大Taurus然后如果你的compiler或者你的那个sharing的逻辑写得足够好的话你是可以利用这样的东西其实就等效来说你会获得更大的储存空间然后也会减少很多通信的bund对劣势是什么我觉得一个劣势就是它肯定是比起GPU来说至少在小的sql上来说比起GPU是更加固定的一种结构其实说它的应用性或者它的通用性可能没有那么强最近硅谷有很多New Lab出现你怎么看这个趋势为什么他们都出去从这些模型大厂跳出去成立New Lab我看不太懂我的感觉是绝大多数的New Lab都会死然后那个我觉得就是可能有一些Lab是真的有好的人的然后像有些Lab可能确实也开始在做一些事比如说像Thinking吧他还是在Deliver一些新的东西的然后但有些New Lab就是请帮我把名字滴掉好比如说我就完全不知道他们到底要干嘛然后这俩人其实已经远离这个专业好久了我觉得26年国内会非常的看重C段的叙事谁成为那个Super App你怎么看你觉得这个这好像在硅谷没有人讲这个事对就是因为美国Enterprise就是这个公司然后或者说效率软件这个市场太大而且利润也太高所以说对于美国来说其实C端之前就只有XLGB一家做其实也没啥油水没有什么利润所以说就是现在大家可能重心都会先放在这种效率软件或者Enterprise上然后所以中美的趋势已经发生差异化了我觉得不只是AI就是过去的整个互联网都是都不一样就是中国很强的就是C端就是他能够想出一些诶 [205:00] 非常非常复杂的产品的的性质或者结构然后用一种很你觉得很间接很不自然的方式把这个利润滚起来比如说什么叫很间接就比如说像像抖音这种东西它并不是说我你看视频我看一个视频收你两毛钱对吧还是说你可以免费看视频但是我可以偷偷加广告我可以偷偷做直播我可以偷偷做电商但是这个做销量软件没正事做的项目人非常直接就是我让你帮你写扣的我成本一个月150卖你200我挣50就是非常直接的事我觉得美国在过去的体现就是在这种很直接的产品上能够把技术做到极致但是一直没有哪个产品然后我觉得就是复杂到说让你离不开它你又感觉不到它在挣你的钱但它实际上挣了你的钱对你这么说我突然觉得Meta就应该超自己的做对但我觉得Meta没自己强因为Meta他也找不到自己的生态位然后美国又没有一个做这件事情的公司豆包这个生态位还没有有人找到那麦他就抄豆包呗他也不需要那么强的模型能力对但我觉得还是美国做产品的本质上做C端产品的人不行比中国来说差远了这是过去十年的积累什么对因为过去十年在美国的这个正反馈都来自于做2B的很多Enterprise的事情或者就是在美国这地方挣钱太容易挣钱太容易的时候你就不会费脑筋去想怎么挣钱不是很多人来都要找你聊聊吗有什么好玩的人很多国内的人来科技公司来对我觉得我觉得都挺好玩的然后确实发现国内的人做产品可能还是想法更复杂一些更复杂一些对就是想的更想的这个回路更长一些跟美国还是风格不太一样美国是美国就刚才说了做个什么就拿这个卖钱了对啊就是简单就是这个事就是需要这个能力有了这个能力之后就是要比别人便宜我就能挣得比你多哪有一点办法也没有中国呢中国感觉都是这种什么一开始不挣钱但一旦他开始挣钱你就拦不住他就是他是真的能形成自己的那个圈的你就是他真的把那个圈转起来的时候你再想一插就插不进去了你觉得美国公司现在看得懂自己的跳动没有我的感觉是没有还没有他都这么大了哦你说就是是不是重视他那肯定是重视的就大家肯定都知道自己是一家被严重低估从从他的市值上来说是被严重低估的公司这是我觉得大家很明确的事然后呃我觉得也很明确就是说在在消费者市场这一端其实我觉得没有哪个没有公司能够自己的竞争啊但是他毕竟是在中国公司至少从公众的公众意识上来说他毕竟是家中国公司在看懂他了吗我不觉得大家看懂他但是你看Meta其实也在主动的从自家挖人你在AI行业有什么偶像吗或者欣赏的人虽然你在AI行业很短没啥就是我感觉我感觉我来这行业的时候个人英雄主义时代已经过去了所以也没有什么英雄有时候你甚至觉得旧时代英雄有点蠢对所以说真的没有什么你觉得谁比较蠢这个还是不说了吧No comment我觉得和作物理说还是不一样我觉得作物理说还是存在着一些我觉得真的比我聪明太多的人比如我读博的时候我那个年轻老板我觉得他我觉得他就比我聪明太多了我觉得他可能也是看到他我才觉得自己待在那个领域也没什么用有他了还有我干嘛呢对吧跑到AI来降维打击一下也没降维打击但是反正就感觉AI这个事本来也不太需要脑子不太需要脑子真的不太需要脑子需要什么我觉得这个行业最重要的特质就是就是做事细然后对自己做的事负责任这是最重要的特质你说那些东西有多需要脑子我觉得我觉得 [210:00] 都是一些本科生就能干的活可是你说AI没有个人英雄主义现在一个AI研究员的价格炒得多高跟求心转会一样我不知道是好事还是坏事对我个人来说我当然很高兴我受益这个对吧但是实际上来说我并不知道这个事是不是是不是一件好事你觉得为什么价格会变得这么高我觉得可能一方面是大家觉得这个事很稀缺吧但是它实际上可能确实也没那么充足就是因为训练一个人虽然这事没那么难但是你训练一个人是需要一个环境的就你得有那个机会去接触这件事你才能学会这件事你没有那个机会你就是再聪明也没用那可能过去能撞到这个机会的人没有那么多所以说在视频上来说可能是比较稀缺从这个角度上来说但我觉得另一方面也是可能对人的炒作有点过分对非常喜欢神话个体对我觉得真的就是再说一次这是一个集体注意的事那很多人也会很好奇因为可能很多公司也想招AI的人那你觉得最重要的还是要靠谱这个有什么衡量指标呢就怎么能够快速的判断一个人靠不靠谱做事稀不稀每个人都有一些自己衡量的方法然后我当然也有一些自己的trick我以前好像有出一道面试题然后我可以大概讲一下这个应该不设密所以我也可以讲面试题其实很简单就是说我需要这个人在24小时之内然后完成一个强烦学习的项目从0到1就是他要自己去选用什么样的模型我告诉他他有的资源是什么样的然后他自己选用什么样的模型用什么样的数据用什么样的算法然后把这个模型训出来24小时之内就是我给他让他24小时去完成这个事然后24小时结束之后他会跟我有一个小时的讨论然后这个事其实在AI时代没有那么难没有AI的时候这是不可能的没有人从24小时之内把它做出来但有AI之后其实特别简单因为AI能帮你全套做但为什么还要做这个事有两个原因有很多原因其中设计成这样的两个原因一个原因是因为我觉得在这个时代去还去考察别人比如说代码写的好不好其实没用因为绝大多数人都不用自己写代码然后它更重要的是它能不能有效的利用AI这个事一个方面的考察这个问题第二方面是这个事其实有一个陷阱如果你全拍上AI做了但你最后没有试图好好理解AI为你做了什么那在那一个小时的讨论里面会漏响那是一个那个是一个会挂人的地方对所以说那个考验的另一件事就是说你有没有真的和AI形成的协作还是说你就全权扔给他那个是我我觉得我个人很看重的事那个其实也是他就是这个人是不是左手偷普的一部分当然这个这个题目的设计本身也有一些一些比较阴暗的巧思就是说为什么设计成24小时就是为了看这个人有多看重这个机会能熬夜对如果他足够熬夜他就能撑住这24个小时如果他撑不住那只能说他可能对这个机会也没有那么看重那对于比你更年轻的人你觉得他们现在来AI还是一个很蓝海就是很有机会的地方吗我觉得纯座语言模型已经不是一个蓝海了我觉得晚了就是木班车已经发车了木班车已经发车木班那班是哪一班我感觉我入行就是那个木班车然后可能有确实在我入行之后当然还有我一些新的人但我觉得他们就没有机会能接触那么好的机会了就是能在一个还没那么小没有那么大的团体力做一件事情那么可能就很少能遇到这样的机会了对然后但是我觉得就是AI它是一个很大的方向语言模型只是其中的很小很小一个部分还有很多别的事情比如刚刚说东方太生成那可能还有很多机会机器人那可能机会更多对吧然后包括更夸张的就是有比如说你能不能用AI去帮助一些真正的科学问题比如说帮助这个做量子调控那可能就是更蓝海那都是Blue Sky的事所以说我觉得对于足够年轻的人来说可能做现在最热火的事并不是一个正确的选择做现在没有人做到的事可能更多的是一个好的选择你自己未来会怎么发展你会在过去的事情 [215:00] 做很久吗我觉得应该不会这么公开的说吗我觉得应该不会我觉得我还是会尝试去挑战自己的对然后要折磨自己对要折磨自己对但是我就是可能需要找到一个值得折磨我自己的事如果AI不是本质的难的话你会不会做的觉得无聊啊你对你的挑战在哪啊我觉得它虽然不难但是你知道和不知道还是有一个gap的就是你从完全不知道这个其中细节到慢慢理解这个其中细节理解它怎么运作的之类的这些事情我觉得还是需要花时间花力气的然后当你理解之后我觉得对这个事也是会对你未来做比如不管你是做产品相关还是说往别的AI的方向去发展我觉得都是长期来说会有帮助的你未来想在哪里去发展我觉得都有可能没想好该怎么折磨自己你应该不会再跳去另外一个大公司了吧应该不太会了你觉得你在Unthropic上学的和在Google DeepMind学的有什么不一样我觉得还是挺不一样我觉得在Unthropic就是你可以把一个事了解很把一条线就是language model这条线的方方面面了解的很透它给你这样的机会然后在Google它更多的是一种横向就是它有很多不同的方面而不很多不一样的人然后也能见到不一样的视角也能见到不一样的研究方向对就是你都可以看见对Anthorpeak是因为它Bet的足够的坚定所以你能理解的更纵向你有想过用AI去解决物理问题吗你们那个理论物理有人在干所以我觉得不需要我去干你对这个没有本质的兴致我觉得这个事就是首先我觉得目前对我来说不是最高优先级我觉得如果哪天我觉得我把我手上最高优先级的事解决了我又没有找到别的事干我可能会去干这个事你现在最高优先级是什么我现在最高优先级是就是把我刚才说的这两个事情能够把它能够把它至少推进到一个就是和同时能够把它推进到一个比较我觉得比较稳定的状态那个我觉得是我的最高priority但是可能之后也会有别的priority但是自用外来做物理我觉得是一个已经有很多人在试这做的事后多一个我不多少一个我不少不如就让别人先干你有特别崇拜的物理学家吗也没有有但是有点多不知从何说起物理学家有人工智能科学家没有但也跟人的成长经历有关我觉得就是一个成年人是很难真的崇拜一个人的那一个儿童可能会崇拜过谁啊我觉得就物理学家其实还有很多就真的挺强的当然就是大家都说的那种是不是一百年前那种也就不说了就什么什么安斯坦海森伯克这些就不说了然后包括大家后来都知道什么像弗兰克杨杨戴尼这些也都不说了然后像我之前做Tobolge体系的时候其实有一个他后来也拿着我讲就是那个好战你会发现这些人他有些异常的远见在他那个时代显得格格不入但是你好像最开始做好在model和这些分出样子画像相关的事的时候离最后大家搞明白这些透夫舞态过了好几十年在那个时候他能够觉得这事重要然后一直在自己在推进这事我觉得这是一个很不容易的当然我觉得你要非要在人工智能找一个类似的人我觉得可能Jeff Hinder就是在大家都觉得这事可有可无或者不那么确定的时候他一直在这个方向做那我觉得这可能是一个英雄级别的人物在他之后呢AI在他之后我觉得我觉得可能也有一些英雄的集体就是比如像Transformer就Normus Hazier和那些那个RXEシェ你可以讲的那可能是一个英雄集体对你讲过一个特别让我印象很深的话我在这个行业又没有什么导师又没有什么旧友我想喷水喷水这可能就是不做AI的好处不做AI出身的好处对就是真的没有什么负担就是没有哪个老的是你的亲属所以你觉得他傻他就是傻就可以直接说他傻没有无所谓的你以前也这样吗我觉得我做学生的时候还挺收敛的但我后来发现 [220:00] 舒脸没用对自己也没好处对别人也没好处还是更直接的表达自己的想法是最关键我觉得直接表达自己的想法是一个短期一定会有人恨但长期大家会欣赏的事情你最近听谁说话最纯把这个名字逼掉谢谢我会一直听说而且纯的始终如一他有没有可能是那个对的人呢我觉得他说的话用Polly的话来说就是not even wrong因为不良好定义你很难说他说的是对是错对就是有一天可能有一个不一样的犯事发生了他就可以跳出来说我当年说过这个但是你就发现可能如果犯事是运动状态他也能说一样的话这就是我为什么很讨厌那种很为一个很模糊的人的原因因为一个事模糊就是没有意义的你为什么觉得他说话很模糊没有正确定义是一种模棱两可如果他有正确定义的话我可以解释他为什么有正确定义但他没有正确定义的话我没有办法解释他为什么没有正确定义因为他真的没有正确定义我觉得起码就是还是一个很良好定义的事就是他他是要做然后他的方式可能更偏这种更传统的这种这种neural network model的方式而不是更end to end的这种方式我觉得至少它是良好定义的至于它是对是错那我觉得是未来会检验的事情对就大多数老灯其实都还好就是我觉得我觉得人年纪大了不一定会变成老灯的人年纪大了会变成两种状态一种状态叫做得高望重就是他会可能少指手画脚还会花自己的力气去培养年轻人另一个人就是老灯就自己也不懂还爱指手画脚所以人老了不一定会变成老灯你说受了谁的刺激我也不知道我受了谁的刺激但我确实见过不少老灯你从什么时候变化的就是说话非常直接开始不收敛了就是你过去都是这么想的但是你不说我觉得我过去可能也会比较直接但是没有这么直接但是做了AI之后就更直接是没有束缚是吧一是没有束缚二是这个领域足够客观你其实不用太担心因为自己的观点只要你的观点就是自洽的就是你有一套自己观点和理论你不是说随便喷人那肯定是会惹到原因但是你是有一套自己的理解我觉得其实大家是会尊重你的因为最终你在这个领域做的怎么样是有客观的评价标准的我们每个嘉宾都会推荐一本人生之书要这本书真的对你产生过重要的影响你要说的这本书是什么这是今天最难的一个问题我感觉你还是高看了我的文化程度我真的没有什么人生之书说实话真的没有什么人最近读了一本书上次七一超说的是线条小狗最近读的书就是就是唐川的自传唐川秀书的自传旅人然后你要非要说就是可能有印象的首先我这个人确实不爱读书我感觉就是我这个人文化水平比较低然后我读书除了就是专业性的书之外所有的书感觉都是闲书像什么汤川的自传其实本地上也是本闲书但是就是我觉得写的挺有趣的就是你能看到一个一个后来看起来如此成功的科学家在他年轻的时候的这种挣扎感很真实对然后可能就还有一些什么显术像小说这有本小说我很喜欢那个来自新世界是一个日本的小说对我觉得你要非常好推荐弦术的话我可以推荐那个对你最近有看什么电影什么电视剧玩什么游戏什么都没有一个全球范围内你喜欢的食物一个全球范围内你喜欢的地点全球范围内喜欢的地点我觉得现在你要非让我选我可能会选夏威夷因为我很喜欢海对但是也很难说因为之后我可能去了更多海的地方就另有新欢了 [225:00] 但是可能需要知道的知识点别相信老灯算吗你有迷信过吗我本质上没有迷信过但是我觉得有些时候可以靠迷信来安慰自己我知道你有迷信过老灯吗迷信老灯啊从来没有吗真的没有但是我以前可能没有这么恨老灯后来就变得越来越恨老的为什么可能就是当你自己有越来越多判断的时候那些蠢的人就显得更蠢他们也没有伤害你为什么会恨他呢我觉得就是厌蠢症每个人都有厌蠢症你的MTS吗不知道为什么这些年会有一个对于就是年轻人对于年龄大的人这么不友好的一个词出现这来源在哪里不知道没有研究过可以问问詹文艾让他deep research一下看看老邓这个才是哪来的那你心目中影响AI进程的几篇路门sequence to sequence是一篇然后那个我觉得是language model在feature and nearing时代的高峰然后skilling law是一篇就是主要卡本他们在在open-air的那边是给云Law是一篇把这种体系化的研究方式引进到这个领域的一篇当然最后实际上SkinLaw的做的方法可能他那样并不是正确的就是但是是第一篇把这个想法引进来的我觉得这很关键基于你当下的认知一个关键的重要的Bet是什么Lon Horizon我们工作室叫语言及世界工作室第一次听到这个名字的时候你在想什么我觉得这个名字有点正常的太平英了可以对其实我觉得这个名字是一个可能放在十年以前是一个很很独特的视角现在主要大家共识太多了我觉得十年以前确实可能现在不止十年对不起我感觉我年纪也大了可能不止十年了可能在就是什么1415那个年代大家都会觉得视觉是最重要的事在那个时候我觉得意识到语言是承载智能的重要载体的人可能是一个不一样的事情对不过我觉得我们这个名字不是在AI的语境里面讲的嗯嗯那就值得深思了