【十字路口】AI 时代，PhD 路上的 10 个关键问题｜对谈李磊：港大 PhD、小米 MiMo 研究员【视频播客】

AI 时代读博的 10 个关键问题：对谈港大 PhD、小米 MiMo 研究员李磊 李磊结合自身在港大攻读博士与在小米参与前沿大模型后训练的双重经历，系统拆解了 AI 浪潮下学术界与工业界的生存策略。他指出顶会评审已因 AI 生成内容而面临机制过载，研究者应穿透“锯齿状智能”去攻克具备真实毛刺与壁垒的科学难题，并通过高质开源与自媒体传播放大技术影响力。李磊还对比了内地、香港与美国读博的路径差异，提出“选导师远重于选学校”和“前期慢想、后期快跑”的科研闭环，并分享了 MiMo 直播训练背后的工业级透明探索以及打造顶级 Benchmark 的核心方法论。 大模型冲击下学术同行评审面临“DDoS 攻击”，顶会论文正从黄金标准退化为加分项，工业界更看重真实代码开源度与 Hugging Face 月下载量等硬核指标。 (8:07) “大粉理论”反映学术传播进入算法分发时代，研究者需坚持“利他”输出与自媒体运营，借助 Attention 机制放大研究成果的影响力。 (12:16) 博导选择优先级远高于选校，针对“慢科研倡议”，李磊主张“前期思考极慢提炼最小假设、后期执行极快打满算力”的研究闭环。 (25:28) 递归自我改进（RSI）在定义完备的任务上搜索极快，但目前依然致命缺失定义关键科学问题的 Taste，短期内仍高度依赖人类研究员直觉。 (46:00)

港大博士生、小米大模型后训练研究员李磊指出，在顶会审稿机制承载过载且大模型技术狂飙的背景下，科研者应聚焦攻克具有技术壁垒的“难而正确”问题，并将学术衡量标准从单纯刷论文转向开源生态贡献与真实影响力。 学术体系过载与以硬核开源重构评价机制 (5:00) 李磊观察到，AI 辅助生成论文的泛滥导致 NeurIPS、ACL 等顶会评审负载激增，每位审稿人的任务量从早期的 2–3 篇飙升至约 10 篇，审稿决策的随机性大幅上升。这种灌水与投机行为本质上是对同行评审机制的“DDoS 攻击”，正促使工业界与顶尖学术机构自发降低对单一论文发表数量的考核权重。当简历上的论文列表面临“指标作弊”风险时，具备真实落地价值的硬核开源成果正成为核心壁垒。李磊提出以完整开源代码、干净数据、GitHub Issues 的长期维护度，以及 Hugging Face 上的月度真实权重下载量作为人才筛选维度，以此穿透学术造假和水论文的迷雾。 科研选题心法与大模型的锯齿状智能毛刺 (3:28) 面对大模型带来的技术虚无感与焦虑，李磊强调不能被社交媒体上的 Demo 蒙蔽，大模型本质上表现为“锯齿状智能”，其光鲜表面后隐藏着大量不可忽视的系统“毛刺”。以具身智能为例，SOTA 模型的通用操作泛化机制及仿真环境到物理世界之间的泛化鸿沟（Sim-to-Real Gap），皆是当前无法仅凭工程直觉或堆叠算力解决的科学症结。博士生应当将精力聚焦于“难度与重要性”兼具的大问题上；李磊指出，攻克社区公认的硬骨头时，哪怕仅是在理论或实验分析上推进一小步，都能收获学术共同体的深度认可。在具体推进上，他主张前期保持“慢节奏”，通过高强度阅读与 Toy Experiments 验证最小假设（minimal hypothesis），确认方向后再切换为高并行度、高利用率的“快速执行”模式。 科研传播的放大器与冒泡排序冷启动 (12:16) 李磊将科研传播总结为“大粉理论”，认为在顶会收录动辄数千篇的时代，算法推荐已成为论文被业界关注的分水岭。运营技术自媒体并非为了盲目逐流，而是坚持“利他”原则、高频真诚地输出科研踩坑与前沿解读，将科研成果与开源代码、深度博客深度绑定，以此放大研究的整体价值。对于缺少算力和资源的低年级学生，李磊建议通过打造高辨识度的作品集（Portfolio）实现冷启动，例如搭建评测 Harness、开发开源工具或撰写硬核推导博客。他援引《巴拉巴西成功定律》中的成功分布指出，学术成长如同“冒泡排序”，只有通过持续的高品质构建并勇敢建立连接，才能逐步向核心学术节点跃迁。 读博抉择与前沿技术演进的边界审视 (25:28) 在学业与导师选择上，李磊坚持选导师的优先级远高于选学校，建议申请者私下了解组内学生的精神状态与学术氛围，并理性看待倡导深入科研而非浮躁挂名的“慢科研倡议”。横向对比三地读博，内地紧密贴合产业落地但存在纵向与横向项目的博弈压力；香港兼具国际视野与内地融合，但受限于生活成本；美国学术圈虽紧邻硅谷策源地，却面临签证紧缩与 CPT 限制。审视近期技术趋势，李磊指出尽管基于搜索和算力缩放的递归自我改进（RSI）已在超参优化和合成数据微调上显现成效，但当前链路致命的瓶颈依然在于人类特有的“科学审美与问题定义能力（Taste）”。在模型能够自主判断哪项科学议题最具研究价值之前，人类研究员在确立技术方向上的直觉依然无可替代。 李磊认为，读博如果仅为大厂门票则大可不必，但作为免受琐事纷扰、专注探索好奇心并历练科研影响力的过程，依然具有不可替代的价值。在初级编程需求面临 AI 吞噬的背景下，CS 将泛化为全工程底座，科研者应放下过度内卷的比较焦虑，在保持身心健康的前提下稳健精进。

[25:28] 李磊: 选学校的优先级应该是要低于选老师的，甚至可以说是远远低于。 [8:07] 李磊: Paper 它本身其实并不是为了让它中稿，而是说我做了一个很有意思的研究，我希望有一个地方来 share 给大家，是一个 knowledge 的分享。 [5:00] 李磊: 大家要对大模型它是一个‘锯齿状’的这样的一个智能有一定的了解，就是说它在你有一些地方你看着非常厉害，但其实它有一些东西是完全没有的。 [48:00] 李磊: Paper 迟早是会中的，然后饭还是得吃觉还是得睡，对，没有什么大不了的。吃好喝好睡好，然后再写 Paper。

[0:00] 嗨,我是Koji,本周十字路口的嘉宾是小米大模型的后训练研究员李磊,李磊还有一个身份是香港大学的在读博士生,同时是腾讯15位首届青云奖的获奖者之一,同时他的paper也拿过EMNLP的最顶会的最佳论文奖,你好李磊,欢迎来到十字路口。Hello,Koji,非常高兴今天有机会能够做客十字路口。我们还是从快换快答开始帮助大家了解你请问你的年龄28岁的MBTI和星座ENTJ然后是巨蟹座求学经历可以介绍一下吗我应该是16年在西安电子科技大学读的本科然后20年到北大计算语言学研究所去读的硕士然后23年到香港大学NLP Group读PhD最近小米Memo其实做了一件很有意思的事情你们把后训练直播Memo V2.6的Pro Flash的两款模型的后训练直播直接搬到了网上然后我感觉国内外还是有非常多的关注和讨论的这个事情幕后的推动者我觉得很有意思的是一边你在参与一个飞速发展的AI行业另一边同时还是在读的博士四年级的学生所以今天请到你是想聊一个就是十字路口应该很多的用户关注者都很感兴趣的话题因为大家多多少少都是在做学术在做研究或者AI公司我们讨论的这个话题是什么就在AI时代要怎么读好PhD才能拿到一个不错的结果相信会有很多人喜欢听十字路口就是跟我这样的一个画像对因为我自己这样是十字路口忠实的一个听众对然后说到重要的里程碑的话我觉得首先读 PhD 决定纠结了一段时间最后纠结来纠结去就是我给自己的一个答案就是说如果我10年以后躺在床上可能还是会后悔没有去读这个PhD所以说我最后觉得那既然这样子就还是去读我觉得这一步还是蛮重要的尤其是现在大家会有很多的考量你的机会成本会很大尤其是整一个工业界它的待遇和你现在学术界面临的这样的一些gap但是我觉得前的事情就是说可以以后再说这段时间可能你能够很好的去做一些你想要做的事情这个东西在那个moment 我觉得如果我现在不去读这个phd 我可能回过头来 我还是想要去有一段这样的一个经历所以这个是我觉得一个很重要的一个关键角色 对对对 然后的mileszone就是说起来也挺这个drama的 我觉得我在那个北大的最后一段时间就是跟一些师弟合作嘛然后我们刚才提到那个best paper也是在那个时候做出来了 然后那个正好就是我入学之后两个月 也就是说我参加的第一个会议 然后我就自己也有篇工作 然后师弟的那个paper也中了这个best paper我觉得这个一下子就是当时我其实对于读一个这个PhD到底能不能很顺利的这个完成它的这个考核也好或者说一些标准也好其实当时还是有一些退堂股虽然说已经经过了这个硕士的一些科研的训练但是那个就是应该是23年11月份刚好入学两个月当时就觉得这个什么属于是一个这个巅峰开局害怕说这个会不会是这个出道就是巅峰这么巅峰开局之后呢我觉得整体来说还是就可能验证了说我之前的有一套这个打法然后他是怎么样去做这样的一个事情所以这套读PAC的打法是什么打法我总结来说就是一个是快速的迭代包括就是说自己要有这个比较这个intense的一个工作的节奏然后以及说你要能够及时的去参与到这个社区也好Peers也好或者说你认为更senior的这个老师同学也好去获取feedback另外一个就是我觉得是心态上你在选择的时候要就要选择去做一些难而正确的一些问题否则的话你的很多的事情它如果不够难那么一定会有非常多的competitors在现在的这个时代里面它会很容易被beat掉然后另外就是说正确的事情就意味着说正确有两个方面我觉得一个是说是大家都非常关注的一个问题那大概率就是说它可能是目前大家会认为比较重要的问题就是它的importance一个是difficult 一个是importance当你在解决一个重要的问题的时候即使它很难只要你make a little bit of the progress那你也很有可能可以获得非常大的一个影响力本来我是想说这个难而正确意味着做起来会很慢然后同时要拿到正反馈所以这个听起来冲突但好像你已经回答了这个问题一个难并且重要的事情哪怕一点点进步其实大家也会认为是非常significant的对反倒是大家对于你的那些要求会没有那么的苛责因为大家都知道很难就很多人面对一个很困难的问题他第一步就想太难了我根本不知道怎么解决他们会没有头绪去解决这样的一个问题能够找到一个好的签面对吧比较solid的去把这个事情提供一部分 [5:00] 这样的解释也好或者说实验理论的分析也好其实他对于后续想要去研究这个问题的人来说他就是一个非常重要的一个milestone了所以你觉得这一套PST打法是适合所有人吗我觉得也不一定是适合所有人但是我目前观测下来就是说他可以减轻很大程度上的一个焦虑PST们都在焦虑什么呀我觉得PhD现在焦虑如何一个是publication然后但是又面临一个非常drama的一个问题就是整一个的鼎慧的system现在在AI的冲击下面它其实可能有一些难以为继的一个状态这个是一个然后再一个就是说首先要满足毕业要求对吧第二个就是说我发了那么多paper之后还有没有用比如说像Astra出来之后很多做计算人就会觉得这一下子好像我的整一个domain都被颠覆了这个也是大家经常感受到焦虑的一个来源就是说我能不能在publication做的东西有意义之后能不能就是完成这个PhD到这个工作的这样的一个转换所以在这些焦虑面前你有一些什么样的应对建议吗大家如果还要去在这个游戏里面去玩的话心态上还是要放松虽然说竞争很剧烈但是community也在想一些办法怎么样去帮助去稳固这样的成稿的一个系统然后再一个就是说大家相信整一个这套它已经run了很久了有一些内在的一些生命力在的就是他能够保证说一个好的工作会被中稿的第二个就是说那个做的东西有没有意义这个事我觉得就是说你乍一看就是Astra很牛但是你再仔细看你会发现它其实有很多的茅次这个我觉得大家要对大模型它是一个锯齿创的这样的一个智能有一定的了解就是说它在你有一些地方你看着非常厉害但其实它有一些东西是完全没有的这个东西我觉得很考验大家就是说你真的坐在电脑面前去coding 去设计Hannis去把这个东西跑出来去看看你的数据去看看整个模型的表现它能够是到底是怎么样的而不是说被Social Media上面的一些弱了这样的一个心理状态它并不是完全没有意义而是说你能看到的东西可能会是容易被放大的东西但有非常多看不到的地方还值得我们去思考和去研究比如举个具体的例子最近你看到的还值得去思考探索的模型尤其Astra这样的Sota模型的一些毛刺儿我们其实也在做一些类似于这样的巨生的一些实验比如说我觉得一个值得研究一个问题就是说这个能力是从哪里来的然后这里的话你可以trace back到很多的model也好它到底是从哪里泛化过来的因为你知道它从哪里来之后你能够更好的去提升它对吧我浅显的理解就是OpenAI一直在采购巨生的一些相关数据是用这样的数据训练出来的我们猜测可能是这样子的然后再就是说具体的对吧当然我不是巨生领域的专家有很多的这样的一个domain 比如说它在simulator里边的效果怎么样它在真机的怎么样 对吧 这里会不会有gap 对吧 有一些泛化的gap这些可能都是非常值得研究的问题因为所有的学术鼎晖都被AI论文大水漫灌你觉得这个系统还会好吗压力确实是存在的就是说比如我做审考人做LHR我能看到我的原来可能就两三篇现在可能大概是十篇左右的这样的一个量审考人的 workload 这是最直接的一个冲击对吧然后考虑到的大家都是DDL战士你原来可能我留个半天去把最后几篇搞定结果现在就是说你可能在这个情况下就大家做出来的判断其实就有可能它的随机性就会变大了这个是我觉得最直观的一个冲击再就是你会看到整一个会场它的容纳现在都会像Nurps它就有三个会场但是就是说社区也在通过比如说限制投稿的数量然后去promote跟这个有一定经验的审稿人去承担更大的责任然后引入AI审稿来去辅助说帮助这个决策去做得更加的准确然后像triple AI的话他现在也是要求就是做决定的时候是要两个senior的这个SPC去讨论最后做出这样决定也是想尽可能的在manageable的情况下把这个录用的决策去做准确但是他们来说有人的地方就是一定会有随机性所以说他的我觉得大家不要把这个cept or not作为最终的一个reward因为听起来现在有一条这个hack这个系统的录就是我用sota的模型做100篇论文然后投出去拼随机的概率你怎么看这样的一个做法我觉得这样的做法是不好的它一方面是对整一个系统的DDoS攻击说白了你虾猫碰到死耗的总是有可能的但是我觉得Paper它本身其实并不是为了让它重稿而是说我做了一个很有意思的研究我希望有一个地方来share给大家是一个knowledge的分享但是 [10:00] 你说100篇的这样的东西他的背后的那个人他真的把这些东西弄清楚了吗对吧他是否有严密的这样的一些论证理论或者实验的去justify他所proposed的一些hypothes这些东西这个东西才是重要的而不是说这个paypal到底重了没有重然后所以说你如果说 ai 强大到说或者说人加上 ai 的这样一个组合他能够提出100个有价值的问题然后在AI的帮助下对吧去把它解决的很好提供了这些很solid的答案我觉得这种情况下他投不投稿都无所谓就像可能open AI放出来几百个数学证明对吧然后可能有一些是walk的有些是错的对吧但是这个东西它可能就有一定的意义但是同样我们会要耗费非常多的human efforts去verify它的结果那你觉得会不会有可能出现一些新的评价体系我觉得其实现在已经开始弱化整一个的publication体系了但是只要存在一个评价的体系就一定会有reward hacking比如说我们现在在去筛选一些候选人的时候paper它是一个类似于说nice to have的东西原先可能它是一个非常好的一个金标准所以你没有也变得没有那么的重要为什么呢难道大家比如说99个人有你没有反而不重要了因为反而显得你很outlier对对我觉得反倒就是说可能意味着说他知道这个游戏可能已经坏了我就不玩这个游戏我们还蛮喜欢这样的画像的然后但是大家其实现在比如说我贡献一个开源的项目对吧这个是一个很加分的项目但是也存在一些hacking的机制有的人会去也是用AI去提P然后被合进去了他就说他是他的contributor其实我有一个筛选的一个小指标尤其是有publication我看他们的代码有没有开源他们数据有没有开源然后以及说他们开源了之后他们的issues有没有人去维护所以更是在真实世界里面看看你的作品有没有产生影响力对对对比如说hacking face的下载量如果说你做了一个模型对吧你说你是sota但是你在hacking face上我看上个月的下载量可能只有数十次就可能你解决的不是那么重要的一个问题那hacking face的下载量可以hack吗也可以hack但是它的hack的代价就蛮大的就是首先我要下载你的东西对吧然后存到这个硬盘上硬盘还蛮贵的你的小黄书粉丝书我看了一下今天是2.4万对对然后上次我们聊天你开玩笑说这个比论文引用书要高这个为什么你会去对比语用术和小红书粉丝术我觉得这个也是可以归到PhD的这个Must do里面就是做自媒体对 为什么呢我觉得它首先它是一个反馈比较快的一个地方Social Media就是你发的东西好不好对吧大家点赞还有这个收藏这是很直接的一个反馈至少你有些时候其实现在大家交流少了但是你如果说在一个像小红书也好像推特也好对吧还有一个其实还是他们的推进算法吸引到一批跟你有相同的research test的同学那么其实会有一个非常好的交流这个是反馈的层面另外一个层面最近有一个叫大粉理论对吧就是说PhD student你的Twitter或者说你的小黄树的粉丝量点赞量要超过你的citation说明你能够再践行大粉理论我觉得它是一个attention is all you need的一个显化因为现在paper很多我应该看什么paper原先大家依赖的分发的机制是每一年ACL重稿我会去看所有的sapt paper当时可能就几百篇然后我根据关键词根据关键的老师去挑出我想要看的几篇都把它看了但现在其实你不存在这样的事一个会议四五千篇对吧我不可能把它看得过来了因此大家会依赖一些论文的推荐也好或者说这种social media的推荐系统也好如果你能够在这样的系统中占据更大的权重你的声量就可以被放大你的工作就可以被更多的人看到也可以更好的去amplify你工作的价值所以在PhD的圈子里面除了大分理论还有什么理论我觉得搏击理论其实也应该推行到PhD群体里面因为确实它是一个很漫长的过程我觉得始终是第一位的确实是你要换换脑子对吧作为PSC第一要怎么运营小红书呢首先是利他你当然可以发一些有针对性的有controversial争议性的这样的一些观点他很容易爆但是大家只会点赞或者说评论但其实他是大家不会觉得说这个东西跟你这个人是相关的只有说你持续的去产出了一些对别人有帮助的内容你也会收获一定的影响力对吧这个东西就是它的副产物了然后第二个的话就是要坚持我坦白来说我一开始就是会在我的小公司上发很多的论文的notes因为我当时每天看论文嘛但其实那个时候我的粉丝的增长量就很少直到有一天我发了一些刚才说的引用跟粉丝的关系的时候我突然发现我报了一下一下子网上漫了一个台阶但是 [15:00] 就是说你把它坚持做成一种贼利的事情之后你想到什么发什么然后最后呢这个上面就会呈现出你最真实的一个状态然后那就一定能够吸引到你想要吸引的那些人所以我总结下来就是说利他然后坚持然后第三个就是说因为赛道其实很卷但是你如果找一个人去模仿你会很累因为你也不知道他咋想的对吧他背后的目的危险是什么但是你其实去做自己然后把自己的想到的一些东西然后符合前面两个条件的东西我觉得其实粉丝数量不是那么重要就是你找到一帮就是说同频的人然后大家可以有一个非常好的交流的平台我觉得他已经完成了他的这样的一个目的了我这建议还蛮好的就是要立他要高频,然后要做自己。所以你在小红书上面点赞最多的笔记是哪几篇?最多的拿奖应该是的然后清云奖学金应该拿然后是citation超过1万这个也可能是跟背后的推荐算法相关然后另外就是说学术方面的话我觉得之前有一些就是像un policy distillation这种我们也是比较早采纳这个新的一种这种范式的一个team当时我们看到之后其实我觉得这个东西就非常promising然后就写了一些这种notes放在上面其实那个关注也蛮大的我看最近戴智峰老师还有自然意志他们的新的一些工作出来你都会这个就发一发对他们的分析然后自己的一些解读那些流量感觉也不错因为大家也其实很关注这些new lab的一些动态他们做的也非常不错然后有一些RSI然后也正好也用的是小米的基模所以说我就顺手的就去研究了一下所以现在的小红书就完全是你个人的工作个人的生活个人的研究兴趣的一个外话对如果我们把今天读PhD从入学到毕业分成几个不同阶段的话你认为可以分成怎样的几个阶段首先就是说知道怎么样去做好研究或者知道怎么做研究这是一个很重要的一个Milestone做研究之前其实会有一些preliminary的Basics比如说你其实要了解很多基础的fundamental的一些东西对吧Machine Learning Statistics这些东西对吧这些课虽然好像今天看起来大家利用AI都不需要去补了但是其实还是很有必要去把那些东西去from scratch的自己去做一遍我们当时就是用tensorflow对吧要去把甚至用numpy MATLAB去把那些很basic的svm这种很基础的这些算法去实现一遍就是吴文达老师的Coursera上面的课程我觉得这个还是非常重要就到今天还有很多基础的就是泛化overfit的这些概念对吧他经典的一些concept还是在整一个的这个system里面在运作对吧以及说像VLM其实用的是page attention那就是操作系统的一些这个概念嘛然后我觉得这些是basics对吧然后第二个就是说Research 它是一个刚才说了它是一个这个knowledge sharing的这样的一个方式怎么样能够让你的knowledge更好的去传播对吧这里就有一些paper writing实验然后怎么样去justify你的hypothes实验设置对吧这些东西是需要学习的然后当然AI可以做一个非常好的reviewer也好老师也好帮助你去提一些建议帮助你去consolidate你的hypothes这些东西然后第三个我觉得就是说也是大家很容易忽略了一块就是怎么maximize 它的impact 就我们刚才前面提到的就是你去做好自媒体也好对吧你每做好你的开源然后呃去每个工作都有相应的这个配套的这个呃宣传啊软件啊博客啊一起说一些分享我觉得呃这个是第一个 milestone 就是说你到了今天你可以独立的做好一个paper,并且能够获得一定的影响力。我觉得这个是基本功。然后第二个阶段我觉得是leadership。我也觉得非常感谢我遇到的各种老师其实在很早的时候我们的孙羽老师就告诉我们说要培养我们的leadership我觉得你其实要能够去当你逐渐的掌握这套pipeline以后其实你要能够去把这套东西去交给更纠烈的同学但是每一个纠烈同学他有自己的case嘛要case by case 怎么样去更好的去引导他去做好研究就是你从一个自己generator的一个这样的一个身份变成一个critic对吧变成一个批判者去帮助他这个事情蛮有意思就是很多同学他不一样很纠捏的同学他的类型不一样有的他会比较的self motivated你只要给一定的引导他就一下整个链路就跑通了而有的就是你会需要更intense的这样的一个supervision去帮助他去把这个东西build up起来第三个我觉得就是说我可以做的从学处界到工业界的一个转变你会在 [20:00] 更加现实的一个以及说这个竞争可能会更多维度的这样的一个层面去做一些这个事情当然这个我也在学习就做PHD要怎么能启动呢能启动来自于说我很勇敢的在我大三的时候我当时就是去给这个发了很多code email由我的这个后来的硕士老师对发了code email但我其实发了可能得有十封出去我只收到了一封的回复然后那个孙老师非常非常这个很愿意给我一机会当时我是大尔然后升大三的这样的一个状态他愿意让我来阻力别人实习然后得意说扣开整一个后面的大门然后能够发顶会然后顺利的保研然后我觉得到了现在这个难度就会变得更大了我相信所有的稍微有名一点professor里面邮箱全都是Cody Mail会有非常多的这样的RA或者说是申请的这样的一个邮件然后工业界的话就更加了对吧现在的HC就是考虑到算力的情况下大家其实是很稀缺的这样的一个状况然后怎么去能启动我觉得首先就是说你知道这个事情之后我觉得就是说要做就是maximize你的impact因为其实现在大家不是去看paper而是说去看你有没有一些output它可能是一个Github的一个项目你做了一个非常好的一个harness你做了一个很有意思的一个application这些东西其实对于算力的需求没那么大对吧你只要能够发挥你的创造力其实是可以做出非常好的一些产品化的一些东西来这个是一个好的一个路子然后他去获得比如说相对来说就是说可能更偏产品的一些岗位这是可以的然后如果是要偏研究一些的岗位的话其实我觉得在AI时代大家都在用AI sloppy的写作的时候你能够去把一些fundamental的东西给他理顺写好一个research的一个blog这个东西说起来很简单但是就是说你能够一篇一篇的去把比如去写好很多的notion的blog然后如果有可以的话你可以去设计一些实验小的实验classify你的一些改进其实比如说像苏建林的博客对吧早期也全是推导也可能没有特别多的算力但是不影响说他能够最后推出了一个rope到现在大家都在使用对吧然后现在是Kimi的研究员我觉得这是一个非常好的一个路径就是说首先你要努力的去reach out其次你在reach out的过程中你肯定会收到非常多的没有回复也好这样的一些negative的feedback但是在这个过程中你要坚持的去做好自己的输出它也是你是一个learning的一个过程你找到自己想要学习的东西 想要创造的一些东西 然后展现出来有个非常好的一个作品级的一个呈现最后我相信你会不断的像一个冒号牌系一样 慢慢就会冒上去 然后你会被一些人看到 我第一个拿到的实习应该是金山当时的office 当时我大二大三的时候 他就看了我的博客 然后联系到我但是我当时觉得就是我还是想搞白心论理所以就没有去做那个软件开发了我觉得是这样子就很像十字路口我们也很喜欢说的一句话叫只要一直build就有好事发生是的我觉得真的是这样刚才冒泡排序的比喻也很有意思一直冒泡然后你就更可能泡到上面去然后到上面去蛮重要的就是说有一本书叫那个巴拉巴西成功定律不知道你有没有看过还有一个听起来很鸡汤啊但实际上他们是研究用那种大数据的方式研究说诺贝尔奖得主什么时候能够发出他那篇诺贝尔奖的论文你怎么样才能够somehow来说获得一些career的这样的success所以诺贝尔奖的得主他们一般是在什么规律之下发了那篇论文没有言论就是没有规律就是你必须要一直的发他们自己都没有办法预测说哪一篇会是他们的代表作是这样子的所以说就必须得一直build然后第二个效应是说比如说大都会博物馆里的那些画那幅画出来的时候它肯定不能一下子就展到大都会博物馆里它是怎么流通到那些大都会博物馆里面的然后他们去分析了就是说馆藏之间他们会有一些我会借过来展览他们会把流通图画了出来会发现有一些那种城市的那种市镇的博物馆它的名气不是那么大但是你一旦去到了市镇博物馆之后你就很有可能被这些非常famous的博物馆借走所以它还是有规律可循节点然后但这些节点可达心就会非常的高你就是通过冒泡对吧你能够进入到这样的一个critical的pass上面然后你走向成功的路径可能就会大很多所以一方面它是需要不断的创造不断的发作品但另一方面这里面其实仍然是一些有迹可循的事的就是一直努力聪明的build你觉得有哪些你认为做得非常成功拿到了打个引号大结果的phd你会想出哪些名字我现在能想到就是说呃比如说那个应该是Berkeley的吧应该是那个Eric Wallace他原来是做那个呃就是 [25:00] 大模型安全的一个一个phd然后呢他应该是毕业之后就去open ai然后前段时间就是说那个hugging face的那个事件就是他们那个swarm攻击了hugging face嘛那他其实就是作为那个内部的一个那个研究员出来给大家复盘整一个的这个东西其实你就看到他的research就是其实idea都很简单但是就是能够有一个非常好的一个positiontiming的时候去把这样的一个问题propose出来然后定义好这样的一个问题CHT们去选学校和选导师的时候你分别有什么样的建议我觉得选学校的优先级应该是要低于选老师的甚至可以说是远远低于因为呃phd这个事情就是说他还是蛮像我们古时候的那个师徒制然后以及说他在这个呃国内外他的这个情况又是case by case的普遍来说呃国内的话会更像这个上级和下级的这样的一个存在然后其他的地方呢可能更像collaborators当然呃他是你的supervisor他会有一些这样的一个supervision所以说这个时候学校这个东西怎么说就是说当然就我推荐大家能去更好的平台当然是尽可能的去但是其实你说top30跟top50有没有本质区别吗可能是没有太大本质区别的你说那个四大名校跟top30那这个gap可能OK大家听到你的这个famous的university name就会OK就你的估值就能长一长怎么样了但是我觉得组和组之间的它的virus其实还是更大的然后很重要的一点就是你可以去看他们的alumni的是承诺一个是精神状态然后私下里去问一问已经毕业的PHD和再读的PHD精神状态怎么看呀大家是不是在一个比较快乐的状况去读PhD就是说有比较痛苦但是成功的PhD他可能著作等身但是他非常的痛苦比如说谁我只能说有这样的caseOK他比较快乐的那些组是什么样的组啊有哪些组给我们组打个广告对HKONLP还有北大的计算语言学研究所都是挺就是氛围还是非常非常轻松和愉快的一个地方那PSP要怎么选导师呢我觉得这个东西真的蛮难选的就是说你去看他的Google Scholar看什么CS ranking啊看他的一些几个公开的演讲其实这些都是公开的东西很多private的东西其实是需要你去就是实际跟他合作了一段时间甚至说半年甚至更久你才能够发现就是说这个因为我觉得它是一个双向匹配那你当时自己是怎么做的呀我当时是在上海AI lab实习然后跟我的现在的Cost supervisor孔临鹏老师就认识了然后当时我们现在就我在internship就合作了大概半年我就觉得他的风格我们还是比较match的我们很多同学都是这样子的一个过程我觉得它是一个双选的一个过程我的一个推荐途径就是大家如果说还有时间的话可以直接去做RARA的话一方面你可以接触到我刚刚提到的就是再读和毕业的PhD对吧可以跟他们打成一片你可以打听到一些更多的了解一下情况另外就是说你也就能够了解这个组里面它的这样的一个风格是怎么样的对吧帮助你去快速做判断学生慢研究倡议在网上我觉得掀起了还挺大的一个争议的我理解大概有超过100位不只是中国也有一些美国的老师研究员共同发起的一个倡议希望本科生现在不要着急发paper要慢下来做研究你怎么看这个倡议我觉得就是说他这个事情很drama的一个地方就在于说他跟现在的整个节奏形成了一个很鲜明的对比或者深学季对吧他的这个考核的要求对吧他好像跟所谓的这个standard是是矛盾的冲突的但我其实有看那个他们具体的这个倡议就是说呃他的倡议其实是说那些老师们说他们不会把这个呃paper作为筛选的唯一标准对吧这个我刚才也提到就是说其实大家都有的时候他就没那么重要了而是说你能不能就是或者甚至说是发表的paper对吧你有些research的output有一段经历打扎实的情况下把你做了什么为什么做怎么做的这个东西讲清楚他们其实倡导的是这个事情而不是说我为了让我的简历上多一些paper然后我快速的去通过各种方式也好对吧去挂名也好去这个产出一些这种sloppy的论文也好使得说我有一条能看得过去的他们其实是在呼吁大家不要去做这样的事情没有说大家说不要做科研我刚刚厉害就说你其实是需要有一定的时间和精力在里边你其实你要自己去balance好科业和科研你其实就是要有一定投入其实我觉得你心态上放轻松做一些重要的事情你可以稍微节奏可以慢一点但是你要有逐步的推进这个是快的其实快和慢是相对的你自己是一个 [30:00] 快的人还是一个慢的人我会花比较长的时间去选择一个我想要做的一个事儿那这个东西我会觉得他前面花的时间越多其实对于你后面它其实是很划算的我有过一个经历就是说在比较早的时候做一个idea但是我没有非常好的去把一些预的实验做好把这东西想明白结果我花了大概都半年多的时间在那里调算法最后发现我的假设就是错的所以说我现在做实验之前我会去把一个很小minimal的一个hypothesis抽出来然后去快速用一些小实验toy experiments去把这东西验证了对吧他其实帮你端到端可以验出很多东西来然后我就再往前就是选方向也是就是你要很密集的去看论文然后和你所敬仰的这些researcher 们老师们去讨论然后去形成你接下来要投入的一个方向在时间花够了之后你在做的时候就要很快你可能想办法去maximize你的GPU的utilization你自己的数据的处理速度对吧这个东西可以用AI来帮助你快速的并行也好对吧去加速它的产出你觉得今天读PHD在内地读在香港读和在美国读各有哪些优劣我觉得就是说现在在内地读PhD它优势就是说其实能够更快的去到工业界这个是蛮大的一个优势坏处就是说刚才提到了对它有点比较传统的师徒制也就是说它跟我们目前整个高校学术界的考核压力形成下有一些横向这些的一些压力然后有些老师的动作会相对来说变形一些那样子的话会对学生的成长不是特别的有利然后所以这里的话大家需要去谨慎的一些去做好筛选我知道有的老师组他其实能够把这种横向纵向的压力去平衡的比较好既保证了说这个课题组能够run就是说学生能够有一定的成长香港的话就是说其实现在它成为一个蛮有意思的一个地方就是它跟内地融合的还是比较密切的同时他因为他独特的这样的一个港口的优势他吸引到的老师的profile其实你看起来都会非常的可能会更有活力一些我会这么形容这样子吧他其实有自己的一些优势当然香港这个地方有自己的一些生活上的一些压力然后美国这块我不太了解但是就是说有一些朋友就是说反馈来说就是说首先现在签证的一些问题会比较痛苦然后还有CPT的问题可能去实习的难度也变大了但是他们的好处就是说他们整一个的离硅谷离整一个美国的学入圈它会更接近一些有没有什么样的画像更适合去美国读PhD什么样的画像更适合在内地香港读PhD我觉得去美国读PhD的话就是说首先你可能不能特别喜欢吃东西每次美国同学回来都是要大吃特吃一番的你要耐得住美食的寂寞当然就是说你喜欢这种觉得是文化氛围的也是大家会有偏好吧然后内地和香港的话就是说更重要的就是说你能不能在一定程度上有一定压力的情况下去balance好很多事情如果你能够handle好这些事情的话我觉得还是现在其实留在内地和香港都是一个非常不错的一个选择现在phd们聚在一起聊的最多的话题除了学术是什么呀就是package其实现在就是大家会焦虑吧尤其是我现在可能final year了找工作了可能在junior一些的同学们大家还是会在思考说一些research的问题说什么方向更值得做一些或者说他们会很好奇说什么东西因为就是前面提到这个意义的事情他们会希望说毕业之后能够有一个非常好的一个丝滑的一个过渡因为其实可能大家读本科的时候是同学的吧然后读到PhD的时候发现不同的专业会带来截然不同的世界尤其是今天AI和非AI就是两个totally不一样的世界这个也是我时常觉得自己非常lucky的一个原因然后就是现在所谓的K型分化I型分化对吧就是说在AI的人就在那个点视下的人然后就中间好像出现了一个很大的一个鸿沟但我觉得这个也还是说它是一个乍一看是有鸿沟的但实际上AI是一个非常非常平权的一个东西比如说原先我们想要去学习些东西你需要去上这个Coursera需要上这个去上Stanford的课那现在你其实能够assess到的这个challgbt也好或者说这个deep seek或者说memo这些模型它其实他的这个知识的储备量是非常非常高的你能够用好他的话你其实能够帮助你在自己的domain里边去有一个非常好的一个效率也好或者说整一个工作范式的一个改变的所以我觉得未来不是说AI去替代这个人类或者说做AI的这帮人去拿走了很多的蛋糕而是说呃能够 [35:00] 用好工具的这些人或者再找一些对吧能够这个烧火的这个制人可能就干掉了别的人种那这种事情是一直在发生的首先你要能够意识到说这个世界在发生巨大的这样的一个变化那你去积极的去拥抱这个变化那其实会需要各行各业的专家和这个爱好者们来去帮助这个模型去提升那他其实这个鸿沟里面也有非常非常多的梯子其实大家是能够把这两个东西connect在一块的今天教授们创业是一个特别大的浪潮对对我很好奇就是PhD们你们会怎么看自己的老板创业这件事情我觉得他为什么创业一方面就是说现在的融资的环境对吧以及说整一个大家是现在科技为导向的创业所以说最前沿的这帮researcher这帮professor们很自然的会被推到前台然后它的好处是说融了资之后有公司之后他的实体的形式他的资源能够更快的把一些东西去build up起来它会更灵活一些原先学校的话有一些funding一些限制的很正常然后他会造成说我要买卡我要招工程师我要招买数据他会很受限但是现在在公司startup的这样一个形式下他可以快速的帮助你把这些你想要要素给他聚齐然后你如果要做一些什么事情更大的project更大的一个影响力的话他是起到了一个杠杆加速的一个作用然后另外一面就是说一旦说他拿了钱之后对吧那钱也会对他有所要求那学生也就会被传达层层的这个传达到一些东西可能要做一些学术以外的一些dirty walk对吧但我觉得就是它是硬币的两面它给你了更大的资源你要利用一些资源你是需要付出一定的代价的那就是大家去trade off好这个不同的阶段的这个需求其实今天很多在学校里面的问题就是没有算力没有资源因此也有一些人开始觉得我就不读别系了我直接去公司你怎么看你觉得今天在理工科或在 AI 领域还有必要读 PhD 吗我觉得就是说你去怎么去衡量说这个PhD他的这个你对PHD的期望是什么如果说你希望读一个PhD以此来进入这些所谓的大公司我觉得它是没有必要的因为你本科生也可以去像 Jason Wei 对吧有很多我们认识的 OG的研究员他们其实就是本科生甚至高中生 对啊 甚至高中生然后我觉得这个事情就是说他不是因为有 PhD 级位他才能去而是说他做的牛所以他能去那你又不是你有没有这个degree决定的但是另外一方面我觉得如果说大家希望有一个比较完整的时间你可以相对来说没有特别大的压力对吧你某种意义上我们是脱产去做一些你想要研究的事情你对这个世界所在的领域有一些好奇心你有一些问题然后你不去做可能别人是不会帮你做的那你你其实是去满足自己的好奇心的过程然后在这个过程中你可以培养我们前面提到了很多的你可以补一些知识学习一些如何去maximize你的impact这些skill的过程我觉得你把它作为一个一段特别特殊的一个旅程去回答你的这几个问题的这样的一个事情的话我觉得它还是很有价值的因为你想人活80岁你读一课五年好像也不是很那什么我们再来聊点别的因为我们录播客的时候也是快年底了最近的嘉宾我都会问一个问题就是2026年这一年下来有哪些AI带给你的aha moment我觉得整一个agent的范式的这个被推到前台其实还是一个呃至少对整一个它的这个不像R1的那种Aha Moment但是它是对整一个社会的形态的冲击其实我觉得还是挺让我们感受到一个很大的震撼的我坦白来说我最早做研究的时候我们那时候最早做的是分类任务就是一个句子它是positive还是negative完之后模型强一点能做机器翻译然后到能写一些作文然后今天你用agent这套东西可以让它equip了这个tool之后对吧它可以很自动化的帮你做非常多的事情现在大家像也都会用很多的这样一个agent的产品然后这个东西就真的使得说一个machine learning的一个东西它能够有了这样的一个脚手架之后能够帮助大家去触达生活的各个地方的角落这个事情还是非常exciting的一个事然后我们能想象的就是说它现在digital world已经有非常多的能力了它在下一步会走到physical world来这个时候又会有催生出很多的火花我觉得这个事情是非常值得期待的所以agent是一个然后还有其他的吗还有一个我觉得你可以说我们的直播我觉得在我们早期就是训练的时候就觉得它其实有点像那个R1了然后你会发现这种非常大规模的R1的时候能够带来非常全面的这个能力的这个提升就是咱们把后训练 [40:00] 拿出来直播一开始是一个什么样的想法呀就为什么想到去做这件事情这个我觉得就是说是整一个因为现在有一些rumor 有些讨论嘛然后这个事情我觉得其实对整一个中国大模型的这个形象它其实都是非常不利的然后我们其实是希望说能够用这样的一个直播去首先我们希望有一个正向的引导为什么大家不做IO可能因为它确实可能有一定的难度会有很多的事情要做你的infra你的数据的要求都很高然后我们希望就是说给大家一些信心就说这个事他确实是可以做的然后以直播的形式告代一下对吧你能看到就是说我们在一个非常decent的一个方式很透明的一个方式告诉大家说这个事情可以做并且它的效果也很好然后这个事情我们是希望有一个这样的一个正向的一个激励同时呢我们也希望就是说配套就像我们提到就是说把一些该开源的开源了当然我们也希望通过直播来吸取一些feedbackTunzout确实也有一些我们做的不好的地方我们就把它吸收改进做的好的地方我们就去放大就是这样的一个初心这个直播放出去之后你们收到最多的回复来自国内来自国外分别是什么国内大家特别关心花费的费用因为你们把金额直接挂在直播的页面上所以大家点开网页看到人民币在燃烧这个是大家刺激比较大的一个东西然后另外一块国外的话大家还是对于我们的透明程度还是表示比较震惊的然后有很多推特的评论就是说应该是首次工业级的这样的一个直播然后他们其实整一个大家对大模型是如何训练还是感觉比较神秘的但是我们把一个这样的一个大规模的训练然后整一个相当于我们Tensorboard几乎就是给大家展示出来之后有很多Dynamics大家可以去给研究者们去做分析类似于一种金矿的这样的一个感觉我们最后再聊聊未来一个是其实我觉得最近两三个月大家讨论非常多的就是数据行业出现了很多估值非常高的数据公司Unipad 云玛拉亚等等然后你怎么看这个事情什么原因让他们估值那么高以及这个生意你觉得是可持续到什么时候的我觉得固执高也蛮正常因为整一个大模型对吧其实你一层一层往下推其实就是算力算力现在也很贵以及数据还有人才三个东西没有一个是便宜的所以说他因为什么因为其实整一个大模型的东西很简单说白了好的数据然后solid的算法好的infra就能够带来好的效果那好的数据它是一个来自于产生人类智能的一个源头然后现在的这个专家的数据可以比较快速的获取对吧一些做体类的但现在整一个的这个数据的生产它的复杂度已经上升了很多个量级我可以这么说然后他对于数据质量的要求也上升了很多个量级因此能够把这个事情做好的人他其实就应该能够占据整一个市场的一定的一个蛋糕然后这个估值的话我觉得是市场给出的这个答案我不是特别了解对但我觉得在我来看这个并非是一个非常过分的一个事因为考虑到未来整一个AI行业他要占据GDP的多少的话对吧那你作为它的一个燃料你应该占据多少呢然后它能持续多久的这个事情我觉得它是一个dynamic的一个过程我的一个看法是说随着这个模型能力的进步能够持续产生高质量的燃料的这样的一些数据公司它其实是能够持续产生新的价值的因为我们刚提到了模型能力的边界它是一个巨石状的对吧但是你要找到那些缝隙你要并且能够组织好对应的一套规模化的体系设计好基地体系去把批量的做好交付这里它是是对数据公司也是一个很大的挑战模型公司可能也可以做这个事情但是就会分散整一个它的经历浪费它的算力对吧去做这样的事情其实大家在模型发展过程中想要去尽快的去推进智能的前沿这个时候时间其实是一个不可逆的资源所以说大家会花钱去买这样的数据我认为这个需求是持续存在的而是说它如果数据公司没有办法去产出这样高质量的数据了之后那这个生意就肯定是做不下去的因为随着模型能力提升它产生数据的能力也会上升对吧那那个时候他的成本就会降低到非常低以至于说如果说你在那样的一个市场竞争的话你面临的这个竞争就会非常非常剧烈对反过来如果说你有一个自己好的一个规模化的能够持续的产出这种高气量燃料的这样一个 [45:00] Pipeline的话其实我觉得它的优势是会被放大的什么样的公司或什么样的组织什么样的能力才能够让高质量的数据Pipeline一直不断的持续呢我觉得这是一个很好的一个问题首先就是说这个高级张就是说它始终是相对于特定的模型而言对吧太难的数据你的模型太差它是学不会的而是说我们会希望说那这里其实你就要能够定义说什么样的数据它的难度怎么定义然后你能assess到的模型是怎么样的这里其实就有一些know how的事情而另外就是说哪一些数据会更有价值最直观的就有两方面一方面是PR的价值哪一些数据做出来的demo就会很酷卷这个东西它一定有它的价值另外就是说当模型真正的学会了这个能力之后它能够带来的经济价值这两个价值我觉得是需要去做取舍的然后去balance好然后你怎么样去source expert去建立好这样的一些规模化的一些产线在模型训练的一线你看到RSI的信号了吗我觉得这个信号应该是说越来越强烈了就是 RSI 是一个蛮广泛的一个定义就是说你可以定义为说模型在就是最字面理解嘛就是模型在帮助自己改进自己那其实模型产生数据它也会帮助他去改进自己然后现在的大家的更specific的一些定义可能是说模型能够自己去训练自己然后去比如说有很多poster trim bench或者说一些machine learning的这样的一个bench它能不能找到更好的参数更好的算法这里的话其实就是说我觉得这里的progress会非常非常的迅速因为这个问题是well defined的那模型就是非常擅长搜索然后他可以通过各种scale compute 方式去找到一个好的路径你会看到卡伐西的虚拟蓝光学model 东西它的 PPL 肯定会不断往下降但是我觉得有一个能力可能是目前没有非常好的挖掘的就是说当然我也看到一些最近的工作就是说它的taste就是定义这个问题的能力什么问题是重要的下一个阶段我们需要去解决的问题的这个能力然后我觉得只有具备了这个能力之后那我们才能够说研究员非常放心的去把这个整个端到端的事情交给他那现在大部分就是说研究员大概知道自己要去往哪个方向改进然后模型能够帮助你去产出数据训练环节上的这个self improvement更前面的那一个决策现在还没有看到非常好的这样的一个提升今天RSI里面你觉得最有影响力的benchmark是哪一个这块现在也蛮多的 我目前来看没有看到特别觉得exciting的人 因为可能还是比较初期 大家还没有形成一个非常好的一个共识的一个阶段 对 当然就百花齐放的一个阶段今天做benchmark的人越来越多 你觉得一个好的benchmark能够冒出来 被大家注意到 被大家尊重 被大家去想要去打榜 需要怎么做这个事情我觉得我确实也有一定的经验,对。我觉得首先就是说它一定是模型能力方面,它一定是measure了一个新的模型的或者说很重要的一个能力的比如说我们之前做的video MME就是当时大家都还在做很早期的6秒钟的视频理解的时候我们把它拉到一个多小时但这个事情确实又很重要随着你agent的能力变强他就是要能够去理解这个长时间看懂一个电影然后帮助你去在各种视频里面去做这种长时间的一个分析那这种6秒到一个小时它的这个就是一个完全一个new dimension的这样的一个能力其次就是说心理能力以外呢就是数据本身的质量还是非常非常重要就是它得是use case里面来的而不是说非常artificial的一些东西就是哦这个问题重要的原因在于什么就是说artificial的东西模型是很容易捕获的然后它就会有非常强的awareness它只让你在测试它然后它会表现的比较异常它会跟真实用户的体验会有一个非常大的一个gap第三个就是impact然后在前面做好的情况下你其实会希望advocate你的benchmark你就要把你的易用性去做好让大家能够一键启动一键测评因为现在很多测评它是对不起测评的OK然后有没有一个非常好的这样的一个一键启动,或者说你跟主流的测评套件的适配,这些东西都是类似于一个生态的整合。帮他认省时间那么反过来别人就更有可能去adopt你的这个东西最后还是再回到这个PHD的话题聊一下最近我看到一个非常让我惊讶的数据是今年MIT大一新生机械工程成了最热门的专业整个美国就四年制的本科4S的入学人数也是同比在下降8.4%就读塞斯的人变少了你怎么看这个问题我觉得类似于说一代版本一代神首先这个东西它可能会有很多别的因素但是如果是如此大规模 [50:00] 的下降的话我觉得就是说可能junior的这样的一些coding的需求它确实会在被AI吃掉一部分但是我相信就是说大家可能不选这个专业但是大家都会辅修这样一两门课确保说OK我对整一个CS它有一个general的理解然后也会一定的coding在AI的辅助下去做一些coding我觉得这个应该是一个必修课的一个课程假设平行世界你有一个亲弟弟今年高三要高考然后成绩其实也挺好的是个小学霸你会建议他学什么专业我不会建议他选什么专业我的看法是这样的就是说行行出状元不需要成为你这行的top1%因为那个太累了你只要能够始终和自己比然后维持在一个相对来说比如说前20% 30%这样一个水位每天就是说能够有自己的取得一定的进步然后我相信每一行都会有非常解出的一个成就和人才的这样的一个涌现那我们最后来送个祝福吧因为今天听我们这一期节目的我相信有非常多的学生或者再多的PhD然后这里面应该也有不少的同学可能现在面临着多多少少的一些困难焦虑困惑就是如果你送一个特别简单的建议给大家让大家可以每天过得再开心一点建议你会想到什么嗯我觉得paper迟早是会重的然后饭还是得吃觉还是得睡对没有什么大不了的吃好喝好睡好然后再写paper对对好那今天谢谢李磊很开心录了这期节目谢谢客气拜拜