小米研究员李磊称顶会论文贬值 开源与社媒成AI博士评价新标尺

AI 时代,PhD 路上的 10 个关键问题|对谈李磊:港大 PhD、小米 MiMo 研究员 — 十字路口Crossing

十字路口Crossing

生成式AI导致学术顶会审稿机制失真,论文数量退化为基础配置,促使企业与学界转向以开源落地活跃度及社交网络声量重估科研人才价值。

AI-assisted summary of AI 时代,PhD 路上的 10 个关键问题|对谈李磊:港大 PhD、小米 MiMo 研究员 — original source. Check the original for full context.

Source published:

Key ideas

  • 大模型论文泛滥削弱顶会录用的含金量,工业界更看重开源代码完整度、Issue 维护度及 Hugging Face 实际下载量等落地信号。 (8:07)
  • 学术分发转向社媒推荐算法,博士生圈出现“大粉理论”,将利他内容与硬核技术输出结合以放大个人研究声量。 (12:16)
  • 李磊倡导“前慢后快”科研节奏:前期花大量时间做文献调研与最小可行假设验证,一旦方向确立则拉满算力极速工程落地。 (30:00)
  • 小米 MiMo 团队公开全网直播后训练(Post-training)过程,实时展示训练开销与 TensorBoard 核心动力学曲线,以此破除行业猜忌并回馈开源社区。 (39:58)

Detailed notes

## Background 该内容由播客频道「十字路口Crossing」(主播 Koji 杨远骋)于 2026 年 10 月 25 日发布在小宇宙平台。节目对话了香港大学在读博士、小米 MiMo 大模型后训练研究员李磊,聚焦于 AI 时代博士生面临的十个关键抉择,涵盖快慢科研、导师与院校选择、研究成果的社交媒体分发,以及 RSI 和 Benchmark 等前沿技术话题。

## TL;DR 对谈围绕大模型浪潮下科研工作者与博士生的现实处境展开,李磊拆解了从零论文冷启动到构建学术领导力的三阶段成长路径。他提出顶会“大水漫灌”使得开源复现度与小红书等社媒分发(“大粉理论”)成为新的硬通货,并倡导“前端深思、后端极速”做难而正确的研究。同时,对话深入探讨了小米 MiMo 公开直播后训练的始末、数据公司的壁垒演进、RSI 的能力边界,以及 CS 专业热度降温周期下的个人心态调适。

## Atmosphere & style 整场对谈兼具极客的严谨求真与过来人的松弛豁达。李磊以极度坦诚、去黑话的姿态分享了自己踩过的科研深坑与心理波动,与主播 Koji 的提问形成了富有共鸣的思维碰撞。在探讨算力困境与学术内卷时既有一针见血的现实剖析,收尾处“饭要吃、觉要睡”的叮嘱又流露出难得的人文关怀与治愈感。

## Bulletin - `08:07` 大模型论文泛滥削弱顶会录用的含金量,工业界更看重开源代码完整度、Issue 维护度及 Hugging Face 实际下载量等落地信号。 - `12:16` 学术分发转向社媒推荐算法,博士生圈出现“大粉理论”,将利他内容与硬核技术输出结合以放大个人研究声量。 - `30:00` 李磊倡导“前慢后快”科研节奏:前期花大量时间做文献调研与最小可行假设验证,一旦方向确立则拉满算力极速工程落地。 - `39:58` 小米 MiMo 团队公开全网直播后训练(Post-training)过程,实时展示训练开销与 TensorBoard 核心动力学曲线,以此破除行业猜忌并回馈开源社区。

## Key takeaways - `00:00` 读 PhD 的核心价值在于拥有一段纯粹、脱产探索未解之谜的经历,避免未来留下未曾做过纯粹科研的遗憾。 - `03:28` 科研选题应攻坚“难而正确”的核心痛点,大模型具备“锯齿状智能”,其真实世界里的毛刺与泛化差距恰是优质课题来源。 - `08:07` 顶会审稿随机性与大水漫灌日益严重,不应将论文被录用作为最终奖励,批量灌水抽奖属于对学术共同体的 DDoS 攻击。 - `12:16` 学术传播进入 Attention is all you need 时代,通过小红书与 Twitter 建立个人声量并保持利他输出,已成为研究分发的关键闭环。 - `16:50` 博士通关分为三大阶段:夯实数理底层并独立完成闭环交付、培养学术领导力带领团队、完成向工业界工程与商业视角的跨越。 - `20:08` 零论文冷启动可以通过打造轻量评估工具或撰写硬核技术博客切入,持续构建作品集以实现类似“冒泡排序”的阶梯式跃迁。 - `25:28` 择师优先级远高于择校,应重点考察课题组校友的学术产出与精神状态,建议通过 Research Intern 或 RA 深度合作实现双选。 - `31:08` 读博地缘各有权衡:内地贴近工业界落地但面临横向纵向压力,香港兼具国际港口与内地产业衔接,美国贴近学术核心圈但受制于签证收紧。 - `33:00` AI 是终极的平权工具,未来不会淘汰人类,而是淘汰不会使用先进工具的人,各领域专家可通过大模型重构自身生产力。 - `35:27` 导师创业引入资本能快速聚集算力与工程资源,但同时也会将商业回报诉求穿透至实验室,带来分担学术杂活的代价。 - `36:52` 单纯为进大厂不必盲目读博,博士学位的真正价值在于系统化重塑底层思维架构与补足认知边界。 - `42:03` 数据公司的壁垒在于捕捉模型前沿的“专家级”与“暗知识”并在时间窗口内稳定交付,低阶做题与平庸数据将迅速被模型自身合成淘汰。 - `47:46` 打造高影响力 Benchmark 需具备三大要素:开辟长上下文等全新能力维度、严防人造痕迹锚定真实场景、以及具备无缝适配生态的易用性。 - `49:00` CS 录取与热度降温属于行业周期的必然回归,编程正成为底层通识技能;科研路上心态要放平,吃好饭睡好觉永远比一篇论文更重要。

## Detailed walkthrough ### `00:00` 快问快答与求学经历:EMNLP 最佳论文的“巅峰开局”

对话在一组轻松的快问快答中开场。李磊现年 28 岁,MBTI 是 ENTJ,巨蟹座。回顾求学脉络,他于 2016 年在西安电子科技大学读本科,2020 年进入北京大学计算语言学研究所攻读硕士,并在 2023 年前往香港大学 NLP Group 攻读博士学位。

谈到为什么决定读博,李磊坦言在硕士毕业时纠结了一阵子。当前工业界给出的薪资待遇与学术界之间存在显著的差距,机会成本非常高。但最终说服自己迈出这一步的理由极其纯粹:“如果我十年以后躺在床上,可能还是会后悔没有去读这个 PhD,所以说我最后觉得既然这样子就还是去读。”他认为金钱可以在未来再去赚,但在那个节点上,如果错过了做纯粹研究的经历,回头看一定会感到遗憾。

李磊的博士开局十分戏剧化:在北大读研的尾声,他与几位师弟展开合作,产出的工作最终斩获了 NLP 顶级会议 EMNLP 的最佳论文奖(Best Paper Award)。而该奖项正式公布的时间大约是在 2023 年 11 月,恰好是他刚入读港大博士的第二个月。刚进校参加第一个学术会议就带着一篇顶级论文荣誉入场,李磊当时内心既惊喜又有些打退堂鼓:“当时就觉得这个属于是一个巅峰开局,害怕说这个会不会是出道即巅峰。”

- **个人画像**:28 岁,ENTJ,巨蟹座。 - **求学轨迹**:西安电子科技大学(2016 本科)→ 北京大学计算语言学研究所(2020 硕士)→ 香港大学 NLP Group(2023 博士在读)。 - **学术荣誉**:腾讯首届青云奖 15 位获奖者之一、EMNLP 最佳论文奖获得者。 - **现任职务**:香港大学在读博士四年级、小米 MiMo 大模型后训练研究员。

---

`03:28` AI 时代的科研打法:做“难而正确”的研究

面对“出道即巅峰”的压力,李磊后续摸索出了一套在 AI 时代行之有效的读博打法,核心在于两个维度:快速迭代与心态选择。

在执行层面,研究者需要保持紧凑高强度的工作节奏,并极具主动性地参与学术社区,向资深导师与学者快速索取反馈(feedback)。在心态与选题上,他强调必须迎难而上,去做“难而正确”的问题。如果不做难的问题,低门槛的研究很快会被海量的竞争对手(competitors)在极短时间内超越打败(beat 掉)。“正确”则包含两层含义:一是该问题属于社区高度关注、公认具备重要性(importance)的核心痛点;二是研究者无需因问题艰深而退缩。很多人面对世界级难题的第一反应是毫无头绪,但现实往往是:“当你在解决一个重要的问题的时候,即使它很难,只要你 make a little bit of the progress,那你也很有可能可以获得非常大的一个影响力。”

Koji 追问这套方法是否能化解同辈焦虑。李磊指出,很多博士生面临着双重现实夹击:一方面是顶会审稿机制在大模型浪潮下近乎难以为继;另一方面则是自身研究的意义感被严重稀释。例如当 OpenAI 的 Astra 等先进模型问世时,大量垂直领域的研究者会陷入恐慌,感觉自己的整个研究细分赛道一瞬间被颠覆,随之开始焦虑自己辛苦发表的论文是否还有价值、未来能否顺利完成从学术界到工业界的求职转化。

针对这类焦虑,李磊给出的药方是“放下被社交媒体放大的 hype,亲自去看真实模型的锯齿状智能”:

> “你乍一看就是 Astra 很牛,但是你再仔细看你会发现它其实有很多的毛刺,这个我觉得就是大家对这个大模型它是一个锯齿状的这样的一个智能有一定的了解……这个东西我觉得就是很考验大家就是说,你真的坐在电脑面前,去 coding、去设计 harness、去把这个东西跑出来,去看看你的数据,去看看整个模型的表现它到底是怎么样的,而不是说被 social media 上面的一些 hype 做了这样的一个心理状态。”

以具身智能为例,先进模型在模拟器(simulator)与真机之间存在显著的泛化差距(generalization gap),模型能力的溯源与归因仍是一片蓝海,这些未被解决的“毛刺”恰恰就是博士生可以深挖的重大课题。

---

`08:07` 顶会大水漫灌下的审稿危机与全新评价体系

在生成式 AI 爆发之后,全球学术顶会普遍遭遇了论文的“大水漫灌”。李磊结合自己担任审稿人与领域主席(AC / SPC)的亲身经历提到,过去一位审稿人的负荷可能只有两三篇,而现在动辄激增到十篇左右。学术界绝大多数人都是“DDL 战士”,当审稿人必须在极短时间内赶工处理十篇论文时,审稿质量不可避免地下滑,评判的随机性被大幅放大。

针对这一困局,学术社区正在采取各种防御措施:NeurIPS 扩充到三个会场,许多会议开始限制单人投稿上限,推行有经验审稿人承担更大责任的制度,引入 AI 辅助审稿以提升判定准确度;AAAI 则推行决策由两位资深 SPC 共同商讨决定的机制。但李磊直言,只要有人的地方就必然存在噪声,因此“大家不要把 accept or not 作为最终的一个 reward”。

对于有人利用前沿大模型批量炮制 100 篇论文、依靠顶会审稿随机性去“抽奖”中稿的做法,李磊旗帜鲜明地表达了反对。他将这种投机行为定性为对整个学术共同体的 DDoS 攻击:“瞎猫碰到死耗子总是有可能的,但是我觉得 paper 它本身其实并不是为了让它中稿,而是说我做了一个很有意思的研究,我希望就是说有一个地方来 share 给大家,是一个 knowledge 的一个分享。”论文背后的作者是否真正把问题搞清楚了、有没有严密的逻辑推导和实验去佐证其提出的假设(hypothesis),才是研究的根基所在。如果人机协作能提出 100 个真问题并给出极其扎实的解决方案,投不投稿反倒无所谓了。

在此背景下,学术界与工业界的评价体系正发生根本性转移。顶级论文正从昔日的“黄金标准”退化为“nice to have”的常规配置:

> “原先可能它是一个非常好的一个金标准,那现在就是大家都有,所以你没有也变得没有那么的重要……他知道这个游戏可能已经坏了,我就不玩这个游戏,我们还蛮喜欢这样的画像的。”

企业在筛选人才时,更加看重在真实世界落地的成果: 1. **开源代码与数据**:研究是否在 GitHub 开源,是否有完整的复现流程。 2. **Issue 维护活跃度**:开源后是否存在真实的社区互动,作者是否在持续答疑与维护维护。 3. **真实场景影响力**:例如 Hugging Face 上的实际模型权重下载量。如果一篇自称 SOTA 的工作在 Hugging Face 每月仅有几十次下载,就证明它解决的并不是一个被真实世界需要的重要问题。

---

`12:16` “大粉理论”:小红书与学术影响力的放大机制

针对自己小红书粉丝达到 2.4 万、甚至超过了论文引用量(citation)的现象,李磊提出了博士生圈子正在流行的“大粉理论”。他认为将做自媒体纳入博士必做清单(must do)并非不务正业,而是 AI 时代科研成果分发机制剧变后的必然演进。

过去,学者依赖人工翻阅顶会录用列表来获取新知,一年 ACL 录用几百篇论文,凭借关键词和知名学者姓名就能全部通览。然而现在的单一顶会动辄收录四五千篇论文,任何个人都不可能全部读完,学术交流的分发中心全面转移到了 Twitter(X)和小红书等社交媒体的推荐算法中。

```mermaid flowchart TD accTitle: 学术传播机制演变路径 accDescr: 展现从过去的顶会人工筛选到现代依赖社交媒体与大粉理论的分发路径变迁

subgraph PAST["传统学术分发(信息量可控)"] A["顶会录用 (数百篇)"] --> B["学者按导师/关键词人工精读"] B --> C["产生同行引用 (Citation)"] end

subgraph PRESENT["AI时代学术分发(大水漫灌)"] D["顶会录用 (数千篇海量)"] --> E["注意力成为稀缺资源 (Attention is all you need)"] E --> F["社交媒体推荐算法 (Twitter / 小红书)"] F --> G["'大粉理论'放大声量"] G --> H["开源项目落地与工业界关注"] end ```

李磊指出:“大粉理论我觉得它是一个 attention is all you need 的一个显化了。”如果一个博士生能够在社交媒体系统中占据更高的权重,其声音就会被成倍放大,研究价值才能被同行和工业界迅速捕获。同时,自媒体提供了极快的数据反馈周期(点赞、收藏),能显著对冲学术研究漫长且闭塞的孤独感。此外,李磊还开玩笑地建议将“搏击理论”(即定期进行高强度身体运动换换脑子)推广到博士群体中,保持良好的心理健康。

关于学术型 PhD 如何做好社交媒体,李磊总结了三条核心原则: - **利他思维**:不要仅为了追逐流量而发布极具争议性(controversial)的言论,那些只能带来瞬时喧哗,而无法沉淀个人专业信用。唯有持续产出对他人切实有帮助的内容,影响力才会作为副产物自然到来。 - **高频与坚持**:将日常积累转化为输出习惯。李磊早期在小红书坚持发纯学术 paper notes 时粉丝增长极其缓慢,直到后来开始分享关于学术心态、引用量与自媒体关系的真诚感悟,才迎来了爆发式增长。 - **拒绝模仿,展现真实的自己**:学术细分赛道非常卷,盲目模仿同领域大 V 会极其疲惫,因为你无法洞悉他人的底层动机;最持久的策略是真实表达自己的思考与生活,借此筛选出同频的学术交流同伴。

李磊在小红书上点赞最高的笔记包括拿奖、获得清韵奖学金、Google Scholar 引用破万等重要里程碑;而在硬核技术方面,他曾率先拆解像 On-Policy Distillation 这种前沿范式,深入分析带智峰老师等新锐实验室(New Lab)的研究动向以及基于小米基座模型的 RSI 探索,均引发了圈内大量关注。

---

`16:50` 博士通关的三大阶段:从独立学者到学术 Leadership

李磊将一名博士生从入学到毕业的成长历程解构为三个关键阶段:

```mermaid flowchart LR accTitle: 博士生三大成长阶段 accDescr: 展示博士从学术基本功、学术领导力到跨界工业界的三阶成长模型

S1["第一阶段: 独立科研与基本功"] --> S2["第二阶段: 团队学术领导力"] S2 --> S3["第三阶段: 学术向工业界的工程/落地跨越"]

subgraph S1Details["阶段一核心要素"] A1["重构底层基础 (统计/机器学习)"] A2["严谨论证体系 (假设/实验证明)"] A3["最大化影响力 (开源/宣传/博客)"] end

subgraph S2Details["阶段二核心要素"] B1["身份转换: Generator 转向 Critic"] B2["因材施教带 Junior 同学"] B3["建立科研 Pipeline 并传承"] end

subgraph S3Details["阶段三核心要素"] C1["面对更复杂的现实业务需求"] C2["多维度竞争与大工程挑战"] end

S1 --- S1Details S2 --- S2Details S3 --- S3Details ```

1. **第一阶段:掌握科研基本功与最大化个人影响力** - **底层数理功底**:尽管 AI 工具极大简化了日常代码编写,但扎实的机器学习(Machine Learning)与统计学(Statistics)基础不可或缺。李磊回忆自己当年在吴恩达 Coursera 课程上,使用 NumPy、MATLAB 甚至 TensorFlow 从零手写实现 SVM(支持向量机)等经典算法;理解泛化与过拟合等经典概念,对看透当今大模型架构(如 vLLM 中 PageAttention 源于操作系统分页概念)至关重要。 - **知识传播与论证框架**:科研本质是知识共享,必须学会如何撰写论文、严谨设计实验并证实自身假设(justify hypothesis)。 - **全链路影响力放大**:必须打破“只管发 paper”的思维局限,每一项工作都要配套自媒体解读、开源仓库、系统软件与技术博客,做到端到端的完整交付。

2. **第二阶段:培养学术领导力(Leadership)** 这一阶段要求博士生完成从单纯的研究产出者(generator)向敏锐的批判者与导师(critic)的身份转变。李磊特别感谢其导师沈旭老师很早就启发其团队意识。资深博士需要学会将验证成熟的研发 pipeline 赋能给更初级的师弟师妹。初级学生因人而异:有的自驱力(self-motivated)极强,稍微点拨就能打通全链路;有的则需要更加密集紧凑的指导(intense supervision)来建立自信。

3. **第三阶段:完成从学术界到工业界的视角跨越** 离开相对单一的论文发表标准,进入更为复杂的工业生产环境,在多维竞争、算力制约与真实商业约束下创造现实价值。

---

`20:08` 零论文、零实习背景下的“冷启动”与“冒泡排序”法则

对于毫无顶会论文、缺乏大厂实习的年轻同学,在算力匮乏、大牛导师邮箱被无数冷邮件(Cold Email)轰炸、工业界 HC(Headcount)紧缩的残酷现实下,李磊给出了极其实操的冷启动建议。

李磊分享了自己的冷启动亲历:大二升大三时,他极其勇敢地给北大等学术机构的导师群发了十几封 Cold Email,最终仅收到一封回复——来自孙老师的邀请。正是这宝贵的一次实习助手机会,为他推开了顶会发表和保研的大门。对于当前环境,他提出两条无算力要求但极具杀伤力的破局路径: 1. **打造有创意的轻量工程产出**:不必死磕大模型预训练。利用创造力在 GitHub 上打造一个极其优雅好用的评估测试工具(harness),或者设计一个好玩的垂直应用。这些项目对算力消耗极小,却能直观证明候选人的产品落地与架构能力。 2. **拒绝“AI 垃圾写作”,撰写高质量硬核研究博客**: 在社交网络充斥着大模型生成的套路化劣质内容(AI sloppy writing)时,能够沉下心从数学推导到实验细节把底层概念理顺的技术博客极度稀缺。李磊特别以 Kimi 核心研究员苏建林(科学空间)为例:早期苏建林的博客全是数学推导与理论推演,并不需要堆砌巨额算力,但他提出的 RoPE(旋转位置编码)如今已成为全球主流大语言模型的标配。这种持续精进的个人博客就是最硬核的求职作品集(portfolio)。李磊本人也是在大二、大三期间因个人技术博客被金山办公团队发掘并斩获了人生第一个实习机会。

> “在这个过程中你要坚持的去做好自己的输出,它也是你是一个 learning 的过程,你找到自己想要学习的东西、想要创造的一些东西,然后展现出来有个非常好的一个作品集的呈现。最后我相信你会不断的像一个冒泡排序一样,慢慢就会冒上去。”

Koji 补充了《巴拉巴西成功定律》(The Formula: The Universal Laws of Success)中的科学发现:大数据研究表明,诺奖得主何时发表决定性论文没有任何时间规律,唯一的方法就是保持持续高频的发声与创造;同时,大都会博物馆的名画流通网络显示,不知名的画作往往先被地方市政博物馆收藏,再通过馆际借展流动到世界级殿堂。李磊认为这就是冷启动的逻辑:通过持续 build 产生作品,让自己精准嵌入关键节点网络(critical path),实现阶梯式跃迁。

在被问及哪位博士的成长路径堪称典范时,李磊提到了加州大学伯克利分校(UC Berkeley)毕业、现就职于 OpenAI 的 Eric Wallace。Eric 在大模型安全领域成名已早,此前在 Hugging Face 遭遇蜂群(swarm)安全攻击事件时,他以核心研究员身份进行了深入的公开技术复盘。李磊分析指出,Eric 的研究 idea 往往干净简单,核心壁垒在于对科研时机(timing)与问题本质极其深刻的定义能力。

---

`25:28` 选校 vs 选导师:精神状态与“慢研究倡议”的冷思考

关于攻读博士过程中的核心抉择,李磊给出了非常明确的权重判断:

> “选学校的优先级应该是要低于选老师的,甚至可以说是远远低于……组和组之间的它的 variance 其实还是更大的。然后很重要的一点就是你可以去看他们的 alumni 的一个是成果,一个是精神状态,然后私下里去问一问已经毕业的 PhD 和在读的 PhD。”

在李磊看来,学术界依然具有浓厚的学徒传承色彩。Top 30 与 Top 50 的名校标签在工业界招聘时的估值溢价并不明显,但课题组氛围对个人成长及心理健康有着决定性影响。学术界不乏虽然“著作等身”但过程极度痛苦抑郁的案例。他借机为自己所在的香港大学 NLP 实验室(HKUNLP)与北大计算语言学研究所宣传,称赞这两处的研究氛围极其轻松愉快。

对于如何甄别导师,李磊认为只看公开数据是远远不够的: - **公共维度(盲盒表面)**:Google Scholar 引用、CS Rankings、公开发表演讲。 - **私有维度(匹配内核)**:沟通颗粒度、脾气秉性、合作模式。

李磊本人的经验是“先通过 Research Intern / RA 深度合作,以实习促双选”。他此前在上海人工智能实验室(Shanghai AI Lab)实习期间,与后来的共同导师(co-supervisor)孔令鹏老师开展了长达半年的紧密学术合作,双方确认风格高度契合后才正式确立师生关系。通过担任科研助理(RA),申请人不仅能与组内已毕业及在读的博士打成一片、刺探真实“军情”,还能快速验证导师的研究范式是否符合自身预期。

针对近期海内外超百位资深教授与研究员联合签署的“倡导本科生做慢研究”倡议(倡议本科生不要为升学保研急功近利地刷顶会论文),李磊给出了理性的辩证思考。他指出该倡议之所以引发广泛争议,是因为它与当前激烈的升学考核机制存在现实冲突。但他仔细研读倡议内容后发现,教授们的真实诉求并非禁止学生做科研,而是呼吁扭转唯论文数量论的浮躁风气: - **倡议内核**:导师在考核筛选时,不再把论文数量作为唯一硬性指标;更看重候选人是否在数理基础打扎实的前提下,完整讲清楚某项研究“做了什么、为什么做、怎么做的”。 - **坚决抵制**:反对本科生为了简历好看而投机取巧,盲目找人挂名,或利用自动化工具大批量炮制粗制滥造的垃圾论文(sloppy papers)。李磊建议学生在心态上要放轻松,在精力分配上平衡好学业本职与前沿探索,把有限的时间真正投入到有厚度、有重要价值的课题中去。

`30:00` 快科研与慢科研:最小可行假设与“前端深思,后端极速”

李磊分享了自己对科研节奏中“快”与“慢”的哲学理解。他坦言自己本质上是一个倾向于“慢”的人:在动手做具体事情前,会花非常长的时间去做选择和思考。李磊回忆道,自己早期做研究时曾有一个沉痛的教训——当时拿到一个 Idea,但没有先做好前期的预备实验并把逻辑彻底想明白,就头铁地花了半年多时间疯狂调算法,最后才痛苦地发现最底层的核心假设从一开始就是错的。

自那次踩坑之后,李磊彻底重构了科研闭环:在正式大动干戈之前,必须先抽离出一个最小的可行假设(Minimal Hypothesis),用极小成本的 Demo 或玩具实验(Toy Experiments)进行端到端的快速检验。在方向的选择上,他主张在前期进行高密度的文献调研,并与所敬仰的研究员和导师深度探讨碰撞,把方向看准、想透;而一旦方向确立、开始落地执行,就必须进入“极速”模式——想方设法拉满 GPU 的利用率,用 AI 工具进行并行化处理,极速清洗并吞吐数据,通过高并发工程把产出周期压缩到极致。

```mermaid flowchart TD accTitle: 李磊的“前慢后快”科研工作流 accDescr: 展现从前期的密集调研、最小假设验证,到后期的极致工程加速落地的完整迭代循环。

subgraph Phase1["慢思考:方向与假设(前期深思)"] A["高密度文献调研与顶尖同行探讨"] --> B["抽离最小可行假设<br/>(Minimal Hypothesis)"] B --> C["极简玩具实验端到端验证<br/>(Toy Experiments)"] end

subgraph Phase2["快执行:极致工程加速(落地压榨)"] C -->|"假设成立"| D["借助 AI 工具实现并行化"] D --> E["数据处理与算力利用率拉满<br/>(Maximize GPU Utilization)"] E --> F["快速产出并获取反馈"] end

C -->|"假设证伪,及时止损"| A ```

- 核心执行原则:在方向探索期保持克制与深思,避免沉没成本;在工程实现期追求高强度并行与算力满载。 - “我会花比较长的时间去选择一个我想要做的一个事那这个东西我会觉得他前面花的时间越多其实对于你后面它其实是很划算的”,李磊总结道。

---

`31:08` 内地、香港与美国:博士生择校画像与地缘权衡

面对如今读博的地缘选择,李磊深度剖析了内地、香港与美国三地的生态差异:

1. **内地高校**:最大的红利是能够极快地与工业界大厂接轨,工程与应用落地场景丰富。但硬币的另一面是较为传统的“师徒制”,在高校激烈的考核指标下,横向项目(企业合作)与纵向项目(科研基金)的压力常常被传导给学生,部分导师动作容易变形,影响学术成长。学生在择组时需要极强的辨识力,寻找能平衡好课题组运转与个人成长的导师。 2. **香港高校**:近年来呈现出独特的活力,既与内地产业界保持紧密无缝的融合,又保留了自由通畅的国际学术港口优势,招揽到的年轻导师学术 Profile 极其亮眼、更具活力与野心;不过高昂的生活成本与密集拥挤的生存空间也是必须面对的现实。 3. **美国高校**:传统优势在于最贴近硅谷中心和全球核心学术圈层,但当前受制于极其痛苦的签证审查、CPT 政策收紧,导致博士生寻找工业界实习的阻力大幅增加。

谈及适合三地的人群画像时,李磊幽默地调侃道:“我觉得去美国读 PhD 的话就是说首先你可能不能特别喜欢吃东西反正每次美国同学回来都是要大吃特吃一番的你要耐得住美食的寂寞”。他指出,若学生抗压能力强、擅长在复杂现实环境中平衡各种诉求,留在内地或香港都是当下的上佳之选;而偏好纯粹学术氛围、耐得住生活寂寞与身份挑战的人,则更适合赴美。

---

`33:00` 破局 K 型分化:AI 是终极的平权工具

进入毕业季,博士生们私底下最火热的话题不再是高深的研究,而是求职与 Package(薪资待遇包)。李磊指出,高年级同学极度焦虑找工作,低年级同学则迫切想探寻“工业界真正关心的核心痛点”,以期毕业时能丝滑过渡。

大家读本科时都在同一起跑线,但到了博士阶段,专业间的阶层鸿沟被残酷拉大,AI 与非 AI 几乎分裂成了两个截然不同的世界,引发了所谓的“K 型分化”或“I 型分化”。李磊坦言自己时常觉得自己非常幸运,但他并不认为 AI 会筑起不可逾越的高墙,反而坚信 AI 带来了极大的平权: “原先我们想要去学习些东西你需要去上这个 Coursera 需要上这个去上 Stanford 的课但现在你其实能够 assess 到的这个 ChatGPT 也好或者说这个 DeepSeek 或者说 MiMo 这些模型它其实它的这个知识的储备量是非常非常高的”。

李磊形象地打了个比方:就像远古时期能熟练掌握生火技术的智人最终淘汰了其他人种一样,“未来不是说 AI 去替代这个人类或者说做 AI 的这帮人去拿走了很多的蛋糕而是说能够用好工具的这些人”会脱颖而出。各行各业的专家与技术爱好者完全可以通过大模型跨越学科门槛,借由 AI 这把“梯子”重构自身领域的工作范式。

---

`35:27` 导师创业潮下的博弈:资源杠杆与学术杂活的权衡

当下教授掀起 AI 创业狂潮,博士生如何看待老板做公司?李磊指出这是资本驱动与科技导向创业的必然现象,最前沿的 Researcher 与 Professor 被历史推到了舞台中央。

从积极面来看,导师办企业引入资本后,打破了传统高校体制内经费申请苛刻、报销繁琐、算力掣肘的困局,能以极高灵活性快速聚集“卡、工程人才、专业数据”等一切核心生产要素,为前沿大项目带来巨大的杠杆加速效应。但负面影响同样直白:一旦引入外部资本,资方对商业回报的诉求会层层穿透、转嫁到课题组头上,博士生不得不被迫分担许多远离纯学术研究的杂活(Dirty Work)。李磊客观地指出,这是同一枚硬币的两面,要想借助商业资本带来的顶级算力与数据杠杆,就必须做好付出相应代价的心理准备。

---

`36:52` 本科进大厂做研究,还必须读 PhD 吗?

如今部分优秀本科生乃至高中生直接进入前沿 AI Labs 并取得傲人战果,这引发了“理工科是否还有必要读 PhD”的追问。李磊明确表示,读博的价值完全取决于个人的诉求: “如果说你希望读一个 PhD 以此来进入这些所谓的大公司我觉得它是没有必要的因为你本科生也可以去像 Jason Wei 对吧有很多我们认识的 OG 的研究员他们其实就是本科生甚至高中生……牛不牛不是你有没有这个 degree 决定的”。

但在李磊看来,PhD 的不可替代性在于它提供了一段珍贵的“脱产探索期”。人一辈子活 80 岁,拿出四五年时间,在没有强指标商业压力的环境中,纯粹为了满足自己对未解之谜的好奇心去深挖一个领域。在这个过程中,你能够系统性地补足底层知识架构,学会如何把个人成果的影响力最大化。只要把它当成一段探索内心好奇的特殊旅程,读博依然具备无可比拟的精神与思维训练价值。

---

`38:30` 小米 MiMo 直播后训练背后的初心与反响

回顾 2026 年,李磊分享了 AI 带来的两大核心 Aha Moment: 1. **Agent 范式进入现实**:从早期的句意情感分类、机器翻译,进化到今日借助脚手架(Scaffold)配备各种工具自主完成极其复杂的链条,Agent 正在深刻重塑人类社会形态,且正加速从数字世界(Digital World)外溢渗透至物理世界(Physical World)。 2. **大规模强化学习(RL)的泛化力**:在训练早期就体会到它与 DeepSeek-R1 带来的那种震撼,大规模 RL 能够对模型的底层综合能力带来全面升维。

谈及小米 MiMo 团队开创行业先河、把后训练(Post-training)过程向全网公开直播的底层动机,李磊正面回应道,彼时业内针对中国大模型存在许多流言蜚语和猜忌,对整个行业生态形象造成了负面影响。许多团队不做大规模 RL 是因为门槛极高,涉及顶层的算力 Infra 调度与高质量数据工程构建。“我们其实是希望说能够用这样的一个直播去首先我们希望有一个正向的引导”,以完全公开透明、Decent 的方式证明 RL 路线不仅走得通,而且能取得绝佳的效果,同时开源相关资产并吸收社区真实反馈。

直播上线后,反响极其热烈并呈现两极聚焦: - **国内受众反应**:大家最敏感、最津津乐道的是真金白银的燃烧。由于直播页面直接内嵌了实时训练花费看板,“大家点开网页看到人民币在燃烧这个是大家刺激比较大的一个东西”。 - **国外学术界反应**:海外推特(X)研究社区则对这种“工业级后训练完全透明公开”感到震撼。由于大模型训练长期被闭源巨头神化,小米将大规模集群的 TensorBoard 核心动力学曲线毫无保留地裸露给公众,被海外学者与工程师惊呼为提供了一座供学术挖掘与机理分析的宝贵“金矿”。

---

`42:03` 数据公司的估值天花板与壁垒生存期

近期如 Scale AI、Uniphore 以及国内类似标的等高估值数据公司成为资本宠儿。李磊分析指出,大模型的三大底层支柱是算力、数据与顶尖人才,“没有一个是便宜的”。以往靠简单抓取或低阶做题堆砌出的数据已被挖掘殆尽,当前支撑前沿模型能力突破所需的高质量、复杂专家数据,其生产难度已经提升了数个量级。

针对“数据生意的可持续性”,李磊提出了一套动态演进视角:

| 维度 | 高价值/可持续路径 | 低价值/濒临淘汰路径 | |:--- |:--- |:--- | | **数据形态** | 紧跟前沿模型边界的“专家级”、“暗知识”合成与人工混合产线 | 低阶做题类、通识清洗类等已被大模型自身攻克的平庸数据 | | **壁垒特征** | 具备规模化品控体系、敏锐定义特定模型“学习区”(难易度适中)能力 | 缺乏质检管线、靠纯人力作坊堆砌,成本高且信噪比低下 | | **与模型演进关系**| 抢占模型前沿迭代的黄金时间窗口,充当加速探索的优质燃料 | 随着模型自身合成能力的跨越式提升,被廉价模型生成数据彻底击溃 |

李磊强调,大模型能力的边界犹如一座巨石,数据公司的核心竞争力在于找到巨石边缘的细微缝隙,建立规模化交付体系与激励闭环。尽管模型自身也在进化出合成数据的能力,但模型公司为了在不可逆的时间竞赛中抢占智能前沿,必定愿意砸巨资购买高密度燃料;唯有能够持续稳定输出高阶燃料的管线,才能在残酷洗牌中长期生存。

---

`46:00` RSI 发展阶段与做爆款 Benchmark 的三要素

李磊观察到,递归自我改进(RSI, Recursive Self-Improvement)的信号正变得愈发清晰。当下在利用模型自身造数据、在限定搜索空间(如 Post-training Benchmark、超参优化)内利用算力扩展搜索更好路径方面,进展一日千里,模型的 PPL(困惑度)正在不断被压低。然而,当下 RSI 遭遇的硬核天花板在于底层 Taste(品味)与问题定义能力: “什么问题是重要的下一个阶段我们需要去解决这个问题的能力然后我觉得只有具备了这个能力之后那我们才能够说研究员非常放心的去把这个整个端到端的事情交给他”。

李磊回顾了自身主导或参与打造爆款评测集(如 Video-MME)的成功实战经验,总结出一个被全行业打榜认可的顶级 Benchmark 必须具备的三大支柱: 1. **开辟全新的能力维度**:测量的指标必须与真实能力演进同频。当年学术界还在评测 6 秒以内的短视频时,Video-MME 直接将评测窗口暴力拉升至 1 个多小时的长视频与电影级分析,精准卡位 Agent 处理超长视听上下文的核心痛点。 2. **严防人工痕迹,锚定真实用户场景(Use Case)**:杜绝脱离实际的 Artificial 数据。模型对人造数据的感知极其敏锐,一旦发现是在被生硬测试,行为模式会严重失真,导致评测分数与真实用户体感严重脱节。 3. **极佳的易用性与生态兼容**:要想在开源社区广泛传播,必须做到极简的“一键启动评测”,并无缝适配主流的大模型评测工具链(如 OpenCompass 等),通过降低研究人员的适配摩擦力,迅速占领生态心智。

---

`49:00` CS 降温、高考专业建议与给 PhD 的生存哲学

面对 MIT 大一新生选机械工程反超计算机、全美本科 CS 录取率同比下滑 8.4% 的行业震荡,李磊坦然视之为行业周期的必然回归:“版本一代神”,初级(Junior)纯写代码岗位的生态位确实正在被 AI 吞食。但这绝不代表计算机已死,反而意味着基础编程与计算机通识正在转变为人人皆备的底层通识必修课。

面对亲历高三选专业的晚辈,李磊给出的建议跳出了单纯的专业红利论: “我的看法是这样的就是说行行出状元不需要成为你这行的 top 1% 因为那个太累了你只要能够始终和自己比然后维持在一个相对来说比如说前 20% 30% 的这样一个水位每天就是说能够有自己的取得一定的进步然后我相信每一行都会有非常解出的一个成就和人才的这样的一个涌现”。

播客尾声,李磊向所有正在经历研究受阻、论文被拒、前途未卜而陷入精神内耗的博士生们,送上了一句云淡风轻却充满力量的寄语: “我觉得 paper 迟早是会中的然后饭还是得吃觉还是得睡对没有什么大不了的”。保证身心健康与生活规律,永远比焦虑一篇论文的得失重要得多。

## Notable quotes > `03:28` 当你在解决一个重要的问题的时候,即使它很难,只要你 make a little bit of the progress,那你也很有可能可以获得非常大的一个影响力。 — 李磊

> `25:28` 选学校的优先级应该是要低于选老师的,甚至可以说是远远低于 — 李磊

> `00:00` 如果我十年以后躺在床上,可能还是会后悔没有去读这个 PhD,所以说我最后觉得既然这样子就还是去读。 — 李磊

> `08:07` paper 它本身其实并不是为了让它中稿,而是说我做了一个很有意思的研究,我希望就是说有一个地方来 share 给大家,是一个 knowledge 的一个分享。 — 李磊

> `49:00` 我觉得 paper 迟早是会中的然后饭还是得吃觉还是得睡对没有什么大不了的 — 李磊

## Mentioned 李磊, Koji杨远骋, 小米 MiMo, 香港大学, 北京大学, 西安电子科技大学, 上海人工智能实验室, OpenAI, Astra, DeepSeek, DeepSeek-R1, EMNLP, NeurIPS, AAAI, ACL, Hugging Face, GitHub, Twitter, 小红书, 吴恩达, Coursera, 苏建林, 科学空间, RoPE, 金山办公, 巴拉巴西成功定律, Eric Wallace, UC Berkeley, 孔令鹏, 沈旭, Jason Wei, Scale AI, Uniphore, Video-MME, OpenCompass, 麻省理工学院

## Video description ➤ 本周「十字路口」的嘉宾是李磊,小米 MiMo 大模型后训练研究员、香港大学在读博士。一边参与大模型训练,一边读 PhD,他和许多同学一样,面对着 AI 带来的巨大机会,也置身于飞速变化的节奏中:既兴奋,也焦虑。 这期播客,我们聊的主题是:在 AI 时代,PhD 怎么拿到一个理想的结果? 我们聊了 PhD 路上的 10 个关键问题:慢科研,还是快科研?学校和导师怎么选?内地、香港、美国如何选?怎样争取研究机会与实习机会?论文发表之后,如何通过开源和社交媒体,让研究被更多人看见,产生真正的影响?如果本科就能进入 AI Labs,读 PhD 还值得吗? 我们也聊到了 PhD 圈里的“大粉理论”:小红书的粉丝量超过论文引用数。这个说法背后,是研究成果传播方式的变化。 最后,我们还聊了 RSI、数商、Benchmark 等近期受到关注的话题。 如果你正准备读 PhD,或正在为研究、毕业和求职感到焦虑,希望这场对话能帮你想清楚:下一步,什么值得投入,又该从哪里开始。 🎬 我们的视频播客将同步上线于 @Koji杨远骋 的视频号、抖音、小红书、哔哩哔哩、Youtube 等平台。 📒 文字版将发布于 @十字路口Crossing 公众号。 🟢 快问快答00:23 快问快答:年龄、毕业院校、MBTI、星座 02:29 北大到港大:EMNLP 最佳论文开局 🟢 PhD 路上的 10 个关键问题03:28 AI 时代,PhD 怎么拿到理想的结果? 08:07 AI 论文大水漫灌,顶会怎么办? 12:16 “大粉理论”:小红书粉丝>论文引用 16:50 PhD 从入学到毕业,要过哪几关? 20:08 没论文、没实习,PhD 怎么冷启动? 25:28 选学校还是选导师? 28:12 慢科研 or 快科研? 31:08 内地、香港、美国,去哪读 PhD? 35:27 导师创业,PhD 得到了什么? 36:52 本科能进 AI Labs,还要读 PhD 吗? 🟢 热议话题39:58 小米 MiMo 为什么直播后训练? 42:03 数据公司的高估值能持续多久? 46:00 RSI:AI 能自己训练自己吗? 47:46 Video-MME:怎样做出有影响力的 Benchmark? 🟢 AI 时代的选择49:00 AI 时代,CS 还值得学吗?专业热度下降意味着什么? 50:20 给高三生的专业建议 51:24 给 PhD 的最后建议:饭要吃,觉要睡 欢迎订阅「十字路口」:🚦 我们关注新一代 AI 技术浪潮带来的行业新变化和创业新机会。 🚦 十字路口是乔布斯对苹果公司的一个比喻,形容它站在科技与人文的十字路口,伟大的产品往往诞生在这里。AI 正在给各行各业带来改变,我们寻找、访谈和凝聚新一代 AI 创业者和 AI 时代的积极行动者,和他们一起,探索和拥抱新变化,新的可能性。 👦🏻  主播 Koji:我创办了十字路口,发起了 AI Hacker House 这个新一代 AI 创业者的社群空间,在真格基金担任 Venture Partner 投资合伙人。我相信科技尤其是 AI 是我们这一代人最大的价值创造机遇。Koji 的即刻,Koji 的网站

[Source](https://www.xiaoyuzhoufm.com/episode/6add84e197726cd467573cf1)

中文简报

小米研究员李磊称顶会论文贬值 开源与社媒成AI博士评价新标尺 生成式AI导致学术顶会审稿机制失真,论文数量退化为基础配置,促使企业与学界转向以开源落地活跃度及社交网络声量重估科研人才价值。 对谈围绕大模型浪潮下科研工作者与博士生的现实处境展开,李磊拆解了从零论文冷启动到构建学术领导力的三阶段成长路径。他提出顶会“大水漫灌”使得开源复现度与小红书等社媒分发(“大粉理论”)成为新的硬通货,并倡导“前端深思、后端极速”做难而正确的研究。同时,对话深入探讨了小米 MiMo 公开直播后训练的始末、数据公司的壁垒演进、RSI 的能力边界,以及 CS 专业热度降温周期下的个人心态调适。 大模型论文泛滥削弱顶会录用的含金量,工业界更看重开源代码完整度、Issue 维护度及 Hugging Face 实际下载量等落地信号。 (8:07) 学术分发转向社媒推荐算法,博士生圈出现“大粉理论”,将利他内容与硬核技术输出结合以放大个人研究声量。 (12:16) 李磊倡导“前慢后快”科研节奏:前期花大量时间做文献调研与最小可行假设验证,一旦方向确立则拉满算力极速工程落地。 (30:00) 小米 MiMo 团队公开全网直播后训练(Post-training)过程,实时展示训练开销与 TensorBoard 核心动力学曲线,以此破除行业猜忌并回馈开源社区。 (39:58)

Reading summary

港大博士生、小米 MiMo 研究员李磊认为,大模型时代顶会审稿机制与论文价值正在贬值,博士生应转向攻关真实世界的“锯齿状智能”难题,并依托开源交付与社交媒体放大个人学术影响力。 直面锯齿状智能:做难而正确的蓝海课题 (3:28) 生成式 AI 的迅猛演进让许多细分领域的博士生产生自身研究被颠覆的焦虑。李磊指出,不应盲信社交媒体的炒作,而应坐到电脑前写代码、跑评估(harness),观察大模型的真实表现。前沿模型展现出的是“锯齿状智能”,如具身智能在模拟器与真机之间存在显著的泛化差距,模型能力溯源与归因依然悬而未决,这些未被解决的“毛刺”正是深挖的契机。科研选题必须迎难而上,低门槛研究极易被海量竞争对手快速超越,而在公认核心且重要的问题上取得哪怕微小的进展,都能产生巨大影响力。 顶会机制退化与工业界评价维度的重塑 (8:07) 顶会论文大水漫灌导致单人审稿负荷激增至约十篇,评审随机性放大,顶会中稿正从昔日的“黄金标准”降级为普通配置。李磊反对利用大模型批量炮制论文的投机行为,认为这构成了对学术共同体的 DDoS 攻击。研究的核心在于作者是否理清逻辑并用严谨实验证实假设。与此同时,工业界筛选人才的评价体系发生根本转移,更看重开源代码、完整的复现流程、Issue 的长期维护活跃度,以及模型权重在 Hugging Face 上的实际下载量等真实落地指标。 大粉理论与全链路科研成果分发 (12:16) 单一顶会收录数千篇论文后,学者依赖人工翻阅列表获取新知的模式失效,学术传播全面转向社交媒体推荐算法。李磊提出“大粉理论”,将其视作注意力稀缺机制的显化,认为博士生建立社交媒体影响力能成倍放大研究价值,还能以即时正向反馈缓解研究的孤独感。他总结了利他思维、高频输出和展现真实自我三项运营原则。现代博士的第一阶段训练已不仅是撰写论文,而是必须做到论文、自媒体解读、开源仓库与技术博客的端到端全链路交付。 零资源冷启动与前慢后快的研究闭环 (20:08) 在缺乏顶会论文与算力支撑的冷启动期,李磊建议避开大模型预训练等重资源赛道,转向构建轻量评测工具(harness)或撰写推导严密的硬核技术博客,将其作为个人作品集以嵌入关键学术网络。他在科研节奏上主张“前慢后快”:前期花大量时间进行文献调研与最小可行假设(Minimal Hypothesis)的玩具实验验证,避免底层假设错误导致沉没成本;假设成立后,则转入高强度并发工程加速,将算力与数据吞吐拉满。 择校地缘权衡与工业界前沿实践 (31:08) 在读博地缘选择上,内地高校紧贴工业落地但导师考评压力易向内传导,香港高校兼具国际接轨与大湾区产业优势但生存成本高,美国高校贴近全球核心圈层却面临签证与实习政策收紧;择组时导师脾气与实验室精神状态远比名校光环重要。针对行业前沿,小米 MiMo 团队公开直播后训练过程,意在破除海外猜忌并提供开放的训练动力学数据;打造顶级 Benchmark 则需开辟全新能力维度、贴近真实无人工痕迹的场景,并具备极简的生态易用性。 面对初级编程岗位被 AI 吞食与 CS 专业降温的周期性回归,李磊强调读博本质上是一段满足纯粹好奇心的脱产探索期,保持良好的生活规律与身心健康远比执着于单篇论文的得失更为根本。

Source quotes

[3:28] 李磊: 当你在解决一个重要的问题的时候,即使它很难,只要你 make a little bit of the progress,那你也很有可能可以获得非常大的一个影响力。 [25:28] 李磊: 选学校的优先级应该是要低于选老师的,甚至可以说是远远低于 [0:00] 李磊: 如果我十年以后躺在床上,可能还是会后悔没有去读这个 PhD,所以说我最后觉得既然这样子就还是去读。 [8:07] 李磊: paper 它本身其实并不是为了让它中稿,而是说我做了一个很有意思的研究,我希望就是说有一个地方来 share 给大家,是一个 knowledge 的一个分享。 [49:00] 李磊: 我觉得 paper 迟早是会中的然后饭还是得吃觉还是得睡对没有什么大不了的

Original transcript

[0:00] 嗨 我是Koji 本周十字路口的嘉宾是小米大模型的后训练研究员李磊 李磊还有一个身份是香港大学的在读博士生 同时是腾讯15位首届青云奖的获奖者之一 同时他的paper也拿过EMNLP的最顶会的最佳论文奖 你好李磊 欢迎来到十字路口 哈喽 Koji 非常高兴今天有机会能够做客十字路口我们还是从快换快答开始帮助大家了解你啊请问你的年龄 28岁的 MBTI 和星座 ENTJ 然后是巨蟹座求学经历可以介绍一下吗我应该是16年在西安电子科技大学读的本科然后20年到北大计算语言学研究所去读的硕士然后23年到香港大学NLP Group读PhD最近小米Memo其实做了一件很有意思的事情你们把后训练直播Memo V2.6的Pro Flash的两款模型的后训练直播直接搬到了网上然后我感觉国内外还是有非常多的关注和讨论的这个事情幕后的推动者我觉得很有意思的是一边你在参与一个飞速发展的AI行业另一边同时还是在读的博士四年级的学生所以今天请到你是想聊一个就是十字路口应该很多的用户关注者都很感兴趣的话题因为大家多多少少都是在做学术在做研究或者AI公司我们讨论的这个话题是什么就在AI时代要怎么读好PhD才能拿到一个不错的结果相信会有很多人喜欢听十字路口就是跟我这样的一个画像对因为我自己这样是十字路口忠实的一个听众嘛对然后说到这个重要的这个里程碑的话我觉得首先就是读 PhD 这个决定纠结了一段时间最后呃纠结来纠结去就是我给自己的一个答案就是说如果我十年以后躺在床上可能还是会后悔没有去读这个PhD所以说我最后觉得既然这样子就还是去读我觉得这一步还是蛮重要的尤其是现在大家会有很多的考量你的机会成本会很大尤其是整一个工业界它的待遇和你现在学术界面临的这样的一些gap但是我觉得钱的事情就是说可以以后再说这段时间可能你能够很好的去做一些你想要做的事情这个东西在那个moment我觉得如果我现在不去读这个pht我可能回过头来我还是想要去有一段这样的一个经历所以这个是我觉得一个很重要的一个关键点对对对然后的Miles Stone就是说起来也挺这个drama的我觉得就是我在那个北大的最后一段时间就是跟一些师弟合作然后我们刚才提到那个Best Paper也是在那个时候做出来的然后那个正好就是我入学之后两个月也就是说我参加了第一个回忆然后我就自己也有一篇工作我认为我觉得这个一下子就是当时我其实对于读一个这个PhD到底能不能很顺利的这个完成它的这个考核也好或者说一些标准也好其实当时还是有一些退堂股虽然说已经经过了这个硕士的一些科研的训练但是那个就是应该是23年11月份刚好入学两个月当时就觉得这个什么属于是一个这个巅峰开局害怕说这个会不会是这个出道就是巅峰这么巅峰开局之后呢就是后来这个路会一直很顺利吗我觉得整体来说还是就可能验证了说我之前的有一套这个打法然后他是怎么样去做这样的一个事情所以这套读PSE的打法是什么打法我总结来说就是一个是快速的迭代包括就是说自己要有这个比较这个intense的一个工作的节奏然后以及说你要能够及时的去参与到这个社区也好PSE也好或者说你认为更senior的这个老师同学也好去获取feedback第二个的话就是说技巧上第二个就是我觉得是心态上你在选择的时候要就要选择去做一些难而正确的一些问题否则的话你的这个很多的事情它如果不够难那么一定会有非常多的competitors在现在的时代里面它会很容易被beat掉然后另外就是说正确的事情就意味着说正确有两个方面我觉得一个是说是大家都非常关注的一个问题大概率就是说它可能是目前大家会认为比较重要的问题就是它的importance这样一个是difficult 一个是importance你当你在解决一个重要的问题的时候即使它很难只要你make a little bit of the progress那你也很有可能可以获得非常大的一个影响力本来我是想说这个难而正确意味着做起来会很慢然后同时要拿到正反馈所以这个听起来冲突但好像你已经回答了这个问题一个难并且重要的事情哪怕一点点进步其实大家也会认为是非常significant的对反倒是大家对于你的那些要求会没有那么的苛责因为大家都知道很难就很多人面对一个很困难的问题他第一步就想太难了我根本不知道怎么解决他们会没有头绪去解决这样的一个问题 [5:00] 只要你能够找到一个好的切面对吧比较solid的去把这个事情提供一部分的这样的解释也好或者说实验理论的分析也好其实他对于后续想要去研究这个问题的人来说他就是一个非常重要的一个milestone了所以你觉得就是这一套PST打法是适合所有人吗我觉得也不一定是适合所有人但是我目前观测下来就是说他可以减轻很大程度上的一个焦虑PST们都在焦虑什么呀我觉得phd现在就是焦虑如何一个是publication然后但是又面临一个非常drama的一个问题就是整一个的这个顶会的system现在在AI的这个冲击下面它其实可能有一些难以为继的一个状态这个是一个然后再一个就是说首先要满足毕业要求对吧第二个就是说我发了那么多paper之后还有没有用比如说像Astra出来之后很多做技术就会觉得这一下子好像我的整一个domain都被颠覆了这个也是大家经常感受到焦虑的一个来源就是说我能不能在publication做的东西有意义之后能不能完成PhD到工作的这样的一个转换所以在这些焦虑面前你有一些什么样的应对建议吗大家如果还要去在游戏里面去玩的话心态上还是要放松虽然说竞争很剧烈但是Community也在想一些办法怎么样去帮助去稳固这样的成稿的一个系统然后再一个就是说大家要相信整一个这套它已经run了很久了它其实还是有一些内在的一些生命力在的就是它能够保证说一个好的工作会被中稿的第二个就是说做的东西有没有意义这个事我觉得就是说你乍一看就是阿斯特很牛但是你再仔细看你会发现它其实有很多的茅次这个我觉得就是大家对这个大模型它是一个锯齿创的这样的一个智能有一定的了解就是说它在你有一些地方你看着非常非常厉害但是其实它有一些东西是完全没有的那这个东西我觉得就是很考验大家就是说你真的坐在电脑面前对吧去coding啊去设计hannis啊去把这个东西跑出来去看看你的数据去看看整个模型的表现它能够是到底是怎么样的而不是说被social media上面的一些hype做了这样的一个心理状态它并不是完全没有意义而是说你能看到的东西可能会是容易被放大的东西但有非常多看不到的地方还值得我们去思考和去研究比如举个具体的例子最近你看到的还值得去思考探索的模型尤其Astra这样的Sota模型的一些毛刺儿我们其实也在做一些类似于这样的巨生的一些实验比如说我觉得一个值得研究一个问题就是说这个能力是从哪里来的然后这里的话就是你可以trace back到很多的这个model也好它到底是从哪里泛化过来的因为你知道它从哪里来之后你能够更好的去提升它吗对吧我前线的理解就是OpenAI一直在采购巨生的一些相关数据是用这样的数据训练出来的我们猜测可能是这样子的然后再就是说具体的对吧当然我不是巨生领域的专家就是说他有很多的这样的一个domain比如说他在这个simulator里边的效果怎么样他在增机的怎么样对吧这里会不会有gap对吧有一些泛化的gap那这些可能都是非常值得研究的问题今天所有的学术顶晖都被AI论文大水漫灌还会好吗压力确实是存在的就是说比如我做审考人做LHR我能看到我的原来就是说可能就两三篇现在可能就是你可能大概是10篇左右的这样的一个量就审考人的workload这是最直接的一个冲击对吧然后考虑到的大家都是DDL战士就是你原来可能我留个半天去把最后几篇搞定结果现在就是说你可能在这个情况下就大家做出来的判断其实就有可能它的随机性就会变大了这个是我觉得再就是你会看到整一个会场它的容纳现在都会像neurips他就有三个会场但是就是说社区也在通过比如说限制投稿的数量然后去promote跟这个有一定经验的审稿人去承担更大的责任然后引入AI审稿来去辅助说帮助这个决策去做的更加的准确然后像tripleAI的话他现在也是要求做决定的时候是要两个senior的SPC去讨论最后做出这样决定就是想尽可能的在manageable的情况下把这个录用的决策去做准确但是他们来说有人的地方就是一定会有随机性所以说他的这个我觉得大家不要把这个cept or not作为最终的一个reward因为听起来现在有一条这个hack这个系统的路就是我用sota的模型做100篇论文然后投出去拼随机的概率你怎么看这样的一个做法我觉得这样的做法是不好的它一方面是对整一个系统的DDoS攻击说白了你瞎猫碰到死耗子总是有可能的但是我觉得Paper它本身其实并不是为了让它重稿而是说我做了一个很有意思 [10:00] 研究我希望就是说有一个地方来share给大家是一个knowledge的一个分享但是你说100篇的这样的东西他的背后的那个人他真的把这些东西弄清楚了吗对吧他是否有严密的这样的一些论证啊理论或者实验的去justify他所propose的一些hypothes这些东西这个东西才是重要的而不是说这个paypal到底重了没有重然后所以说你如果说AI强大到说或者说人加上AI的这样一个组合他能够提出100个有价值的问题然后在AI的帮助下对吧去把它解决的很好提供了这些很solid的答案我觉得这种情况下他投不投稿都无所谓就像可能open AI放出来几百个数学证明对吧然后可能有些是walk的有些是错的对吧但是这个东西它可能就有一定的意义但是同样我们会要耗费非常多的human efforts去verify它的结果你觉得会不会有可能出现一些新的评价体系我觉得其实现在已经开始弱化整一个的publication体系了但是只要存在一个评价的体系就一定会有reward hacking比如说我们现在在去筛选一些候选人的时候Paper它是一个类似于说nice to have的东西原先可能它是一个非常好的一个金标准那现在就是大家都有所以你没有也变得没有那么的重要为什么呢难道大家比如说99个人有你没有反而不重要了因为反而显得你很outlier对对我觉得反倒就是说可能意味着说他知道这个游戏可能已经坏了我就不玩这个游戏我们还蛮喜欢这样的画像的然后但是大家其实现在比如说我贡献一个开源的项目对吧这个是一个很加分的项但是也存在一些hacking的机制有的人会取也是用AI去提P然后被合进去了他就说他是他的contributor其实我有一个筛选的一个小指标尤其是有publication我看他们的代码有没有开源他们数据有没有开源然后以及说他们开源了之后他们的issues有没有人去维护所以更是在真实世界里面看看你的作品有没有产生影响力对对对比如说hacking face的下载量如果说你做了一个模型对吧你说你是sota但是你在hacking face上我看上个月的下载量可能只有数十次就可能你解决的不是那么重要的一个问题那hacking face的下载量可以hack吗也可以hack但是它的hack的代价就蛮大的就是首先我要下载你的东西对吧然后存到这个硬盘上硬盘还蛮贵的你的小王书粉丝书我看了一下今天是2.4万对对然后上次我们聊天你开玩笑说这个比论文引用数要高这个为什么你会语用术和小用书粉丝术我觉得这个也是可以归到PhD的这个must do里面就是做自媒体OK 为什么呢我觉得它首先它是一个反馈比较快的一个地方social media就是你发的东西好不好对吧 大家点赞还有收藏这是很直接的一个反馈至少你有些时候其实现在大家交流少了但是你如果说在一个像小红书也好像推特也好对吧还有一个其实还是他们的推进算法还是能够帮助你吸引到一批跟你有相同的research test的同学那么其实会有一个非常好的交流这个是反馈的层面另外一个层面最近有一个叫大粉理论对吧就是说PhD student你的推特或者说你的小红书的粉丝量点赞量要超过你的citation在践性大分理论我觉得它是一个attention is all you need 的一个显化了因为现在paper很多我应该看什么paper那原先大家依赖的分发的机制是我们当时是比如说每一年ACL中稿我会去看所有accept paper那当时可能就几百片然后我根据关键词根据关键的老师去挑出我想要看的几片都把它看了但现在其实你不存在这样的事儿一个会议四五千篇对吧我不可能把它看得过来了因此大家会依赖一些论文的推荐也好或者说这种social media的推荐系统也好如果你能够在这样的系统中占据更大的权重你的声量就可以被放大你的工作就可以被更多的人看到也可以更好的去amplify你工作的价值所以在PhD的圈子里面除了大分理论还有什么理论我觉得搏击理论其实也应该推行到PhD群体里面因为确实它是一个很漫长的过程我觉得始终是第一位的确实是你要换换脑子对吧那作为PSD要怎么运营小红书呢首先是利他就是你当然可以发一些有针对性的有controversial争议性的这样的一些观点他很容易爆但是大家只会点赞或者说评论但其实他是大家不会觉得说这个东西跟你这个人是相关的只有说你持续的去产出了一些对别人有帮助的内容你也会收获一定的影响力对吧这个东西就是它的副产物了然后第二个的话就是要坚持我坦白来说我一开始就是会在我的小公司上发很多的论文的notes因为我当时每天看论文但其实那个时候我的粉丝的增长量就很少直到有一天我发了一些刚 [15:00] 说的引用跟粉丝的关系的时候我突然发现我爆了一下一下子网上迈了一个台阶但是他就是说你把它坚持做成一种daily的事情之后你想到什么发什么然后最后呢这个上面就会呈现出你最真实的一个状态然后那就一定能够吸引到你想要吸引的那些人所以我总结下来就是说利他然后坚持然后第三个就是说因为赛道其实很卷但是你如果找一个人去模仿你会很累因为你也不知道他咋想的对吧他背后的motivation是什么但是你其实去做自己然后把自己的想到的一些东西然后符合前面两个条件的东西我觉得其实粉丝数量不是那么重要就是你找到一帮就是说同频的人然后大家可以有一个非常好的交流的平台就完成了他的这样的一个目的了我这建议还蛮好的就是要立他要高频然后要做自己所以你在小红书上面点赞最多的笔记是哪几篇啊最多的拿奖应该是的然后轻轻奖学金应该拿然后是citation超过1万这个也可能是跟背后的推荐算法相关然后另外就是说学术方面的话我觉得之前有一些就是像Unpolicy Distillation这种我们也是比较早采纳新的一种这种范式的一个team当时我们看到之后其实我觉得这个东西就非常promising然后就写了一些这种notes放在上面其实那个关注也蛮大的我看最近戴志峰老师还有自然意志他们的新的一些工作出来你都会发一发对他们的分析然后自己的一些解读一些流量感觉也不错因为大家也其实很关注这些new lab的一些动态他们做的也非常不错然后有一些RSI然后也正好也用的是小米的基模所以说我就顺手的就去研究了一下所以现在的小红书就完全是你个人的工作个人的生活个人的研究兴趣的一个外话对如果我们把今天读PhD从入学到毕业分成几个不同阶段的话你认为可以分成怎样的几个阶段首先就是说知道怎么样去做好研究或者说知道怎么做研究这是一个很重要的一个Milestone就是做研究之前其实会有一些preliminary basics比如说你其实要了解很多基础的fundamental的一些东西对吧 machine learning statistics这些东西对吧这些课虽然好像今天看起来大家利用AI都不需要去补了但是其实还是很有必要去把那些东西去from scratch的自己去做一遍我们当时就是用tensorflow对吧要去把那个呃甚至用numpy MATLAB去把那些很basic的SVM啊这种呃很基础的这些算法去实现一遍就是吴文达老师的那个Cosero上面的课程我觉得这个这个还是非常重要就到今天还有很多基础的就是泛化overfit的这些概念对吧他经典的一些concept还是在整一个的这个system里面在运作对吧以及说像VM其实用的是page attention那就是操作系统的一些这个概念吗然后我觉得这些是basics 对吧然后第二个就是说research它是一个刚才说了它是一个这个knowledge sharing的这样的一个方式那怎么样能够让你的这个knowledge更好的去传播对吧那这里就有一些paper writing实验然后怎么样去justify你的这个hypothesis实验设置对吧这些东西是需要学习的然后当然AI可以做一个非常好的一个reviewer也好老师也好帮助你去提一些建议帮助你去consolidate你的这个hypothes 这些东西然后第三个我觉得就是说也是大家很容易忽略了一块就是怎么maximize 它的impact 就我们刚才前面提到的就是你去做好自媒体也好对吧你每做好你的开源然后呃去每个工作都有相应的这个配套的这个呃宣传啊软件啊博客啊一起说一些分享我觉得呃这个是第一个milestone 就是说你到了今天你可以独立的做好一个paper,并且能够获得一定的影响力。我觉得这个是基本功。然后第二个阶段我觉得是leadership。这个我也觉得非常感谢就是我遇到的各种老师其实在很早的时候就是我们的那个升旭老师就告诉我们说要培养我们的leadership我觉得就是说你其实要能够去当你逐渐的掌握这套这个pipeline以后其实你要能够去把这套东西去交给更junior的同学但是每一个junior同学他有自己的case嘛要case by case怎么样去更好的去引导他去做好研究你从一个自己generator的一个这样的一个身份变成一个critic 对吧变成一个批判者去帮助他这个事情蛮有意思就是很多同学他不一样很纠捏的同学他的类型不一样有的他会比较的self motivated你只要给一定的引导他就一下整个链路就跑通了而有的你会需要更intense的这样的一个supervision去帮助他去把这个东西build up起来第三个我觉得就是说能够 [20:00] 去完成一个呃从学术界到工业界的一个转变你会在一个更加现实的一个以及说这个竞争可能会更多维度的这样的一个层面去做一些这个事情当然这个我也在学习就做PHD要怎么能启动呢能启动来自于说我很勇敢的在我大三的时候我当时就是去给这个发了很多code email有我的这个后来的硕士老师对发了code email但我其实发了可能都有十封出去我只收到一封的回复孙老师非常愿意给我一机会然后当时我是达尔然后升大三的这样的一个状态他愿意让我来阻力别人实习然后得以说扣开整一个后面的大门然后能够发顶会然后顺利的保研然后我觉得到了现在这个难度就会变得更大了我相信所有的稍微有名一点的professor里面邮箱全都是Codymail会有非常多的这样的RA或者说是申请的这样的一个邮件然后工业界的话就更加了对吧现在的HC就是考虑到算理的情况下大家其实是很稀缺的这样的一个状况然后怎么去能启动我觉得首先就是说你知道这个事情之后我觉得就是说要做就是maximize你的impact因为其实现在大家不是去看paper而是说去看你有没有一些output它可能是一个Github的一个项目你做了一个非常好的一个harness你做了一个很有意思的一个application这些东西其实对于算力的需求没那么大对吧你只要能够发挥你的创造力其实是可以做出非常好的一些产品化的一些东西来这个是一个好的一个路子然后他去获得比如说相对来说就是说可能更偏产品的一些岗位对吧这是可以的然后如果是要偏研究一些的岗位的话其实我觉得在AI时代就是大家都在用AI sloppy的写作的时候你能够去把一些fundamental的东西给他理顺写好一个research的一个blog这个东西说起来很简单对吧但是就是说你能够一篇一篇的去把比如去写好很多的notion的blog然后如果有可以的话你可以去设计一些实验小的实验对吧你的一些改进对吧其实比如说像苏建林的博客对吧早期也全是推导也可能没有特别多的算力但是不影响说他能够最后推出了一个ROP到现在大家都在使用对吧然后现在是KIMI研究员我觉得这是一个非常好的一个路径就是说首先你要努力的去reach out其次你在reach out的过程中你肯定会收到非常多的没有回复也好这样的一些negative的feedback但是在这个过程中你要坚持的去做好自己的输出它也是你是一个learning的过程你找到自己想要学习的东西想要创造的一些东西然后展现出来有个非常好的一个作品集的呈现最后我相信你会不断的像一个冒泡排序一样慢慢就会冒上去看到我第一个拿到的这个实习应该是金山就当时的那个office当时我大二大三的时候他去看了我的博客对然后联系到我但是我当时觉得我还是想搞百姓论理所以就没有去做软件开发了我觉得是这样子就很像十字路口我们也很喜欢说的一句话叫只要一直build就有好事发生是的我觉得真的是这样刚才冒泡排序的比喻也很有意思一直冒泡然后你就更可能泡到上面去然后到上面去蛮重要的就是说有一本书叫巴拉巴西成功定律不知道你有没有看过还有一个听起来很鸡汤但实际上他们是研究用那种大数据的方式研究说诺贝尔奖得主什么时候能够发出他那篇诺贝尔奖的论文你怎么样才能够 somehow来说获得一些career的这样的success所以诺贝尔奖的得主他们一般是在什么规律之下发了那篇论文没有结论就是没有规律就是你必须要一直的发他们自己都没有办法预测说哪一篇会是他们的代表作是这样子的所以说就必须得一直build然后第二个效应是说比如说大都会博物馆里的那些画那幅画出来的时候它肯定不能一下子就展到大都会博物馆里它是怎么流通到那些大都会博物馆里面的然后他们去分析了就是说馆藏之间他们会有一些我会借过来展览他们会把流通图画了出来会发现有一些那种城市的那种市政的博物馆它的名气不是那么大但是你一旦去到了市政博物馆之后你就很有可能被这些非常famous的博物馆借走所以它还是有规律可学节点 然后但这些节点可达心就会非常的高你就是通过冒泡对吧你能够进入到这样的一个critical的pass上面然后你走向这个成功的路径可能就会大很多所以一方面他是需要这个不断的创造不断的发作品但另一方面这里面其实仍然是一些有迹可循的是的 是的 是的就是一直努力聪明的build你觉得有哪些你认为做得非常成功拿到了打个引号大结果的PhD你会想出哪些名字我现在能想到就是说比如说那个应该是 [25:00] Berkeley的吧应该是那个Eric Wallace他原来是做那个呃就是大模型安全的一个一个PhD然后呢他应该是毕业之后就学open ai然后前段时间就是说那个hugging face的那个事件就是他们那个swarm攻击了hugging face那他其实就是作为那个内部的一个那个研究员出来给大家复盘整一个的这个东西其实你就看到他的research就是其实idea都很简单但是就是能够有个非常好的一个positiontiming的时候去把这样的一个问题propose出来然后定义好这样的一个问题CHD们去选学校和选导师的时候你分别有什么样的建议我觉得选学校的优先级应该是要低于选老师的甚至可以说是远远低于因为PhD这个事情就是说它还是蛮像我们古时候的师徒制然后以及说它在国内外它的情况又是case by case的普遍来说国内的话会更像上级和下级的这样的一个存在然后其他的地方可能更像collaborators当然他是你的supervisor他会有一些这样的一个supervision所以说这个时候学校这个东西怎么说当然是尽可能的去但是其实你说top30跟top50有没有本质区别吗可能是没有太大本质区别的你说四大名校跟top30这个gap可能OK大家听到你的famous的university name就会OK你的估值就能长一长怎么样的但是我觉得组和组之间的它的virus其实还是更大的然后很重要的一点就是你可以去看他们的alumni的一个是成果一个是精神状态然后私下里去问一问已经毕业的PHD和再读的PHD精神状态怎么看呀大家是不是在一个比较快乐的状况去读PhD?就是说有比较痛苦但是成功的PhD他可能著作等身但是他非常的痛苦比如说谁我只能说有这样的case他比较快乐的那些组是什么样的组啊有哪些组给我们组打个广告对HKONLP还有北大的计算语言学研究所都是挺就是氛围还是非常非常轻松和愉快的一个地方那PSD要怎么选导师呢我觉得这个东西真的蛮难选的就是说你去看他的Google Scholar看什么CS ranking看他的一些公开的演讲其实这些都是公开的东西很多private的东西其实是需要你去实际跟他合作了一段时间甚至说半年甚至更久你才能够发现就是说这个因为我觉得它是一个双向匹配那你当时自己是怎么做的呀我当时是在上海air lab实习然后跟我的这个现在的coast supervisor孔临鹏老师就认识了然后当时我们现在就我在internship吧就合作了大概半年我就觉得他的风格我们还是比较match的我们很多同学都是这样子的一个过程我觉得它是一个双选的一个过程我的一个推荐图形就是大家如果说还有时间的话可以直接去做RARA的话一方面你可以接触到我刚刚提到的就是再读和毕业的PhD对吧可以跟他们打成一片你可以打听到一些更多的了解一下情况另外就是说你也就能够了解这个组里面它的这样的一个风格是怎么样的对吧帮助你去快速的判断学生慢研究倡议在网上我觉得掀起了还挺大的一个争议的我理解大概有超过100位不只是中国也有一些美国的老师研究员共同发起的一个倡议希望本科生现在不要着急发paper要慢下来做研究你怎么看这个倡议我觉得就是说他这个事情很drama的一个地方就在于说他跟现在的整一个节奏形成了一个很鲜明的对比以及说大家都在保研季或者升学季对吧他的考核的要求对吧他好像跟所谓的standard是矛盾的冲突的但我其实有看他们具体的倡议就是说他的倡议其实是说那些老师们说他们不会把paper作为筛选的唯一标准对吧我刚才也提到其实大家都有的时候它就没那么重要了而是说你能不能就是或者甚至说是发表的paper对吧你有些research的output有一段经历能够呃在你这个基础打扎实的情况下把你做了什么为什么做怎么做的这个东西讲清楚他们其实倡导的是这个事情而不是说我为了让我的简历上多一些paper然后我快速的去通过各种方式也好对吧去挂名也好去这个产出一些这种sloppy的论文也好使得说我有一条能看得过去的我觉得他们其实是在呼吁大家不要去做这样的事情没有说大家说不要做科研我刚刚一海就说你其实是需要有一定的时间和精力在里边你其实你要自己去balance好科业和科研你其实就是要有一定投入其实我觉得你心态上放轻松做一些重要的事情你可以稍微节奏可以慢 [30:00] 但是你要有逐步的推进,这个是快的,其实快和慢是相对的。你自己是一个快的人还是一个慢的人?我会花比较长的时间去选择一个我想要做的一个事那这个东西我会觉得他前面花的时间越多其实对于你后面它其实是很划算的我有过一个经历吧就是说在比较早的时候做一个idea但是呢我没有非常好的去把一些预的实验做好把这东西想明白结果我花了大概都半年多的时间在那里调算法最后发现我的假设就是错的所以说我现在做实验之前我会去把一个很小minimal的一个hypothesis抽出来然后去快速用一些小实验toy experiments去把这东西验证了对吧他其实帮你端到端可以验出很多东西来然后我就再往前就是选方向也是就是你要很密集的去看论文然后和你所敬仰的这些researcher 们老师们去讨论然后去形成你接下来要投入的一个方向在时间花够了之后你在做的时候就要很快你可能想办法去maximize你的GPU的utilization你自己的数据的处理速度对吧这个东西可以用AI来帮助你快速的并行也好对吧去加速它的产出你觉得今天读PhD在内地读在香港读和在美国读各有哪些优劣我觉得现在在内地读 PhD 它优势就是说能够更快的去到工业界这个是蛮大的一个优势坏处就是说刚才提到了对他有点比较传统的师徒制也就是说他跟我们目前整个高校学术界的考核压力形成下有一些横向这些的一些压力然后有些老师的动作会相对来说变形一些那样子的话会对学生的成长不是特别的有利然后所以这里的话大家需要去谨慎的一些去做好筛选我知道有的老师组他其实能够把这种横向纵向的压力去平衡的比较好既保证了说这个课题组能够run也保证了说学生能够有一定的成长香港的话就是说其实现在它成为一个蛮有意思的一个地方就是它跟内地融合的还是比较密切的同时他因为他独特的这样的一个港口的优势他吸引到的老师的profile其实你看起来都会非常的可能会更有活力一些我会这么形容这样子的话他其实有自己的一些优势当然香港这个地方有自己的一些生活上的一些压力然后美国这块我不太了解但是就是说有一些朋友就是说反馈来说就是说首先现在签证的一些问题会比较痛苦然后还有CPT的问题可能去实习的难度也变大了但是他们的好处就是说他们整个的离硅谷离整一个的美国的学书圈它会更接近一些有没有什么样的画像更适合去美国读PhD什么样的画像更适合在内地香港读PhD我觉得去美国读PhD的话就是说首先你可能不能特别喜欢吃东西反正每次美国同学回来都是要大吃特吃一番的你要耐得住美食的寂寞当然就是说你喜欢这种觉得是文化氛围的也是大家会有偏好然后内地和香港的话就是说你能不能在一定程度上有一定压力的情况下去balance好很多事情如果你能够handle好这些事情的话我觉得还是现在其实留在内地和香港都是一个非常不错的一个选择现在phd们聚在一起聊的最多的话题除了学术是什么就是package其实现在就是大家会焦虑尤其是我现在可能final year了找工作了可能在junior一些的同学们research的问题说什么方向更值得做一些或者说他们会很好奇说工业界在关心什么东西因为就是前面提到这个意义的事情他们会希望说毕业之后能够有一个非常好的一个丝滑的一个过渡因为其实可能大家读本科的时候是同学的吧然后读到PhD的时候发现不同的专业会带来截然不同的世界尤其是今天AI和非AI就是两个totally不一样的世界这个也是我时常觉得自己非常lucky的一个原因然后现在所谓的K型分化I型分化对吧就是说在AI的人就在那个点视下的人可能是那一数然后就中间好像出现了一个很大的一个鸿沟但我觉得这个也还是说它是一个乍一看是有鸿沟的但实际上AI是一个非常非常平权的一个东西比如说原先我们想要去学习些东西你需要去上这个Coursera需要上这个去上Stanford的课但现在你其实能够assess到的这个ChallGBT也好或者说这个DeepSeek或者说Memo这些模型它其实它的这个知识的储备量是非常非常高的你能够用好它的话你其实能够帮助你在自己的domain里边去有一个非常好的一个效率也好或者说整一个工作范式的一个改变的所以我觉得未来不是说AI去替代这个 [35:00] 人类或者说做AI的这帮人去拿走了很多的蛋糕而是说能够用好工具的这些人或者再找一些对吧能够烧火的制人可能就干掉了别的人种这种事情是一直在发生的首先你要能够意识到说这个世界在发生巨大的这样的一个变化你去积极的去拥抱这个变化其实会需要各行各业的专家和爱好者们来去帮助模型去提升它其实鸿沟里面也有非常多的梯子其实大家是能够把这两个东西connect在一块今天教授们创业是一个特别大的浪潮对对我很好奇就是PhD们你们会怎么看自己的老板创业这件事情我觉得他为什么创业一方面就是说现在的融资的环境以及说整一个大家是现在科技为导向的创业所以说最前沿的这帮researcher这帮professor们很自然的会被推到前台然后它的好处是说融了资之后有公司之后他的实体的形式他的资源能够更快的把一些东西去build up起来它会更灵活一些原先学校的话有一些funding一些限制很正常然后它会造成说我要买卡我要招工程师我要招买数据它会很受限但是现在在公司startup的这样一个形式下它可以快速的帮助你把这些你想要要素给它聚齐然后你如果要做一些什么事情更大的project更大的一个影响力的话它是起到了一个杠杆加速的一个作用然后另外一面就是说一旦说他拿了钱之后对吧钱也会对他有所要求学生也就会被传达层层的传达到一些东西可能要做一些学术以外的一些dirty walk但我觉得它是硬币的两面它给你了更大的资源你要利用一些资源你是需要付出一定的代价的大家去trade off好不同的阶段的需求其实今天很多在学校里面的问题就是没有算力没有资源因此也有一些人开始觉得我就不读pht了我直接去公司你怎么看你觉得今天在理工科或在 AI 领域还有必要读 PhD 吗我觉得就是说你去怎么去衡量说这个PhD他的这个你对PHA的期望是什么如果说你希望读一个PhD以此来进入这些所谓的大公司我觉得它是没有必要的因为你本科生也可以去像 Jason 伟对吧有很多我们认识的 OG 的研究员他们其实就是本科生甚至高中生对啊甚至高中生然后我觉得这个事情就是说他不是因为有 PHE 底位他才能去而是说他做的牛所以他能去那牛不牛不是你有没有这个degree决定的但是另外一方面我觉得如果说大家希望有一个比较完整的一个时间你可以相对来说没有特别大的压力对吧你某种意义上我们是脱产去做一些你想要研究的一个事情你对这个世界所在的这个领域有一些好奇心你有一些问题然后你不去做可能别人是不会帮你做的那你你其实是去满足自己的这个好奇心的这个过程然后在这个过程中你可以培养我们前面提到了很多的这个你可以补一些知识学习一些如何去maximize你的impact这些skill的过程我觉得你把它作为一个一段特别特殊的一个旅程去回答你的这几个问题的这样的一个事情的话我觉得它还是很有价值的因为你想人活80岁你读一个学习第五年好像也不是很那什么我们再来聊点别的因为我们录播客的时候也是快年底了最近的嘉宾我都会问一个问题就是2026年这一年下来有哪些AI带给你的aha moment我觉得整一个agent的范式的这个被推到前台其实还是一个呃至少对整一个他的不像R1的那种 moment但是他是对整一个社会的形态的冲击其实我觉得还是挺让我们感受到一个很大的震撼的我坦白来说我最早做研究的时候我们那个时候最早做的是分类任务就是一个句子它是positive还是negative完了之后模型强一点能做机器翻译然后到能写一些作文然后今天你用agent这套东西可以让它equip了这个tool之后对吧它可以很自动化的帮你做非常多的事情现在大家也都会用很多的这样一个agent的产品然后这个东西就真的使得说一个Machine Learning的一个东西它能够有了这样的一个脚手架之后能够帮助大家去触达生活的各个地方的角落这个事情还是非常exciting的一个事儿然后我们能想象的就是说他现在Digital World已经有非常多的能力了他在下一步会走到Physical World来这个时候又会有催生出很多的火花我觉得这个事情是非常值得期待的所以Agent是一个然后还有其他的吗还有一个我觉得你可以说我们的直播我觉得在我们早期训练的时候就觉得它其实有点像R1了然后你会发现这种 [40:00] 非常大规模的RO的时候能够带来非常全面的能力的提升咱们把后训练拿出来直播一开始是一个什么样的想法呀就为什么想到去做这件事情我觉得就是说是整一个因为现在有一些rumor有些讨论嘛然后这个事情我觉得其实对整一个中国大模型的形象,它其实都是非常不利的。然后我们其实是希望说能够用这样的一个直播去首先我们希望有一个正向的引导为什么大家不做IO可能因为它确实可能有一定的难度会有很多的事情要做你的infra你的数据的要求都很高然后我们希望就是说给大家一些信心就是说这个事儿它确实是可以做的然后以直播的形式告诉大家对吧你能看到就是说我们在一个非常decent的一个方式很透明的一个方式告诉大家说哎这个事情可以做并且它的效果也很好然后呃这个事情我们是希望有一个这样的一个呃正向的一个激励同时呢我们也希望就是说配套就像我们提到就是说把一些该开源的开源了当然我们也希望通过直播来吸取一些feedbackTunzout确实也有一些我们做的不好的地方我们就把它吸收改进做的好的地方我们就去放大就是这样的一个初心这个直播放出去之后你们收到最多的回复来自国内来自国外分别是什么国内大家特别关心花费的费用因为你们把金额直接挂在直播的页面上所以大家点开网页看到人民币在燃烧这个是大家刺激比较大的一个东西然后另外一块国外的话大家还是对于我们的透明程度还是表示比较震惊的然后有很多推特的评论就是说应该是首次工业级的这样的一个直播然后他们其实整一个大家对大模型是如何训练还是感觉比较神秘的但是我们把一个这样的一个大规模的训练然后整一个相当于我们Tensorboard的几乎就是给大家展示出来之后有很多Dynamics大家可以去给研究者们去做分析类似于一种金矿的这样的一个感觉我们最后再聊聊未来一个是其实我觉得最近两三个月大家讨论非常多的就是数据行业出现了很多估值非常高的数据公司Unipad 互马拉雅等等然后你怎么看这个事情什么原因让他们估值那么高以及这个生意你觉得是可持续到什么时候的我觉得估值高也蛮正常因为整一个大模型对吧其实你一层一层往下推其实就是算力算力现在也很贵以及数据还有人才三个东西没有一个是便宜的所以说他因为什么因为其实整一个大模型的东西很简单说白好的数据然后solid的算法好的infra就能够带来好的效果好的数据它是一个来自于产生人类智能的源头然后现在的专家的数据因为原先的数据可以比较快速的获取一些做题类的但现在整一个数据的生产它的复杂度已经上升了很多个量级我可以这么说然后它对于数据质量的要求也上升了很多个量级因此能够把这个事情做好的人他其实就应该能够占据整一个市场的一定的一个蛋糕然后这个估值的话我觉得是市场给出的这个答案我不是特别了解对但我觉得在我来看这个并非是一个非常过分的一个事因为考虑到未来整一个AI行业他要占据GDP的多少的话对吧那你作为它的一个燃料你应该占据多少呢然后它能持续多久的这个事情我觉得它是一个dynamic的一个过程我的一个看法是说随着这个模型能力的进步能够持续产生高质量的燃料的这样的一些数据公司它其实是能够持续产生新的价值的因为我们刚提到了模型能力的边界它是一个巨石状的对吧但是你要找到那些缝隙你要并且能够组织好对应的一套规模化的体系,设计好吉利体系,去把批量的做好交付。这里它是对这个数据公司也是一个很大的一个挑战那模型公司可能也可以做这个事情但是就会分散那个整一个他的一个精力浪费他的算力对吧去做这样的事情那其实就是大家在这个模型发展过程中想要去呃尽快的去推进智能的前沿这个时候时间其实是一个不可逆的资源所以说大家会花钱去买这样的数据我认为这个需求是持续存在的而是说他如果数据公司他如果说没有办法去产出这样高质量的数据了之后这个生意就肯定是做不下去的因为随着模型能力提升它产生数据的能力也会上升对吧那那个时候他的成本就会降低到非常低以至于说如果说你在那样的一个市场竞争的话你面临的这个竞争就会非常非常剧烈对 [45:00] 反过来如果说你有一个自己好的一个规模化的能够持续的产出这种高质量燃料的这样一个pipeline的话其实我觉得它的优势是会被放大的什么样的公司或者什么样的组织什么样的能力才能够让高质量的数据这个pipeline一直不断的持续呢我觉得这是一个很好的一个问题首先就是说高级商就是说他始终是相对于特定的模型而言对吧太难的数据你的模型太差他是学不会的而是说我们会希望说那这里其实你就要能够定义说什么样的数据它的难度怎么定义然后你能assess到的模型是怎么样的这里其实就有一些know how的事情而另外就是说哪一些数据会更有价值最直观的就有两方面一方面是PR的价值哪一些数据做出来的demo就会很酷卷这个东西它一定有它的价值另外就是说当模型真正的学会了这个能力之后它能够带来的经济价值这两个价值我觉得是需要去做取舍的然后去balance好然后你怎么样去source expert去建立好这样的一些规模化的一些产线在模型训练的一线你看到RSI的信号了吗我觉得这个信号应该是说越来越强烈了就是RSI是一个蛮广泛的一个定义就是说你可以定义为说模型在就是最字面理解嘛就是模型在帮助自己改进自己那其实模型产生数据它也会帮助他去改进自己然后现在的大家的更specific的一些定义可能是说模型能够自己去训练自己然后去比如说有很多poster trim bench或者说一些machine learning的这样的一个bench它能不能找到更好的参数更好的算法这里的话其实就是说我觉得这里的progress会非常非常的迅速因为这个问题是well defined的那模型就是非常擅长搜索然后他可以通过各种scale compute 方式去找到一个好的路径你会看到卡巴西的虚拟两国际model 东西它的 PPL 肯定会不断往下降但是我觉得有一个能力可能是目前没有非常好的挖掘的就是说当然我也看到一些最近的工作就是说他的taste就是定义这个问题的能力什么问题是重要的下一个阶段我们需要去解决这个问题的能力然后我觉得只有具备了这个能力之后那我们才能够说研究员非常放心的去把这个整个端到端的事情交给他那现在大部分就是说研究员大概知道自己要去往哪个方向改进然后模型能够帮助你去产出数据训练这个端到端这些环节上的这个self improvement更前面的那一个决策现在还没有看到非常好的这样的一个提升今天RSI里面你觉得最有影响力的benchmark是哪一个这块现在也蛮多的我目前来看没有看到特别觉得exciting的人因为可能还是比较初期大家还没有形成一个非常好的一个共识的一个阶段对当然就百花齐放的一个阶段今天做benchmark的人越来越多你觉得一个好的benchmark能够冒出来被大家注意到被大家尊重被大家去这个想要去打榜需要怎么做这个事情我觉得我确实也有一定的经验对我觉得首先就是说它一定是模型能力方面它一定是measure了一个新的模型的或者说很重要的一个能力的比如说我们之前做的video MME就是当时大家都还在做很早期的6秒钟的视频理解的时候我们把它拉到一个多小时但这个事情确实又很重要随着你agent的能力变强他就是要能够去理解这个长时间看懂一个电影然后帮助你去在各种视频里面去做这种长时间的一个分析那这种六秒到一个小时它的这个就是一个完全一个neodimension的这样的一个能力其次就是说心理能力以外呢就是数据本身的质量还是非常非常重要就是它得是use case里面来的而不是说非常artificial的一些东西这个问题重要的原因在于什么就是说artificial的东西模型是很容易捕获的然后它就会有非常强的awareness它只让你在测试它然后它会表现的比较异常它会跟真实用户的体验会有一个非常大的一个gap第三个就是impact然后在前面做好的情况下你其实会希望advocate你的benchmark你就要把你的应用性去做好让大家能够一键启动一键测评因为现在很多测评它是对不起测评的OK它报的分数然后有没有一个非常好的这样的一个一键启动或者说你跟主流的测评套件的适配这些东西都是类似于一个生态的整合帮他认识时间那么反过来别人就更有可能去adopt你的东西最后还是再回到这个PHD的话题聊一下就最近我看到一个非常让我惊讶的数据是今年MIT大一新生选机械工程成了最热门的专业啊整个美国就四年制的本科4S的入学人数也是同比在下降8.4%就读3S的人变少了你怎么看这个问题我觉得类似于说 [50:00] 版本一代神 首先这个东西他可能会有很多别的因素但是如果是如此大规模的下降的话我觉得就是说可能Junior的这样的一些coding的需求它确实会再被AI吃掉一部分但是我相信就是说大家可能不选这个专业但是大家都会辅修这样一两门课确保说OK我对整一个CS它有一个general的理解然后也会一定的coding在AI的辅助下去做一些coding我觉得这个应该是一个必修课的一个课程那假设平行世界你有一个亲地理今年高三要高考然后成绩其实也挺好的是个小学霸谢谢大家我不会建议他选什么专业我的看法是这样的就是说行行出状元不需要成为你这行的top1%因为那个太累了你只要能够始终和自己比然后维持在一个相对来说比如说前20% 30%的这样一个水位每天就是说能够有自己的取得一定的进步然后我相信每一行都会有非常解出的一个成就和人才的这样的一个涌现那我们最后来送个祝福吧因为今天听我们这一期节目的我相信有非常多的学生或者再多的PhD然后这里面应该也有不少的同学可能现在面临着多多少少的一些困难焦虑困惑就是如果你送一个特别简单的一个建议给大家让大家可以每天过得再开心一点建议你会想到什么嗯我觉得paper迟早是会重的然后饭还是得吃觉还是得睡对没有什么大不了的吃好喝好睡好然后再写paper对对好那今天谢谢李磊很开心录了这期节目谢谢客气拜拜