小米研究员李磊称论文贬值 顶会正遭AI灌水且筛选转向开源影响力

【十字路口】AI 时代,PhD 路上的 10 个关键问题|对谈李磊:港大 PhD、小米 MiMo 研究员【视频播客】 — Koji杨远骋at十字路口

Koji杨远骋at十字路口

顶会审稿机制在大模型生成论文冲击下已难以为继,学术评价与大厂招聘正从纯论文数量转向开源代码、实际下载量及社交传播声量。

AI-assisted summary of 【十字路口】AI 时代,PhD 路上的 10 个关键问题|对谈李磊:港大 PhD、小米 MiMo 研究员【视频播客】 — original source. Check the original for full context.

Source published:

Key ideas

  • 大模型时代论文发表面临“大水漫灌”,顶会评审随机性增加,工业界招聘转向考察开源代码维护情况、真实 issue 讨论及 Hugging Face 下载量等现实影响力指标。 (10:00)
  • 李磊提出科研“大粉理论”,认为学术成果分发已高度依赖社交媒体与推荐算法,研究者推特或小红书粉丝数超过论文引用数正成为放大科研影响力的有效途径。 (10:00)
  • 小米 MiMo 团队开创行业先河,将大模型后训练过程在公网上全程无死角直播,透明公开全量 TensorBoard 指标以破除国产自研大模型流言并验证强化学习路线的可行性。 (38:05)
  • 自指称自我提升(RSI)在超参数与训练算法搜索层面信号强烈,但当前大模型仍严重欠缺定义重大科学问题的科研审美与鉴赏力(Taste),战略方向仍需人类掌控。 (45:49)

Detailed notes

## Background 该视频由 Bilibili 频道“Koji杨远骋at十字路口”于 2026 年 10 月 25 日发布。内容为播客主理人 Koji 对谈小米 MiMo 大模型后训练研究员兼香港大学在读博士李磊,围绕 AI 时代读博的 10 个关键抉择展开,涵盖科研节奏、选校择师、论文传播“大粉理论”、学术求职焦虑以及近期大模型前沿热点等议题。

## TL;DR 李磊结合自身从西电、北大到港大并参与小米 MiMo 研发的科研经历,系统复盘了在学术顶会“水漫金山”与工业界大模型狂飙背景下博士生的破局之道。他主张在课题初期做足“慢思考”以验证最小假设,在执行期借助 AI 工具全力“快迭代”,并强调影响力已从单纯的论文录用转向 Hugging Face 下载量、开源代码维护及社交媒体传播。针对内地、香港与美国的读博选拔逻辑,他指出选导师的优先级远高于选学校,且读博的本质是脱产满足对未知的纯粹好奇心,而非单纯充当大厂敲门砖。此外,对话还深入剖析了小米 MiMo 全程透明直播训练的底层初衷、高质量数据公司的生存壁垒、递归自我提升(RSI)与打磨标杆 Benchmark 的实战法则。

## Atmosphere & style 整场对话在极度务实与松弛真诚之间自然流动,既有顶级研究员在一线摸爬滚打后的硬核拆解,也有同侪围炉夜话式的推心置腹。Koji 的提问直切青年科研人员的核心痛点与现实顾虑,而李磊的作答毫无学阀说教之气,频频用生动的打比方和风趣自嘲化解宏大的学术焦虑。听感上既能感知到技术前沿日新月异带来的压迫感与兴奋感,又始终被一种“做难而正确的事、饭照吃觉照睡”的从容治愈力所包裹。

## Bulletin - [10:00](https://www.bilibili.com/video/BV1CAHV6PEPM?t=600s) 大模型时代论文发表面临“大水漫灌”,顶会评审随机性增加,工业界招聘转向考察开源代码维护情况、真实 issue 讨论及 Hugging Face 下载量等现实影响力指标。 - [10:00](https://www.bilibili.com/video/BV1CAHV6PEPM?t=600s) 李磊提出科研“大粉理论”,认为学术成果分发已高度依赖社交媒体与推荐算法,研究者推特或小红书粉丝数超过论文引用数正成为放大科研影响力的有效途径。 - [38:05](https://www.bilibili.com/video/BV1CAHV6PEPM?t=2285s) 小米 MiMo 团队开创行业先河,将大模型后训练过程在公网上全程无死角直播,透明公开全量 TensorBoard 指标以破除国产自研大模型流言并验证强化学习路线的可行性。 - [45:49](https://www.bilibili.com/video/BV1CAHV6PEPM?t=2749s) 自指称自我提升(RSI)在超参数与训练算法搜索层面信号强烈,但当前大模型仍严重欠缺定义重大科学问题的科研审美与鉴赏力(Taste),战略方向仍需人类掌控。

## Key takeaways - [05:00](https://www.bilibili.com/video/BV1CAHV6PEPM?t=300s) 读博课题应聚焦“难而正确”:选择公认核心的难题,由于大家缺乏切入点,哪怕取得微小进展(make a little progress)也能产生巨大影响力,且不易被迅速超越。 - [05:00](https://www.bilibili.com/video/BV1CAHV6PEPM?t=300s) 大模型具备“锯齿状智能”,在部分表面能力极强的同时存在明显泛化断层,深入研究数据来源及仿真器到真机的差距是极具价值的蓝海。 - [10:00](https://www.bilibili.com/video/BV1CAHV6PEPM?t=600s) 坚决反对用流水线炮制海量论文投顶会的行为,这本质是对学术评审机制的“DDoS 攻击”,最终会摊薄论文本身的信用价值。 - [10:00](https://www.bilibili.com/video/BV1CAHV6PEPM?t=600s) 科研自媒体运营三大法则是“利他、坚持、做自己”,通过持续输出硬核思考建立专业信誉,而非依靠争议性话题博取短期流量。 - [15:00](https://www.bilibili.com/video/BV1CAHV6PEPM?t=900s) 读博分为三阶段:第一阶段打牢基础底层原理并放大成果影响力;第二阶段从执行者转变为指导者,培养学术领导力;第三阶段完成产研转化与多维约束下的落地。 - [15:00](https://www.bilibili.com/video/BV1CAHV6PEPM?t=900s) 本科生科研冷启动的关键是打造“作品集”:工程类打造高质量 GitHub 工具,学术类踏实撰写具有严谨推导与设计的深度博客。 - [25:00](https://www.bilibili.com/video/BV1CAHV6PEPM?t=1500s) 攻读博士选导师的优先级远高于选学校,除斯坦福、MIT、CMU、UC 伯克利等极少数名校外,各校实验室具体团队的方差远大于院校排名差距。 - [25:00](https://www.bilibili.com/video/BV1CAHV6PEPM?t=1500s) 择组最重要的两项标准是科研成果与师生的精神状态,建议通过做科研助理(RA)或实习深度合作半年以上进行双向考察与匹配。 - [30:00](https://www.bilibili.com/video/BV1CAHV6PEPM?t=1800s) 科研打法推崇“前期慢思考、后期快迭代”:前期抽离最小可行性假设用 toy experiments 快速排雷,确定方向后则利用 AI 工具和算力极致并发加速产出。 - [31:36](https://www.bilibili.com/video/BV1CAHV6PEPM?t=1896s) 读博地域各有优劣:内地贴近产业且工业界转化快,但需平衡师徒制下的横向课题压力;香港学术年轻且具国际港口优势,但面临生活空间与成本压力;美国贴近硅谷创新核心圈,但受签证紧缩与 CPT 限制。 - [33:46](https://www.bilibili.com/video/BV1CAHV6PEPM?t=2026s) AI 本质是剧烈的平权工具,未来并非 AI 取代人类或特定从业者垄断红利,而是善用新工具的人淘汰固步自封的人。 - [35:28](https://www.bilibili.com/video/BV1CAHV6PEPM?t=2128s) 若仅将 PhD 视为去大厂换取高薪 Offer 的敲门砖则性价比极低;读博的终极价值在于用数年脱产时光满足底层好奇心,探索无人解答的世界谜题。 - [42:07](https://www.bilibili.com/video/BV1CAHV6PEPM?t=2527s) 数据标注与合成公司的估值取决于其能否持续交付高于基座模型自生成能力的高难度、高经济价值“燃料”,否则其成本优势会被模型自我蒸馏迅速归零。 - [45:49](https://www.bilibili.com/video/BV1CAHV6PEPM?t=2749s) 打造标杆 Benchmark 的三大支柱:衡量全新技术维度(如从几秒跃升至一小时以上长视频)、坚决杜绝人工合成感以避免诱发模型应试反应、提供一键评测脚本实现生态无缝兼容。 - [49:15](https://www.bilibili.com/video/BV1CAHV6PEPM?t=2955s) 全美 CS 本科入学降温反映出初级编码岗位受 AI 冲击,但计算机正成为全行业的通用通识底层;建议年轻科研人放平心态,日拱一卒,吃好睡好再写论文。

## Detailed walkthrough ### [00:00](https://www.bilibili.com/video/BV1CAHV6PEPM?t=0s) 嘉宾背景:从西电、北大到港大与小米 MiMo

对谈开场,主理人 Koji 介绍了本期嘉宾李磊的多重身份:他目前是小米 MiMo 大模型后训练研究员,同时是香港大学 NLP Group 的在读博士生。此外,他还是腾讯首届青云奖的 15 位获奖者之一,其论文曾斩获自然语言处理顶级学术会议 EMNLP 的最佳论文奖(Best Paper Award)。

在快速问答环节,李磊透露自己今年 28 岁,MBTI 是 ENTJ,巨蟹座。关于求学经历,他于 2016 年进入西安电子科技大学读本科,2020 年前往北京大学计算语言学研究所攻读硕士,并在 2023 年进入香港大学 NLP Group 攻读博士学位。

Koji 提到,最近小米 MiMo 团队在网上公开直播了 Pro 和 Flash 两款模型的后训练过程,在海内外引发了极高关注与讨论,而李磊正是幕后的重要推动者之一。李磊坦言自己也是《十字路口》的忠实听众,而谈及读博的关键决策,他透露自己曾纠结许久。最终说服自己迈出这一步的心态是:“如果我十年以后躺在床上,可能还是会后悔没有去读这个 PhD,所以最后觉得那既然这样子就还是去读吧。”尽管工业界的高薪待遇与学术界存在明显落差、机会成本很大,但他认为赚钱以后再说,那段纯粹去做自己想做的事情的经历更加珍贵。

入读港大后的李磊迎来了一个“巅峰开局”。在北大读研的尾声,他与几位师弟合作开展了一项研究,并在 2023 年 11 月刚入学港大两个月时,带着该工作参加人生第一个学术会议,直接摘得了最佳论文奖。李磊笑称这甚至让他有些害怕会不会是“出道即巅峰”,但这次经历也验证了他自己摸索出的一套读博科研“打法”。

```mermaid flowchart LR accTitle: 李磊的科研与求学演进路径 accDescr: 展示从本科、硕士到港大博士及小米研究员的演化过程

subgraph Edu ["求学经历"] 西电["2016 西安电子科技大学\n(本科)"] 北大["2020 北京大学计算语言学所\n(硕士)"] 港大["2023 香港大学 NLP Group\n(博士在读)"] 西电 --> 北大 --> 港大 end

subgraph Milestone ["关键成果与行业角色"] 论文["入学 2 个月获 EMNLP\n最佳论文奖 (Best Paper)"] 小米["小米 MiMo 后训练研究员\n主导模型训练公开直播"] 荣誉["腾讯首届青云奖得主"] 港大 --> 论文 港大 --> 小米 港大 --> 荣誉 end ```

---

[05:00](https://www.bilibili.com/video/BV1CAHV6PEPM?t=300s) 读博打法:快迭代、做“难而正确”的事与应对学术焦虑

总结自己的科研打法,李磊提炼为两点: 1. **快节奏与及时反馈**:保持紧凑敏捷的工作节奏,迅速参与学术社区,主动向同侪和资深师长获取及时反馈。 2. **课题选择聚焦“难而正确”**: - **Difficult(难)**:如果一个问题不够难,在当今 AI 时代就会涌入海量竞争对手,研究成果极易被迅速打败(beat 掉)。 - **Important(正确与重要)**:选择大家公认核心且关键的问题。

面对“难而正确的问题是否意味着进展缓慢”的疑问,李磊表示二者并不矛盾:“当你在解决一个重要的问题的时候,即使它很难,只要你 make a little bit of the progress,那你也很有可能可以获得非常大的一个影响力。”面对公认的难题,大家普遍缺乏切入线索,要求反而不会那么苛责;只要能找到坚实的切入点并给出理论分析或实验解释,哪怕只推进一步,对后续研究者而言也是极其重大的里程碑。

李磊指出,这套打法虽然未必适合所有人,但能极大缓解 PhD 普遍面临的焦虑。当前研究者的核心焦虑来自几方面: - **顶级会议(顶会)评价体系受到 AI 剧烈冲击**,机制甚至有些难以为继。 - **毕业指标与实际价值脱节**:许多人发了大量论文,但在像 OpenAI Astra 这样颠覆性的多模态/通用模型发布后,做具体技术细分领域的人突然感到整个领域被颠覆,不知道所发论文还有何用,也迷茫如何完成从学术研究到工业界求职的转型。

针对这些焦虑,李磊建议研究者保持心态放松。虽然投递量暴增导致审稿随机性增加,但体系长期运转依然有其生命力,真正出色的工作终会中稿。此外,看待像 Astra 这类看似强大的顶尖模型要保持清醒,看到其背后的“毛刺”:“大模型它是一个锯齿状的这样的一个智能,就是说它在你有一些地方你看着非常非常厉害,但其实它有一些东西是完全没有的。”李磊透露他们团队也在做具身智能等前沿实验,去探究能力的来源(从哪些数据泛化而来),以及模型在仿真器(simulator)与真机之间的差距,这些看不见的泛化断层才是真正值得下功夫的蓝海。

---

[10:00](https://www.bilibili.com/video/BV1CAHV6PEPM?t=600s) 顶会大水漫灌与新评价标准:开源、Hugging Face 与“大粉理论”

面对学术顶会充斥着 AI 辅助生成的论文大水漫灌,李磊坦言审稿人负担激增:“比如我做审稿人做 AC/Area Chair,我能看到我原来可能就两三篇,现在可能大概是十篇左右的这样的一个量。”审稿人通常都是最后关头赶工的“DDL 战士”,审稿量剧增导致评审结果的随机性明显上升。NeurIPS 已经扩展到了三个会场,同时各大机构也在通过限制投稿数、提升资深审稿人责任、引入 AI 辅助审稿、以及 AAAI 引入两位高级程序委员会委员(SPC)共同讨论等方式极力挽救,但“有人的地方就一定会有随机性,大家不要把 accept or not 作为最终的 reward”。

针对圈内“用 SOTA 模型流水线炮制 100 篇论文投出去拼概率”的做法,李磊明确表示反感:这种行为无异于对学术评审系统的“DDoS 攻击”。论文的本意是知识分享,必须经过严密论证和实验支撑。

随之而来的是筛选人才机制的根本变化。过去论文发表是硬通货,如今在大水漫灌下,论文变成了“nice to have”。在招聘筛选候选人时,大家更看重候选人在现实世界的影响力: - 是否公开了代码与数据? - 开源仓库中是否有真实的 issue 讨论并被积极维护? - 在 Hugging Face 上的真实下载量是多少?(李磊提到,如果自称 SOTA 模型但月下载量只有几十次,说明解决的可能根本不是重要问题,而刷 Hugging Face 下载量的硬成本远高于刷论文)。

李磊还探讨了当下 PhD 圈流行的“大粉理论”——即博士生的推特或小红书粉丝数要超过论文引用数(Citation)。他认为这是“Attention Is All You Need”在现实传播层面的投射。过去一年 ACL 仅几百篇录用论文,大家能通读感兴趣的题目;现在单会收录四五千篇,论文早已看不过来,研究分发机制高度依赖社交媒体与推荐算法。因此,科研人员若能在社交媒体上占据声量,便能放大自身工作的曝光度与价值。

在社交媒体运营上,李磊总结了三条法则: 1. **利他**:争议性内容或许容易爆,但无法建立个人专业信誉;唯有持续产出对他人有实质帮助的内容,影响力才会作为副产物随之而来。 2. **坚持**:李磊透露自己最初在小红书发读论文笔记时粉丝增长极慢,直到后来偶然探讨了“引用数与粉丝数的关系”才出现台阶式飞跃。将分享融入日常,真实表达。 3. **做自己**:不必生硬模仿他人,真实呈现自己的思考与品味,自然能聚合起同频的研究者社群。目前他的小红书粉丝已有 2.4 万,高赞内容包括获奖心得、破万引用、以及关于 On-Policy Distillation、戴志峰老师和“自然意志”等前沿实验室动态的深度解读笔记。

---

[15:00](https://www.bilibili.com/video/BV1CAHV6PEPM?t=900s) 读博三阶段、冷启动技巧与“巴拉巴西成功定律”

如果把读博全流程拆解,李磊认为主要分为三个阶段:

```mermaid flowchart TD accTitle: 读博发展的三个阶段 accDescr: 展现从扎实基本功、培养领导力到实现学术向工业界转化的三个主要阶梯

subgraph Phase1 ["第一阶段:独立研究基本功"] A["打牢基础底层原理\n(吴恩达课程、手写基础算法)"] --> B["掌握科研表达与严谨论证\n(写作、实验、反思假设)"] B --> C["最大化工作影响力\n(自媒体、开源代码、技术博客)"] end

subgraph Phase2 ["第二阶段:学术领导力 (Leadership)"] D["从 Generator(执行者)\n转向 Critic(批判指导者)"] E["因材施教带 Junior 同学\n(自驱型适度引导 vs 细致全程推进)"] D --- E end

subgraph Phase3 ["第三阶段:产研融合与转化"] F["从学术界迈向工业界\n应对更现实、更多维的竞争环境"] end

Phase1 --> Phase2 --> Phase3 ```

- **第一阶段:独立搞懂科研与基础,放大影响力**。即使当前 AI 工具唾手可得,也必须从零开始(from scratch)吃透底层,比如手写 SVM 等机器学习算法、深刻理解泛化与过拟合、理解 vLLM 中 Page Attention 背后的操作系统核心内存思想。在此基础上,掌握将知识严谨表达出去的能力,并通过自媒体、开源社区把成果的影响力最大化(Maximize impact)。 - **第二阶段:培养学术领导力(Leadership)**。在资深导师(如硕士导师孙宇老师)的引导下,角色要从单纯的产出者(generator)转变为审视者(critic),学会指导带教资历更浅(junior)的同学。李磊观察到低年级同学性格各异:自驱力强的人只需方向引导即可跑通全流程,而有些同学则需要更紧密密集(intense)的指导来建立科研框架。 - **第三阶段:完成从学术界到工业界的平滑过渡**,在更多维、贴近现实的工程和商业约束下解决实际问题。

关于刚入行的本科生如何实现科研“冷启动”,李磊分享了自身经历。大三升大四期间,他曾硬着头皮发了 10 封学术自荐套磁信(Cold Email),最终仅收到了北大孙老师的一封回复,并藉此获得了宝贵的助研与实习机会,叩开了顶级科研的大门。

对于当前面临更严峻算力与名额限制的同学,李磊强调“作品集”是破局关键: - **偏工程/产品路线**:无需堆叠算力,凭借创造力打造一套实用优雅的 GitHub 开源 Harness 或创新应用。 - **偏学术研究路线**:拒绝 AI 生成的敷衍内容,踏实撰写具有深度推导与严谨设计的 Research Blog。李磊以科学空间博主、现 Kimi 研究员苏建林为例:“苏建林的博客早期也全是推导,也可能没有特别多的算力,但不影响说他能够最后推出了一个 RoPE,到现在大家都在使用。”他在大二、大三时也是因为写博客展示专业思考,从而被金山 Office 的技术团队主动发掘并获得了第一份实习邀请。

聊到坚持不懈输出作品,李磊与 Koji 提到了《巴拉巴西成功定律》(The Formula: The Universal Laws of Success)。大数据研究表明,诺贝尔奖得主究竟在哪一时期发表其标志性代表作完全是不可预测的随机事件,这意味着研究者唯有“一直创造、一直 build”;同时,名画并不是直接挂进大都会艺术博物馆,而是先进入特定具有高节点可达性的市政博物馆,进而被借调流动至世界殿堂。科研道路就像“冒泡排序”一样,持续踏实地输出,让自己进入那些具有高连接度的关键网络节点中。李磊以 UC 伯克利毕业后加入 OpenAI 的模型安全学者 Erik Wallace 为例:其研究 idea 往往干净直接,但总能在极佳的时机与站位下把核心问题定义清楚,并迅速在社区产生巨大影响。

---

[25:00](https://www.bilibili.com/video/BV1CAHV6PEPM?t=1500s) 选校择师哲学与“慢科研倡议”的真实内核

谈及攻读 PhD 时学校与导师的选择权衡,李磊旗帜鲜明地指出:“选学校的优先级应该是要低于选老师了,甚至可以说是远远低于。”

博士培养高度类似于传统的“学徒制”。国内外实验室文化差异显著:国内可能偏向上下级管理,海外可能更偏向科研协作者(Collaborators)。李磊分析认为,除了斯坦福、MIT、CMU、UC 伯克利等顶尖“四大名校”能带来极显著的光环溢价之外,排名前 30 与前 50 的学校差异有限,反而是**具体组与组之间的方差极大**。

在择组标准上,李磊认为最重要的两项是:**科研成果**与**师生的精神状态**。 - **精神状态至关重要**:有些组的博士生虽然著作等身,但科研生活极其痛苦压抑。他推荐大家私下多去向在读和已毕业的博士生打听实验室的真实氛围与快乐程度(李磊也顺带为自己的母校团队打广告,称港大 NLP Group 与北大计算语言学研究所都是氛围轻松愉悦的模范组)。 - **导师风格的双向匹配**:单看 Google Scholar 引用数据、CSranking 排名或公开演讲远远不够,最有效的方式是通过做科研助理(RA)或实习深度合作半年以上。李磊回忆,自己正是因为在上海 AI Lab 实习期间与现在的联合导师(Co-supervisor)孔令鹏老师深度共事了半年,确信彼此风格契合,才顺理成章完成了双向奔赴。

对于此前引发全网热议的“百余位中美学者联合发起‘倡导本科生慢研究’(Slow Research)倡议”,李磊给出了理性解读。他指出该倡议之所以引发争议,是因为它与当前激烈的升学考核标准形成了鲜明冲突。

然而倡议的初衷绝非阻止本科生做科研,而是旗帜鲜明地反对在求学简历上盲目追求论文数量,反对靠投机取巧、水论文、挂名甚至制造粗制滥造的垃圾文章来包装简历。李磊强调,那些真正顶尖的导师不会仅仅将发表记录作为硬门槛,而是看重候选人能否逻辑清晰、扎扎实实地讲明白自己“做过什么、为什么做、如何做出来的”。科研的节奏快与慢是相对的,只要放平心态,瞄准有价值的重大命题步步推进,看似从容的探索,实际上反而能走出最坚实高效的发展道路。

[30:00](https://www.bilibili.com/video/BV1CAHV6PEPM?t=1800s) 科研节奏与做实验的哲学:前期慢思考,后期快迭代

在科研的节奏掌控上,李磊坦言自己骨子里是一个偏“慢”的人。他更愿意把大把的时间押注在最前期的选题和论证上,因为前期想得越透彻、铺垫越充分,后期的投入产出比就越高。他分享了自己早年踩过的一个惨痛教训:当时灵光一现冒出一个 idea,但在没有充分做预实验、也没有把背后的核心逻辑彻底想明白的情况下就贸然开工,结果足足花了半年多时间死磕调参,最后复盘才惊觉最初的核心假设根本就是错的。“所以我现在做实验之前,我会去把一个很小 minimal 的一个 hypothesis 抽出来,然后去快速用一些小实验 toy experiments 去把这东西验证了”,通过微型实验跑通端到端的链路,迅速排除错误假设。

李磊强调,在选方向的阶段必须足够密集地阅读文献,并与敬仰的前辈学者及导师展开高频讨论,直到形成一个坚实、笃定的投入方向。一旦方向敲定并进入执行阶段,行动就必须极度迅敏。在这个阶段,要千方百计拉满生产力,无论是榨干 GPU 的利用率、极致提升数据处理吞吐量,还是借助 AI 工具进行高并发加速产出,执行力必须彻底提速。

- **前期验证闭环**:抽离最小可行性假设(minimal hypothesis),通过低成本 toy experiments 快速端到端排雷,避免陷入长达数月的无效调参陷阱。 - **后期执行提速**:方向明确后利用 AI 工具并行加速,最大化 GPU 利用率与数据处理效率。

[31:36](https://www.bilibili.com/video/BV1CAHV6PEPM?t=1896s) 读博地域之选:内地、香港与美国的优劣权衡

针对内地、香港与美国三地读博的差异,李磊作了客观的利弊权衡。在内地读博最大的优势在于距离产业非常近,能够极快地融入工业界;但劣势在于高校依然保留着偏传统的“师徒制”,在当前高校学术考核指标与横向课题经费的压力下,部分导师的动作难免变形,对博士生的学术成长形成挤压。因此学生在选导师时必须极为谨慎,优先寻找那些能平衡好纵向学术突破与横向课题压力的课题组。相比之下,香港处于与内地紧密融合却又保留国际港口优势的独特生态,吸引到的导师 profile 往往更年轻、更有活力,但学生需要直面香港高昂的生活成本与空间压力。

至于去美国读博,李磊结合海外同行的反馈指出,当下赴美留学生面临严峻的签证紧缩问题,且 CPT/OPT 的限制导致在当地工业界寻找实习的难度激增;其不可替代的核心优势则在于身处全球创新腹地,离硅谷技术策源地和核心学术圈更近。谈到适合去哪里的“学生画像”时,李磊还风趣地开起了玩笑,调侃去美国读博必须耐得住“美食的寂寞”,因为身边留美同学每次回国的第一件事都是疯狂大吃大喝。

李磊对于两地选择总结道:“更重要的就是说你能不能在一定程度上有一定压力的情况下去 balance 好很多事情,如果你能够 handle 好这些事情的话,我觉得还是现在其实留在内地和香港都是一个非常不错的选择。”

| 读博地区 | 核心优势 | 潜在挑战与痛点 | 适合人群画像 | |:--- |:--- |:--- |:--- | | **中国内地** | 贴近本土产业生态,进入工业界实习与转化的路径极短且顺畅 | 传统师徒制下部分导师受考核与横向课题挤压,动作易变形 | 执行力强、目标明确、善于在工业界与学术界之间抓机会的人 | | **中国香港** | 与内地互动紧密,导师 profile 更有活力,兼具国际化港口优势 | 生活与租房成本高昂,生存与空间压力大 | 适应高密度生活、希望平衡国际视野与内地产业红利的人 | | **美国** | 紧邻硅谷与顶尖学术核心圈,学术前沿浓度高 | 签证政策收紧,CPT 实习受限,文化及饮食适应门槛高 | 能耐得住孤独与美食寂寞、追求极致技术策源地环境的人 |

[33:46](https://www.bilibili.com/video/BV1CAHV6PEPM?t=2026s) 博士焦虑、学术分化与 AI 工具的平权本质

当被问及博士们私下聚会除了学术还在聊什么时,李磊脱口而出是“package”(薪酬待遇)。到了毕业终局阶段,就业市场与薪资预期不可避免地引发焦虑;而低年级同学则在焦虑研究方向与现实意义,渴望在毕业时实现向工业界的丝滑过渡。李磊感慨,本科毕业时同窗还在同一起跑线,但几年后由于专业划分,AI 领域与非 AI 领域仿佛被劈成了完全不同的两个世界,行业甚至出现了急剧的 K 型或 I 型两极分化。

然而,李磊并不认为这种由 AI 带来的鸿沟是不可跨越的阶级固化。相反,他坚信 AI 从根本上是一次剧烈的平权技术革命。过去想要接触前沿高阶知识,必须千方百计上 Stanford 网课或购买 Coursera 会员;而今天人人都能随时调用 ChatGPT、DeepSeek 或小米 MiMo 这类大模型,其知识储备远超普通人类专家。只要从业者主动打破偏见,将 AI 引入自身的专业垂域,就能彻底重构工作范式。

针对行业洗牌的恐慌,李磊强调人类演进的历史从未改变过底层规律:“所以我觉得未来不是说 AI 去替代人类或者说做 AI 的这帮人去拿走了很多的蛋糕,而是说能够用好工具的这些人,或者再早一些,能够烧火的智人可能就干掉了别的人种,这种事情是一直在发生的。”

[35:28](https://www.bilibili.com/video/BV1CAHV6PEPM?t=2128s) 教授下场创业与读博的终极价值

针对当下大模型教授排队下场创业的狂潮,李磊认为这完全是科技导向的资本周期使然。大模型科研是一门重资产游戏,高校有限的科研经费在面对动辄数千万的卡群、工程师薪酬和高品质商业数据集时往往捉襟见肘;而成立 startup 融资能够充当极其强劲的杠杆,以极高的组织灵活性聚拢算力与人才要素。然而硬币必然有其反面,一旦拿了投资人的钱就必须背负商业交付指标,这些压力层层传导至实验室,博士生便不得不分担大量工程层面的 dirty work。

算力与资源向工业界急剧倾斜,让不少人发问:如果本科生甚至高中生都能进入顶尖 AI Lab,今天读博还有意义吗?李磊直言,若仅将 PhD 视为去大厂换取 Offer 的敲门砖,那确实毫无必要,OpenAI 的 Jason Wei 以及很多老牌(OG)顶尖研究员在没有 PhD 学位时就已经做出了突破性工作。

李磊将读博升华成一段满足纯粹好奇心的生命旅程,他指出:“你某种意义上我们是脱产去做一些你想要研究的事情,你对这个世界所在的这个领域有一些好奇心,你有一些问题,然后你不去做可能别人是不会帮你做的,那你其实是去满足自己的好奇心的过程……你想人活 80 岁,你读一次 5 年好像也不是很那什么。”

```mermaid flowchart LR accTitle: 读博的核心动机与价值取向对比 accDescr: 对比以功利就业为目的和以好奇心驱动为目的的读博路径差异

subgraph 功利驱动模式["❌ 功利驱动:大厂敲门砖视角"] A["追求学位光环"] --> B["面临算力与工程限制"] B --> C["被动承担横向与 Dirty Work"] C --> D["性价比低:本科亦可进顶尖 Lab"] end

subgraph 好奇心驱动模式["✅ 探索驱动:学术脱产之旅"] E["底层好奇心驱使"] --> F["定义无人探索的关键问题"] F --> G["系统训练 Impact 放大技能"] G --> H["用5年脱产时光兑现认知突破"] end ```

[38:05](https://www.bilibili.com/video/BV1CAHV6PEPM?t=2285s) 年度 Aha Moment 与小米 MiMo 训练透明直播

回顾 2024 年以来的技术演进,李磊认为虽然没有重现类似 DeepSeek-R1 刚发布时那般单点极致震撼的 aha moment,但 Agent(智能体)范式被彻底推向前台,给整个社会形态带来了巨大的底层冲击。从早期做单句情感分类、机器翻译、辅助写作,到如今配备了 Tool Use 的 Agent 能够依托脚手架自动化解决复合现实任务,这种从数字世界(digital world)向物理世界(physical world)的渗透极具想象力。

谈及小米 MiMo 团队开行业先河、把大模型后训练过程放在公网上全程无死角直播的举动,李磊揭开了幕后的核心动机。彼时行业内围绕中国大模型真实水平的流言蜚语(rumors)频出,对国产自研大模型的整体声誉造成了极其不利的舆论冲击;与此同时,许多团队畏惧于强化学习(RL)高昂的 infra 门槛与极度苛刻的数据质量要求而不敢轻易涉足。

李磊回顾起当时的初衷,掷地有声地说道:“我们其实是希望说能够用这样的一个直播,首先我们希望有一个正向的引导……大家一些信心,就说这个事儿它确实是可以做的,然后以直播的形式交代一下,你能看到我们在一个非常 decent 的方式、很透明的方式告诉大家说,这个事情可以做并且它的效果也很好。”

这场开创性的工业级训练直播引发了海内外的剧烈反响: - **国内反响**:由于直播间直接挂出了实时训练花费看板,国内网友点开网页最直观的震撼就是目睹“真金白银的人民币在疯狂燃烧”。 - **海外反响**:海外推特技术圈对这种把工业级全量 TensorBoard 指标无保留公开的透明度感到震惊,诸多研究员自发将其视作研究大规模训练内部动态(Dynamics)的罕见金矿。

[42:07](https://www.bilibili.com/video/BV1CAHV6PEPM?t=2527s) 高估值数据公司的生存壁垒与“燃料”持续性

针对近期诸如 Scale AI 等高估值大模型数据公司受到资本狂热追捧的现象,李磊认为这完全符合底层逻辑。大模型系统的三要素是算力、数据与人才,无一不是极其昂贵的资产。随着做题类合成数据的边际收益递减,当前专家级、复杂推理场景的数据生产复杂度上升了数个量级。数据公司只要能稳定产出推动模型越过认知门槛的高质量“燃料”,拿到高估值就是合理的市场定价。

然而,数据生意的长期生命力是一场与模型智能边界竞速的动态博弈。李磊指出,模型自身产生数据和自我蒸馏的能力在急剧攀升,一旦数据公司无法持续交付高于模型自生成能力的高难度数据,或者只能生产平庸数据,其成本优势就会被模型直接归零。模型能力的边界如同错综复杂的巨石,优秀的数据公司必须敏锐地找到岩石缝隙,建立起高效的专家网络与规模化交付流水线(pipeline)。

李磊总结了维持数据流水线持续运转的核心考量: - **难度的相对性**:高难度数据始终是相对于当前基座模型能力而言的,脱离模型实际吸收能力的数据不仅无法学习,还会浪费宝贵算力。 - **价值的双重权衡**:既要评估能够拉满 PR 效果、打造惊艳 Demo 的展示价值,更要评估模型学会后能否真正兑现经济价值。

```mermaid flowchart TD accTitle: 高质量大模型数据 Pipeline 飞轮效应 accDescr: 展示数据公司如何通过难度定义与专家网络构建竞争壁垒

subgraph 数据公司核心壁垒 A["锚定特定模型能力边界"] --> B["科学定义数据难度与经济价值"] B --> C["Sourcing 领域顶尖专家"] C --> D["构建规模化、自动化产线 Pipeline"] end

subgraph 动态淘汰机制 D --> E{"数据质量与壁垒是否领先模型自生成?"} E -- 是 --> F["成为不可替代的高价值燃料,壁垒放大"] E -- 否 --> G["被模型自我合成低成本击溃,生意终止"] F --> A end ```

[45:49](https://www.bilibili.com/video/BV1CAHV6PEPM?t=2749s) RSI 自我提升与打造标杆 Benchmark 的经验法则

在被问及是否在训练一线目睹了自指称自我提升(RSI, Recursive Self-Improvement)的曙光时,李磊给出了极为肯定的判断,表示信号正在变得越来越强烈。广义的自我改进(模型生产数据微调自身)早已普及,而在更加狭义的机器学习研究基准(ML bench)和后训练基准下,让模型自行搜索更优超参数与训练算法的进展非常迅猛。只要问题被形式化定义(well-defined),模型的强大搜索算力就能持续压低模型的 Perplexity(PPL)。

但李磊犀利地指出了当前 RSI 的关键短板——模型依然欠缺真正的科研“Taste”(审美力与鉴赏力)。“但是我觉得有一个能力可能是目前没有非常好的挖掘的……就是他的 taste,定义这个问题的能力,什么问题是重要的、下一个阶段我们需要去解决的问题的这个能力”,李磊指出,现阶段人类研究员依然掌控着顶层问题定义与研究航向,更前瞻的战略决策环节尚未看到显著的自我提升。

结合自身主导 Video-MME 的成功操盘经验,李磊提炼了一个具有行业号召力的顶尖 Benchmark 必须具备的三大支柱: - **衡量全新维度(New Dimension)的能力**:必须踩中下一阶段的核心技术痛点。例如在行业普遍死磕 6 秒微短视频理解时,Video-MME 率先将评估窗口拉长到一个多小时的长视频,精准对齐长程 Agent 乃至物理世界分析的刚需。 - **坚决杜绝人工合成感(Non-Artificial)**:数据必须从真实用例(use case)中提炼。李磊指出,人工雕琢痕迹过强的数据极易被大模型捕获其测验意图,诱发强烈的自我意识与反常应试反应,导致评测得分与真实用户体感严重脱节。 - **极致的生态兼容与一键评测(Ecosystem Alignment)**:降低开发者的接入摩擦力。提供一键启动脚本,无缝兼容主流评测套件,替研究者节约宝贵时间,促使学术界与工业界主动打榜和 Adopt。

[49:15](https://www.bilibili.com/video/BV1CAHV6PEPM?t=2955s) CS 申请降温之辩与给科研年轻人的寄语

针对美国 MIT 大一新生扎堆转向机械工程专业、全美四年制本科 CS 入学人数同比骤降 8.4% 的剧烈波动,李磊坦然视其为科技周期下的“一代版本一代神”。他分析认为,这反映出初级(junior)编码岗位确实正在被 AI 工具大幅侵蚀。但这并不意味着计算机技术不再重要,恰恰相反,CS 正在演变成全民底层通用必修课,各专业学生都会通过辅修一两门课程建立计算机通识认知,学会在 AI 辅佐下高效编程。

当被主持人问及若有小学霸亲弟参加高考会推荐什么专业时,李磊给出了一个松弛而深刻的答案:他不会限定任何专业,因为“行行出状元”,千万别逼自己非要卷进行业最拔尖的 1%,那样活得太累;关键在于永远跟自己纵向对比,稳稳扎根在行业前 20%~30% 的水准,日拱一卒,自然能迎来高光时刻。

在对谈的最后,面对深陷论文被拒、科研迷茫与毕业求职焦灼中的广大博士生与学术新星们,李磊收起了宏大的技术叙事,给出了全场最质朴也最温暖的建议:“我觉得 paper 迟早是会中的,然后饭还是得吃,觉还是得睡,对,没有什么大不了的。吃好喝好睡好,然后再写 paper。”

## Notable quotes > [25:00](https://www.bilibili.com/video/BV1CAHV6PEPM?t=1500s) 选学校的优先级应该是要低于选老师了,甚至可以说是远远低于。 — 李磊

> [05:00](https://www.bilibili.com/video/BV1CAHV6PEPM?t=300s) 当你在解决一个重要的问题的时候,即使它很难,只要你 make a little bit of the progress,那你也很有可能可以获得非常大的一个影响力。 — 李磊

> [05:00](https://www.bilibili.com/video/BV1CAHV6PEPM?t=300s) 大模型它是一个锯齿状的这样的一个智能,就是说它在你有一些地方你看着非常非常厉害,但其实它有一些东西是完全没有的。 — 李磊

> [49:15](https://www.bilibili.com/video/BV1CAHV6PEPM?t=2955s) 我觉得 paper 迟早是会中的,然后饭还是得吃,觉还是得睡,对,没有什么大不了的。吃好喝好睡好,然后再写 paper。 — 李磊

## Mentioned 李磊, Koji杨远骋, 小米 MiMo, 香港大学, 北京大学, 西安电子科技大学, 腾讯青云奖, EMNLP, OpenAI, Astra, NeurIPS, AAAI, ACL, Hugging Face, 孙宇, 苏建林, 金山 Office, 巴拉巴西成功定律, Erik Wallace, 孔令鹏, 上海 AI Lab, DeepSeek, ChatGPT, Jason Wei, Scale AI, Video-MME, MIT

## Video description ➤ 本周「十字路口」的嘉宾是李磊,小米 MiMo 大模型后训练研究员、香港大学在读博士。一边参与大模型训练,一边读 PhD,他和许多同学一样,面对着 AI 带来的巨大机会,也置身于飞速变化的节奏中:既兴奋,也焦虑。

这期播客,我们聊的主题是:在 AI 时代,PhD 怎么拿到一个理想的结果?

我们聊了 PhD 路上的 10 个关键问题:慢科研,还是快科研?学校和导师怎么选?内地、香港、美国如何选?怎样争取研究机会与实习机会?论文发表之后,如何通过开源和社交媒体,让研究被更多人看见,产生真正的影响?如果本科就能进入 AI Labs,读 PhD 还值得吗?

我们也聊到了 PhD 圈里的“大粉理论”:小红书的粉丝量超过论文引用数。这个说法背后,是研究成果传播方式的变化。

最后,我们还聊了 RSI、数商、Benchmark 等近期受到关注的话题。

如果你正准备读 PhD,或正在为研究、毕业和求职感到焦虑,希望这场对话能帮你想清楚:下一步,什么值得投入,又该从哪里开始。

[Source](https://www.bilibili.com/video/BV1CAHV6PEPM)

中文简报

小米研究员李磊称论文贬值 顶会遭AI灌水且评价转向开源影响力 顶会审稿机制在大模型生成论文冲击下已难以为继,学术评价与大厂招聘正从纯论文数量转向开源代码、实际下载量及社交传播声量。 李磊结合自身从西电、北大到港大并参与小米 MiMo 研发的科研经历,系统复盘了在学术顶会“水漫金山”与工业界大模型狂飙背景下博士生的破局之道。他主张在课题初期做足“慢思考”以验证最小假设,在执行期借助 AI 工具全力“快迭代”,并强调影响力已从单纯的论文录用转向 Hugging Face 下载量、开源代码维护及社交媒体传播。针对内地、香港与美国的读博选拔逻辑,他指出选导师的优先级远高于选学校,且读博的本质是脱产满足对未知的纯粹好奇心,而非单纯充当大厂敲门砖。此外,对话还深入剖析了小米 MiMo 全程透明直播训练的底层初衷、高质量数据公司的生存壁垒、递归自我提升(RSI)与打磨标杆 Benchmark 的实战法则。 大模型时代论文发表面临“大水漫灌”,顶会评审随机性增加,工业界招聘转向考察开源代码维护情况、真实 issue 讨论及 Hugging Face 下载量等现实影响力指标。 (10:00) 李磊提出科研“大粉理论”,认为学术成果分发已高度依赖社交媒体与推荐算法,研究者推特或小红书粉丝数超过论文引用数正成为放大科研影响力的有效途径。 (10:00) 小米 MiMo 团队开创行业先河,将大模型后训练过程在公网上全程无死角直播,透明公开全量 TensorBoard 指标以破除国产自研大模型流言并验证强化学习路线的可行性。 (38:05) 自指称自我提升(RSI)在超参数与训练算法搜索层面信号强烈,但当前大模型仍严重欠缺定义重大科学问题的科研审美与鉴赏力(Taste),战略方向仍需人类掌控。 (45:49)

Reading summary

港大博士生、小米 MiMo 研究员李磊认为,面对大模型引发的学术膨胀与产业重构,博士生科研应转向聚焦高难度核心命题、构建开源与工程作品集,并将读博视为纯粹好奇心驱动的探索之旅而非功利跳板。 学术体系变革与“难而正确”的研究打法 (5:00) 在生成式 AI 冲击下,顶会审稿量剧增导致评审随机性显著上升,传统以论文数量为单一导向的评价标准正被解构。李磊指出,学术界开始出现用模型批量炮制论文以博取录用的现象,但工业界招聘与学术同行已逐渐将论文视作次要参考,转而评估代码开源、真实 Issue 维护状态以及 Hugging Face 真实下载量等现实影响力指标。 针对科研选题与普遍的焦虑情绪,李磊提出应聚焦“难且重要”(Difficult & Important)的课题。虽然前沿模型在部分指标上表现惊艳,但智能呈现“锯齿状”,在数据泛化与真机落地等环节仍存断层。解决重大问题哪怕仅取得微小进展也能带来深远影响;而通过抽离最小可行性假设(minimal hypothesis)进行端到端低成本验证,能在前期有效规避因错误假设而陷入数月无效调参的困境。 读博三阶段、冷启动与学术导师选择 (15:00) 李磊将攻读博士拆解为三个渐进阶段:第一阶段需从零搞透底层算法机制,并通过自媒体、技术博客与开源社区放大工作影响力;第二阶段完成从执行者(Generator)到批判指导者(Critic)的转变,培养带教低年级同学的学术领导力;第三阶段则是在现实工程与商业约束下实现产研融合。对于算力匮乏的早期研究者,通过推导严谨的 Research Blog 或开发实用开源 Harness,同样能建立起具有竞争力的学术作品集。 在升学与择校权衡上,李磊主张“选导师的优先级远高于选学校”。除斯坦福、MIT 等四大名校享有显著光环溢价外,排名前 30 与前 50 的高校方差主要由具体课题组决定。他强调实验室的真实科研产出与师生精神状态是首要筛选依据,建议通过半年的科研助理(RA)或实习深度磨合以确认风格匹配,避免落入盲目包装简历的水论文陷阱。 大模型工业演进:训练透明度与数据壁垒 (38:05) 针对近期模型训练生态,李磊以小米 MiMo 团队开创性全网无死角直播后训练过程为例,说明公开全量训练看板与实时花费不仅向行业证明了强化学习路线的可行性,也为海外推特等学术社区提供了观察大规模训练动态的真实依据。与此同时,当前 Agent 范式从数字世界向物理世界渗透,构成了重要的技术跃迁。 谈及高估值数据公司的生存逻辑,李磊认为高质量数据作为大模型燃料具备极高价值,但其长期壁垒取决于是否能跑赢模型自我合成与自蒸馏的能力边界。优秀的数据公司必须持续在模型认知盲区中依靠专家网络构建工业化 Pipeline;若仅能生产平庸数据,其商业价值将迅速被自进化模型抹平。在打造评测基准(Benchmark)方面,则必须做到度量全新维度(如长视频理解)、源于真实业务场景且具备极低接入摩擦力。 技术平权下的专业分化与读博终极意义 (35:28) 面对大模型教授下场创业与全美本科 CS 申请人数下滑等现象,李磊指出大模型科研是一门重资产游戏,学术界融资成立初创公司是聚拢算力与人才的组织杠杆,但同时也让实验室背负上商业交付与工程杂务的压力。初级编码岗位的确正在被自动化工具替代,使得 CS 逐步演变为通识底层技能,但 AI 的本质在于平权,让所有人都能随时调用远超人类平均水平的专家级知识库。 针对“本科生即可进顶尖 AI Lab,今天读博是否还有意义”的疑问,李磊表示若将博士学位仅视作进入大厂换取高额 Package 的敲门砖,其性价比极低。读博的核心价值在于用脱产时光去系统性探索无人涉足的未知领域,满足个人最纯粹的好奇心,以从容的步调在长周期内兑现认知突破。 李磊总结道,科研人员在面对技术迭代与竞争分化时应保持松弛心境,建立稳定的心理防御机制;比起短期追逐排名前 1% 的焦虑内卷,持续专注自我纵向成长并做好当下基础科研,往往能在长期竞争中走得更为扎实稳健。

Source quotes

[25:00] 李磊: 选学校的优先级应该是要低于选老师了,甚至可以说是远远低于。 [5:00] 李磊: 当你在解决一个重要的问题的时候,即使它很难,只要你 make a little bit of the progress,那你也很有可能可以获得非常大的一个影响力。 [5:00] 李磊: 大模型它是一个锯齿状的这样的一个智能,就是说它在你有一些地方你看着非常非常厉害,但其实它有一些东西是完全没有的。 [49:15] 李磊: 我觉得 paper 迟早是会中的,然后饭还是得吃,觉还是得睡,对,没有什么大不了的。吃好喝好睡好,然后再写 paper。

Original transcript

[0:00] 嗨,我是Koji,那本周十字路口的嘉宾是小米大模型的后训练研究员李磊李磊呢,还有一个身份是香港大学的在读博士生那同时是腾讯15位啊,首届清云奖的获奖者之一同时他的paper也拿过EMNLP的最顶会的最佳论文奖你好,李磊,欢迎来到十字路口Hello,Koji,非常高兴今天有机会能够做客十字路口我们还是从快换快答开始帮助大家了解你请问你的年龄28岁MBTI和星座ENTJ然后是巨蟹座求学经历可以介绍一下吗我应该是16年在西安电子科技大学读的本科然后20年到北大计算语言学研究所去读的硕士然后23年到香港大学NLP Group读PhD最近小米Memo其实做了一件很有意思的事情Pro Flash的两款模型的后选人直播直接搬到了网上然后我感觉这个国内外还是有非常多的关注和讨论的那李磊就是这个事情幕后的推动者我觉得很有意思的是一边你在参与一个飞速发展的AI行业另一边呢同时还是在读的博士四年级的学生所以今天请到你是想聊一个就是十字路口应该很多的用户关注者都很感兴趣的话题啊因为大家多多少少都是在做学术在做研究或者在AI公司论这个话题是什么呢就在AI时代要怎么读好PhD才能拿到一个不错的结果相信会有很多人喜欢听十字路口就是跟我这样的一个画像对因为我自己这样是十字路口忠实的一个听众对然后说到这个重要的这个里程碑的话我觉得首先就是读PhD这个决定纠结了有一段时间最后呃纠结来纠结去就是我给自己的一个答案就是说如果我十年以后对吧躺在床上可能还是会后悔没有去读这个PhD对所以说我最后觉得那既然这样子就还是去读吧我觉得这一步还是蛮重要的就是现在尤其是现在就是说大家会有很多的考量你的机会成本会很大对吧尤其是整一个工业界它的待遇和你现在学术界面临的这样的一些gap但是我觉得钱的这个事情就是说可以以后再说这段时间可能你能够很好的去做一些你想要做的事情这个东西在那个moment我觉得如果我现在不去读这个phd我可能回过头来我还是想要去有一段这样的一个经历所以这个是我觉得一个很重要的一个关键角色对对对然后的mileslone就是说起来也挺这个drama的我觉得就是我在那个北大的最后一段时间就是跟一些师弟合作然后我们刚才提到那个best paper也是在那个时候做出来的然后那个正好就是我入学之后两个月也就是说我参加的第一个回忆然后我就自己也有篇工作我觉得这个一下子就是当时我其实对于读一个这个PhD到底能不能很顺利的这个完成它的这个考核也好或者说一些标准也好其实当时还是有一些退堂股虽然说已经经过了这个硕士的一些科研的训练但是那个就是应该是23年11月份刚好入学两个月当时就觉得这个什么属于是一个这个巅峰开局害怕说这个会不会是这个出道就是巅峰这么巅峰开局之后呢我觉得整体来说还是就可能验证了说我之前的有一套这个打法然后他是怎么样去做这样的一个事情所以这套读PAC的打法是什么打法我总结来说就是一个是快速的迭代包括就是说自己要有这个比较这个intense的一个工作的节奏然后以及说你要能够及时的去参与到这个社区也好Peers也好或者说你认为更senior的这个老师同学也好去获取feedback另外一个就是我觉得是心态上你在选择的时候要就要选择去做一些难而正确的一些问题否则的话你的很多的事情它如果不够难那么一定会有非常多的competitors在现在的这个时代里面它会很容易被beat掉然后另外就是说正确的事情就意味着说正确有两个方面我觉得一个是说是大家都非常关注的一个问题那大概率就是说它可能是目前大家会认为比较重要的问题就是它的importance一个是difficult 一个是importance当你在解决一个重要的问题的时候即使它很难只要你make a little bit of the progress那你也很有可能可以获得非常大的一个影响力本来我是想说这个难而正确意味着做起来会很慢然后同时要拿到正反馈所以这个听起来冲突但好像你已经回答了这个问题一个难并且重要的事情哪怕一点点进步其实大家也会认为是非常significant的对反倒是大家对于你的那些要求会没有那么的苛责因为大家都知道很难就很多人面对一个很困难的问题他第一步就想太难了我根本不知道怎么解决他们会没有头绪去解决这样的一个问题能够找到一个好的签面对吧比较solid的去把这个事情提供一部分 [5:00] 这样的解释也好或者说实验理论的分析也好其实他对于后续想要去研究这个问题的人来说他就是一个非常重要的一个milestone了所以你觉得这一套PHD打法是适合所有人吗我觉得也不一定是适合所有人但是我目前观测下来就是说他可以减轻很大程度上的一个焦虑PHD们都在焦虑什么呀我觉得PhD现在焦虑如何一个是publication然后但是又面临一个非常drama的一个问题就是整一个的鼎慧的system现在在AI的冲击下面它其实可能有一些难以为继的一个状态这个是一个然后再一个就是说首先要满足毕业要求对吧第二个就是说我发了那么多paper之后还有没有用比如说像Astra出来之后很多做技术人就会觉得这一下子好像我的整一个domain都被颠覆了这个也是大家经常感受到焦虑的一个来源就是说我能不能在publication做的东西有意义之后能不能就是完成这个PhD到这个工作的这样的一个转换所以在这些焦虑面前你有一些什么样的应对建议吗大家如果还要去在这个游戏里面去玩的话心态上还是要放松虽然说竞争很剧烈但是community也在想一些办法怎么样去帮助去稳固这样的审稿的一个系统然后再一个就是说大家要相信整一个这套它已经run了很久了有一些内在的一些生命力在的就是他能够保证说一个好的工作会被中稿的第二个就是说做的东西有没有意义这个事儿我觉得就是说你乍一看就是Astral很牛但是你再仔细看你会发现它其实有很多的茅次这个我觉得就是大家对这个大模型它是一个锯齿创的这样的一个智能有一定的了解就是说它在你有一些地方你看着非常非常厉害但其实它有一些东西是完全没有的那这个东西我觉得就是很考验大家就是说你真的坐在电脑面前对吧去coding啊去设计hannis啊去把这个东西跑出来去看看你的数据去看看整个模型的表现它能够是到底是怎么样的而不是说被social media上面的一些hype做了这样的一个心理状态它并不是完全没有意义而是说你能看到的东西可能会是容易被放大的东西但有非常多看不到的地方还值得我们去思考和去研究比如举个具体的例子最近你看到的还值得去思考探索的模型尤其Astria这样的SATA模型的一些毛刺我们其实也在做一些类似于这样的巨生的一些实验比如说我觉得一个值得研究一个问题就是说这个能力是从哪里来的然后这里的话就是你可以trace back到很多的这个model也好啊它到底是从哪里泛化过来的因为你知道它从哪里来之后你能够更好的去提升它吗对吧我浅显的理解就是OpenAI一直在采购巨生的一些相关数据是用这样的数据训练出来的我们猜测可能是这样子的然后再就是说具体的对吧当然我不是巨生领域的专家就是说他有很多的这样的一个domain比如说他在这个simulator里边的效果怎么样他在增机的怎么样对吧这里会不会有gap对吧有一些泛化的gap那这些可能都是非常值得研究的问题今天所有的学术顶晖都被AI论文大水漫灌还会好吗压力确实是存在的就是说比如我做审考人做LHR我能看到我的原来可能就两三篇现在可能大概是十篇左右的这样的一个量审考人的workload这是最直接的一个冲击对吧然后考虑到的大家都是DDL战士你原来可能我留个半天去把最后几篇搞定结果现在就是说你可能在这个情况下大家做出来的判断其实就有可能它的随机性就会变大了这个是我觉得最直观的一个冲击实在你会看到整一个会场它的容纳现在都会像NURBS它就有三个会场但是就是说社区也在就是通过比如说限制投稿的数量然后去promote跟这个有一定经验的审稿人去承担更大的责任然后引入AI审稿来去辅助说帮助这个决策去做得更加的准确然后像Triple AI的话他现在也是要求就是做决定的时候是要两个Senior的这个SPC去讨论最后做出这样决定也是想尽可能的在manageable的情况下把这个录用的决策去做准确但是他们来说有人的地方就是一定会有随机性所以说他的我觉得大家不要把这个cept or not作为最终的一个reward因为听起来现在有一条这个hack这个系统的录就是我用sota的模型做100篇论文然后投出去拼随机的概率你怎么看这样的一个做法我觉得这样的做法是不好的它一方面是对整一个系统的DDoS攻击说白了你虾猫碰到死耗子总是有可能的但是我觉得Paper它本身其实并不是为了让它重稿而是说我做了一个很有意思的研究我希望有一个地方来share给大家是一个knowledge的分享但是 [10:00] 你说100篇的这样的东西他的背后的那个人他真的把这些东西弄清楚了吗对吧他是否有严密的这样的一些论证理论或者实验的去justify他所proposed的一些hypothesis这些东西这个东西才是重要的而不是说这个paypal到底重了没有重然后所以说你如果说AI强大到说或者说人加上AI的这样一个组合他能够提出100个有价值的问题然后在AI的帮助下对吧去把它解决的很好提供了这些很solid的答案我觉得这种情况下他投不投稿都无所谓就像可能OpenAI放出来几百个数学证明对吧然后可能有一些是work的有些是错的对吧但是这个东西它可能就有一定的意义但是同样我们会要耗费非常多的human efforts去verify它的结果那你觉得会不会有可能出现一些新的评价体系我觉得其实现在已经开始弱化整一个的publication体系了但是只要存在一个评价的体系就一定会有reward hacking比如说我们现在在去筛选一些候选人的时候paper它是一个类似于说nice to have的东西原先可能它是一个非常好的一个金标准所以你没有也变得没有那么的重要为什么呢难道大家比如说99个人有你没有反而不重要了因为反而显得你很outlier对对我觉得反倒就是说可能意味着说他知道这个游戏可能已经坏了我就不玩这个游戏我们还蛮喜欢这样的画像的然后但是大家其实现在比如说我贡献一个开源的项目对吧这个是一个很加分的项但是也存在一些hacking的机制有的人会去也是用AI去提P然后被合进去了他就说他是他的contributor其实我有一个筛选的一个小指标尤其是有publication我看他们的代码有没有开源他们数据有没有开源然后以及说他们开源了之后他们的issues有没有人去维护所以更是在真实世界里面看看你的作品有没有产生影响力对对对比如说hacking face的下载量如果说你做了一个模型对吧你说你是sota但是你在hacking face上我看上个月的下载量可能只有数十次就可能你解决的不是那么重要的一个问题那hacking face的下载量可以hack吗也可以hack但是它的hack的代价就蛮大的就是首先我要下载你的东西对吧然后存到这个硬盘上硬盘还蛮贵的你的小王书粉丝数我看了一下今天是2.4万对对然后上次我们聊天你开玩笑说这个比论文引用数要高这个为什么你会去对比语用术和小红书粉丝术我觉得这个也是可以归到PhD的这个Must do里面就是做自媒体对 为什么呢我觉得它首先它是一个反馈比较快的一个地方Social Media就是你发的东西好不好对吧大家点赞还有这个收藏这是很直接的一个反馈至少你有些时候其实现在大家这个交流少了但是你如果说在一个像这个小红书也好像推特也好对吧还有一个其实还是他们的推进算法吸引到一批跟你就是有相同的research test的这个同学那么其实会有一个非常好的一个交流这个是反馈的层面另外一个层面最近有一个叫大粉理论对吧就是说PhD student你的这个推特或者说你的这个小黄树的粉丝量点赞量要超过你的citation说明你能够再践行这个大粉理论我觉得它是一个attention is all you need的一个显化了因为现在paper很多我应该看什么paper那原先大家依赖的分发的机制是每一年ACL重稿我会去看所有的SAPP的paper当时可能就几百篇然后我根据关键词根据关键的老师去挑出我想要看的几篇都把它看了但现在其实你不存在这样的事一个会议四五千篇对吧我不可能把它看得过来了对因此呢就大家会依赖一些几个论文的推荐也好或者说这种social media的这个推荐系统也好那如果你能够在这样的系统中占据更大的权重对吧你的声量就可以被放大你的工作就可以被更多的人看到也可以更好的去amplify你工作的价值所以在PhD的圈子里面除了大分理论还有什么理论我觉得就是搏击理论其实应该也应该推行到这个PhD群体里面因为确实它是一个很漫长的一个过程我觉得始终是第一位的确实是你要换换脑子对吧那作为PSD要怎么运营小红书呢首先是利他就是你当然可以发一些有针对性的这个有controversial争议性的这样的一些观点他很容易爆但是大家只会点赞或者说评论但其实他是大家不会觉得说这个东西跟你这个人是相关的而只有说你持续的去产出了一些对别人有帮助的内容你也会收获一定的影响力对吧这个东西就是它的副产物了然后第二个的话就是要坚持我坦白来说我一开始就是会在我的小公司上发很多的论文的notes因为我当时每天看论文嘛但其实那个时候我的粉丝的增长量就很少直到有一天我发了一些刚才说的引用跟粉丝的关系的时候我突然发现我报了一下一下子网上漫了一个台阶但是 [15:00] 就是说你把它坚持做成一种贼力的事情之后你想到什么发什么然后最后呢这个上面就会呈现出你最真实的一个状态然后那就一定能够吸引到你想要吸引的那些人所以我总结下来就是说利他然后坚持然后第三个就是说因为赛道其实很卷但是你如果找一个人去模仿你会很累因为你也不知道他咋想的对吧他背后的motivation是什么但是你其实去做自己然后把自己的想到的一些东西然后符合前面两个条件的东西我觉得其实粉丝数量不是那么重要就是你找到一帮就是说同频的人然后大家可以有一个非常好的交流的平台我觉得他就已经完成了他的这样的一个目的了我这建议还蛮好的就是要立他要高频然后要做自己所以你在小红书上面点赞最多的笔记是哪几篇最多的拿奖应该是的然后轻轻奖学金应该拿然后是citation超过1万这个也可能是跟背后的推荐算法相关然后另外就是说学术方面的话我觉得之前有一些就是像unpolic distillation这种我们也是比较早采纳这个新的一种这种范式的一个team吧当时我们看到之后其实我觉得这个东西就非常promising然后就写了一些这种notes放在上面其实那个关注也蛮大的我看最近戴志峰老师还有自然意志他们的新的一些工作出来你都会这个就发一发对他们的分析然后自己的一些解读那些流量感觉也不错因为大家也其实很关注这些new lab的一些动态他们做的也非常不错然后有一些RSI然后也正好也用的是小米的基模所以说我就顺手的就去研究了一下所以现在的小红书就完全是你个人的工作个人的生活个人的研究兴趣的一个外话对如果我们把今天读PhD从入学到毕业分成几个不同阶段的话你认为可以分成怎样的几个阶段首先就是说知道怎么样去做好研究或者知道怎么做研究这是一个很重要的 milestone做研究之前其实会有一些preliminary的basics就是说你其实要了解很多基础的fundamental的一些东西对吧machine learning statistics这些东西对吧这些课虽然好像今天看起来大家利用AI都不需要去补了但是其实还是很有必要去把那些东西去from scratch的自己去做一遍我们当时就是用tensorflow对吧要去把甚至用numpy MATLAB去把那些很basic的svm这种很基础的这些算法去实现一遍就是吴文达老师的Coursera上面的课程我觉得这个还是非常重要就到今天还有很多基础的就是泛化overfit的这些概念对吧他经典的一些concept还是在整一个的system里面在运作对吧以及说像VM其实用的是page attention那就是操作系统的一些概念嘛然后我觉得这些是basics对吧然后第二个就是说 research 它是一个刚才说的它是一个这个knowledge sharing的这样的一个方式怎么样能够让你的 knowledge 更好的去传播对吧这里就有一些 paper writing 实验然后怎么样去 justify 你的 hypothesis 实验设置对吧这些东西是需要学习的然后当然 ai 可以做一个非常好的 reviewer 也好老师也好帮助你去提一些建议帮助你去 consolidate 你的 hypothesis 这些东西然后第三个我觉得就是说也是大家很容易忽略了一块就是怎么maximize 它的impact就我们刚才前面提到的就是你去做好自媒体也好对吧你每做好你的开源然后呃去每个工作都有相应的这个配套的这个呃宣传啊软件啊博客啊以及说一些分享我觉得呃这个是第一个milestone就是说你到了今天你可以独立的做好一个paper并且能够获得一定的影响力我觉得这个是基本功然后第二个阶段我觉得是leadership我也觉得非常感谢我遇到的各种老师其实很早的时候我们的孙羽老师就告诉我们说要培养我们的leadership我觉得就是说你其实要能够去当你逐渐的掌握这套pipeline以后其实你要能够去把这套东西去交给更纠烈的同学但是每一个纠烈同学他有自己的case要case by case怎么样去更好的去引导他去做好研究你从一个自己generator的一个身份变成一个critic对吧 变成一个批判者去帮助他这个事情蛮有意思就有很多同学他不一样 纠捏的同学他的类型不一样有的他会比较的self motivated 你只要给一定的引导他就一下整个链路就跑通了而有的你会需要更 intense的这样的一个 supervision 去帮助他去把这个东西build up 起来第三个我觉得就是说能够去完成一个从学处界到工业界的一个转变你会在 [20:00] 更加现实的一个以及说这个竞争可能会更多维度的这样的一个层面去做一些这个事情当然这个我也在学习就做PHD要怎么能启动呢能启动来自于说我很勇敢的在我大三的时候我当时就是去给这个发了很多code email由我的这个后来的硕士老师对发了code email但我其实发了可能得有十封出去我只收到一封的回复然后那个孙老师非常非常这个很愿意给我一机会当时我是达尔然后升大三的这样的一个状态他愿意让我来阻力别人实习然后得意说扣开整一个后面的大门然后能够发顶会然后顺利的保研然后我觉得到了现在这个难度就会变得更大了我相信所有的稍微有名一点professor里面邮箱全都是Cody Mail会有非常多的这样的RA或者说是申请的这样的一个邮件然后工业界的话就更加了现在的HC就是考虑到算力的情况下然后怎么去能启动我觉得首先就是说你知道这个事情之后我觉得就是说要做就是maximize你的impact因为其实现在大家不是去看paper而是说去看你有没有一些output它可能是一个Github的一个项目你做了一个非常好的一个harness你做了一个很有意思的一个application这些东西其实对于算力的需求没那么大对吧你只要能够发挥你的创造力其实是可以做出非常好的一些产品化的一些东西来这个是一个好的一个路子然后他去获得比如说相对来说就是说可能更偏产品的一些岗位对吧这是可以的然后如果是要偏研究一些的岗位的话其实我觉得在AI时代就是大家都在用AI sloppy的写作的时候你能够去把一些fundamental的东西给他理顺写好一个research的一个blog这个东西说起来很简单对吧但是就是说你能够一篇一篇的去把比如去写好很多的notion的blog然后如果有可以的话你可以去设计一些实验小的实验对吧classify你的一些改进其实比如说像苏建林的博客对吧早期也全是推导也可能没有特别多的算力但是不影响说他能够最后推出了一个rope到现在大家都在使用对吧然后现在是Kimi的研究员我觉得这是一个非常好的一个路径就是说首先你要努力的去reach out其次你在reach out的过程中你肯定会收到非常多的没有回复也好这样的一些negative的feedback但是在这个过程中你要坚持的去做好自己的输出它也是你是一个learning的过程你找到自己想要学习的东西 想要创造的一些东西 然后展现出来有个非常好的一个作品级的一个呈现最后我相信你会不断的像一个冒号牌系一样 慢慢就会冒上去 然后你会被一些人看到 我第一个拿到的实习应该是金山当时的office 当时我大二大三的时候 他就看了我的博客 然后联系到我但是我当时觉得就是我还是想搞白心论理所以就没有去做那个软件开发了我觉得是这样子就很像十字路口我们也很喜欢说的一句话叫只要一直build就有好事发生是的我觉得真的是这样刚才冒泡排序的比喻也很有意思一直冒泡然后你就更可能泡到上面去然后到上面去蛮重要的就是说有一本书叫那个巴拉巴西成功定律不知道你们有没有看过还有一个听起来很鸡汤但实际上他们是研究用那种大数据的方式研究说诺贝尔奖得主什么时候能够发出他那篇诺贝尔奖的论文你怎么样才能够 somehow来说获得一些career的这样的success所以诺贝尔奖的得主他们一般是在什么规律之下发了那篇论文没有言论就是没有规律就是你必须要一直的发他们自己都没有办法预测说哪一篇会是他们的代表作是这样子的所以说就必须得一直build然后第二个效应是说比如说大都会博物馆里的那些画那幅画画出来的时候它肯定不能一下子就展到大都会博物馆里它是怎么流通到那些大都会博物馆里面的然后他们去分析了就是说馆藏之间他们会有一些我会借过来展览他们会把流通图画了出来会发现有一些那种城市的那种市政的博物馆它的名气不是那么大但是你一旦去到了市政博物馆之后你就很有可能被这些非常famous的博物馆借走所以它还是有规律可学节点然后但这些节点可达性就会非常的高那你就是通过冒泡对吧你能够进入到这样的一个critical的pass上面然后你走向成功的路径可能就会大很多所以一方面它是需要不断的创造不断的发作品但另一方面这里面其实仍然是一些有迹可循的是的一直努力聪明的build你觉得有哪些你认为做的非常成功拿到了打个引号大结果的phd你会想出哪些名字我现在能想到就是说呃比如说那个应该是Berkeley的应该是Erik Wallace他原来是做 [25:00] 模型安全的一个一个phd然后他应该是毕业之后就去OpenAI然后前段时间就是说Hugging Face的事件他们Swarm攻击了Hugging Face他其实就是作为内部的一个研究员出来给大家复盘整一个的东西其实你就看到他的research其实idea都很简单但是就是能够有一个非常好的一个positiontiming的时候去把这样的一个问题propose出来然后定义好这样的一个问题CHD们去选学校和选导师的时候你分别有什么样的建议我觉得选学校的优先级应该是要低于选老师了甚至可以说是远远低于因为PhD这个事情就是说它还是蛮像我们古时候的师徒制然后以及说它在国内外它的情况又是case by case的普遍来说国内的话会更像上级和下级的这样的一个存在然后其他的地方可能更像collaborators当然他是你的supervisor所以说这个时候学校这个东西怎么说就是说当然就我推荐大家能去更好的平台当然是尽可能的去但是其实你说top30跟top50有没有本质区别吗可能是没有太大本质区别的你说那个四大名校跟top30那这个gap可能OK大家听到你的这个famous的university name就会OK就你的估值就能长一长怎么样的但是我觉得组和组之间的他的virus其实还是更大的然后很重要的一点就是一个是成果一个是精神状态然后私下里去问一问已经毕业的PHD和再读的PHD精神状态怎么看呀大家是不是在一个比较快乐的状况去读PhD就是说有比较痛苦但是成功的PhD他可能著作等生但是他非常的痛苦比如说谁我只能说有这样的case他比较快乐的那些组是什么样的组有哪些组给我们组打个广告HKONLP还有北大的计算语言学研究所都是挺氛围还是非常轻松和愉快的一个地方PSP要怎么选导师呢我觉得这个东西真的蛮难选的就是说你去看他的google scholar看什么CS ranking看他的一些公开的演讲其实这些都是公开的东西很多private的东西其实是需要你去实际跟他合作了一段时间甚至说半年甚至更久你才能够发现就是说这个因为我觉得它是一个双向匹配那你当时自己是怎么做的呀我当时是在上海airlab实习然后跟我的这个现在的Cost supervisor孔临鹏老师就认识了然后当时我们现在就我在internship吧就合作了大概半年我就觉得他的风格我们还是比较match的我们很多同学都是这样子的一个过程我觉得它是一个双选的一个过程我的一个推荐图形就是大家如果说还有时间的话可以直接去做RARA的话一方面你可以接触到我刚刚提到的就是再读和毕业的PhD对吧可以跟他们打成一片你可以打听到一些更多的了解一下情况另外就是说你也就能够了解这个组里面它的这样的一个风格是怎么样的对吧帮助你去快速做判断学生慢研究倡议在网上我觉得掀起了还挺大的一个争议的我理解大概有超过100位不只是中国也有一些美国的老师研究员共同发起的一个倡议希望本科生现在不要着急发paper要慢下来做研究你怎么看这个倡议我觉得就是说他这个事情很drama的一个地方就在于说他跟现在的整个节奏形成了一个很鲜明的对比或者深学季对吧他的这个考核的要求对吧他好像跟所谓的这个standard是是矛盾的冲突的那我其实有看那个他们具体的这个倡议就是说呃他的倡议其实是说那些老师们说他们不会把这个呃paper作为筛选的唯一标准对吧这个我刚才也提到就是说其实大家都有的时候他就没那么重要了而是说你能不能就是或者甚至说是发表的paper对吧你有些research的output有一段经历打扎实的情况下把你做了什么为什么做怎么做的这个东西讲清楚他们其实倡导的是这个事情而不是说我为了让我的简历上多一些paper然后我快速的去通过各种方式也好对吧去挂名也好去这个产出一些这种sloppy的论文也好使得说我有一条能看得过去的我觉得他们其实是在呼吁大家不要去做这样的事情没有说大家说不要做科研我刚刚厉害就说你其实是需要有一定的时间和精力在里边你其实你要自己去balance好科业和科研你其实就是要有一定投入其实我觉得你心态上放轻松做一些重要的事情你可以稍微节奏可以慢一点但是你要有逐步的推进这个是快的其实快和慢是相对的你自己是一个 [30:00] 快的人还是一个慢的人我会花比较长的时间去选择一个我想要做的一个事儿这个东西我会觉得他前面花的时间越多其实对于你后面他其实是很划算的我有过一个经历吧就是说在比较早的时候做一个idea但是我没有非常好的去把一些预的实验做好把这个东西想明白结果我花了大概都半年多的时间在那里调算法最后发现我的假设就是错的所以说我现在做实验之前我会去把一个很小minimal的一个hypothesis抽出来然后去快速用一些小实验toy experiments去把这东西验证了对吧他其实帮你端到端可以验出很多东西来然后我就再往前就是选方向也是就是你要很密集的去看论文然后和你所敬仰的这些researcher们老师们去讨论然后去形成你接下来要投入的一个方向在那个时间花够了之后你在做的时候就要很快你可能就是想办法去maximize你的GPU的utilization你自己的数据的处理速度对吧这个东西可以用AI来帮助你快速的并行也好对吧去加速它的产出你说今天读PhD在内地读在香港读和在美国读各有哪些优劣我觉得就是说现在在内地读PhD它优势就是说其实能够更快的去到工业界这个是蛮大的一个优势坏处就是说刚才提到了对它有点比较传统的师徒制也就是说它跟我们目前整一个高校学术界的考核压力形成下有一些横向这些的一些压力然后有些老师的动作会相对来说变形一些那样子的话会对学生的成长不是特别的有利然后所以这里的话大家需要去谨慎的一些去做好筛选我知道有的老师组他其实能够把这种横向纵向的压力去平衡的比较好既保证了说这个课题组能够run说学生能够有一定的成长香港的话就是说其实现在它成为一个蛮有意思的一个地方就是它跟内地融合的还是比较密切的同时呢它因为它独特的这样的一个港口的一个优势它吸引到的老师的这个profile其实你看起来都会非常非常的就是可能会更有活力一些我会这么形容这样子吧它其实有自己的一些优势当然香港这个地方有自己的一些这个生活上的一些压力然后美国这块我不太了解但是就是说就是说反馈来说就是说首先现在签证的一些问题会比较痛苦然后还有CPT的问题可能去实习的难度也变大了但是他们的好处就是说他们整一个的离硅谷离整一个美国的学路圈它会更接近一些有没有什么样的画像更适合去美国读PhD什么样的画像更适合在内地香港读PhD我觉得去美国读PhD的话就是说首先你可能不能特别喜欢吃东西每次美国同学回来都是要大吃特吃一番的你要耐得住美食的寂寞当然就是说你喜欢这种觉得是文化氛围的也是大家会有偏好吧然后内地和香港的话就是说更重要的就是说你能不能在一定程度上有一定压力的情况下去balance好很多事情如果你能够handle好这些事情的话我觉得还是现在其实留在内地和香港都是一个非常不错的一个选择现在PHD们聚在一起聊的最多的话题除了学术是什么就是package其实现在就是大家会焦虑尤其是我现在可能final year了找工作了可能在junior一些的同学们大家还是会在思考说一些research的问题说什么方向更值得做一些或者说他们会很好奇说什么东西因为就是前面提到这个意义的事情他们会希望说毕业之后能够有一个非常好的一个丝滑的一个过渡因为其实可能大家读本科的时候是同学的吧然后读到PhD的时候发现不同的专业会带来截然不同的世界尤其是今天AI和非AI就是两个totally不一样的世界这个也是我时常觉得自己非常lucky的一个原因然后就是现在所谓的K型分化I型分化对吧就是说在AI的人就在那个点剩下的人然后就中间好像出现了一个很大的一个鸿沟但我觉得这个也还是说它是一个乍一看是有鸿沟的但实际上AI是一个非常非常平权的一个东西比如说原先我们想要去学习一些东西你需要去上这个Coursera需要上这个去上Stanford的课那现在你其实能够assess到的这个ChalletGPT也好或者说这个DeepSeek或者说Memo这些模型它其实它的这个知识的储备量是非常非常高的你能够用好它的话你其实能够帮助你在自己的domain里边去有一个非常好的一个效率也好或者说整一个工作范式的一个改变的所以我觉得未来不是说AI去替代这个人类或者说做AI的这帮人去拿走了很多的蛋糕而是说能够 [35:00] 用好工具的这些人或者再找一些对吧能够烧火的制人可能就干掉了别的人种这种事情是一直在发生的首先你要能够意识到说这个世界在发生巨大的这样的一个变化你去积极的去拥抱这个变化其实会需要各行各业的专家和爱好者们来去帮助模型去提升它其实鸿沟里面也有非常多的梯子其实大家是能够把这两个东西connect在一块今天教授们创业是一个特别大的浪潮对对我很好奇就是PhD们你们会怎么看自己的老板创业这件事情我觉得他为什么创业一方面就是说现在的融资的环境对吧以及说整一个大家是现在科技为导向的创业所以说最前沿的这帮researcher这帮professor们很自然的会被推到前台然后它的好处是说融了资之后有公司之后他的实体的形式他的资源能够更快的把一些东西去build up起来它会更灵活一些原先学校的话有一些funding一些限制的很正常然后他会造成说我要买卡我要招工程师我要招买数据他会很受限但是现在在公司startup的这样一个形式下他可以快速的帮助你把这些你想要要素给他聚齐然后你如果要做一些什么事情更大的project更大的一个影响力的话他是起到了一个杠杆加速的一个作用然后另外一面就是说一旦说他拿了钱之后对吧那钱也会对他有所要求那学生也就会被传达层层的这个传达到一些东西可能要做一些学术以外的一些dirty walk对吧但我觉得就是它是硬币的两面它给你了更大的资源你要利用一些资源你是需要付出一定的代价的那就是大家去trade off好这个不同的阶段的这个需求其实今天很多在学校里面的问题就是没有算力没有资源因此也有一些人开始觉得我就不读学系了我直接去公司你怎么看你觉得今天在理工科或在AI领域还有必要读PHD吗我觉得就是说你去怎么去衡量说这个PhD他的这个你对PhD的期望是什么如果说你希望读一个PhD以此来进入这些所谓的大公司那我觉得他是没有必要的因为你本科生也可以去嘛像那个Jason Weil对吧有很多我们认识的OG的研究员他们其实就是本科生甚至高中生对啊甚至高中生然后我觉得这个事情就是说他不是因为有PhD的位他才能去而是说他做的牛所以他能去degree决定的但是另外一方面我觉得如果说大家希望有一个比较完整的一个时间你可以相对来说没有特别大的压力对吧你某种意义上我们是脱产去做一些你想要研究的一个事情你对这个世界所在的这个领域有一些好奇心你有一些问题然后你不去做可能别人是不会帮你做的那你你其实是去满足自己的好奇心的过程然后在这个过程中你可以培养我们前面提到了很多的你可以补一些知识学习一些如何去maximize你的impact这些skill的过程我觉得你把它作为一个一段特别特殊的一个旅程去回答你的这几个问题的这样的一个事情的话我觉得它还是很有价值的因为你想人活80岁你读一词第五年好像也不是很那什么我们再来聊点别的因为我们录播客的时候也是快年底了最近的嘉宾我都会问一个问题就是2026年这一年下来有哪些AI带给你的aha moment我觉得整一个agent的范式的这个被推到前台其实还是一个呃至少对整一个它的这个不像R1的那种aha moment但是它是对整一个社会的形态的冲击其实我觉得还是挺让我们感受到一个很大的震撼的我坦白来说我最早做研究的时候我们那时候最早做的是分类任务就是一个句子它是positive还是negative完之后模型强一点能做机器翻译然后到能写一些作文然后今天你用agent这套东西可以让它equip了这个tool之后对吧它可以很自动化的帮你做非常多的事情现在大家像也都会用很多的这样一个agent的产品然后这个东西就真的使得说一个machine learning的一个东西它能够有了这样的一个脚手架之后能够帮助大家去触达生活的各个地方的角落这个事情还是非常exciting的一个事然后我们能想象的就是说它现在digital world已经有非常多的能力了它在下一步会走到physical world来这个时候又会有催生出很多的一个火花我觉得这个事情是非常值得期待的所以agent是一个然后还有其他的吗还有一个我觉得你可以说我们的直播我觉得在我们早期训练的时候就觉得它其实有点像R1了然后你会发现这种非常大规模的R1的时候能够带来非常全面的能力的提升咱们把后训练 [40:00] 拿出来直播一开始是一个什么样的想法呀就为什么想到去做这件事情这个我觉得就是说是整一个因为现在有一些rumor 有一些讨论嘛然后这个事情我觉得其实对整一个中国大模型的这个形象它其实都是非常不利的然后我们其实是希望说能够用这样的一个直播去首先我们希望有一个正向的一个引导为什么大家不做这个RO呢可能因为它确实可能有一定的难度会有很多的事情要做你的infra你的数据的要求都很高大家一些信心就说这个事儿他确实是可以做的然后以直播的形式告代一下对吧你能看到就是说我们在一个非常decent的一个方式很透明的一个方式告诉大家说哎这个事情可以做并且它的效果也很好然后呃这个事情我们是希望有一个这样的一个呃正向的一个激励同时呢我们也希望就是说配套就像我们提到就是说把一些该开源的开源了当然我们也希望通过直播来吸取一些feedbackTunzout确实也有一些我们做的不好的地方我们就把它吸收改进做的好的地方我们就去放大就是这样的一个初心这个直播放出去之后你们收到最多的回复来自国内来自国外分别是什么国内大家特别关心花费的费用因为你们把金额直接挂在直播的页面上所以大家点开网页看到人民币在燃烧这个是大家刺激比较大的一个东西然后另外一块国外的话大家还是对于我们的透明程度还是表示比较震惊的然后有很多推特的评论就是说应该是首次工业级的这样的一个直播然后他们其实整一个大家对大模型是如何训练还是感觉比较神秘的但是我们把一个这样的一个大规模的训练然后整一个相当于我们Tensorboard的几乎就是给大家展示出来之后有很多Dynamics大家可以去给研究者们去做分析类似于一种金矿的这样的一个感觉我们最后再聊聊未来一个是其实我觉得最近两三个月大家讨论非常多的就是数据行业出现了很多估值非常高的数据公司Unipad 互马拉雅等等然后你怎么看这个事情什么原因让他们估值那么高以及这个生意你觉得是可持续到什么时候的我觉得固执高也蛮正常因为整一个大模型对吧其实你一层一层往下推其实就是算力算力现在也很贵以及数据还有人才三个东西没有一个是便宜的所以说他因为什么因为其实整个大模型的东西很简单说白好的数据然后solid的算法好的infra就能够带来好的效果好的数据它是一个来自于产生人类智能的源头然后现在的专家的数据因为原先的数据可以比较快速的获取一些做题类的但现在整一个的数据的生产它的复杂度已经上升了很多个量级我可以这么说然后它对于数据质量的要求也上升了很多个量级因此能够把这个事情做好的人他其实就应该能够占据整一个市场的一定的一个蛋糕然后这个估值的话我觉得是市场给出的这个答案我不是特别了解对但我觉得在我来看这个并非是一个非常过分的一个事因为考虑到未来整一个AI行业他要占据GDP的多少的话对吧那你作为它的一个燃料你应该占据多少呢然后它能持续多久的这个事情我觉得它是一个dynamic的一个过程我的一个看法是说随着这个模型能力的进步能够持续产生高质量的燃料的这样的一些数据公司它其实是能够持续产生新的价值的因为我们刚刚提到了模型能力的边界它是一个巨石状的但是你要找到那些缝隙并且能够组织好对应的一套规模化的体系设计好激励体系去把批量的做好交付这里它是对数据公司也是一个很大的挑战模型公司可能也可以做这个事情但是就会分散整一个它的精力浪费它的算力去做这样的事情其实大家在模型发展过程中想要尽快的去推进智能的前沿是一个不可逆的资源所以说大家会花钱去买这样的数据我认为这个需求是持续存在的而是说它如果数据公司它如果说没有办法去产出这样高质量的数据了之后那这个生意就肯定是做不下去的因为随着模型能力提升它产生数据的能力也会上升对吧那那个时候他的成本就会降低到非常低以至于说如果说你在那样的一个市场竞争的话你面临的这个竞争就会非常非常剧烈对反过来如果说你有一个自己好的一个规模化的能够持续的产出这种高气量燃料的这样一个排行 [45:00] PipeLine的话,其实我觉得它的优势是会被放大的。什么样的公司或什么样的组织,什么样的能力才能够让高质量的数据,这个PipeLine一直不断的持续呢?我觉得这是一个很好的一个问题首先就是说高级张就是说它始终是相对于特定的模型而言对吧太难的数据你的模型太差他是学不会的而是说我们会希望说那这里其实你就要能够定义说什么样的数据它的难度怎么定义然后你能assess到的模型是怎么样的这里其实就有一些know how的事情而另外就是说哪一些数据会更有价值最直观的就有两方面一方面是PR的价值哪一些数据做出来的demo就会很酷卷这个东西它一定有它的价值另外就是说当模型真正的学会了这个能力之后它能够带来的经济价值这两个价值我觉得是需要去做取舍的然后去balance好然后你怎么样去source expert去建立好这样的一些规模化的一些产线在模型训练的一线你看到RSI的信号了吗我觉得这个信号应该是说越来越强烈了就是RSI是一个蛮广泛的一个定义就是说你可以定义为说模型在就是最字面理解就是模型在帮助自己改进自己其实模型产生数据它也会帮助他去改进自己然后现在的大家的更specific的一些定义可能是说模型能够自己去训练自己然后去比如说有很多poster trim bench或者说一些machine learning的这样的一个bench它能不能找到更好的参数更好的算法这里的话其实就是说我觉得这里的progress会非常非常的迅速因为这个问题是well defined的那模型就是非常擅长搜索然后他可以通过各种scale compute 方式去找到一个好的路径你会看到卡巴西的虚拟两国际model 东西它的 PPL 肯定会不断往下降但是我觉得有一个能力可能是目前没有非常好的挖掘的就是说当然我也看到一些最近的工作就是说他的taste就是定义这个问题的能力什么问题是重要的下一个阶段我们需要去解决的问题的这个能力然后我觉得只有具备了这个能力之后我们才能够说研究员非常放心的去把整个端到端的事情交给他现在大部分就是说研究员大概知道自己要去往哪个方向改进然后模型能够帮助你去产出数据训练端到端这些环节上的self improvement更前面的决策现在还没有看到非常好的这样的一个提升今天RSI里面你觉得最有影响力的benchmark是哪一个这块现在也蛮多的我目前来看没有看到特别觉得exciting的人因为可能还是比较初期大家还没有形成一个非常好的一个共识的阶段当然就百花其放的一个阶段今天做benchmark的人越来越多你觉得一个好的benchmark能够冒出来被大家注意到被大家尊重被大家去想要去打榜需要怎么做这个事情我觉得我确实也有一定的经验我觉得首先就是说它一定是模型能力方面它一定是measure了一个新的模型的或者说很重要的一个能力的比如说我们之前做的video MME就是当时大家都还在做很早期的6秒钟的视频理解的时候我们把它拉到一个多小时但这个事情确实又很重要随着你agent的能力变强他就是要能够去理解这个长时间看懂一个电影然后帮助你去在各种视频里面去做这种长时间的一个分析那这种六秒到一个小时它的这个就是一个完全一个new dimension的这样的一个能力其次就是说心理能力以外呢就是数据本身的质量还是非常非常重要就是它得是use case里面来的而不是说非常artificial的一些东西就是说这个问题重要的原因在于什么呢就是说artificial的东西模型是很容易捕获的然后它就会有非常强的awareness它知道你在测试它然后它会表现的比较异常它会跟真实用户的体验会有一个非常大的一个gap第三个就是impact然后在前面做好的情况下你其实会希望advocate你的benchmark那你就要把你的易用性去做好让大家能够一键启动一键测评因为现在很多测评它是对不起测评的OK它报的分数然后有没有一个非常好的这样的一个一键启动或者说你跟主流的测评套件的适配这些东西都是类似于一个生态的一个整合帮他认识时间那么反过来别人就更有可能去adopt你的东西最后还是再回到这个PhD的话题聊一下最近我看到一个非常让我惊讶的数据是今年MIT大一新生选机械工程成了最热门的专业整个美国就四年制的本科CS的入学人数也是同比在下降8.4%就读4S的人变少了你怎么看这个问题我觉得类似于说一代版本一代神首先这个东西它可能会有很多别的因素但是如果是如此大规模 [50:00] 下降的话我觉得就是说可能junior的这样的一些coding的需求它确实会在被AI吃掉一部分但是我相信就是说大家可能不选这个专业但是大家都会辅修这样一两门课确保说OK我对整一个CS它有一个general的理解然后也会一定的coding能在AI的辅助下去做一些coding我觉得这个应该是一个必修课的一个课程那假设平行世界你有一个亲弟弟今年高三要高考然后成绩其实也挺好的是个小学霸你会建议他学什么专业我不会建议他选什么专业我的看法是这样的就是说行行出状元不需要成为你这行的top1%因为那个太累了你只要能够始终和自己比然后维持在一个相对来说比如说前20% 30%的这样一个水位每天就是说能够有自己的取得一定的进步然后我相信每一行都会有非常解除的一个成就和人才的这样的一个涌现那我们最后来送个祝福吧因为今天听我们这一期节目的我相信有非常多的这个学生或者再多的PhD然后这里面应该也有不少的同学可能现在面临着多多少少的一些这个困难呀焦虑呀这个困惑呀就是如果你送一个特别简单的一个建议给大家让大家可以每天过得再开心一点你会想到什么嗯我觉得paper迟早是会重的然后饭还是得吃觉还是得睡对没有什么大不了的吃好喝好睡好然后再写paper对对好那今天谢谢李磊很开心录这期节目对谢谢客气拜拜