OpenAI研究员翁家翌重构下一代训练架构 靠修Bug推高大模型性能上限

OpenAI研究员翁家翌重构下一代训练架构 靠修Bug推高大模型性能上限 大模型竞争的本质在于基础架构的正确性，通过优化底层Infra清除人类写出的Bug并提高迭代效率，其带来的模型性能提升远超算法或Idea的创新。 本期节目深度还原了 OpenAI 核心研究员翁家翌的成长与科研轨迹。他从小展现出极高数学天赋并践行“投资未来”的理念，在清华本科期间通过开源作业打破信息差，并独立开发出“天授”强化学习框架与“退学 Online”系统。加入 OpenAI 后，他亲历了 ChatGPT 从十几人小团队的秘密研发到引爆全球的过程，并在 GPT-4 强化学习后训练中取得关键突破。如今他选择重构下一代底层训练架构以清理技术债，并在理性探讨 AGI 挑战之余，分享了其深刻的确定性宿命论宇宙观。 翁家翌自小展现极高数学天赋，并将提前自学微积分等行为视作长期的“投资未来”；本科就读于清华期间，他通过在 GitHub 开源历年作业资料打破校内信息差、推行“信息平权”。 (0:00) 在 Mila 暑研受挫后，他挣脱盲目追求论文与直博的单一评价体系，转向深耕开源社区；仅用两周便独立手写完成主流强化学习框架“天授”（Tianshou），并开发了访问量超千万的非营利签证查询系统“退学 Online”。 (25:00) 2022 年 ChatGPT 爆发前夕，翁家翌拒绝大厂螺丝钉岗位，加入由 John Schulman 领衔的 OpenAI 核心强化学习团队，主攻 Post-training RL Infra，先后助力调通 GPT-4 与 GPT-3.5 的 RLHF 训练管线。 (55:00) 他指出大模型工业级强化学习的关键瓶颈在于修复底层系统的 Bug，并揭秘 ChatGPT 早期仅由十余人团队基于收集数据的意图低调发布，其爆发式成功远超团队预期。 (74:59) 如今他已转向重构 OpenAI 堆积三年的底层训练架构，并从内部视角复盘 Sam Altman 罢免事件与开源博弈，同时分享了自己对抗“确定性宿命论”的人生哲学。 (89:59)

OpenAI 核心研究员翁家翌（访谈中亦记为龙嘉宜）结合个人经历指出，当前前沿人工智能的核心壁垒并非玄奥的算法，而是工程基础架构（Infra）的稳定性、除错吞吐量与高频迭代能力；同时，技术团队在商业竞争与算力压力下，正在对开源与组织运作做出务实的重构。 信息平权与开源工具构建的底层逻辑 (40:00) 翁家翌自清华求学阶段起便推崇通过开源“打破信息差”。他曾公开计算机系历年资料以实现内部平权，后因对强化学习中繁琐的启发式调参和玩具实验感到排斥，将重心转向研发基础设施，仅用两周便独立写出轻量级框架“天授”（Tianshou）。疫情期间，他还开发了累计点击量突破千万的“退学 Online”免费美签查询系统。他将此类项目视作不求商业回报的“慈善”，其个人衡量成就的准则在于生命终点能被多少人铭记，这种积累也为其日后进入工业界顶尖实验室奠定了工程声誉。 ChatGPT 的诞生与高密度工程迭代 (74:59) 2022年8月以前加入 OpenAI 时，团队仅有约280人，ChatGPT 项目初期更仅有 John Schulman 领衔的十余人参与。内部起初仅视其为收集真实用户反馈的实验性对话功能，甚至拟定若五天无反响便关停。RLHF 能最终跑通，关键在于联合创始人 Greg Brockman 编写了 GPT-4 训练架构以支持强化学习，以及前谷歌成员带来的“先进生产力”——不依赖天才式算法，而是把每周迭代次数从30次提升至300次，用工程试错逼近目标。这证明相比让工程师转做研究，教研究人员掌握系统工程方法论要困难得多。 工业级后训练痛点与清偿技术债 (84:59) 工业级大规模强化学习面临极高工程门槛。由于真实人类体验易遭遇指标虚高而体验下滑的“奖励黑客攻击”（Reward Hacking），且模型采样本身开销巨大，团队往往只能回归人工交互评估。翁家翌透露，PPO 实际是先在 GPT-4 上调通才反哺给 GPT-3.5。他认为当前算法与 Infra 内部存在大量人工 Bug，“修 Infra 的吞吐量”直接决定了模型上限。目前他已转入下一代训练架构重构，推倒过去三年堆积的技术债，力图让研究员未来只需调整参数便可调度分布式训练；在此趋势下，Idea 成本过低的研究员反而可能先于底层系统工程师被 AI 建模取代。 开源博弈与商业现实下的组织平衡 面对外部对 OpenAI 走向闭源的指责，翁家翌将其归结为研发算力与融资竞争下的博弈论现实：单方面开源底层权重或核心 Infra，极易在对手跟进闭源后陷入算力与资金劣势。因此公司将“开放”的定义调整为提供普惠、免费的产品端交互。而在2023年末的高层动荡中，员工最终支持 Sam Altman 回归，表明实现 AGI 不仅依赖纯粹技术理想，同样需要商业运作、资金筹措与地缘政治周旋的综合能力，这种商业领袖角色在现阶段仍难以被技术替代。 翁家翌持有一种确定性宿命论的世界观，但选择以积极姿态应对现实探索。随着强化学习基础设施逐渐走向成熟，他在见证技术终局的同时也面临职业重心转换，对未来的关键考量转为寻找下一阶段的自我投资与个人价值。

[0:00] 翁家翌: 一个好的系统，它是不用人脑深度思考的，就一眼看过去答案就出来了。 [0:00] 翁家翌: 与其在这个地方浪费时间刷初中数学题，不如提前学一点高中数学，这就叫做投资未来。 [16:00] 翁家翌: 信息差在清华这样的地方是一个非常有用的生存工具，但每个人都应该平等地拥有这些信息。 [40:00] 翁家翌: 我那个时候对发表论文毫无兴趣，开发天授纯粹是为了给社区“卖铲子”。 [40:00] 翁家翌: 在你死去的瞬间，记得你名字的人的数量，这就是人生的结算分数。 [55:00] 翁家翌: 教一个 Researcher 如何做好 Engineering，要远比教一个 Engineer 如何做好 Research 来得难。 [55:00] 翁家翌: 谁修的 Bug 越快、越多，谁的模型训练得就越好。 [74:59] 翁家翌: 这是一个会说话的模型，也就这样吧。 [79:59] 翁家翌: 不迷信所谓天才的算法或想法，而是先把 infra 搭建好，将迭代效率从一周 30 次提升到一周 300 次。 [89:59] 翁家翌: 目前的算法和 infra 哪怕在 OpenAI 内部也绝对存在人类写出的 bug，如果能把这些 bug 彻底修干净，甚至不需要修改算法，模型性能就能获得巨大提升。 [89:59] 翁家翌: OpenAI 的 researcher 可能是第一个被 AI 取代的工作，然后是 infra engineer。 [94:59] 翁家翌: OpenAI 如今对“Open”的阐释，已经从“对其他大公司开源”转变为“对普通人开放”。 [94:59] 翁家翌: AGI 的实现不仅需要纯粹的技术，更需要商业、算力、融资以及地缘政治上的资源周旋。 [109:59] 翁家翌: 世界是一个确定性的马尔可夫过程，人类并没有真正的自由意志。 [109:59] 翁家翌: 去探索说到底自己想要什么……这个问题值得一生去思考。

[0:00] Opera很多这个model release都有我的名字这个就是因为我在Opera的内部搭了整个post trending的RL infra所以整个post trending的RL infra你是最核心的贡献者是的因为我觉得应该打破信息差信息差是一个如果你在清华深层的话是一个很有用的东西但是我觉得每个人都应该平等的拥有这个信息哪怕当时有了现代的认知那还是做不出来没有我不想发paper我觉得发paper完全没有意义方方当时说要搞一个AI lab就是后面的deep seek对我当时是拿了offer如果你想进攻业界那么读phd就是浪费生命教一个researcher如何做好engineering要远比教一个engineer如何做好research来得难每家的infra都有不同程度的bug然后谁修bug谁修的bug越多那谁的模型性子就越好哈喽大家好本期嘉宾翁嘉义他于2022年加入OPNI并且是OPNI一系列模型背后的核心贡献者从ChairGPTGPT4O再到GPT5你能看到的每一个模型月签背后都有他的声音而他的核心贡献可以被总结为三个关键词强化学习Post TrainingInfra但对我来说温嘉义不只是把模型做得更强的人在加入OPNI之前他就已经用开源和代码影响过无数人从在清华开源作业与资料试图打破信息差到开源强化学习框架添寿做出免费签证查询系统他把代码工具视作一种慈善在这期播客我们会从翁嘉义的童年聊起到清华与CMU的求学之路再到2022年加入OpenAI之后的亲身经历站在世界AI风暴中心的他看见了什么这里是WhyNotTV Podcast现在请和我一起进入翁嘉义的世界Hello嘉义欢迎你来到WhyNotTV PodcastHello这个我觉得这期很奇妙的一点就是我在给你准备这期的outline的时候我用的是GPT5的Deep Research然后这相当于是你自己在背后作为核心开发者的产品和模型然后他们自己在做deep research想这些问题采访你是背后他们的生产者是他们的developer我觉得这个是一个比较奇妙的闭环今天我们会谈到很多部分从你的童年成长清华的本科经历到CMU读研再到2022年加入OPI至今的所有的核心开发的经历我想先从最早你的童年开始能不能跟我讲讲你觉得你小时候是一个什么样的小孩我小时候特别喜欢学奥数奥数对我从一年级开始就开始学奥数就是因为开始的时候我爸妈让我去听了这个进修校的一个奥数课跟语文课然后我对语文完全不感兴趣但是我对奥数就非常感兴趣然后我就进去了然后从一年级开始就一直上到六年级然后初中也是然后我发现就是我做数学题做的比谁都快小学的时候对小学的时候就是比如说别人口算题像二年级的时候口算题可能还没做完就是可能写到一半然后我就已经做完了就是那种不用过脑子的可能因为现在时髦话说就是System 1对直接表层意识直接过然后直接看一眼出来答案内容然后让我做数据题非常有成就感因为我觉得我是一个学习还算相比于其他人算比较偏慢的人怎么说呢就是学一个新的东西我经常要花别人两到三百的时间但现在其实还是这样就是比如说我读一段代码我就需要比别人花很多的时间去理解整个内容整个context然后但是我一旦理解之后我用的就非常快有个不太恰当的例子比如说我小时候经常不是要背书背一个课文然后我在睡觉之前我想尽所有方法然后能够磕磕巴巴的完整的背出来然后哪怕有很多停顿然后你只要想起来都好然后睡一觉然后第二天醒来发现倒背如流我当时想法是因为我需要花更多的时间所以说我需要比别人提前学东西所以当时我就是在初中的时候开始干高中数学然后直接问初中的数学老师是我各种高中数学的一些问题然后他也非常热心回答我然后我也非常感激 [4:59] 初二的时候就已经把高中啃完了然后初三就开始学微积分数学你一天生就觉得你做的快然后比别人都快但同时你又觉得你学东西慢我感觉应该就是我需要更长的时间构建我的支持数就是正常来说这个支持数是比如说有个根然后往上拓展然后再往上拓展再往上拓展然后好几层然后你每一次比如说拿最顶层的结论去应用到这个题当中然后你要从头到尾过一遍然后你要慢慢想出来但我可能就直接建立一个链接shortcut然后直接上去然后就不用反应了所以你是从小就意识到我好像比别人更聪明没有没有这种感觉没有所以你只是说你好像你只是觉得你对这事感兴趣那你愿意提前学数学这个事的这个这个里面的核心兴趣是哪来的呃我想投资未来哦我想投资我自己的未来所以你在初二的时候你就意识到我这个时候学提前学高中数学是一种投资未来对呃对我的未来的一些学习生涯是有帮助的与其说我现在浪费时间在这个刷题上面那不如学一点对未来有用的东西然后后面的收益可能更多这个是你父母跟你讲过类似的不是我父母无所谓我父母就根本不是怎么不是怎么关心我是怎么学的但我还是特好奇为什么你初中的时候就有投资未来的这种想法因为我相信你那时候肯定学有余力对吧你为什么不去玩为什么不是打篮球打游戏你为什么想着我要学高中数学我要怎么怎么样首先是因为对这个感兴趣就是我觉得初等数学太无趣了然后稍微有意思一点的数学更能引起我的兴趣那是谁让你有了这种兴趣吗是天生的吗对数学可以算是吧或者说你还是说是小学的时候你因为这事有成就感所以你就你可以这么认为就是有一个初始的成就感然后初始的reward然后慢慢的然后你就会慢慢把这个你数学这方面的这个技能处慢慢开始点因为你每点一次你都会有个正反馈然后再点一次再有正反馈然后你就会一直在这个上面走但像比如说打篮球我试过但是没有什么正反馈就是我竟然被我摄友这个按着打然后体育我练过跆拳道我觉得跆拳道还可以但是这个跆拳道一打实战我就被对手揍着打对所以反而是这种正反馈像你本身也擅长然后你对这个也不排斥慢慢就变成了一种自发的内生的兴趣了对所以其实倒不是家庭环境而是就是你自发产生的那这是数学你初中的时候提前学高中的数学那你高中的时候为什么又对编程产生了兴趣呢我编程是初一开始的对编程是初一开始是因为小生初的时候我去了时代中学然后他是一个私立校然后但是私立校的话有一个这个编程兴趣班然后然后我然后然后就抱着玩我能理解高中有兴趣的竞赏但其实初中搞编程应该对升学没有太多用对不对是的这个事也是你自己找的兴趣班还是你父母给你找的我父母觉得这个可能对我挺有意思然后我就设施然后我觉得还可以好那我们聊你高中高中我觉得其实我最感兴趣的是你OI省选NOI的经历能跟我们讲讲吗为什么要搞晋赛呢因为升学压力还是有的你如果不搞晋赛对于非北京的人员来说想象清华北大是非常难的难如登天所以当时是因为升学压力搞的OI是的大部分是因为升学压力因为我之前就已经在搞数学竞赛跟OI了然后我高一的时候其实花了点时间去做数学竞赛拿到了一些还可以的名字但是如果再往上的话就是数学竞赛的升选然后我们学校是没有那个基础的然后自己学也很困难所以说我就放弃了并且我对这个再往上的这个就审选往上的数学体育我觉得我非常困难因为我没有那么早的去接触然后我觉得学习起来非常累你说你哪怕初中就开始学高中数学都不够早初中开始学高中数学竞赛 [9:59] 爱可能够早一点对我没有那么提前对所以说我掂量一下还是放弃了你就搞OI新技学竞赛搞OI了能跟我们介绍一下靠新技学竞赛然后升学这个一般是要经过什么步骤先升学然后是什么样的流程先NIP然后就是相当于一个普及组不是提高组NIP提高组的一个这个省里面的一个选拔赛差不多是10月然后后面是弄完是每个省都有每个省不同的选拔标准要选出来省队去参加国赛然后省选的话福建是有两轮一轮在寒假然后还有一轮在四月份然后选完之后然后就是五六月应该有一个清华或者北大夏令营可以二选一可以拿一些这个优惠条件至少当时是这样的然后是在7月到8月去搞NY的国赛那给我们讲讲你在这个过程中是怎么样的第一轮第二轮第三轮这个NYP还好吧这个NYP就是已经因为这个从初中开始搞的所以说还好然后省选高一的时候连省选都没过就是完全不会做几乎不会做然后高二的时候会做一点点就是会乱搞然后会一些这个方法就比如说有一题叫最小双元覆盖然后我当时搞出来70分我刚刚好像是全场最高因为我做出来这一题后面就是进了省队但是进完省队之后后面的清华下的演员感觉还可以就是拿到一个降60无条件降60有条件本一线这个怎么理解就是高考的成绩直接会给你加60如果你没有保送的话然后如果这个线过了清华当年的陆许线那么清华就会要你然后有条件本一是说如果在NOI比赛里面考到了前150名应该是银牌的线那么就有本一如果你只要高考的成绩过了本一那么就无条件入取但是如果你是金牌的话那你就连这个都不用了你直接保送你当时拿到NOI的有条件本意了吗Unfortunately没有因为就是这个又是一个黑历史就是我是当时的福建神队倒数第一福建神队就只有当年只有一个铜牌就是我然后剩下的人都一牌以上这事的失利对你的升学有影响了还是有挺多影响因为我当时毕竟高二下半年没有搞文化课然后我对于我的未来也不是很确定我不知道我到底能高考考多少分有些之前的例子比如说像有学长把60分加分全部用完了然后就真的是一点都不剩然后我觉得万一我也这样怎么办就很危险然后我对于这种不确定性非常害怕但是想想我觉得呃我应该也没有那么差了然后还是还是就咬牙选了这个降流石所以你当时另外一个选择是更保险一点的呃更保险的一点就是直接可以在恩爱现场然后签一个上海交大的本一线录取所以当时这个是一个很艰难的决定了也还好吧就是主要是首先心态方面这个当时毕竟很很难过然后对未来不确定性呃就是自己感到很害怕然后但是这个家人鼓励还是让我选择了这个选这个清华六十那当时是不是弄完OI搞完竞赛之后到搞三你就不碰这些东西了就all in高考也没有就是会可能会偷偷的捧就是像比如说我觉得我对这个代码的优化有特别的追求就是我会我当时甚至练成了就是比如说在那个iPad上面直接因为Safari它是没有代码编辑器的然后我就直接这个用iPad键盘直接罗打然后直接教我然后没有编译然后那一段经历其实我觉得也很锻炼自己的思考能力因为它需要你对于整个题目或者整个逻辑有个完整的认知然后哪里错的你要能快速的定位到是哪里错的 [14:59] 然后它会很锻炼你的反应能力然后我觉得这个对于我来说是一个很好的锻炼但对你来说当时其实不需要这种锻炼是的只不过就是自己很感兴趣就比如说当时OI还有一个叫常数优化就比如说有一个算法虽然时间复杂度可能都是n平方然后但是11的它的前面是带来一个常数的然后OI的评测都是会有结果就比如说按照跑测试点的时间来排序然后跑最快的那么就排第一然后如果跑一样快按照代码长度的长短然后所以说我会同时optimize这两个指标然后刷这个东西就感觉很有意思虽然说没什么用但是很有意思你真是搞这个的圣体因为你真喜欢这个东西从中能获得快乐对那我们来聊聊清华如果我跟你说你在清华16年开始读本科你直接跟我说有没有什么现在想起来哇特别比如说大一大二刚进去值得回忆的事第一个扶上你脑海的是什么真有的话就是我我把我所有的作业都开圆了因为不同的人对这件事情有不同看法像比如说有些学长学姐是比较反对这件事但是我觉得我应该做这件事我当时做一个把我所收集到的所有的上股作业上股材料然后全部在GitHub上开源了除了那些有版权问题都没开源然后剩下的没有版权问题的都开源了为什么因为我觉得应该打破信息差信息差是一个如果你在清华深层的话是一个很有用的东西但是我觉得每个人都应该平等的拥有这个信息你现在回去你现在回去随便抓个计算机的学弟问问这个你认不认识这个捐这个新系楼的人哪怕他把他的名字放在系楼上面你认不认识他不认识你认不认识温嘉义应该认识因为毕竟这个大家都看我的作业活着这个比Geno有用此处弹幕应该闪过加一如果我用过看过你的作业就应该在这时候发个弹幕了但为什么你会把你的作业开源这里面本质为什么和信息差有关系我想打破这个信息差就是我不想让后人重逃覆辙就是经常疲于奔命就是很多人其实他不是很常常搜集东西的但是他其实很有能力的但其实就如果能够给这些人有一个信息平权的机会的话他可能在新华会活得更好所以你的信息平权是指知不知道往年的作业这种信息和学长学姐问过以前会考什么重点这种信息以及作业以及老师没有规定不能放出来的作业不然的话你会经常会花可能十几二十个小时然后你又不敢问助教然后你就不知道怎么做然后你就会花一些巨大快的时间然后去一直在钻牛角间然后反而对整个学习是很没有帮助的收益很低但这样的话如果我当时觉得如果我把我自己的作业开源的话那么我可能会帮到一些这样的例子然后可能会帮后面更多的一些学弟学妹用更多自己的时间来去做他们更想做的事情而不是做这些比较浪费生命的事所以你这事做成了现在你的作业应该在清华已经成为一个很广为流传的Github repo是的那这个之外呢我看到你应该大一大二大三多久开始入门科研这些什么时候开始的这个应该是大二吧然后后面就是就是问学长说这个有没有哪个推荐的实验室当时有就学长跟我说三个名字周军老师然后唐吉老师还有崔鹏老师我默认这个按排序按按照每个人牛逼程度排序但可能不是这样的但是我当时就是按照这个这个排序对 [19:59] 你以为先后顺序对对我以为先后顺序然后就报了一个计算机的学术新兴计划然后后面应该是全录取了然后我就选了朱军老师然后大了的时候我就跟朱军老师先见了一面然后问说有什么方向有三个方向贝叶斯对抗生存网络就干还有一个强化学系对就是三个方向然后我当时其实想搞的是干我觉得这个图像非常有意思但是我不知道哪个是干然后我就选了RL什么叫不知道哪个是干我当时真的什么都不知道我就是个小白对然后我就误打误撞喜欢RL没有什么特别的就是我觉得我觉得RL应该是搞那个图像的东西就这样对所以是个相当 random的对是的是的是的但是后面搞RL发现这个是个打游戏的东西觉得挺有意思的然后就一直搞下去了对但是实际上就是我最开始想法是我其实有三个大的方向我其实都挺喜欢的一个是人工智能就是AI然后另外一个是图形学还有一个是网络安全网络安全我觉得这个hacker非常酷我在大学的时候其实业余时间也搞了很多网络安全的相关的东西然后还给学校修了不少的这个校文网的bug比如说比如说修了一下免费下成绩单的一分钱下成绩单的事就是成绩单下一次要10块钱我跟另外一个学长发现了一个bug然后可以一分钱也可以不要钱下载然后后面下载几次之后然后把这个bug给修了直接反馈给学校教育部门所以你是很享受这种hacking的过程所以网安是一种hacking其他的呢图形学的话我感觉也是个hacking对现实世界的hacking就是你可以以自己的视角去构建你脑中想象的场景然后这样会让你觉得你是上帝你是神我其实当时最感兴趣的还是图形学因为我在初中的时候看过电影叫TronTron就是创战绩的它是一个科幻片然后它的电影特效就非常厉害然后就把我当时看得非常震撼然后我想如果有一天我能做出这种特效或者说我可以像Tron这样构建一个自己的虚拟世界那是我觉得我就圆满了对然后我觉得图形学是时间这个的一种手段对然后所以说我当时就特别感兴趣图形学然后我在大二的时候就上图形学然后我当时就是因为特别喜欢所以说我花特别多时间去做图形学的大作业然后当时应该是拿了全班为二的A价对然后发明了一个新算法能够减少迭代收敛的次数以及用了一堆的三里来跑的就算一个巨高清的图应该是16K的图然后当时在我之前是完全没有人选一个16K的图的并且16K的图完全没有造点当时那么感兴趣图进去后来继续下去了吗没有因为我觉得如果你要搞科研的话还是专心比较好不能交太两条船因为你当时已经去我已经去朱英老师那有个项目是搞WizDomeDome是一个差不多90年代的游戏当时是有一个比赛想把这个用一个神经网络来去在一个固定的地图里面然后把这个游戏打通关就是有个出生点有个有个终点然后你要去在这个地图里面去杀怪然后去捡血包然后避杖然后去最终到这个呃终点然后去通关所以这个其实是你强热学习的入门第一个project是拿了冠军是所以当时你是很享受做强热学习科研了没有我也 [24:59] 很不享受因为首先这个task这个环境太过于单一了然后你要疯狂的去overfit然后你要用各种技巧防止他训练的时候崩了以及你其实训练没崩然后你也不知道你怎么调三三的调队这个是真的练单这个比CV来说它的调参难度可能要难上10倍100倍然后都是选选你必须要用一些非常heuristic的方法去避免一些cronor case所以你当时就意识到那段时间的RL研究全靠heuristic的调参是的就是改算法其实没有那么本质然后因为我当时的任务过于单一了然后大部分情况下都是不能work的当时的任务第一个当然是VizDOOM那后面是不是就什么像Atari,D-mind Control Suite我觉得Majoko跟Atari要比VizDOOM还单对Vizum算难的了但是在这种case上面就对于人类而言它是一个简单的task但是对于RL而言它是一个非常难的task因为它需要大量的知识需要就比如说这个什么是障碍物这个对于人来说这个不需要反应的但是对于RL来说或者对于AI来说这个是完全两个不同的难度对对所以你在当时就是很清晰的认知认识到环境太单一算法不是平静这个是你做中你就会发现就太多挑战太多对所以说我不是很享受这个科研的过程然后我会就是我有意识的把我的重心放到了如何帮助这一类的科研更顺利进展的过程上所以我会呃就是在Dust的时候我会想着这个造一套这个Rio的infra嗯呃或者说Rio的小小library能够更方便的让这些想在这个领域卷的人去卷对啊这样的话就是呃我觉得我非常擅长这个事我非常擅长类似软件工程的这个方面的东西然后可以重择代码让代码看得更好更好用然后用户体验做好但是至于这个东西怎么调我非常有这种生理上的反应你不是不擅长你就是不喜欢不想排斥做这个事是吧是的这也就是你大四做天授天授我们等会周中聊所以你大二开始搞科研搞了Visdom然后到了大三是不是面临一个申请鼠言当时是什么样的节奏和状态申请鼠言为了还是为了大四的申请然后发了一堆的套词信但是也没有什么结果然后后面还是我的导师帮我联系的联系到了Yosha Benjo然后我就过去了对其实我那段属言做的也没有那么的成功我们当时的是在Mila对是在Mila当时是19年的暑假19年的暑假的时候首先Yosa是19年的应该是4月还是5月拿了图灵奖然后我是在那个之前生的所以还好然后后面的话就是Yosha给我跟带我的postdoc的任务是做一个类似于MOE的东西MOE对当时还没有MLP的MOE是的首先这个跟RL没有任何关系其次这是纯language model就是transformer然后并且当时没有MOE我们不知道MOE是什么怎么work但是它有一个MOE的idea就是有一个router然后可以选择不同的path然后让我去实现所以他招了一个做RL的人去做NLP是的我觉得很奇怪但然后我需要花我不擅长学东西然后我花很长时间去入门Transformer NLP这个东西然后看着搓一个东西但是搓一个东西出来也没有什么好效果然后因为现在回过来看你这个东西要work首先你要有算力你要有很强的 [29:59] 工程能力然后你要scale up当时一个人就几块卡搞不出来scale up的东西所以说你肯定搞不出来哪怕翻向是对的那你也是搞不出来的但其实你有没有觉得好像冥冥之中命名就是在把你往openAI现在的这条技术路线上推你先搞了RL然后又是要让你搞NLP这两个pieces你全部做冥冥之中你就在openAI之前你就全部都有过进入你要真这么说强行这么说也可以就是马后炮是没有用的但当时其实我知道你完全get不到未来所以你当时对NLP什么看法在经历了那个数量的时候我觉得NLPTask都是太分散了然后当时其实很多人就在想如何把RL apply在language model training上面因为当时这个问题是还没有解的因为Transformer直接在强化学习上面跑的话它会崩,它很容易崩然后大家都没有想出来这个东西到底该怎么防止它不崩然后后面证明了你的环境要是一个纯的环境然后你的reward需要一个是一个很强的reward什么叫纯的环境比如说text only纯文本之前大家做的不纯的环境是比如说你用transformer做一些atari decision比如说你把图像弄成一些embedding但是或者说你把这个Atari的这个内部的游戏的这个信息结构化表示然后塞到Transtormer里面然后再跑对而且Transtormer是一个这个随机数据化的Transtormer我当时首先我没有足够多的context我对于这个领域没有足够多的认识所以我做起来就是非常挣扎这个我觉得我如果现在回过去来直接来帮助我当时我可能还是这个样子你是觉得当时就处在一个怎么都不可能把东西搞work的一个是的因为算力不够然后对于当时的一些认知MOE的认知也不够然后你哪怕就这么说哪怕当时有了现代的认知那还是做不出来因为engineering不够然后ampute也不够对受限于当时的资源就是做不出来那当时可能数研结束了然后就回到清华开始准备申请当时是什么样的状态会压力很大吗其实挺整个人状态其实不大好因为储言没搞出来周围的同学比如说去Sanfer去CMU储言然后都搞出来很多东西然后发paper都有ezo paper通常来说你是要发个ezo paper的不然的话你会被别人刷下去这个就很简没有办法所以说我做完书院然后其实只拿一个推荐信但是我也不知道推荐信里面起的什么样然后就是挺没有底的这你结果怎么样后来我是对着PHD申请的但是我只拿到Master因为那个时候我大二你申请的时候我应该刚刚刚刚大一大二然后每年支户上都有那种194你的申请结果怎么样204当时我就看到了你的回答然后我印象还挺深刻的当时你就因为我看你履历说图领奖强推怎么怎么样结果最后当时看到你申请结果不好就没升到PST当时我觉得哇竞争这么激烈你自己作为当事人经历那样的申请记忆对你来说是一种挫败吗可能还有一点吧但是后面来看也还好就是首先我在当时的那个环境我确实会很大程度上受当时的小环境的影响PHD是要比Master好的这个应该是整个清华内部的那种氛围那种比较是的这个是没有如果你身在其中你是很难摆脱这个影响的然后即使是国外的PHD跟Master跟国内的PHD跟Master都是一样的就是PHD要好于Master因为大家会有一种 [34:59] 固有的认知说学历越高越好对于今后的发展会更好但是很多时候这个是不成立的真的取决于到底干什么然后当时的话我确实是有一点失望的然后我其实也花了一段时间来调整自己然后后面觉得我一直以来应该都是想做一些让自己与众不同的事情就是说你当时在可能在尽力的挣脱出固有的那种评价体系是的我一直以来觉得GPA不是唯一的一个评价体系你需要自己在大学里面找到适合自己的评价体系然后为这个评价体系去奋斗去让自己开心你即使在GPA拿到第一那么你可以跟往年比一比跟其他学院比一比跟其他学校比一比反正有的是人他并不能说你有多么好我觉得应该这么看就是从一个需求方向角度看就比如说如果你的最后目的是找工作那么找工作的人会看中什么他会看中更看中你的相关的经验他不会那么看中你的GPA因为这个对他来说没有意义如果你是有当前这份工作很匹配的经验那么其实可以抵好几年的工作经历哪怕你是一个new grad都没有问题因为招人最主要的目的是招战能用能干活所以你在本科时候认识到这一点我在后面认识到这一点就是我在master的时候认识到这一点但你本科其实还是在评价体系下面我本科我尝试挣脱评价体系但是我挣脱的一点还没有完全挣脱出来那一点是什么我意识到了应该要创造自己的评价体系而不是用其他人提供的评价体系我采用了非光荒的评价体系就是我的导师给我推荐的评价体系我一直记得这句话就是计算机系的评价体系就他认为的有三个指标一个是论文一个是比赛还有一个是Github的Star三位数以上然后我觉得这个是确实是有意义的因为他给我了一个完全不一样的想法就是不一样的领域我其实可以在开源社区搞一些事情然后让我有一些跟别人与众不同的地方这样对于自己的长期的发展是更好的而不是说你就是花很多时间去学GPA就是刷GPA这种事情这个我有同感我觉得我在本科的时候我也是很早我就意识到GPA特别是本科的GPA是一个三年之后四年之后你都不用写在简历上的东西但是呢那三年四年里面的本科生又不得不把自己百分之八九十的精力放在这上面因为无论你是找工作还是申请出国还是要保研都是看GPA你是怎么处理这个矛盾的就是一个三年内重要无比的东西和一个三年之后完全不重要的东西我会最低限度的投入投入就是我会花时间最低限度的时间来让他达到我想要的这个要求这个标准再往上一点我都不愿意投入对多一分都不想花时间对多一分都不想花够用就行了就是你这个其实挺简单你就算一下就比如说在期末好之前算一下你现在已经多少分了然后你就可以安排一下这个考试到底要不要复习对比如说你觉得如果现在GPA够了你宁愿那个课考60分你就不管了是的我一直以来都是这样对然后可能60分不太够就是比如说这个87分87分是必加然后这个我就很满足了对你觉得你挣脱了这种吗因为比如说你出国这种选择是那种评价体系给你带来的是那种氛围给你带来的不是当时的氛围其实已经是就是在国内读书比国还好1819年 [39:59] 19年已经是了就是差不多清华会有只有20%左右但我们那节更少因为COVID然后只有5%去出国你应该是19年12月申请期对不对所以你应该是还在等offer的时候就COVID了对然后你应该比如说拿到offer之后美国领事馆就关了对你还是坚持要出国是这个是个很难的选择因为当时应该是有COVID有疫情然后国际政治局势又很动荡你个人的未来还要和这两个气息相关对那种不确定性下你当时是什么样的状态我觉得我当时可能更专注于手头上的事比如说在家里写篇手在家里写退学online写Visa插询系统我只是把转移注意力不要天天去关注一些宏大的国际叙事而是专注于手头上的事情这样可能让自己内心更平静一些好我们就聊聊那段时间的两个项目第一个是天兽第二个是退学online我们先聊聊天兽吧天兽刚刚其实你已经讲了天兽你说动机是因为你觉得当时环境太overfit了然后RL其实算法的创新没有那么重要反而是这个infra或者说这个好的implementation跟我们讲点为什么做天兽其实就是首先我在19年12月我就有一个很内心有一个强烈的冲动就是说我其实引起了很多的RL的一些实验的代码了我为什么不把它整合一下然后让自己的实验跑得更好这个是出发点然后我在二月就20年二月份的时候一月放假然后二月就看了一下这个RLib的代码就是在ray下面的RLib然后我本来第一步想的是用RLib来看看能不能改一改然后来去支持我自己的实验然后我看了一个月太复杂了抽象太多了然后这个这个这个一个AutoLeap有快几十万行代码然后就是完全不给人接受然后我就根本不知道我要改的东西我该怎么实现然后然后就决定不干了就直接重新收入推导重来对推导重来我特想知道就是你当时做这个事其实还有功利的考虑吗因为很多人那段时间就是想做一个blah blahpolicy optimization的Newerps paper没有我不想发paper我觉得发paper完全没有意义对我们讲解为什么为什么你已经挣脱出这种评价体系了首先我已经有paper了我觉得多一篇少一篇对我来源没有任何意义然后并且我申请已经够用了然后比赛我也有了GitHub三位数可能算有就比如说我自己搞那个课程repo但是那个是不是正儿八经的我还是想有个正儿八经的三位数好那就是天寿当时看了RL Live之后不好用然后你当时对Paper没兴趣但你的开源代码是很有兴趣的你对一个好用的能够推动这个领域前进的一个开源代码非常感兴趣做这个事有多难当时做天手很简单两周只要两周第一版一版有什么算法好多算法就是你对着那个就paper实现一下就好了OK对就是如果你把抽象搞对的话那么时间算法可能就是20行不到20行不到一个算法那为什么你两周就能搞出来一个第一版RULEAP能写几十万我觉得可能是因为它最开始设计有一点问题然后因为可能像合作的人多了然后大家都往里面贡献代码然后之后就变成了项目整个项目会逐渐的腐化所以你是一个人首录的对所以这种一个人高效的迭代然后做好一个顶层设计之后就去执行对你觉得反而会迸发出更大的力量是的就是我觉得代码可能或者说一个项目更多的有用的东西是consistency一致性如果这个项目是从头到尾都是一致性的话它就是一个好项目像比如说很多项目的腐化都是由于不一致性就比如说两个人 [44:59] 或者说10个人10个人的话就是每个人写的电话但是每个人其实都不太知道对面到底写了什么东西然后有一些assumption有些假设就是没有办法去及时的传递然后会导致比如说像这个代码在很多地方去复制粘贴或者说一些不好的行为然后不断导致这个代码越变越膨胀然后去腐化你觉得当时天兽一炮而红可以说挺受欢迎的你觉得天寿做对了什么事我觉得他抓住了用户需求就是researcher或者说当时的科研的干活的人其实都有一个需求说有没有好用好改的二流的框架他能直接用然后因为天寿整个代码短然后抽象做的还可以就是你知道如果研究一下然后你会发现你如果改这个地方就一定会对而且只有这个一个地方能够改并且就是如果你要支持你的这个feature的话你只有改这个地方才能支持别人想改什么地方你的设计已经把它设计好了你就只能改这是的然后像应用性做的还可以然后想法什么算法都有所以当时PyTorch第一版是你一个人写的后面他们会慢慢变成一个更多人的project了吗他就变成一个开源的东西了还是组内在维护变成开源的东西组内其实是没什么人来维护对就是直接open source的那你是怎么避免天寿不发生你刚刚所说的很多人在一起只有不consistent这种腐化的问题初期的话是因为我有足够的时间所以说我可以一个人把所有东西全部包了然后这个肯定是consistent的虽然说这个现在看来不太好对于长期发展不太好但是对于当时的海术还是够用的然后后期的话就是因为我的重心因为我入职之后可能就没什么时间了然后我会直接转移给把整个维护权转移给社区的人然后如果他们觉得是对的那他们就做就是如果有一个拍板的人那么这个事情应该就是consistent现在看五年了天寿成为一个社区的first你说现在浮宽了吗有一点确实有一点因为我的context跟继任者的context还是有点不一样的所以说他会重写我的一份代码我们俩其实没有那么的consistent所以说还是会有一些腐化的问题但是我觉得长远来看这是可以接受的第二个project我也是用户退学你为啥你不是当时我大二吗但后来我鼠颜对我鼠颜的时候也要跃成然后当时也是需要找最近的时间然后对当时为什么做这么一个这么一个事我自己有需求就是跟这个做天授差不多就是我觉得我的需求我应该我找了一圈我不知道有什么东西能够满足我的需求所以说我就手录了一个就是不然没有办法因为当时你应该处在一个一会儿这个临时官那个临时官对啊然后迟迟的知道是哪有签证的然后我觉得我有这个需求就像比如说最开始我有收集上古学长的这个作业的需求我觉得很多人应该有这个需求所以说我就开源了然后我有查签证的需求然后我就写了一个签证的帕虫然后我就开源了然后直接免费给大家使用这个很受欢迎我昨天晚上看总点击量100多万当时就100多万现在可能1000多万但是很早之前就已经关了因为COVID过了之后然后也没有那么多需求了所以并且美国领事馆升级了网站然后当时的爬城用不了然后我也没时间写了所以他完成了他的使命其实某种程度上这俩都不是太功利的project对吧第一个你也不是为了申请那是已经发生在你申请之后了你大可以那段时间虽然说COVID不能旅游但是你大可以干点其他的放松的事对啊是啊是啊然后退学也是一样对吧也可以自己弄完之后所以你还是有一种 [49:59] 很内在很强烈的冲动想要去创造一些你觉得有用的自己需要的事然后把这个东西分享给所有人是的就是我想做一些就是呃能够这个产生影响力的事情就是哪怕是亏钱也行嗯就是比如说做慈善呃我觉得这个做这个这个天寿跟做这个退学online都是做慈善嗯对就是完全non-profit然后做这种慈善项目让我感觉非常满足所以相比钱其实impact会让你更满足你觉得你对impact的这种追求多久来的高中的时候高中的时候为什么会和impact相关系可能说来有点奇怪就是我高中的时候突然某一天高三的时候有个idea突然从我脑子奔回来有可能是未来的某个时候往过去的我发送一些信息然后我意识到一些东西就比如说如果人生是一场游戏的话那么你的游戏的解散分数是记得你名字的数量的人没了那意味着什么意味着你需要被更多的人认识所以你是高中突然有一天你就意识到这个东西很重要我想要让在我死之后在我死的那个瞬间记得我的名字的人越多越好直到今天你还是以这个读栏标准可以算是那我想再往深的问问为什么这个重要呢我当时不觉得这个很重要但是我尝试了几次发现确实是我想要的东西就是如果我的做的东西能够给他人带来好处的话那么我就是首先我自己认可我做的东西其实他人也认可我做的东西然后我会从他人那边得到一些正反馈这个可以说直接和名望名气fame打发的吗不太行因为有一些名望名气可能是不好的就比如说你坐上了什么位置那你确实很有名望但是实际上就是这个名望在别人看来可能对别人的收益可能不是那么多就是有可能是负面的我想要的是那种当然我觉得你不可能对所有人都好这个是个很难做的事情但是我可以尝试的利索能及的对我身边的人好做一些对大家有意义的事所以这个度胆标准是做一些对大家有意义的事让更多的人记得你对如果我要挑战一下这个观点我会说那你为什么不自己过得开心就好了你为什么需要别人记得你你觉得想让别人记得自己想让很多人用你觉得你造出来有用的东西这个冲动本源是什么是你害怕被忘记吗不是我觉得人生其实也可以算作一种体验你既然都已经来到这个世界上了你为什么不就不要浪费的这段旅程对但是为什么不浪费这段旅程得让别人记得你我发现这有一种很有趣的张力因为你刚刚第一点说你想挣脱一些外部的评价标准比如说GPA比如说高考或者怎么样别人觉得PSD比Master好但另外一方面你给自己的内生的intrinsic的标准又是外界的对你的认同但这个认同并不是官方的认同就是不是既有评价体系的认同是共识OK所以你想要摆脱的是现有体系和成规的那种评价体系但你更想要的是每个人发自内心的给你点赞是的所以这个点赞可以变成你的GitHub的那个Star可以变成退学的点击量可以变成比如说你现在Google scholar的citation也可以变成你现在open AI的model每天做多少次inference你会担心你的这样的标准会变成新的一种成规吗可能以前 [54:59] 上一辈的人是拿GPA评价年轻人那当你成为再上一辈的时候你就拿impact评价下一辈的年轻人我只是对我自己这么要求的我不会对别人这么要求所以你并不觉得你的标准是可以放置四海而皆准的是的所以你不喜欢那种被外部的标准推着走是的那会不会出现你自己的标准推着你走的这种情况了目前还没有吧就是你如果发出现这种情况你可以改你可以改自己的平常标准所以你虽然你有你的标准但是你不是这个标准的奴隶就你有你impact的标准是的你不会为他所困对但比如说我其实在很长一段时间我其实都没有这个开训项目了但是我也不会觉得这个是一个很困扰我的事情我倒觉得不担心我觉得open-end model就是最好的某种程度上你可以这么认为对因为评价体系是一个很简单直接的操作能够快速的下选人所以说他社会发展方式就会收敛到这种策略上所以说短时间内是无法改变的哪怕你是这个评价体系在绝大多数人看来你都是胜出者和受益者其实你也不喜欢这个评价体系是的其实应该更个性化更个性化然后在一个风雨飘摇的疫情的那段时间你申请到CMU应该本来预计是应该要20年9月入学的对当时应该疫情第一学期过去了上网课就直接在家上网课一直在家上了一年对但当时其实你是不是一入学就得想着找工作的时候对那个过程是什么样的过程那个过程就是我开始的时候掉了锒锅的然后就投了应该是投了18家然后最后只收到这个Google跟这个AutoML就是陈田奇老师的公司然后当时想着如果我收到只有这两个offer那我肯定去欧卡外面我不想去Google因为去Google没什么意思这个意思是怎么评判的呃就是你在大厂当螺丝钉然后做一些自己不是那么喜欢的事就比如说前后端然后后面就稍微想明白一点然后后面就再去面试然后拿了当时的广方广方当时说要搞一个AI lab就是后面的Deep Seek对我当时是拿了offer对然后但是我没有去没有去然后你去了OpenAI是的所以其实现在看起来如果开天眼的话你当时面临的选择是Deep SeekVersusOpenAI是的所以当时哪怕是广方那个也不是去搞量化而是搞AI换方那个就是搞RO-info对如果我没有其他offer的话那我会选择换方其他offer是指Octo之外的其他不是是比如说OpenAI跟我当时应该还有英伟达英伟达英伟达也是搞RO-system然后Fair其实也是但是Fair最后由于一些流程原因把我拒了OK所以你当时面临的选择应该是幻方openAI英伟达TikTok对Fair可能有然后在这样的选择下面你最后选择了openAI对这个选择是怎么做的我觉得就是因为因为我要强调的是这个是before chat GPT对对所以你当时其实你是不知道chat GPT is coming的对对对对所以这个选择是怎么做的首先我觉得这个open AI之前一直在做强化学习open AI跟deep mind是就是当时IRO里面搞的最好的两个research lab然后我觉得如果我能进那是就是也我其实当时没有想着这事我没有想着这个我能进这事然后我能进我觉得就已经非常好了然后然后我觉得就是我能够有一个机会来体验就是世界上最前年的一些research它到底是怎么做的而不是像这个就是小作坊一样就比如说在学校里面然后就几个PhD手挫一个东西然后没有一些方法论然后去做一个项目就我感觉非常别扭然后我想去学习他到底是怎么样有个方法论去进行一些工业界的研究的那你当时去OpenAI的话应该是直接是John Schumann的组是的就是John Schumann招的我是他面试的你对对 [59:59] 我非常感激他就是我非常感激他能给我这样一个机会哪怕他离职了就他离职的那一天我还难过了一个下午然后把电脑关了然后什么都关所以他当时其实很欣赏你的对为什么为什么你有问了他吗有就是因为他觉得就是首先他觉得我GitHub非常漂亮他其实也认可我这个评价体系对然后因为他这个应该是他的评价体系的一个指标然后之前也没有人意识到然后并且就是招这么一个有良好的工程能力的一个这么一个人进来的话对于任何的项目都是有益的所以你们面试有什么有趣的故事吗你有怎么impress他可能最后一轮面试他出了一道非常end to end的一个题然后很开放性然后他给我三个小时然后我花了两个小时就做完了就从头开始写一个东西然后我就做完了然后我就跟他说就展示了一下然后说这个就虽然展示的过程中出现了个bug然后但我现场修了一下然后也没什么问题然后反正就是可能他认为我既有一些工程能力然后同时确实实力还可以然后就把我招了然后他的面试体值给两个人测过一个是我还有一个是应该还有一个是Andre就是现在做Codex那个人你们俩都通过了对都通过了所以通过率是100%是的好我们马上聊OPI但是在OPI之前我其实特好奇你当时找工作的时候考虑过读PhD吗没有为什么因为你接触了一些工业界的人会发现就是读PhD就是如果你想进工业界那么读PhD就是浪费生命你完全可以以Master为跳板然后来凑够PhD进工业界的标准比如你可以在Master或者说你可以在本科的时候攒够Postation然后做出一些能够让你与众不同的一些项目然后让你可以跟同时期的PhD candidate的通胎竞技然后再看看有什么你可以做的能够让对方挑选master的你而不是另外一个PhD我觉得是想清楚差异化这个是很关键的所以你很早就想清楚我未来一定是工业界对因为我觉得学术界教书或者当教授太卷了然后不是我想要的东西然后我还要去为了一个项目去拉funding然后那还不如就是感觉限制很多比如说我们是我们是个公司我们要招然后有同样的Master有PhD你会不会觉得这两种它其实培养的能力都不太一样因为PhD更多要培养你的学术的能力对吧你要怎么写好一个paper把故事讲圆然后图画的漂亮把这个宣发做好你觉得这事重要吗对于一个公司来说某种程度上有锻炼但是如果和像你这样比较极致的工程能力相比你觉得这两种能力在现在这个AI的时代会怎么评判这两种谁更有价值现在的时代那当然是工程能力越好就更有价值但是放在当时那个时间点的话那还真不好说就是所以我当时的做法是我两个都尽量去满足你记忆反正也发过paper然后开源的infra work你也做得很popular工程能力的构强那为什么现在你觉得已经很明显了工程能力是第一位的我来引用一句我同事说的话就是我同事之前也是Rio的一个PhD然后搞了一个很出名的Rio的framework然后他说的一句话就是教一个researcher如何做好engineering要远比教一个engineer如何做好research来得难是因为是这样的就是目前的一些就是research lab的一些探索牵涉探索他其实拼的都是 [64:59] infra的正确性如果你infra正确那么就是看你单位时间内你能迭代多少次因为你反正idea你大家大不了找人讨论一下然后idea就出来了然后你就验证你只要能验证好然后你就相当于这是你的research work然后你其实不要动那么多脑子就是动脑子的人可能是因为已经在这个领域禁了很久的人就比如说alec然后他在这个领域从一开始GPT1的时候就开始弄了然后他可能有很强的research的直觉那他动脑子比普通的PHC动脑子更有用然后你就找他讨论就好了就是idea非常便宜然后你要做的就是你在单位时间内能够验证多少有效的idea并且要是正确的infra正确的结果对快速的迭代是的而现在的PhD不具备这个能力或者说没有以这个为重点因为这个对他来这个对他们而言不重要因为我认为目前的学术培养体系在于如何有好的一个学术的方向但是这个方向其实公司里面也有人会有因为你只要在这个领域工作比较长的一段时间你就会有一些研究直觉然后你就会意识到什么是好的什么是不好的什么是该做的什么是不该做的所以idea is cheap而有一个很强的engineering skill把那个infra搭队快速的迭代这个事你有了之后你验证idea可能agent都能搞是因为我的认知范围内是每家的infra都有不同程度的bug然后谁修bug谁修的bug越多那谁的模型训练就越好所以Lama穿不过GPT是因为Lama的bug太多maybe我不知道但是我可能会这么猜测所以你很清楚的在很早的时候你有意识到了整个这个pipeline要work关键不是你的那些算法的创新而是正确的超参正确的infra好的system的让你快速的迭代是的然后并且我不是很愿意去做这个research调餐这个事对这个来说对我没有任何吸引力我更喜欢卖铲子你喜欢有一个playground你把根基打好让别人去玩别人去发论文对你不管对然后别人发论文的时候可能可以带上我然后你就发现Operia很多model release都有我的名字这个就是因为我在OpenAI的内部搭了整个Post Trending的RL Infra所以整个Post Trending的RL Infra你是最核心的贡献者是的然后大家因为大家在之前都是用整个Post Trending的RL Infra来去训RHF的模型所以每发一个大的release每发一个大的模型的话我的名字就得放上去所以你可以算是每个OpenAI背后的model都有你因为你喜欢卖铲子对然后并且我是卖铲子最面向客户的那一位因为RL是整个infra的最顶端生态位很高对所以说如果太底层的话这个名字可能也不太你如果写个data loader或者storage可能没有那么那个但你RL每个人都想要的一个东西好聪明我之前也想过我的职业生涯应该怎么发展然后我当时又定了一个指标我要最大化我在OpenAI Blog上出现名字的次数你真的很会给自己写reward对然后这个reward你需要做什么那你肯定是先infra因为你如果做这个单个的research这个不能scale up然后如果你做infra的话大家都用你那所以说你可以scale up对然后并且我又上场了起rlinfra那所以说这个这个是个非常适合的机会这下基本上你进了清华之后这下就是你的主线rlinfra对在今天你还会鼓励因为你已经过了这个选择了但我们这个播客的很多观众可能还在本科可能在说是他们还在犹豫工业界vs学术界的这个选择你会怎么帮他们去思考这个过程特别是在2025年在这样的格局下面长远来看我还是觉得学术界没有就是现代学术界应该要被重新 [69:59] 但是现在对自己的未来有报复的那拨年轻人他们希望像你这样做出impact那他到底是去读个PhD还是尽早进入工业界我觉得还是尽早进入工业界比较好因为读PhD的话你不知道你PhD毕业之后会发生什么事情有可能毕业之后这个范式已经来了然后你会发现你做的东西可能就没什么用了如果你的木夭函数就是进AI lab的话那么你要先弄清楚一点是AI lab到底需要什么样的人如果他们更需要infra的人那么你就多做一些infra的活哪怕你没有phd degree也没有关系因为更重要的是看你的经验能不能match有没有用所以现在你觉得AI lab最需要什么样的人我觉得还是Infra对Infra是一个无底洞就是research的话就是有research直觉的就那些人因为你从TryGP出来之后然后在这个行业里面干了比如三年以上的人就屈指可出然后当前的问题还是在于Infra你能不能scale up你scale up有多少就是单位时间内你能迭代多少次然后就直接决定了你的生产效率那听起来不是对PhD特别友好的一个环境现在可能这个也牵扯到一个gap我觉得这个你有我们俩都有很深的体会就是因为RL的研究学术界就是对着Atari Mojoko这几个task是overfit调过来调过去就是比你我在100K的时候谁分数高但是工业界完全不care工业界做的事是用RL去解决真实的问题是啊然后我意识到这一点然后当我在22年的8月意识到这一点的时候我就已经逐步的停止了天兽的开发了因为天兽还是针对这些Toy Benchmark对然后我觉得我应该投入更多的时间到更有意义的事情里面比如说在汇南内部搞号二文英法所以我就主要的经历都是在就是维护啊或者开发这个二文英法其实啊你这个认知其实在二年是很算是很超前的绝对不是共识你为什么当时没有打破星期差写一篇blog来劝我别搞我害怕我把这个东西说出来这个OpenAI会出我这个泄密之类的东西万一呢就虽然说也没有那么泄密但是对吧好我们聊OpenAI我特别好奇就是刚刚咱们已经提了很多了但是你在OpenAI你是世界上极少数从CADGBT 3.5GBT4GBT4VGBT4由OGBT4.5到GBT5背后所有的核心贡献者都有你可能有的人贡献了前半部分 有的人贡献了后半部分但是你是从头到尾一直都在你最主要的贡献我会说是三个词强化学习Post Training和Infra这些技术和背后的故事我们等会儿细聊但是我想先问第一个问题可能会很好回答也很不好回答什么是强化学习如果有反馈如果你可以把一个环境建模然后去环境中得到反馈那这个循环就是强化学习通过那个反馈让它越学越好是的那么第二个关键词是Post Training什么是一个大语言模型的Post Training当时还没有Post Training当时这个当时这个team叫RO然后当时根本没有什么Pretrain Post Training的区分所以你刚进OpenAI的时候还没有这个事对但是你刚进OpenAI的时候ChatGPT已经是主线了吗不是刚是刚进OpenAI的时候就只有那个John Sherman下面的RO team然后再去做一个这个webgpt之后的一个版本webgpt是一个用呃一个3.5的模型去做应该是做这个browsing但是当时这个browsing如果直接用3.5做的话呢效果可想而知就很不好因为这个browsing需要脱扣然后 [74:59] 所以说我们当时就退而求其次先把这个用户交互的这个体验先做好那唯一的要解决就是Chat然后Chat就可以通过这个instruction following这个方式去解决用RHF的方式所以你当时进去的时候3.5这个模型已经内部都有了对然后有但是当时的PPO的那个pipeline非常不好用然后当时其实我们用的最广的是3.5的SFT然后在那边迭代了好几次然后后面才有4然后后面这个4Greg写了一个专门的infra来去支持如何用GPT4的训练的infra去支持强化学习的训练所以你加速日子的时候是22年7月对那个时候3.5已经是整个opin all in了吗因为距离release还有几个月对吧对你们那一部当时能想象CHATGPT有这么大规模的成功吗没有你当时能够当然你可以内测那个model对吧你又意识到这个是要game changing的东西吗没有你也没有当时感觉到因为我觉得就是我呢可以看得出来很多不足的东西就是我第一次用可能会觉得说OK这个是个会数化的模型那也就这样吧然后用了几次发现这个可能能够帮我解决一点代码上的问题那也就这样吧但也不能帮我解决那么多然后我用了几次也没有那么想用因为他能帮我解决的问题有限因为你已经提前知道了这个东西然后你有一个循序进行的过程然后你也不觉得它那么突然但是比如说我后面展示给就是发布之后展示给身边的人看之后然后他们就觉得很突然然后这是我没想到的对那当时Open已经整个公司在2027All in ChagPT了吗没有就只有我们组在做就是你可以看这个就是ChagPT的这个那个Blog他往下拉然后他有一个contributor然后Josherman应该是排第一位然后后面的12个人一直到赵生家然后为止这个赵生家之前然后Josherman下一个是Barrett然后Barrett到招生家的名字就是我们组的所有人那是什么时候你意识到我在OpenAI的工作真的引爆了这个东西可能就是发ChaiJP当时我在开Nerops它是11月30号发的然后12月然后当时就是过了几天之后然后发现就我周围生病的人都在讨论XGP这个事情然后他们觉得很有用然后并且还把OpenEd服务器打包好几次对就是跟我当时退学一样就是我退学的服务器也被打包好几次然后可能就是产生了这种自需求对自宣发的效应对就是大家都都是自来水会自发的为你宣传产品那这个肯定是一个很好投入的东西就投入值得你投入精力的一个东西其实听起来从你加入OpenA做这个事包括OpenA内部能够推出ChatchGPT这种东西好像都不是谁计划出来的是的可能是一系列的半偶然半必然的应用对而且发觉反应是的而且当时就是发那个ChatGPT也只是为了就是能够看看能不能收集一些这个这个真实数据的这个用户数据然后收完之后可能五天之后关了如果没人的话就我们期待可能是一开始有有什么一万两万然后后面就跌回然后就没了就这样然后经济的curve呢是一个这个指数对好这是这是ChairGPT突然当时的爆款的成功我还特好奇你刚去Open的时候什么体验这个公司给你的出印象是什么样我感觉是一个大号的一个一个一个实验室吧没有其实没有我想象中那么这个这个有方法论但是很多有很多很强的research直觉的人在里面然后他可以指明方向然后就做就好但是从从这个BarrattLuke跟Liam来之后这三个人从Google来之后然后加入装收门的RL Team之后然后我们组就变了就开始这个这个 [79:59] 引进谷歌的先进生产力开始迭代对就是谷歌还是非常能逼的就是有一张图是单位时间的迭代次数以及成功率然后这个东西是一个正比所以单位时间迭代的越多你的成功率就线性的往上走对这个其实也是一个RL的curve因为RL不就是不断error and trail你不断尝试然后尝试到一定次数然后你就可以达到你的目的其实很多生活中的这样case其实都是RL所以当时你们引进的先进生产力是一种哲学理念就是说我们先不要去想什么天才的idea天才的算法我们把infra打好infra让我们从一周迭代30次到一周迭代300次对差不多我看到一个采访有人问Sam AltmanOpenei成功的原因是什么他说在一个我们之所以Openei可以做出杰出的科技创新是因为在一个人才密度极高的小团队里面任何平庸的表现都是不能被容忍的是你赞同这样的说法吗我赞同因为人才密度如果上去的话然后你可以自发的涌现出一些意想不到的东西然后但是如果比如说换一个环境就比如说这个大家都是很平庸的话那可能就是个人自扫自扫蒙前雪然后就做完自己的就好了然后就可能会拖延对当时你去的时候OpenAI应该是个击败个人的公司我是280你是280对现在OPI应该上几千人了三千多了所以十倍了三年的时间那你觉得OPI还能保持曾经的这种小而美的团队做出硬和创新的风格吗我觉得这个概率是下降但是没有下降那么厉害对但你总是可以划分出来一个小团队然后就专门去做一些研究你觉得OPI的领导层有什么比较有意思的努力能够在这方面避免的比较好吗还是能够让小团队然后人才密度然后硬核的创新比如说简化一些组织架构然后把一些不合理的一些谜题全部给取消掉然后我觉得主要还是组织架构更重要一些什么是一个高效的利于硬核创新的组织架构信息流通通畅怎么理解比如说今天有一个决策然后可以无损的传达到下面然后下面有做什么新的进展然后可以无损的传达到上面不然的话你可能上面做决策的跟下面干活的可能就是想完全不同的两个方向然后进不往一出时OPI是怎么做到好的信息流通的首先像Sam跟Greg他们会有专门的就Sam的话会之前是会有专门的一个研究助理来去帮他去了解最新的一些公司内部的研究进展Greg不用说了就是他infra整个infra这个底下几步都是他参与过的对所以说他他们俩对于这个技术是非常熟悉的然后所要做的就是保持技术的敏感性呃少知道这个当前做这个东西到了什么地步了然后有什么自行的进展然后会有什么用所以这个事儿得是一把手二把手这样的人他得愿意再进去钻研到细节里面了解到公司的每一个毛细血管我觉得管公司跟管代码库其实也有很类似就是consistency你如果不consistent的话就不一致的话那么你可能就是就像一个人比如说就像一个拼砖的人类他的身子动了但是脚没动那就很奇怪好我们聊聊post training我们从先通3.5开始聊但是实际上3.5的PPO其实也没有调通那么多我是先调通了4因为3.5当时是用旧的那套infra新的infra是24年8月刚刚好然后我就现在新的infra上调通了第一版的PPO然后用4跑的然后应该是22年9月的时候这个很有意思所以当时305出来的时候其实那部4早就有了而且RUHF是先在4上调work的是的然后再在305上成立的是的但是实际上因为其他组其实也帮我们踩了不少坑我们就用了这个 [84:59] 一些pipeline能怎么用怎么用但是主要还是自己就主要的一些东西比如说如果model怎么劝然后数据怎么收集也是自己收集的然后像这个infra到底出什么问题也是我们自己好那在当时想把RLHF搞work有什么关键的挑战和突破我觉得就是你应该怎么去衡量这个性能是什么样的因为谁都不知道这个性能应该是什么样的你的意思是你训练了很多个checkpoint之后你不知道是不是变得更好对就比如说这个单一的reward是会发生这个reward hacking的有可能他这个reward saturate就变成一条直线就慢慢慢慢涨上来然后变成了直线但是真实的情况是如果人类有个reward的话那他可能先上去然后再慢慢往下掉这就是reward hacking然后所以说你没有办法知道哪个checkpoint是真的比其他的checkpoint好所以说选checkpoint其实也是个技术但是我们其实没有花太多时间去选checkpoint就是直接建了一堆sampling based的EVL然后来看一下每个benchmark上面到底是什么样的然后但是更多的就是那个benchmark其实只是个数然后如果他过了一个数就好了就也没有也不能说他好也不能说他坏因为你每次跑一个model然后他的这个方差就非常大就有很多噪音最后是怎么解决的最后还是你真的拉下来看看然后跟他交互几次然后看一下比如说对于自己的一些体验是什么样的然后都找几个人来看然后来投票所以EvalRLHF还是用HF来Eval是的只能是这样就没有办法因为当时技术没有办法所以这个是你相当于第一次在工业级的level上大RL Infra对你觉得这样的就是大模型需要的这种大规模的RL Infra和你曾经搭过的像Tensile这样的Single task或者Toy taskRL Infra的区别在哪我觉得区别非常大因为Toytask的Bottonek在于环境因为它的模型很简单你不管是训练还是采样这个action都是非常便宜的但是RL Infra的话就是你的模型很大但是环境非常简单环境就是一个prompt然后但是模型采样的话你要考虑如何高效的采样然后训练的话你要考虑高效的训练因为这个东西是可能对于提供花心提供这个prompt这个可能就几位秒但是这个跑一遍这个influence跑一遍training那可能就是好几百秒或者几千秒也有可能就是如果你GPU少的话那你觉得未来的这些猫的比起3.5比起4有什么新的挑战就对于RL infra这一块来说我觉得还是性能上面或者说scale up如何scale up就是说怎么能够用更多的GPU怎么能够更高效的吞吐对对是的是那就是牵扯到不单单是RL的部分还有模型的Inference对就可能更end to end的一些就呃并且就是会深入到一些这个实现细节当中然后去做一些end to end的优化那其实你做的是一个相当intersection的一个部分就是既有RL你得懂RL然后你得懂MLSys然后你还得懂language model是怎么inference的对吧这些你得明白是的可能不在那个位置说实话学校的学生是学不了这种东西是的那个位置非常锻炼人然后还很累然后后面我其实有一段时间就是做的确实非常累然后还进了一二就是加班加太狠了然后脑子疼然后受不了然后就到一二看了一下但一二医生说没什么事你那时候工作程度有多大就是早上醒来一直写debug或者说处理一些问题然后一直到晚上睡觉一周几天一周可能平均六天对吧但是就经历一段时间之后你会发现这个是不能持久的所以说还是首先你要有这个身体你要确保你的身体是健康的所以说我现在养生的习惯就是每周两次跑3000 [89:59] 我之前在清华的时候上体育课是三千不及格然后完全不会跑三千但是我现在就是自发的去就意识到这件事是很重要的对我觉得好羡慕你过去两年在OPI干的事因为你能够explore的是世界上大部分99.99%这方面的research和infraengineer完全他没有资格去碰的东西你有先天得天独厚的优势你在最先进的model上然后可以做这个优化然后你每天都在未知的领域探索而且你知道你的探索一定是人类历史上第一个找到这个但是我觉得我做也是一些很趋比的事情就是我觉得我的工作就是日常维护并不需要那么多智商就不需要太多智力上的是的你只要把事情做好做对就好了然后方向很重要然后你只要在对的方向上做一些你自己认为正确的事情就好了你觉得RL4大模型这个东西还需要breakthrough吗还需要那种大的突破吗还是说你觉得这个范式已经在哪了就是咱们把东西info拉上去我觉得还是有的就是你again就是不能以当前的这个状态来预测下接下来会发生什么事就接下来什么事情都可以可能会发生有可能有新的范式有可能有新的RRO的范式也有可能有Pretrain的范式都有可能所以说每天都是得面对一些位置的挑战但是话又说回来我觉得其实我很幸运在这个位置但是如果把我换做任何一个人如果他有我的context的话他应该也完全可以胜任对所以说我不觉得这个是只有我能够做什么东西这个事情就是换任何一个正常的人类他应该也可以做你太前世了展望未来五到十年你觉得还有什么有待探索的地方呢就最大的挑战会在哪现有的模型的能力的平静然后我们需要看到什么样的突破我觉得目前的这个状态就是还没有scale up完全先等他慢慢heal climb先等他慢慢的从large scale ro的一些实验里面然后看一下他最多能到多少性能然后再去看之后还有什么要做的东西所以你的意思是没有scale up完全不是说compute不够而是说现有的性能我们还没有榨干我们先把它现有的方法现有的computer给它榨干了我们再看看我们推到多久了并且还有很多infra的bug哪怕你们现在的infra你也很确信是有bug的对你不能说百分百没有bug对毕竟是人类然后每个人都有可能犯错然后你还得修一下比如说你因为人多了然后context inconsistent然后每个人都会写一些奇怪的东西那未来大模型然后加长而且是post trend这个pipeline你觉得最大的瓶颈会发生在哪我觉得瓶颈在于修infra的throughput吞吐量你单位时间内能修多少的板然后以及单位时间内能迭代多少次能正确的迭代多少次剩下不重要这个可以赋能剩下的所有的东西是的算法也好环境也好对就如果你把bug全修了那你有可能算法连改都不用改就很好就是很好那怎么样把infra的这个效率提上来了需要什么样的架头需要什么样的人需要什么样的资源这个我们还在探索对就我现在做的事情就是我其实已经不在那个最核心的位置了但是我觉得我应该做一些更重要的事情就我们组在重构这个Oakine内部的infra然后再做下一代infra你们的每一代的infra是会推导重来大家在根据现在的认知再做一个好的顶层架构然后我们再像你写片手那样写还是会很就是小修小补目前是推倒重来因为之前那台infra已经三年多了然后它堆积的问题其实已经很多了然后我们希望就是用新的一个infra来去清理很多之前的technical depth然后能够 [94:59] 在单位时间内能够给一些researcher更好的一些iteration speed所以researcher是不会参与到infra building的过程中的他们可能会给一些需求对然后但具体写扣的怎么搞distributed training这个不是他们负责的是的然后他们可能到时候就改一个flag就好了那听起来open-end researcher可能是第一个被AI取代的工作对我感觉是的反正就是单位时间内你能实验他就选idea对就是ideaidea反正你可以很便宜的生成就是你一个人坐在那边写多少个然后你甚至生成idea这个事情也可以被AI建模对然后下一步取代我觉得优先会取代researcher然后再取代infra engineer然后就都取代了就好了但是这个sales可能不太会那么取代因为sales还是你要收获对面的买单你在对面什么人然后AI可能没有办法那么说动人这可能还是要人与人之间的沟通比较重要一些OK我们刚刚聊text only的3.5然后聊了多么泰了你觉得agent和RAL的postchain这个东西会有多大的没有本质差别本身就是同一个东西就是中间多加了几个脱扣可能就是环境会多就环境方面的改变所以你觉得比起标准的AOM加RL post trainagent加RL post train谈不上新的挑战对因为本身上是同一个东西你个人对于AGI的定义是什么你觉得现在我们达到AGI了如果你觉得还没有达到或者说还差一点你觉得Pretrain叫Aria Post Train这条路能不能带我们去到你定义的AGI就是OPI内部有个笑话你抓15个人可能有20种定义AGI的方法对然后我之前定义的方法是这个东西能够如果能够完成百分之八九十的我自己认为有意义的task那他可能就有AGI了我觉得目前还没有因为目前的话我至少从我的角度来看我还是不放心他直接上手改我的infra代码因为这个非常out of distribution就是AI infra在于他就占相对于他的这个数据级的占比是几乎为零而且AI infra你验证的这个反馈太长了你需要成本也太高了对成本太高了就是目前还是没有办法去触及到这一块的Good for you听起来你短期内不会被AI提的是但是就是反正在这个Strauber出来之前然后就是我们内部其实已经用Strauber一段时间了在那个时候然后大家都觉得我的工作要被取代了然后或者说我们就写一堆史山然后后面因为Strauber询完之后会帮我们清理现在看来就是可能一两年过去了这还是这样就是时常还在那就是并不会真正的改变什么东西就是每个人都会overreact就是觉得这个技术来了我们要怎么样但实际上并不会这样的它是一个很慢很慢的循序进行过程你现在在open AI以前在学术机构清华CMU带过然后可能在科研的Lab也带过但是现在很多人批评OpenAI已经和Open没什么关系了然后你自己之前你的一大爱好也是开源打破信息差你觉得这事会对你的个人目标和偏好产生冲突吗我觉得这是个吹道我其实还是很热爱开源的如果open i有开源的东西我可能会是参与一些但是我觉得就是我应该去做我自己认为更重要的事情而且并且这个开源对于open i来说它是一个trade off就是你没有办法直接把最好的模型开源因为公司要生存如果公司如果不能生存的话那么之后你可能就没有办法去继续融资做一些实验然后有一些拖行的进展这个都是很现实的问题所以我认同这个Tradle但是OpenAI在一开始建立的时候它的架构其实是很特殊的对它不是以一个商业盈利的公司的架构对来一开始初创的它一开始的至少公开资料上的slogan [99:59] 让通用AGI平等的造福全人类对你觉得B缘是让这个目标更近了还是更远了首先通用AGI造福全人类这个东西是一直是拆成两个部分看的第一个是实现AGI第二个是造福全人类通用AGI就很好说就直接堆这个IO或者说堆Pretrain堆3D然后scale up造福权人类目前的拆解是做产品然后以尽可能便宜的价格就比如说有免费的XGP用户然后他们可以直接接触到能够更容易的去接触到技术比如说免费应该也可以用语音模式然后做一些体验这样可能是更有利于造福权人类的而不是直接开源你丢一个裸的模型权重他也不知道怎么用所以你的意思是OpenAI的Open不是对其他的大公司大模型公司的Open而是对普通人的Open是的但这样的Strategy可能如果我觉得如果这是最后一英里了咱们是百米冲刺了要到AGI了我觉得make sense我也认同但如果说AGI还是一个不说马拉松吧但是不是一个一时半会儿明年就能解决的事的话会不会在技术上更开放更透明也会让open AI本身更有利于达到尽快的达到AGI了还是说你觉得其实OpenAI现在其实不太需要把自己的技术细节公开出来拿社区的反馈也不需要社区任何的帮助OpenAI已经self-contained的可以实现HL让我想想我觉得就是存在一种路径就是你可以开源然后你并且可以接受这个社区的反馈然后更好实现HL这个是可以做到的理由上可以做到但实际上执行很多困难就比如说其他人因为你是第一如果你开源了那么其他人马上变第一然后其他人再训一下然后其他人又必源然后就会导致你的就不是所有人都是同条性的然后就会导致比如说OpenAI在当前这个环境下他可能容不到资然后没有人持续的为他输血这个是有点博弈论的意思了哪怕我是想为了AGI造物权人类但是可能有人不这么想有人就是想挣钱所以为了防着这样的情况发生OpenAI不得不避远至少在我的看来是这么认为的那这个是公司存活的考虑对不对那如果现在OPI假如说就是无限资源永远不用担心死的事那你觉得你会很开心的把你现在这两年两三年的RLInfra开源出去你会很开心吗我当然会很开心其实这个装收门还问过我这事要不要开源然后我当时觉得不太好吧就是因为这为了公司的考量但是他还问了我这事所以是不是Deep Seek至少他OpenWits这个事让OpenAI重新有一轮内部评估是的你刚说OpenAI的使命要拆成两部分首先实现AGI再造福全人类更深的说我们要理解这个使命的话你觉得真要实现这个过程最大的机遇和挑战是什么执行对着正确的方向执行只要能执行就好就不要再出现一次就比如说23年11月公司快倒闭了Sam Altman被开除你希望整个组织架构越稳定越好能够有利于你快速的往前进所以从内部的视角看当时Sam被开除你们内部是什么样的接触到的信息因为我们在外部接触到的信息都是很玄幻的说什么伊利亚到底看到了什么没有随便谣传的就是捕风猪瘾然后很多人在这边造谣对所以你内部的视角是什么内部视角就是应该是就是不信任伊莉亚跟其他的一些董事会成员不信任然后投票把他投出去了然后但是我们底下干活的人就觉得非常surprise非常震惊不知道发生了啥因为董事会之前是对底下的人缺乏透明度的然后我们也不信任 [104:59] 不知道这个决策是怎么做的这个不信任是不信任他什么不信任他这个人因为你可以去看这个官方公开的那个调查报告对这是一致的但其实最后的结局是伊利亚走对这个化学反应是怎么发生的就是明明已经把它开除了他也不信任Sam但最后好像Sam是更得人心的那一个因为很多员工就觉得如果有一个纯技术出身的人领导的话那可能没有那么多元件就是AGI实现并不只是因为技术你技术实现了就好了但还是有很多商业的因素掺杂在里面就比如说你要融资你要算力你要如何去收服一些人去给你愿意投钱这个其实也是很重要的一部分然后如果你只有一个很好的研究经验的话可能还不是很支持你走这么长的路从长远来看还是需要Sam这样的人所以Sam可能反而是AI最难替代的那个人因为他需要在商业甚至在地缘政治在资源上就是你可以把SAM抽象成一个personality抽象成一个identity然后这个identity短时间内如果你用一个AI来替代的话别人对这个ID的认同感就会缺失所以说这个是不能离开的你刚刚说张书们走的那天下午你难过了好久但其实张书们不是唯一一个离开OpenAI的OpenAI再取得巨大的成功之后有无数的团队全员都走了你觉得一个极度成功的一个组织像OpenAI这样最后大量的人才流失是必然的吗是不可避免的吗一个健康的组织是所有人都是可以替代的就是你只要能够持续的培养新人有造学能力然后能让这个组织正常的运转就是可以的哪怕虽然走了很多人但是还是可以花一些时间精力然后再培养一波新人然后持续的造血相当于干细胞一样所以OPI现在没有谁是不可替代的是的那是不是也就意味着OPI做的东西外面的人也不是说难如登天不能复刻的你可以这么认为因为其实就是把自己的东西做好就好了没有什么黑魔法现在我们可能这个世界在发生人类历史上最激烈的一次科技竞赛OPNS点燃这一切的公司我想知道你们现在内部的氛围有多intense就是你们会有很大的压力吗看组看deadline看这个project就是比如说post training目前这个压力还是挺大的然后像其他组比如说我们现在在冲钩infra可能有压力但是没有像Postraining那么大因为他们是有很明确的deadline然后我们可以稍微演一演因为我们需要更就着眼于更长远的考虑我们要把这个事情弄对所以其实外部的激烈的竞争不管是来自XEIThorpec还是中国的大模型公司会传达到你们内部的公司的日常开发的不太会除了DeepSeek那一波就是因为他们声称推特上声称他们的迭代速度非常快然后这个还是引起了很多人的警觉的因为内部的迭代速度其实相比于其他是有点慢的所以说这就是为什么我们要冲锁Infra所以其实对于OpenAI这样的极座模型大模型公司来说生死现实Infra的cycle time对其他的一些比如说data或者说什么算法有多少research这就投人就好了这是人力单位成本人力AI Infra不是人力吗好问题但是AI Infra需要更多的context但是如果你是数据的一些像这个跑些实验那这个就是不要那么多context你就直接很简单的就是你进来然后写个for loop然后把这个data config弄好然后跑就完了对这个其实都可以自动化所以你们真正警觉的点是意识到 [109:59] Deep Seek内部的Infra很好他们迭代的很快对这个是引起了你们注意对其实你们不care哪个model在哪个榜上又比GPT高了多少是这个根本不是你们care就是我们很长时间以来都没有在特地的去为了刷LM-SYS而做什么事情而你们真正care的是那个单位时间内的迭代速度和成功率的那个东西对你觉得openIi现在在这个指标上是全世界第一吗不是肯定不是就是这个跟组织架构有很大的关系其实就你比如说你抽出一个这个团队然后去搞个startup然后那他们的迭代速度肯定是协力远比openIi高因为你首先你代码固小然后沟通成本少然后你只要集中于你的这个use case那你就可以这样对但是OpenAI的话它要同时考虑很多的use case然后各方面trade off这个组织大了就是有这样的问题那如果这样的生死线OpenAI已经不是第一了那未来OpenAA还能做AI model的第一吗每个公司都有这个问题你的意思是每个公司做大了做成功了都会变慢这个速度是的然后就取决于就是大家都很差然后看难又不差不是那么差这个差是相对于这个橱窗公司而言那橱窗公司可能在这个指标上更好它其他的指标可能很难和OpenAI竞争比如说它用户的反馈所以这都是trade off这个就是人类发展人类组织发展到这个规模之后必然会面对这个问题你没有办法避免也不是说难以维持高度人才密度是说就是难以保持组织架构的context sharing的一致性这个会导致你的首先infra不一致然后infra开始臃肿然后组织结构也开始臃肿这个人多就是这样所以说contact sharing理论上应该有一个拥有无限长的contact的agent来替代听起来这个是一个刚需是的因为这个会解决人类历史上这种臃肿的组织架构不管是写代码还是干其他的事都面临的一个问题对因为人脑的context是有限的你没有办法一下子存这么多context但是AI可以可能未来会每个公司有一个这样无限context的一个agent然后来当CEO就好了对他负责所有的sharing负责所有的decision对可能没有比这样的agent更适合的decision maker了对那么再讲完未来如果你希望AI可以解决一个世界难题会是什么如何预测未来你说的未来肯定不会是杯子怎么掉下这种未来而是整个人生世界格局所有的这些东西对为什么这个事是你觉得最想做的我个人对于就是比如说追求一个这个自己造一个世界还是很有吸引力就是很有一些追求的然后但是如果你在高维度空间来看的话你需要有一个你需要提前生成剧本我的理解是你觉得我们的命运是可以被预测是这个世界是一个确定论所以我们生活在一个确定性的马尔克夫过程里面是的那往生了说的话你觉得人是没有自我意志自由意志的是的我现在脑子里面在想什么我下一个单词说什么我下一个问题问什么全都是一开始宇宙到八兆那一刻就定好了是的这个是我已经验证了无数遍的这在我听起来是一个相当悲观的世界观是的因为可能这是真的吧但是我自己内心深处我不愿意接受我也不愿意接受就好像我就变成了一个在被模拟的原子是为什么你会这么想有些我的个人经历吧就是不太方便说但是我这个确实是事实所有东西都是可以被预测的所以理论上它是可以用AI解决的但是如果你拿到一个能够预测未来的机器的话那么它对个人而言其实是一个灾难我觉得这会导致所有的价值体系的崩塌是的就如果有这样的AI model它做到了可能对人类社会来说 [114:59] 最好的选择是毁掉这样的AI模特让它永远不要出来对但是有些人就非常愿意去开发这种model不然的话它会被宿命论操纵的走你的意思是有人喜欢这样的model是因为他想jailbreak所以你的意思是有了这样的model之后我要做和那个model预测的不一样的事这里称之为逃脱不是只是为了搞清楚这个世界背后运行的规律或者说这个世界为什么要确定为什么这个世界是宿命论所以你觉得上帝不治骰子对宏观不治骰子微观治骰子这个成立吗如果说在量子力学的观测里面这个成立因为你可以在后台修改一些世界线虽然你可以把我说的话认为这个是扯淡没有问题但是我没有认为是扯淡我在尝试reason behind it我觉得这个我也想过很久就是到底这个世界是不是确定性的我们是不是有一个剧本我们只是提现不在这个世界的dynamics下完成我们的一次随机过程我觉得是都不是随机过程是确定过程我觉得是的你对这个事毫无怀疑我很怀疑但是我尝试的去证伪发现证伪我非常想让他证伪我有这个疑问我很感兴我觉得我六七岁的时候就和我爸妈提过这个事我就感觉你怎么知道我说的这句话不是早就确定性的你怎么知道你的反应不是确定性的我小时候就在想这个问题但我后来发现如果是这样的话我都不觉得我是人就是或者说所以最好的方式就是忘掉这一切然后假装你不知道这个事然后去体验当前的一些经历你已经这么做了吗我一直都是这么做的我没有办法还有一个解释是世界不是这个时间线不是线性的它是可以跳跃的所以说你可以用一个理论来解释就是未来的我帮助过去的我来完成某些决策你刚说过一个瞬间说你在小学还是初高中的时候突然未来的你告诉曾经的你你说你要什么要make impact对这个只是我脑子里蹦出来就是这样一句话但是我不知道是不是未来我告诉我的那为什么你觉得世界线不是连续的可能有未来的什么传扎来传扎去的我觉得三维生物都是有它自己的局限性的在三维的认知里面这个时间就是一个线性的单向流动的但是有可能在四维的时间里面它这个时间并不是单向流动的它可以任意跳跃这是我找到的迄今为止合理的解释所以你觉得真的你过去有无数个时刻有一个未来的你像星际穿越的Morphe一样在后面推那个柱子对这是可能性之一因为这个无法正为而他推这个柱子又会导致你在未来又会再过去推那个柱子对所以你现在最好的解决方案就是忘掉这个事对还坚信西西福斯是幸福的对这个聊下去我们可以再聊半小时我们先过了这个话题吧我相信现在每一个AI从业者OpenAI从业者特别是可能内心里面都有个创业的种子你有过这方面的考虑和想法吗可能有但是现在我觉得我还没有看到很好的idea并且我觉得OpenAI对我而言还是一个不错的地方待着你会喜欢什么样的idea是偏product的还是什么样的我会觉得我更喜欢product就是比如说像天兽像退学我其实我搞research infra我其实也是有用户的因为你的用户就是researcher然后你可以根据researcher的一些反馈来实时的进行迭代所以你会希望类似这样的一个大家需要反正就是有需求然后有你的天赋用的很好的施展的地方然后技术是什么样不重要你比如说举个例子就是退学的话它就是一个很简单的通知系统其实也不能算系统就没几行代码写个phb就好了然后甚至你连phb都不要就是你直接搞一个就是你哪怕每天这个退学的第一版就是白天更新一次时间晚上更新一次时间 [119:59] 但是即使这样就有很多需求技术不重要重要的是就是抓住需求你会希望十年后的龙嘉宜是什么样的他会在一个什么样的地方做什么样的事我会希望他做自己那个时候想做的事然后有足够的资源足够的能力做自己想做的事你都不去干预他那时候想什么对因为想法是会变的可能你想什么也不重要反正是确定性的过去了现在怎么希望不太重要然后我现在所能做的就是投资那个时候的我还是投资未来让他有选择权利那你为什么还要投资呢反正投不投资你都会到那个点但是我觉得就是投资一下还是会更好的就万一你不投资你就不是在骗自己吗投资一下不会有任何影响的我们是确定性的过去了但每天在家里睡大觉你也可以到那个地方投资未来可能也是确定性的所以你投不投资也不是自己的自由意志是的你之前的投资未来都是提前学高中数学或者说怎么怎么样你现在除了技术上的AI上的你有什么其他的想投资未来了提前退休然后有足够的资本想做自己想做的事给你无限的钱你现在想退休去干嘛花一点时间找到自己想做的事比如说你觉得你现在手头上的事不是你很想做的你只是迫于生计你想要赚到足够能够退休的资本然后再去找那个事我手头上的事比如说二人一法在很长一段时间都是我想做的事但是随着时间的推移像比如说逐渐稳定之后或者说发生了一些事情之后然后因为每个人的重心是会变的我曾经想通了我想要什么这个事情但是我现在又想不通了你现在又想不通了对我觉得这其实也很正常所以你现在反而是在人生的某个迷茫期是的曾经觉得很喜欢的R1Infra也好做有impact的事也好对因为已经看到头了然后剩下都是很确定性的事情AGI是板上钉钉的事了好 嘉宇我没有更多的问题了然后我希望你在2025年这个时间节点上在这个podcast最后留下你的一段话去探索说到底自己想要什么虽然我对这个问题我曾经一路想通了我自己想要什么但是我其实还是没有那么想通就是这个问题值得一生去思考