谢赛宁联手杨立昆创立AMI融资10亿美元 逃离硅谷LLM路线

谢赛宁联手杨立昆创立AMI融资10亿美元 逃离硅谷LLM路线 谢赛宁指出大语言模型本质上是人类提炼后的强监督“毒药”，无法通往真正的通用智能，未来AI必须由基于物理世界的多模态世界模型层主导。 本访谈深度展现了华人科学家谢赛宁从上海交大ACM班、UCSD博士，到FAIR和Google DeepMind研究员，再到任教NYU并与杨立昆联合创立AMI Labs的完整心路历程。谢赛宁在对话中对当前硅谷深陷LLM（大语言模型）的“催眠”状态提出了尖锐批判，指出语言是“毒药”与“鸦片”，并系统阐述了以视觉表征为核心的“预测性世界模型”愿景。同时，他温情重塑了影响他学术生涯的诸多大师群像，如侯晓迪、何恺明、李飞飞与杨立昆，传递出一种在冷酷技术浪潮中坚守人性温度与真诚交流的学者风骨。 谢赛宁与图灵奖得主杨立昆（Yann LeCun）等联合创立 AMI Labs，完成 10.3 亿美元 Seed 轮融资，致力于摆脱硅谷对 LLM 的过度执念，探索预测性世界模型。 (0:00) 在 Meta 实习期间与何恺明结缘，两人在极短时间内合作攻关 ImageNet，完成了蕴含早期 Scaling 思想与 MOE 雏形的经典网络架构 ResNeXt。 (58:00) 谢赛宁曾分别于 2018 年与 2024 年两度拒绝 Ilya Sutskever 的邀约（OpenAI 与 SSI），源于对学术探索自由的坚持以及在感知与纯语言技术路线上的底层分歧。 (81:05) 与实习生 Bill Peebles 合作提出 Diffusion Transformers（DiT）架构，该研究曾因“缺乏新颖性”遭 CVPR 拒稿，但后续成为 Sora 等视频生成模型的核心基石。 (175:00) 谢赛宁指出语言是高度抽象提炼后的强监督“拐杖”甚至“毒药”，多模态系统不应被语言牵着走，真正的物理智能必须扎根于连续高维的视觉表征学习。 (250:00)

青年科学家谢赛宁在访谈中回顾学术历程并阐明技术愿景：他主张真正的智能必须扎根于物理世界的表征学习与预测性“世界模型”，而非单纯依赖大语言模型的离散符号生成；为此他选择逃离硅谷同质化的打榜竞争，携手杨立昆创立新机构，探索下一代认知架构。 表征学习的恒常价值与非线性科研法则 (70:00) 谢赛宁将表征学习视作人工智能与深度学习的核心基石，将图像分类、分割和具身智能等下游应用比作树枝，而扎根深处的表征学习则是永恒课题。在与何恺明等学者合作研发 ResNeXt、MoCo 及 MAE 的过程中，他体会到顶尖研究往往是非线性的，突破多在探索瓶颈期通过关键转向爆发，例如 ResNeXt 在 ImageNet 竞赛前夕在一个月内成型，孕育了早期的混合专家（MoE）与扩展思维。同样，他与 Bill Peebles 合作的 DiT 虽曾因“缺乏公式”遭 CVPR 初审拒稿，后转投中稿并间接启发了 OpenAI 的视频生成模型 Sora。 他借用 Bill Freeman 的职业影响曲线指出，科研并非要求每步皆准的棋局，而是优化个人代表作极值（max）的发明家游戏。学术界若在算力匮乏下盲目追赶大厂的有限产品竞赛，往往会丧失最关键的“定义问题”能力。真正的研究审美在于看穿表象指标，通过精细对照的实验捕捉真实“梯度”。 语言的拐杖与对纯粹LLM路线的质疑 (220:00) 针对当前以大语言模型为主导的 AGI 叙事，谢赛宁提出了根本性反思。他认为语言模型实质上并非自监督学习，而是高度依赖人类文明抽象符号的“强监督”产物，带有极强的人类设计偏置，因而违背了强调学习与搜索的 Bitter Lesson。人类演化中拥有语言的时间极短，单靠处理离散 Token 的 Transformer 无法有效应对真实物理世界连续、高频（如人眼感知达 100Hz）且高维多噪的感知信号。 他赞同杨立昆与王乃岩的观点，认为当前多模态研究过度依赖 LLM 如同“拄拐走路”，甚至存在“语言污染视觉”的风险。当下的视频生成虽前进到像素空间建模，但仍受限于人工设定的网格格式。真正的世界模型应当是隐式状态空间中的预测系统，通过对环境状态和动作进行动态转移推断以实现规划与安全约束，而非仅靠后训练微调来填补安全缺陷。 从 Cambrian 到世界模型的阶梯规划 (195:00) 在纽约大学任教期间，谢赛宁团队开展了 Cambrian、VSTAR 及 REPA 等系列工作，试图在不动用或退化 LLM 核心的前提下探索视觉表征系统。他借鉴贾樟柯与毕赣的电影长镜头概念，指出人类观察世界是连续的时空延展，多模态智能应从当前的静态“Show and Tell”（L1 阶段）逐步演进到流式事件计算（L2 阶段）、三维空间认知（L3 阶段），最终通向预测性世界模型。 面对北美高校算力资助严重缩水（NSF 单个首席科学家年均仅约 10 万美元）的生存挑战，其团队克服生态难题，在 Google TRC 提供的 TPU 上自主搭建起训练底座。通过 REPA 等工作，谢赛宁坚信不应惧怕高维特征表示，一旦强大的视觉表征系统作为世界模型成型，LLM 终将退化为底座之上的交流接口，兼顾驱动机器人 Action 规划与生成渲染等多元分支。 逃出硅谷：创立 AMI Labs 与去中心化联盟 (305:00) 硅谷主流 Frontier Labs 在激烈的商业周期逼迫下，将大量探索性研究与视频理解团队降维“发配”至服务打榜的标注团队，导致创新空间受限。为摆脱这一困境，谢赛宁拒绝了 Ilya Sutskever 针对 SSI 的加盟邀请，转而与杨立昆联手创立 AMI Labs。杨立昆担任执行董事长，谢赛宁出任首席科学官，保留 20% 到 30% 的完全自由前沿探索，并在巴黎、纽约、蒙特利尔、蒙彼利埃和新加坡设立多处据点。 区别于传统从互联网海量抓取数据的“正向 OpenAI 路线”，AMI Labs 采取“反向 OpenAI 路线”。由于工业制造、飞机引擎传感器及医疗等真实物理世界数据具有私密与长尾属性，无法直接从公开网络获得，团队借鉴万事达卡（Mastercard）联合中小银行打破美洲银行垄断的历史，计划与拥有私有数据和现实痛点的实体机构结成去中心化联盟，通过共建初始模型形成数据反哺闭环。 重估通用智能：放下自大与回归生活 谢赛宁与杨立昆一致认为所谓全知全能的“AGI 是个伪命题”。人类神经带宽狭窄，所拥有的仅是特化智能；弗兰斯·德瓦尔的研究以及黑猩猩具备的“心理理论”证明，工具使用和复杂推理并非人类特权。他认同强化学习先驱 Rich Sutton 的观点：相比写代码与下棋，构建出一只具备自身内在奖惩、能在物理环境生存的“松鼠级智能”才是更本质的挑战，而这也正是机器人学当前最大的痛点——硬件已远超人类，但通用世界模型大脑仍近乎荒漠。 他反感将维特根斯坦与费曼的名言断章取义用于技术包装，主张科学探索的本质是汉娜·阿伦特所说的“理解本身”而非侵略性的影响力。穿行于纽约华盛顿广场公园的烟火气中，他强调技术研究必须扎根于不受算法主导的真实生活；面对创业的未知与起伏，研究者应如同滑雪者将肩膀朝向山下，在直面斜坡与重力中寻得掌控力。 谢赛宁承认探索预测性世界模型充满了极高不确定性与科研失败的日常挫折。面对现实世界的复杂动力学，当前计算资源尚无法彻底预测未来与命运；但跳出语言模型的既有范式、以严谨的表征学习构建能感知物理因果的“认知架构”，是他与团队愿意长期押注的方向。

[35:00] 谢赛宁: 重要的事情是我跟谁在做什么事情，以及这件事情是不是我想做的。抛开所有噪音，这是我唯一关心的。 [75:00] 谢赛宁: 不要在乎一个 point estimate（点估计）……因为所有的评价他到最后都会是一个积分，你需要时间的积累。 [85:00] 谢赛宁: 阿伦特觉得 impact 这个词是一个过于 aggressive（具有攻击性）、过为男性化的一个词。对她来说，她做这些事情的目的不是创造 impact，而是为了理解本身。 [185:00] 谢赛宁: Research 其实必须得要是一个反脆弱的系统。 [205:00] 谢赛宁: 人活在这个世界上就是长镜头，我们的眼睛就是我们的相机。 [230:00] 谢赛宁: Language Model 其实不是一个自监督学习的过程，它其实是一个 Strongly Supervised learning（强监督学习）的过程。 [350:00] 谢赛宁: 最反直觉的是，你要无所畏惧地把自己的肩膀朝向山下。人面对山下的坡度时，本能总是想要往后靠，但一旦顺从本能往后倒，你就会完全失控摔倒。 [398:40] 谢赛宁: 放开维特根斯坦，放开费曼。

[0:00] 请不吝点赞 订阅 转发 打赏支持明镜与点点栏目今天这场对话让我感受到了一种冰冻解封后的人间烟火气息今天坐在我对面的是华人青年科学家谢赛宁他刚刚和图灵奖得主杨立坤一起踏上了创业的旅程他们的Neolab AMI刚刚完成了第一笔超大规模的融资目前团队规模为25人谢赛宁一直告诉我他不是那个天选之子她是普通的那一个那接下来就是我对谢赛宁的访谈一定要给我打电话就我什么都没说我就把我拍下剧了他们发给我一个offer然后说我不去抱歉但是有爱的同事一定就有恨就它是一体两面我今天早上我们在纽约就是布鲁克林拍空镜我觉得这里我很喜欢这里就因为我住在时代广场那边我觉得那边还是一个非常刻板印象的纽约但是好像来到这里就是一个充满了艺术气息和生活气息的纽约是啊我觉得Dumball这边当然非常艺术很多电影里面我们之前有个韩国电影叫过往人生里面他们那边拍你看到的旋转木马然后那边的Dumbo大桥时代广场只有游客才会去真正的纽约人是不会去的但其实NYU附近其实也很好那边叫做Granvich Village然后那边也是一个村然后那边也很有生活气息你为什么会来纽约做学术这好像不是一个很多人的选择倒也不是吧但是历史比较长的确实是各种原因吧我觉得当然也是因为我确实比较向往这个城市向往这个城市里面的很多的元素他的一些人然后包括NYU其实也是然后当然主要原因还是因为Young啊然后像AI的这些efforts对吧MYU确实做得很不错但另一方面MYU还有很强的电影学对然后我喜欢的很多导演像是Martin包括最近赵婷啊什么都升完有的毕业生所以也是partly the reason吧也是一些原因对我这个我之前跟你说我觉得我来美国现在多少年了13年过来然后13年左右了我这个后训练现在有点崩所以中英加杂的问题对观众朋友们不好意思我尽量解释多多见谅多多见谅我好像没有在任何地方找到你的一个播客或者一个访谈所以这是你第一次做一个播客或者访谈吗第一次做播客第一次做访谈对你可能能找到很多我出去在各种conference会议上面的演讲做演讲这些很多为什么你之前这么多年都没有上过一个播客或者做一个放太阳我觉得我不知道我觉得我更适合做一个听众我很喜欢podcast对我经常听很多的podcast我的这个spotifyYouTube每天上班下班然后睡觉前平时没事都会听一些podcast对然后我觉得我也挺有表达的欲望的或者说我私下里跟朋友也会聊很多东西我跟学生我觉得平时抓大家一起聊天我觉得也很开心但是podcast这件事情对我也不知道可能是因为没有人邀请我吧应该不会啊其实有一些但是我觉得还是可能也是因为比较挨人我觉得很多时候觉得不知道哪些话应该说哪些话值得说哪些话大家愿意听但我现在我觉得慢慢年龄大了之后也还拥有了不被人喜欢的勇气我其实在网上看了你的很多很多的信息但是我发现所有人对你的描写都是从上海交大的ACM班开始的那我也很好奇在那之前的谢赛宁是什么样的呀你能不能从以你对这个世界拥有最早的记忆片段为开端来给我们讲一讲你的童年和成长OK你看这就是为什么不讲做podcast因为确实 [5:00] 没准备过或者说你得让我回忆回忆从最早的记忆片段当然就是我觉得从小时候开始可能四五岁的时候我妈妈带着我去四处旅游这可能就是一开始的记忆在哪里旅游各种地方对因为她也做一些生意然后四处跑全国各处跑我记得印象很深在上海的这种初印象然后去四川然后这些就是能想象的各种旅游景点但是对我如果非要对身霸这个家庭情况就是我爸是一个纯粹的私宅从来不出门但是他最爱看的事情就是看书所以我家里反正有一个书房然后几面墙都是书所以我小时候基本上就处在这种状态之中要么就在外面跑被我妈带着到外面旅游要么就在家里面翻一些有的没的能看的不能看的书都看一看然后我觉得这是一开始的童年然后到了后来确实我觉得我们这一代人的成长经历还蛮不一样的因为我觉得当然不知道我觉得现在孩子可能在这种AI的时代也会有同样的感受但我那时候我大概9岁的时候有自己的第一台电脑然后那时候开始不用来干正事的也是一盒一盒的买游戏然后打游戏然后后来有了互联网然后第一次感觉到这种信息爆炸所以那时候第一次知道什么叫做内容然后那时候就会觉得自己突然有了更多的表达因为你看书还是单向的这种学习的过程虽然也是很开阔的但到网上当初有这些BBS然后你可以上网去发表意见我还记得对吧有这种新浪博客现在肯定都没有了但我写了很多很多的博客是吗关于各种各样的乱七八糟现在肯定回头看过去都会很好笑最popular的一篇文章是什么很多吧 我记得有点为复兴词强说愁的感觉可能那时候包括QO空间大家总会想要有一个平台去表达自己然后到后面其实还有更多的这种新兴的媒介出现包括有博客然后有微博但那时候其实不是微博是范否我不知道听没听说过是汪星然后那时候我也是范否的众多用户上面范否现在还能登陆但是实在是不忍直视有时候看了看我想要不要赶紧删掉最后想一下还是留在那让它变成互联网记忆的一部分但是我觉得那时候我觉得这种互联网的爆炸式的增长让我变成了一个对很多事情都很感兴趣的人我觉得是这样所以你爸爸妈妈你妈妈是做生意的你们是一个商人家庭吗也不是对反正我爸爸基本上也是他他是本科学心理学的他也之前也从事一些教育工作后来也在一些这种电视台上的传媒工作可能跟你是同行所以他小时候我的记忆对他的记忆是他扛着摄像机到处跑那这个有趣但我家里确实没有人是学纯理工的这也让你的性格我觉得还有一部分是蛮文艺的可能吧但是但我觉得我一想说的还是在这种非常轻松的家庭环境承担起来确实让我的自己的这个世界模型我觉得我自己对它我还是觉得蛮蛮骄傲的因为我觉得我会或者说你刚刚问为什么会来纽约我觉得这也是其中的一部分我觉得我可能会希望自己或者希望身边的人都更加open minded的去看待这个世界吧你是学习成绩一直很好吗因为你是保送到较大ACM班的完全不是的我是从高中对我觉得这件事情是这样就是说你可以看我现在身边有很多很多的朋友大家其实都是A class一路走上来的对最好的高中对吧然后最好的本科参加竞赛最好的文科然后最好的PhD然后结束了之后去比如私大教书就有一个非常清晰的主线对吧然后我也很崇敬他们我完全不是这样我是一个最多是一个B class的这样的一个 trajectory你像你像而且很多我的这些决策其实还是蛮玄学的 [10:00] 我觉得我并没有刻意的在某种这种优积主义的这种这种这种赛定下框架下面去努力追求一些事情很多时候其实还是挺随机的然后可能也是这个没办法这个智商不够但是确实比如说像保松的时候对吧这个也是很偶然然后反正有两个这种心理学跟数学的竞赛的讲然后这时候恰好交大有这么一个计划就是说可以提前进校就是想收割一些同学然后让大家不要去高考其实我当初还是蛮顺着高考的框架去培养其实我本身应该是要去参加高考的所以当初还纠结了很长一段时间学校老师都会说这个不行你怎么能临阵脱逃呢你看你的成绩也很好对吧当然应该冲一冲进化北大然后我的内心想法是交大挺好的我觉得我去上海待过我觉得我跟这个城市跟这个学校都气质相投并且我就是想学计算机然后我觉得交大那个时候计算机也很不错我也听说过有ACM这样的一个计划虽然那时候这个选拔的过程其实是要到你提前进去之后有一个夏令营之类的这样一个program对吧然后你进行一些测试然后才能进入到这个班级里面对但这里面有很多很有趣的事情发生当然首先话说回来我觉得我还是蛮怎么说呢就让我再选一次的话我完全不会后悔对我觉得提前进校的那个暑假是我这人生中的高光时刻为什么因为那两个月啥也没干就在寝室里面打游戏这为什么是高光时刻因为这辈子在之后再也没有出现过这样的时刻了当然打什么游戏很多啊打倒塌啊什么的就是宿舍里面就是那种我在高中时候从互联网上看到的那种大学生活你知道吗就是有好好学习的一部分但也有一些这些找寻自己然后在慢无天日的虚度时光的这样的一个经历所以现在您的人生高光时刻是在虚度时光是吗在情世里可以这么认为你很有意思你一直在说你不是成绩最好的那些人但是你也很顺你似乎也是成绩最好那一批为什么你对你自己心里的认知是我的成绩其实是一半的我其实就是说我看跟谁比跟那些最顶尖的竞赛选手像我刚刚描述的这课非常顺利的对吧摇班大神然后四大PhD四大教授来比那我真的是远远不如但另一方面我觉得我还蛮感恩我所有这一段经历的因为我会觉得就接下来往后讲的话其实我觉得还蛮有意思的比如说在我去教大的时候其实教大也不一定是一个在计算机方面人工智能方面一个特别领先的这样一个学校然后到现在比如像一线班已经变成了一个当然跟我没什么关系但我的学弟学妹们包括我的学长们不管是做创业还是在做学术然后在各个地方发光发热并且我们有一个很强的这样一个校友的网络大家联系在一起然后做事情我觉得还是是一个向上的这样一个向trajectory向上的一个轨迹再到后来这里面还有一个很有意思的事情我想提一下就A3班会面试然后面试的过程会有这种老教授当初是神少教授面试我们这个面试其实不是问你一些technical问题他会问你你喜欢读什么书然后我觉得这件事情是明明注定有一些缘分因为我当初非常着急差点达不上来然后我跟他说我其实很喜欢看那本书也是我最近刚看完那本书是这本书叫What is Mathematics就是什么是数学然后沈仁少老师就接着就问了说那这本书的作者是谁要考考我然后我有点懵然后你这个对吧一个高中生人家外国人名我也记不住想了想最终还是打出来了是Richard Perron就是理查德科老然后盛老师就是说对你一定要记住这个名字因为这是相当于20世纪最伟大的一名数学家为什么这件事情让我觉得冥冥之中自有天意或者有一些巧合在这里面是因为现在在NYU我在的这个 [15:00] 这个系这个月就是科朗数学科学研究所就是Richard Courant拿铲子挖的第一勺土对他建起来的这个系所以我觉得还蛮有意思的对吧然后到后面申请其实也是一样我觉得或者从另外一个角度来说这件事吧我觉得我觉得好像这个世界总是不想让我去做我想要做的事情但是但是我偏偏要做我想要做的事情比如说本科的时候我一开始就对计算机视觉对吧或者说对人工智能产生了一些兴趣那时候也是刚开始就是在A3班大家会在大二开始进行这种科研实习然后会到这个学校里面的不同实验室里面去然后我去的这个学研室就是一个做神经科学加AI的这样一个实验室叫BCMI然后书架上放着很多很多关于意识关于大脑关于图像啊然后关于我们怎么样对真实世界产生认知这样的书啊我看了之后觉得哇太有意思了然后呃后来在我在这个过程中我还认识了我的一个学长这个学长是侯晓迪然后他也是丁颖大名他之前也创业然后现在也在创业然后我们每跟他聊起来他总会说这个世界变了但我们都没变我们特指我跟他因为我觉得我们每次聊的东西就像我们十几年前聊的东西一模一样对那时候他是这个学校的一个传奇对然后他干了两件传奇的事第一件传奇的事是他作为一个本科生发表了一篇CVPR的论文对然后这个论文里面是一个非常精巧的算法一共只有七行代码解决了一个很重要的问题然后发表了一篇论文现在CVPR已经每年接受可能几千篇论文对吧好几万篇投稿所以现在你像我们要招本科生然后大家人手都三篇四篇五篇CV品已经不算什么了但在那个时候在大陆的学校能发表这样一个鼎会的工作其实是非常困难的非常罕见非常罕见然后如果是一个本科生发表这样的工作闻所未闻所以真的是每一个人都非常非常佩服他但是他又做第二件非常厉害的事情是他带领一个team撰写了一个东西叫做教大生存手册教大学生生存手册这还是一个team写的应该是他主笔我不知道后面应该有一个团队跟他一起然后这个东西现在网上还有存到我觉得欢迎大家线下可以去看一下对这个手册里面讲的什么东西然后有些有些话对我前两天又回头又重温了一下我觉得非常非常有意思对他讲的事情是什么就是讲说人为什么要学习中国的教育体制大学的模式到底哪里错了你应该把时间花在什么样的地方上去达到你想要的人生或者说他也指导大家说怎么样做研究做研究的目的是什么做研究的目的不是要灌水发论文而是真的对这种无限的未知的探索类似于这样的事情当然里面也会教大家什么怎么样逃课怎么样完成作业比较快速的方式完成一些作业对是一个这种小册子我也去读了一下他说如果一个人把政策评分作为自己的至高追求那么他就是这个政策的牺牲品我完全同意对我觉得这些事情现在回想起来可能潜移默化真的影响了我对很多事情的认知他在发表这个的时候你大几啊大一大二大一大二大一大二你就认识他了什么那时候他已经申请成功然后去了加州理工读PhD所以我跟他是在因为他也是这个实验室毕业的所以我跟他相当于在网上沟通我和小迪当初是在这个加州理工然后就已经读PhD了他也申请到了很好的学校然后我们都非常非常羡慕在那个时候然后我跟他还是会在这个当初是在Google Chat上然后跟他聊很多很多的话然后他真的是也是给了我很多的建议现在还记得有什么建议没有更多的时候在网上跟他聊的时候更多人聊research到底应该做什么事情跟他讲一讲我自己的迷茫然后怎么样能够发出来一篇论文大概向他取取经 [20:00] 然后那时候但那个时候我觉得通过小迪然后通过我看的这些书已经基本上确定了我觉得我这辈子就想做这个事我觉得这件事情太有意思了计算机视觉那时候其实并没有这样一个名字在那或者说慢慢开始有计算机视觉这样一个terminology但其实之前对吧然后大家去处理图像或者VIO的信息已经很长时间了大家会做所谓的image processing就是图像处理更多的是从这种WE的major开始的对然后计算机视觉可能是慢慢变得更加更加popular对然后也就是我开始学习这些知识的时候它开始变得越来越popular对然后我通常说这个世界总不想让我做这件事情是因为在教大一三班的时候其实还有另外一个特点是这个班里的每一个学生在大三的时候都要出去实习一次现在其实也蛮常规的但其实在当时还是这个班的主要的发起人叫于永老师他的一个创举所以那时候大部分人就是A3班会跟MicrosoftftRestation就是亚人院有这么一个合作的一个项目所以会把我们的很多学生送过去然后做一个大概六个月的这样一个实习对所以我的当初的就是如果我什么都不做到我就会去亚人院实习对虽然也很好但那时候其实没有一个做视觉的组愿意接受A3班的本科生去实习为什么呀我不知道可能是因为当初你像马亦老师孙江老师都在那边凯明那时候应该也在那边了然后我觉得他们可能不喜欢有太多的这些啥也不懂的本科生过来参与这些事情他们那个时候非常的人才积极是的没错但我们真的什么也不懂对吧我觉得我现在也慢慢能理解但那时候有一个选择还是去MSRA但是就不要做什么跟视觉相关的这些research了然后玉老师也跟我说其实你们本科生现在最重要的还是有一段研究的经历学会怎么样做研究具体做什么样的方向不是很重要但我觉得不行我觉得我没办法接受我去做一个完全不一样的一个方向我希望对这个领域了解得更多我希望能够踏踏实实的做一些事情然后希望有朝一日能像小迪师兄一样能够发一篇CVPR的论文小迪那时候就已经是你的偶像了是吗有点他是很多人的偶像在交大的时候然后所以我就开始琢磨这个事情怎么办然后就开始发邮件所以联系了新加坡的NOS新加坡国立大学的盐水城老师的实验室这件事情是完全我自己联系的也没有告诉于老师然后等到敲定说我可以有这么一个实习的机会然后他那边已经有一些补贴然后我说什么时间什么样的这些架构已经都比较完善了然后我就去找于老师我说于老师我实在是不想去亚颜院我想去新加坡的学校的组去做我想做的研究于老师沉默了几秒钟可能我猜我不知道我还没有问过他这个问题但我猜他心理想法是这个学生怎么这么刺头因为在老师心中亚远院是一个更好的选择是的一是一个更好的选择二是我觉得也是能够让大家都听过对吧能把大家聚合在一起我觉得一是当然也方便管理了第二也会有一些更多的这种signity大家还是可以互相交流然后你去一个新的地方这件事情到底意味着什么这个地方到底靠不靠谱你要做的事情靠不靠谱这件事情可能是不可控的你纠结过吗我没有解决但余老师我觉得我也非常appreciate他就是他反正沉默了几秒最后说好你去吧对然后我就去了但是这件事情发生了之后像水城这个组NOS的这个实验室变成了我学弟学妹之后的一个可选择的一个position所以我觉得对所以我觉得我还是想take一些主观能动性我觉得take一些initiative然后去做我自己想做的事情在当时还非常早期就是和图像相关的人物智能到底吸引你的是什么呀为什么吸引 [25:00] 令了你呢让你做出了很多不一样的选择因为我觉得我感受这个世界的方式就是通过视觉我会想我小时候可能也比较无聊吧我就会想人有这么多感官如果非要让我去掉一个的话我会去掉哪个我觉得也许我听不见也许我没法说话也许我没有触觉没有嗅觉我会过得很悲惨但可能还可以接受但如果我没有了视觉那我不能看动画片我也不能看电影我也不能打游戏了我似乎丧失了一个人的独立性然后我觉得当然这件事情这些最开始的想法和后来我看到的一些书里面讲的事情我觉得也蛮不谋而合的因为你像是视觉信号其实占了人的大脑这个P层看你怎么说的吧就主要的视觉区域可能有30%占整个大脑但整个大脑在你看到图像的时候激活的部分可能要占到70%所以其实我们所有的人都是视觉动物然后这件事情对我是这么觉得的我也是一个视觉动物我也很喜欢看一些东西对生物也是不只是人不只是人对你说的非常非常对所有的动物其实不完全是这样因为其实在530million years ago就530个百万年前其实地球上其实这些生物是没有眼睛了大家都在这种深海里面生活暗无天日对吧大家都在深海里面然后光打不进来然后突然有一天有一些生物能够发展出来他们的视觉了虽然还是很弱只能看到一点渺茫的信号但这时候他们就很厉害了他们就能看到自己想要捕食的对象在哪我就可以很快的游过去然后把它吃掉它还能躲避天敌有人要过来要抓我了我立刻逃跑一旦视觉诞生了其他的生物在进化的过程中又不得不演化出更强的视觉因为如果你不有更强的视觉的话你就会被吃掉所以就展开了一场军备竞赛所以这是所谓的寒武纪大爆发所谓的Cumberland Error就是说地球上在寒武纪之前可能只有屈指可数的这些物种但是过了寒武纪之后突然到大爆炸时的多了几十万种这种物种一个leading theory就一个理论其实是说这种大爆炸的来源其实就是因为大家在视觉层面展开了这种军备竞赛所以你说的完全对我觉得这其实是不是一个人特有的事情我觉得所有的动物其实也是这样然后所以我对这件事情还是蛮感兴趣的而且你知道视觉这件事情其实也不只是一个感官有一种说法是其实眼睛是唯一一个它是大脑的一部分但它是唯一一个暴露在真实世界里面的大脑部分因为其他的大脑部分都藏在我们的头骨背后嗯对吧所以这样想的话其实解决视觉不是要解决视觉本身而是要解决智能本身对所以一切我觉得都是能串起来的从你还没有进入大一的正式上学之前那个在宿舍里躲着打游戏虚度时光的你然后到你找到了计算机视觉的这个人生的主线这中间发生了什么呀其实也没发生什么其实很多时候我觉得都来源于偶然吧就像我如果当初也许没看这本书然后我可能也不会走上这条路但有时候我觉得这也是一种必然我现在还是蛮相信其实每个人都有自己的命运或者说我有时候跟学生说你不要想着说你不做这件事别人就会把这件事做了你要想如果你不做这件事这件事在这些世界上永远不会发生这是什么意思呢就是说就是说就是说你现在在做一个research topic对吧然后你做了这件事情你是怎么样一步一步到达这个端点的这件事情完全取决于你自己之前的个人的人生的经验成长的背景可能是你看过的一本书可能是你跟一些人的一段对话可能就是你的genetically就是你的基因就是跟别人不一样我觉得每一个个体在这个世界上都是很独立的每个人都是这个世界的一个变量每个人都是这个世界上的一个变量 [30:00] 然后有可能谁说的准呢有可能你就是这个世界上最重要的那个变量这是你的世界观我觉得是我乐观的一面吧你在新加坡果立有获得你想获得的东西吗我觉得有首先是我交了很多很好的朋友之后我可以慢慢展开但我认识了比如说其实当初带我的主要的这个我的mentor是冯家石他当初是PhD学生然后他带着我然后做了一些工作我们发表了一篇也不是鼎会很不幸本科还是没能发出一篇CVPR但发表了一篇还不错的BMVC的paper是一个没那么鼎会的计算机视觉的这样一个论文所以我觉得还是有很大很大的收获我第一次知道了Research是怎么回事对吧真正写过一篇paper跟没写这篇paper我觉得还是差别还是很大那是你关于CV的第一篇paper是的但你可以认为这是一个关于CV的paper但其实跟CV也没有什么关系它的唯一的一个application是人脸识别对它更像是一个机器学习的论文但那时候也很正常所有在学CV或者说研究CV的人都在做类似的事情所谓的这些这种manifold clustering相关的东西对但是也就是在那个时间点上那是2012年2013年2012年对吧所以刚好也是Alex that moment所以我也是在那个时间点上知道了这件事对吧然后对然后知道了ImageNet知道了深度学习所以我觉得那其实是一个原点那是我刚开始做Research然后学会怎么样做Research的一个原点也是整个深度学习的一个原点这是你的大三大三对这个时候大学就快结束了所以你其实在本科期间就已经找到了你的主线我觉得是的那你当时的内深奖励机制是什么呢其实我觉得还是好奇心吧对就是我觉得我觉得想我想要知道为什么对然后或者说这可能也是我的一个自己的一个解释吧我觉得我也不知道我的intristic motivation到底是什么但是我希望了解更多东西我希望了解关于这个领域的更多的事情我希望跟这个领域的最顶尖的这一部分学生也好研究员也好老师也好有更深入的交流所以这也是为什么之后我决定还是想要出国想要申请我觉得也是是这个原因这里我想多插一个小问题你也肯定有很多清华窑班的朋友也有很多清华瑶班的朋友来过我的节目我想知道清华瑶班你觉得跟交大的ACM班最大的差别会是什么呀在培养上我觉得可能ACM班没那么卷吧一个差别是again这件事情其实还是余老师的一个设计他我觉得是一个挺伟大的一个教育家我可以这么去说对像我们当初其实我们的课程设计上会有很多看起来还是蛮奇怪的这些设定比如说我们有一门课程刘老师其实很自豪的就是说叫做学资讲坛这个学资讲坛是什么就是说大家要到这个课上然后花可能45分钟到一小时去做一个presentation给一个talk然后这个talk不能是跟学习有关的它可以是关于这是这样的任何事情的但不能学习有关系对所以有人会讲哲学有人会讲历史有人会讲社会有人会讲很多很有趣的东西当然也可以讲科学对然后我觉得我觉得这可能是一个培养机制的不同当然我也没去过摇摆所以我也不清楚但我觉得大家还是在一个相对来说比较宽松并且比较强调通识的这种设定下往前走你给我的感觉是你好像不是一个喜欢过度竞争的人我觉得我不去怕竞争但是我觉得确实我不喜欢过度竞争并且我觉得过度的竞争一定也不利于创新对我觉得这个当然不是说ACM班没有竞争其实有很强的竞争你在这个竞争中是优胜者吗没有被淘汰出去OK对但其实也不能叫淘汰了其实是大家觉得自己适合还是不适合然后选择继续留在这还是出去你本科大概排第几一共可能有三四十个人可能排十几名这样吧没有特别卷自己没有特别卷自己 [35:00] 你有想过要成为ACM班的比如说第一名第二名吗这是你的追求吗我成为不了对真的成为不了因为我们有很强的这些对竞赛背景的学生然后或者说这个评价的标准其实我觉得也是多元化的其实不好讲谁是第一名第二名或者说如果只看GPA的话那我确实做不到对然后我觉得而且我对这件事情可能也是受了生存手册的启发我觉得我也不是那么在意所以从那个时候就开始非常追随自己的兴趣是的对我觉得追随我的兴趣并且我会想方设法促成这件事情对吧尤其在申请的时候也是一样刚才的一个例子是你去了新加坡古利而没有去微软亚运宴对申请的时候其实对这里面还有另外一个故事就是当初差点失学但也没有失学就是还是有一些offer但是也是没有一个我想去的做计算机视觉的老师的offer这件事情让我非常非常沮丧然后一度我会想好吧那我可以去做一些关于推荐系统的研究一些更加有那种机器学系的研究直到最后然后我就开始疯狂的跟大家写邮件就是套辞邮件对然后这个图周文老师的图教授然后回复了我但这件事情已经非常繁忙了因为你知道大家申请PhD一般都是要4月15号就截止了对吧我其实4月才收到了这个回复对你最想去的老师是谁啊在那个时候那时候其实做算机数学的老师不多对吧然后我觉得陀老师当然是一个我非常敬佩的一位老师所以我觉得他也是我的一个top choice对然后当然了还会有很多你当然说像在斯坦福博克利对吧MIT都会有很多这些计算机视觉的先驱但那时候超过我的能力范围之内对所以我跟陀老师发这个邮件然后他就回复了我然后我还记得非常清楚因为有时差所以陶老师说我们要不要打个电话你什么时候有时间我说我任何时候都有时间然后所以我半夜三点在宿舍的楼下跟陶老师打了这么一个电话告诉他为什么我觉得我想做这件事我之前做了哪些事并且我觉得我为什么很欣赏你的research我觉得我们可以一起工作一起公事所以后来图老师就把我捞起来了非常幸运最后几天最后几天把我捞起来了到后面还有转折因为我一开始图书恩教授其实是在UCLA对所以我拿了offer也是UCLA的offer然后我办好了签证准备要入学然后之前大概一个星期他老师说不好意思我要跳槽了我在UCLA因为种种原因不想待下去了不想在这继续待着了我要去另外一个地方我要去哪我现在我也不能告诉你我也不知道对因为他当初也在面试真的对然后他跟我说你有几个选择一是可以留在UCLA然后把你交给其他的老师托管然后也可以等一等看看我这边工作的情况然后有可能如果去到一个你愿意来的学校的话你可以跟我一起来所以你等了吗还是你马上说我就选择你我基本上就是说我马上说我就选择你了你不在意学校是吗我觉得我不在意学校并且我还是觉得我觉得这些事情都很有意思因为当初其实你如果看UCSD的话可能感觉什么综合排名什么都不如什么UCLA现在完全不是这样如果你看CS ranking或者说从AI的这种招人然后学生包括这种师资的储备AI的这种力量来看我觉得UCSD都已经是前几名的这种级别了在当初完全不是这样在当初而且我其实还一直很想合作一个老师叫Search Blanchy他刚刚决定也要跳槽离开UCSD所以我觉得一切都很绝望我要去的地方似乎排名也没那么高然后狮子也在外流但我想了想说这个都不matter都不重要重要的事情是我跟谁在做什么事情然后这件事情是不是我想做的事情我觉得抛开所有这些噪音这是我唯一一个想要去关心的事情这个很有趣对所以这件事情发生了好几次的我刚刚说在交大其实也是一个向上的然后去去这个去UCSD其实也是就是就是 [40:00] 当然我不是说这件事情跟我有什么关系我觉得跟我没有任何关系但somehow我觉得我能看到一个地方或者甚至一个人他的upside的potential就是说他的潜力然后我也愿意跟这些地方一起成长我觉得这是我体会比较深的一个事情你多久知道图老师去的是UCSD可能隔了几个月可能隔了一两个月你当时有担忧过吗当然有担忧过因为图奥师其实是一个非常谦虚能力极强但又非常谦虚的一个人所以他总会给我打预防针的说我要去的学校有可能排名会比较靠后了你要考虑一下你怎么说我有点不太记得我说了什么但对我来说这件事情可能不那么重要而且那时候还没有到要做选择的时候对吧那我们为什么要为了没有发生的事情而提前忧虑呢所以我也没有想太多有其他人做这样的选择吗在图老师沟通的学生中应该基本上没有我是他在UCSD招的第一个学生那我觉得光凭这一点图老师应该非常喜欢你我觉得这个都是对我觉得也是他救了我确实是但这个也不只是一开始捞了我再到后面做research在PhD的过程中我觉得他也是真的帮到了我对我之前像在新加坡时期什么的你可以认为我们在做一些research但事实上可以说还是小打小闹对有一个人在你的旁边教你做事这种感受还是不一样附老师是那种坐在你的显示器旁边跟你一行一行代码往后去对的这样一个老师而且他也经常我觉得很骄傲的会跟我们说这些事情并且我觉得他也非常值得这样的骄傲就是说他发了几篇其实对后面的计算机视觉有重要影响的工作都是他独立单个作者完成的工作然后这些工作没有什么像现在一样大家用PyTorch有这么多这些开源的社区有这么多的这些库你可以调用对吧有GPU在他那个时候什么都没有他要从底层开始写起比如说他要做图像分割这样一个task他要从头写起大概有5万行的这样一个代码他还把这个代码发给我看过这个包含的最底层的这些包括一些distributed training一系列的这些东西全都是C++写的对 五万行代码我觉得一方面我觉得我很幸运不需要经历这些但另一方面我觉得其实他们这一辈的在美国的这些这些scientists这些professors真的是令人敬佩对如果没有他们的话也没有我们的今天他们其实是闯出了一条路对本来这条路是不存在像我说的对吧发一篇CVPR这件事情其实是非常困难的事情并且有某个圈子有某个固定的圈子对然后我觉得我觉得要靠陀老师要靠其实他的老板对吧朱松淳教授然后包括后来像飞飞等等飞飞老师然后大家把这条路汤出来让我们才有路可走我看到有个小红说评论说现在您在国内表现频频平凡无奇到了美国一鸣惊人这变量到底是什么呢首先我觉得没有在国内平平无奇吧我不接受然后在美国也没有一鸣惊人我也不接受我觉得好像我做的这件事情还是一个蛮smooth的一个很平滑的一个过程对或者说我觉得这也是我希望我作为一个研究人员对吧这种科学从业者我希望能够处在的一个位置就是说这件事情不是一瞬间的荷尔蒙或者肾上腺素的爆发这件事情可能是一个终其一生的一个建设一种很宁静的一个过程我是希望自己能处在这样的状态我说这样的状态是因为我知道很多人就是这样的状态对这些我最崇敬的这些researcher他们就是这样的状态对他们没有说怎么有这种一鸣惊人的或者至少他们的做事情的方式不是或者做事情的目的不是为了一鸣惊人对我觉得是这样是为了什么是为了还是把问题想清楚你博士期间的工作是怎么展开的博士期间工作也很有意思对博士期间工作我觉得也是靠这个托老师 [45:00] 手把手带对但我们有第一篇论文By the way我在博士期间也不是一个成功的博士的学生按现在的这种standard来看我一共发了可能应该有五六篇顶会的paper这个是什么水平我不知道在那个时代应该还行是能找到顶尖实验室工作的水平现在可能已经是对现在我的很多学生要比我当初要发的多的多的多的paper然后工作质量也好得多但是anyway就是一开始的话我觉得我们做了一个工作叫做Deeply Supply Snats对这个工作其实是我跟另外一个更高年级的博士生一起合作完成的然后这个时候这是201314年的时候然后这时候是深度学习终于开始爆发但我觉得这也是一个很有趣的时间点因为其实有很多人不接受这件事尤其很多做计算机视觉老师甚至都不接受这件事就大家觉得深度学习还是一个练金术还是一个黑盒子大家更相信传统的机器学习的理论相信SVM或者相信一些贝耶斯学派的一些理论对能够及时的转身去做深度学习研究这件事情现在看起来对吧开着这个历史的后视镜都是一个no brainer就是你不需要做这样的选择对吧你就应该这么去做但在当时要做这样的选择我觉得是需要一些勇气的所以陀老师其实是我这也是我另外一个非常敬佩他并且我深深的受到了这件事情的影响的这么一个事情那就是说他其实是很及时的做了转身所以DP SuperSnet就是在这个时代我们第一个DeepFundering的一个工作所以这件事情的事情也很简单这件事情就是说我们怎么样你所有的这些事情网络在之前都是只是一个所谓的SingleStream都是一个长长的链条然后有你的输入然后得到你的输出对吧然后现在DP Supers Nets就是说你现在其实可以有multiple的branches就是说你的一个神经网络其实可以有多个出口你在不同的出口上你都可以施加一个监督信号这样的话一个最直接的一个好处就是说你可以不止从最远端的这个信号做back propagation回到之前的early的这个layers反向传播你不需要从最远端做反向传播一路到最最头你其实可以从中间的一个节点做反向传播这样可以解决一部分这种梯度消失的问题然后这件事情其实跟后来比如大家做RestNet其实也有点神似其实就是或者说在那个时代大家其实都想要解决这样的问题那DB SuperSnet就是一个要解决这个问题的一个方式其实这件事情虽然很远了这已经again12年前了但我觉得Research就是这样12年之后其实我们现在的一些论文又再次用到了同样的这样的设计有时候甚至是我们都没有意识到对我觉得这个很有意思但我们先不说12年以后那我第二篇论文其实是叫做Holistic Edge Detection就是一个做边缘检测的工作HEDHED 对我觉得我对这篇工作其实也蛮骄傲的因为这件事情说白了把一个research的问题解决了既是一种幸运也是一种不幸就是幸运的是说这篇论文是一个不错的论文不幸的事情是当这个问题已经解决了之后那没人后面没人做所以也没有人去设计你的论文了所以少了很多设计对但是但这个工作其实本质上就是一个Deeply Supply SnetsDSN在一个图像或者说边缘检测但其实是一个全局的这种我们叫做Pixel Labeling就是说像素级别的这种这种标注的这样这样Task上面的一个实现对然后这件事情也打开了我很多的思路因为我会发现原来一个神经网络它的每一层其实是有它隐含的这个结构跟信息在这的你的一个神经网络again不只有输入跟输出你的中间会有很多的这些信息它代表了这个世界的一个所谓的hierarchical就是层次化的一个结构对于边缘检测来说它代表的就是说你的初级的这些层输出的这些边缘就是更加所谓cours更加粗糙的这些边缘对吧然后越往上你的边缘也就更细致所以你最后可以把所有的这些边缘融合到一起得到一个最贴近于人的认知下的这种边缘 [50:00] 这样的一个输出的结果我觉得这件事情其实是也让我对深度学习有了新的认知它是一个很有趣很有趣的东西你可以认为它是一个black box但这个black box的每一个部分你又能把它打开接入一些新的灵感然后达到一些新的目标我觉得这件事情对我启发很大然后这个paper当初对我的人生影响也很大是因为它是发表在ICCV然后也得得到了一个奖啊这个奖是这个马尔奖就是其实最佳论文奖的提名还不是最佳论文奖只是一个提名但其实这个对于马尔奖来说就是他评选两个论文了就是相当于马尔奖的马尔奖提名是两个奖项啊啊所以这件事情让我觉得啊你要说什么一名惊人我当初确实觉得嗯你看我也是年少成名了啊就现在当然我们有很多这种这种中国学生也在这种世界的舞台上啊得的这些best paper可太多对吧但当初对我来说走上那个舞台然后或者那个讲台然后去给这个Award presentation去给这个talk我觉得对我的触动是很大我会觉得哇我的这个人生开始了对吧然后我会不断的努力我会有越来越多的best paper很不幸这是我最后一次拿best paper这谁是博几啊博二吧直到现在前两天春节大家发短信还是说祝你这个新年快乐best paper多多我说已经过去十年每个人都这么住我了再也没有得到你还想要吗好问题我觉得这件事情对我来说也没有那么重要一方面是我知道了这个流程我知道其实我得没得一篇best paper可能不代表这篇工作的好坏我也知道了当初我得的那篇best paperhonorable mention其实多半也是运气这是一个巨大的随机过程一个论文重与不重然后能不能得什么样的奖我觉得这件事情非常非常随机然后如果一件事情这么随机的话它不应该是一个research应该关注的事情所以你到了博尔感觉到人生终于开始了对然后人生终于开始了然后立刻现实就把我打翻在地倒也没有那么夸张了就是说我觉得这也是另外一个我读PhD的时候哎呀又要感恩投老师就是他其实又是一个非常非常open minded让我们去探索各种各样不同方向的一个人所以我在PhD的时候一共实习了5次我觉得即使在今天看起来虽然跟学校跟industry已经合作这么广泛的情况下我觉得也是挺难以想象你为什么想去实习我就想走出去去看看可能就像我小时候去旅游是一样我想知道在这个世界不同的地方不同的组织有什么样的事情在发生有哪些人在做哪些事情我想知道这一切而且一方面我跟你说我一直想做人工智能或者想做计算机视觉但另一方面我也会问自己What if I'm wrong对吧what if就是万一呢对吧万一这事件会有另外一个更有趣的事情发生那怎么办对所以我觉得这也是另外一个我的一个motivation你去了NEC Lab去了Adobe去了Meta去了Google Research和DeepMet对感谢感谢背景调查对是的是这五个地方然后其实前四个都在弯曲了所以我其实那段时间其实还是蛮开心的就是每年我有一辆自己的破车然后每年夏天我要把我自己的宿舍转租出去开着我的车一路从南家开到北家八小时的路程有时候会跟有一两次会跟朋友一起大部分时候是我自己在路上我这件事情还蛮酷的所有的身家就在我的车里两个行李箱然后不带走任何一切因为我这个房子我也没了我回来我要再重新找房子居无定所这种流浪式的研究员的生活我还蛮开心的这五家里面你最喜欢谁我觉得各有各的特点像这五家里面所以我最近也跟学生说我有很多学生然后他们实习其实没有做出来什么好的工作然后我就跟他们说我就会拿我自己举例子我说我做了五次实习一半都没做出来什么东西然后这个实习周期有多长一般都是三个月到六个月对所以我大概一年一半的时间 [55:00] 比较一半的时间在湾区当然低半的时候在伦敦对然后我觉得没有什么喜欢不喜欢我会尽量的去diversify我会希望我去的每一个地方都不一样对我希望它是一个更多元的经历所以NEC Lab它当然是我第一个去的地方然后我觉得在那里我也发了一篇CVPR的论文然后那边有很多很好的小伙伴主要还是华人居多然后大家中午下班了就一起去Cupertino去吃饭这是我对他的印象我非常非常喜欢这个集体然后非常喜欢大家做研究的态度然后我也发表了一篇我自己的论文所以我觉得我非常高兴这段经历NAC Lab当年应该也是深度学习的聚集地于凯博士也在那里待过是呀是的当然它有两个分布一个在Princeton一个在这个Cupertino所有做Vision做Media相关的人都在湾区然后所有做跟这种传统的机器学习相关工作的人都在都都集中在这个Princeton这边对的然后后面可以有些可以跳过但是反正在Adobe我就没做出来原因是Adobe是一个非常非常artistic有这种艺术家气质的公司对的make sense然后我在那时候再三番然后然后做一些跟design相关跟这种crossourcing就是说你要在互联网上去写一些这种mechanical turg就是一些互联网的这种用户feedback的这种系统对吧然后一些用户反馈系统然后用他来指导一些机器学习跟这种自然机视觉的一些任务比如说segmentation这件事情我就没做好我还对我的mentor心怀愧疚对当然他们也都很友善对但这也是一次让我体会到其实it's okay没有做出来什么东西其实也不是the end of the world对吧也不是世界末日但那段时间其实还是蛮消沉的然后这段消沉期其实一直持续到了我去Meta时期在学校里好像也没有做出来什么有趣的工作然后到了Meta之后然后实习只有可能三个月的时间我在前两个月基本上也我在export一些东西在探索一些东西也是跟这种神经网络的架构相关的一些东西但也没探索出来什么东西什么名堂然后突然一个转机发生了这个凯明加入了费尔在那个时候对所以这大概是我实习的一半的时候何凯明老师然后加入了费尔然后成为了一个Full Time的研究员所以那是我第一次跟凯明共事那是我第一次三大学习对然后那时候也建立了一些深厚的友情我觉得因为那时候他第一次来美国他第一次他有很多第一次是在是在这个费尔的时候发生的对吧他那时候也不会开车第一次来美国也人生地不熟我要开着车带着他出去吃饭然后送他回家有时候但他后来也会自己学车然后他也不会用Linux这件事情也很有意思对因为在微软的时候他们都用他们只能用windows来编程对所以我要教凯明怎么样用这些cluster怎么样用Linux对但你会发现凯明这个是凯明不是没有原因的对然后我觉得我觉得像他身上真的是有这种可以叫他光环或者我可以叫他某种这种现实扭曲引力场这其实是Steve Jobs的说法就是说Steve Jobs周围的人受到他的影响都会觉得现实发生了扭曲有些本来完全做不到的事情现在慢慢竟然可以做到了我觉得凯明也是有这样的魔力所以这是我第一次看到说一个真正顶尖的研究员是怎么样做research的你那个时候实习期只剩一个月了你们为什么能够建立起身后的友谊我觉得一是生活上的交流他为什么选择你呢他为什么跟你交流呢因为我在那边是一个intern然后我的manager就把我委托给凯明了因为反正我做的也很不好也没做出啥东西然后凯明来了说凯明你来带一带吧你参与参与讨论吧对所以那时候还剩了一个月的时间然后凯明就说要不我们来一起参加一下这个Image Night Challenge对就打这个比赛然后 [60:00] 然后我说好呀那我们来来打这个比赛因为凯明在微软的时候他做出他这些工作就是靠打Image AI比赛对吧然后一步一步打起来然后所以我们也来去去玩Image AI这个challenge然后在这个过程中我们就发现我们之前想到的一些思路其实是一个rhythmal的思路其实是一个很好的思路对吧然后其实这个idea我propose给凯明凯明他的魔力在于他能把他能把所有很普通的东西变成一个金字一般之前的这个idea对所以我们做了这个RestNext的这个工作然后这个也是我们参加ImageNet的challenge的一个solution一个submitted solution然后我们当初得第二名没得第一名但我觉得我们其实是Effecting应该是第一名因为第一名的solution是一个就是ensemble的solution就是把一些之前的算法做模型融合融合起来的一个一个solution对然后我们其实是一个全新的框架嗯对然后然后那个时候呃对我觉得我觉得Rasnax想要讲讲述的事情也是在涉及到我们怎么样去通过一个去更改我神经网络的架构去学到一个更加scalable对吧可以扩展化的这样一个reportation这样一个表征这件事情其实也非常好玩因为这件事情idea非常非常简单它就是说原来比如说我的Resnax是一个串行的网络对吧只有一层一层一层的这样的这样的conf layers现在我可以平行的扩展成好几个不同的groups每一个group里面有单独的自己的一个小网络相当于你是网络在一个大的网络里面又平行的分布着很多小网络这件事情为什么有意思因为按现在的话来说这件事情就是MOE对所以我们当初在至少在ImageNet上面已经看到了某种skilling behavior就是说当你的group的数目越多你的这种神经网络也就越稀疏然后你的神经网络越稀疏你的宽度越大但你就能够在同样的这种flops这种计算量下然后得到更好的结果它会收敛的更快然后你最后的结果也会变得更好我觉得这件事情跟现在大家在moe expore的东西也是不谋而合的这个工作算不算凯明那个ResNet的延伸呀是的所以为什么叫ResNet的凯明说对这个是SYS ResNet所以它这个X既是Next既是下一代的ResNet也是给了我的一些给了我一些Credit凯明是一个很会取名的人给paper取名的人后面很多这些论文其实都是他帮我们取名的他会把人的名字藏进去倒也不会不是每次都会这样做但只是说是一个巧思我觉得这也是他的research taste的一部分他为什么要把你藏进去不知道我觉得可能也是我其实不知道我没有问过他你们那个时候已经公事多久了你的实习期有延长吗这都是在那一个月里面发生的就是在一个月里面发生的这样的事情不计其数我很多很好的工作其实都是同样的节奏就是一开始怎么做都做不出来然后到最后突然一瞬间有灵感的迸发然后把这件事情收敛就是research从来不是一个线性的发展或者说一个线性发展的research永远不是好的research对然后我们很多的工作其实都是非线性的我之后可以给你们再讲一些其他的story对反正这时候是跟凯明然后我就结束了然后就这段时间也就结束了但是你们友谊保持下来了什么我觉得是的对然后去完了Meta这个又是一个有成果的一份实习我觉得是一份有成果的实习在Google呢在Google我觉得做的也还不错因为我开始去了解一些视频是怎么玩的对这些实习都跟我之前做的东西都不一样每段实习跟我之前做过的topic都不一样所以导致我最后的毕业的论文其实表面上其实是很散的但我还是能找到一个方式把他们串起来然后串起来的方式我再要告诉你好但是但总之是在Google的时候我去研究了一下这些视频的这种神经网络的这种架构跟训练的流程到底应该是怎么样我觉得也收获也蛮大我有一个疑惑因为你既然在Meta跟凯明合作的很好 [65:00] 然后他又是一个鼎鼎大名的AI的research你为什么不留下来继续跟他合作我觉得很多人可能会这么选择你为什么要接着去其他地方去游览了呢这其实是凯明的建议凯明会建议每一个人去不同的地方实习这样才能有最大化的收获对所以像我们当初我啊包括王小龙啊大家其实都是实习了一次然后之后我们当然都愿意留下来但凯明说你们去其他地方看看吧也许会有不一样的收获但是你博士毕业以后回到了Meta是的对我觉得还有就是在Google时期完了之后紧接着又去了DMine时期我觉得那段经历其实是对我启发是很大的DMine那时候还不属于Google还没有收购是吗不不收购但是是两个不同的organization因为它只在伦敦对所以那段时间我去再做一些阿瑶相关的research然后原因是我真的不知道这件事怎么玩的然后我想去看一看然后做的也很痛苦而且伦敦的冬天那段时间是冬天好冷伦敦冬天很冷我还记得非常清楚我要从伦敦地铁下来工作了很晚晚上可能10点11点然后凌冽的寒风然后夹杂着雨打到我脸上然后衣服帽子都挡都挡不住一步一步回到我那个窝居的小屋临时的宿舍其实还是蛮辛苦的然后但那段时间对我的我觉得启发也很大第一让我觉得我好像不是很喜欢做啊啊啊相关的research或者说我不喜欢做机器人相关的research机器人因为其实当初啊其实就是在在在这种啊虚拟的环境里面模拟环境里面去做一些embody agent的task对嗯然后但是我觉得我更多的收获其实是来源于我对Demand这样一个组织的认知是在那个时候build的起来的嗯啊我觉得哇这个地方好不一样啊跟我去的所有地方都不同对他们会有一个很不一样的管理模式比如说他们会有很多这些PM去协调不同的research的team之间的这种运作他们会有这种不同的working group大家还是会有很多bottom up的idea自下而上的这种idea但是他们又有一种top down的管理的模式并且他也是一个层级化的管理模式一开始纯粹探索性质的这些idea然后大家可以有自己的一个小的group去做一些early study然后立刻就会进入一些如果一旦一个东西成型立刻就会进入一个更加top down更有组织性的这样一个管理的模式下我觉得这件事情非常有趣然后现在回想起来对吧我之前在推特上也跟大家说就是Demis跟很多intern也都见面然后大家组织了一个meeting然后Demis就跟大家说或者说其实是有人问他这个问题就是说Demind的使命到底是什么这个公司你们到底最后想成为一个什么样的公司Demis的回答是Demind最后会成为一个能拿multiple noble prices的公司能获得多个这个要要要花重点多个诺贝尔奖的名字我觉得我们当初都说哇这个也太ambitious啊是不是有点天方夜谭只是在做AI而已但现在我们看到他们已经至少实现了一步我觉得我觉得真的是非常非常敬佩其实AlphaFold的这个整个的team就是在我实习的过程中逐渐衍生起来的我其实能看到哪些人在做这些事情然后一开始也有一些intern在参与这个过程然后一步一步他是怎么样从一个探索性的这样一个idea逐渐变成一个有组织讲究execution一步一步能够去达到最后彻底改变这样世界的这样一个项目的这样的过程组织问题我们稍后会着重的来聊我在想你是不是实习太多所以你后面没有best paper了我觉得有可能是这样或者说我觉得我做的东西可能太多太杂实习是从博级开始的就是第一年开始第一年开始所以这两个一直是交织的一直是交织的对所以我觉得你说的很对其实我的时间线其实是被打乱的对吧确实会失去一些注意力但我觉得这也是一个我自己的设计所以说回回来就是说怎么把这件事情串起来呢我觉得我的博士的论文题目是这个deep representation learningwith induced structural parts [70:00] 大概就是说一些结后化的鲜艳用这些鲜艳来指导我们怎样能学到一个更好的深度学习的表征然后这件事情已经过了很多年了但我发现我现在在做的事情还是这件事并且11月还是12月开会的时候然后有一个workshop他们的workshop title就是说reportation learning with structural prior大概就是用结构化鲜艳和表征大概类似这样的一个topic然后我再给了一个talk过去然后我talk的最后我就说其实过去的12年你们这个workshop的topic虽然现在还是fantier我们在讨论它的时候有了一些不同的意义但是这个也是我当初一开始想要study的问题也是我现在觉得还是没有完全解决的问题对所以一方面我觉得我的这个读 PhD 期间时间线有点支离破碎啊原因是我在不同的地方在做不同的事情但另一方面这也是如果你想要去涉及的东西是表征学习这个 topic 的话这也是不可避免的嗯原因是他就像种一棵树一样你的表征其实是你这个树的树根这个树长起来之后它得要有不同的枝芽对吧这每一枝其实就是一个不同的我们叫做downstream的这种application就是一个新的应用所以我做过图像识别然后图像分割边缘检测视频识别动作识别对吧然后包括甚至后期有一些这种embodied的RIL相关的task在所有做这些事情的时候我看到的一些问题他们都是这些树枝上的一个分叉他们不是根对吧我觉得有可能你说的对我没考虑过这个问题我会不会有更多best paper但我希望还是能够更多种这棵树然后我希望能够扎更深的根而不是去在在这个branches上面走得更远对然后我觉得 again我觉得这件事情是deep learning的核心就是我们说这个表征学习reparpresentation learning这件事情基本等价于deep learning给大家解释一下什么是表征学习好问题对这件事情我觉得之所以我很喜欢说我是一个做表征学习的人是因为这件事情还是蛮难定义的从数学上来讲你可以认为表征学习就是说你有一个data对吧然后你现在要把它map到一个space去然后现在这个space可能会具有一些性质这些性质可能这些好的性质可能会更容易让你在下游的任务上面取得更好的结果对吧然后所以你要学的这个从从从初始的这种数据再到这个具有良好良好性质的这个空间的映射的这个函数这就是所谓的表征学习然后这个函数也不是只是一个简单的映射它有可能是一个Hierarchical层级化的一个映射对然后我们现在当然这件事情可以用不同的方式实现那现在主流的实现的方式当然就是用一个非线性的神经网络来实现这个函数对所以我觉得这是一个定义但我刚说我会我会愿意说我自己是做一个 representation learning 的人是因为我觉得这是一个永恒的 title就因为这个领域发展太快了很多时候我们做很多的事情包括我举一个例子这个可能是一个非常非常非常nactive 的 example就是以前其实在我在我什么时候可能 PhD 刚毕业的时候有一个东西非常火叫 NAS 叫 Neural Architecture Search就是叫做神经架构这个检索吧我不知道应该怎么翻译就是 Neural Architecture Search这个领域里面很多的共识就是说这样一个 topic耽误了整个领域大概两年的时间这是一个错误的方向大家在这个错误的方向上面发了几千篇论文但最后没有任何的收获然后所以为什么我说表征学习是一个很好的这样一个态度呢或者说我愿意跟所有人说我是一个做表征学习的人是因为这是一个fundamental的问题如果你现在说我是做一个neural architecture search的人那这件事情就很麻烦有可能过了两年之后你就立刻得要改行你就要把自己网站上说我的research方向是new architecture search把这句话删掉替换成下一个更fancy或者说更不一样的一个term它不是一个永恒的主题它不是一个永恒的主题reportation是一个永恒的主题是一个最讽创的主题也是一个还没有被解决的主题 [75:00] 所以PHD可能讲的有点长了但是但还要说就是说我觉得PHD的时候其实也也遭受了更多的挫折包括比如说我们一开始Deeply Supply Sness这个论文这件事情也是一开始我们投了Neurbs得了一个挺高的分数大概是886还是怎么887的一个分数最后还是被拒搞了然后这件事情对我来说也是一个打击我发现原来发表一篇论文这么难即使得到了很好的评价但还是因为一些很离谱的原因然后被拒搞离谱是什么离谱原因是因为我们当初我们的里面有一个数学公式它应该是平方没有一个typo把这个平方向落在那了没有写纯粹是一个typo非常容易fix但PC说就是这种program chair就是负责这种会议的人就会说这件事情导致你的数学上不成立是一个错误然后这件事情rebatto的时候就是说你在反驳review的时候review没有看到所以我们很不幸你没有办法被fix那现在我们只能去搞现在看起来已经不可想象就是因为第一现在可能大家也不会去检查论文里的公式了第二我觉得大家也相对来说更加宽容了在那个时候其实大家会非常非常call这些细节对但没关系反正我们就投了这个AI stats另外一个会议机器学习的会议然后这个论文去年得了他们的test of time award就是一个时间简验讲所以我觉得那么久对因为所有的时间简验讲都是说你要评价在十年以后的节点评价十年前所有发表的paper里面哪一篇论文影响利益最大对这个领域影响最大所以我觉得我突然又释怀了我觉得确实做研究是一个长期的过程然后所以这也是为什么我跟很多学生也会说这件事情然后我觉得其实不要在乎每一个时刻你的成败吧我觉得或者说从数学的角度来描述的话就是说不要在乎一个point estimate就你不要在这个时间轴上在每一个点估计你做的好还是不好因为所有的评价他到最后都会是一个积分你需要时间的积累到最后你看所有你之前做过的所有的事情累加糟一起他决定了你是不是一个好的一些事但是在那一刻你还是会很沮丧的很沮丧对非常非常沮丧你在那一刻很难想到十年后的事情很难想到十年后的事情你在博士毕业的时候对自己的人生是抱着什么样的期待因为你也发了一些很好的论文你也是有过五次实习经历了你觉得你自己是应该往科研方向走还是往产业走你有做这个选择吗我觉得那时候一直都不是很自信那时候我都没有去想过找教职因为我觉得我不配你为什么在每一课都觉得我不配我觉得现在好一点但是可能这个有点夸张了也没有觉得真的不配吧但只是觉得比起我的那些peer他们在这个既定的轨道上面像我说的一步一步通向这个很好的教址这条路线我觉得我不在这条路线上或者说你刚刚说的这件事情也很有道理如果你最后真的路线是要找一个教址的话至少在当初那个时间点上你不应该去五个地方做五个实习做五个不同的项目这件事情非常不利于不利于找教职因为如果你想找教职的话你留在何凯明的团队里面你可能会能发更多的paper然后你有更多的结果在那个时间段他可能能够更加顺畅的通往一个确定的目的对我不知道是不是一个确定的目的我觉得还是挺玄学的所有这些决策都是说我只考虑的事情是我应该去做哪里做我最想做的事情最好是跟我最想要共事的人一起共事我觉得其实这个想法其实非常非常单纯所以在当初找工作也是其实我就是也四处都在找各个大厂其实也有不少offer对然后我之前也讲过我当初面试OpenAI的经历其实还是蛮酷的反正在一个小黑屋里面关了五六个小时做一道题目出来的时候天都黑了对我觉得我对那个体验也比较奇妙感觉也比较奇妙但那时候其实我心里面在OpenAI张舒曼对我看到你在知乎上写过这个经历对吧不在知乎都是在推特上面在Apps上面对知乎转了那就是是的对他当初的面试题是一张A4纸他是手写的铅笔手写的一行一行的 [80:00] 这个面试题我觉得这件事情对我也是一个很大的触动我觉得太有意思了这个地方很有意思然后最后其实对当然也有offer了但是最后没有求朋友没有求朋友这就是这个时间线开始对量子力学开始发生了一些变化那时候是2018年所以如果求朋友可能我做的事情现在也是LLM的一员没必我觉得可能不会我不知道会发生什么但那时候其实想都没想那时候我就想去Fair如果Fair给我这个offer我一定会去你想去Fair的原因是凯明对凯明Peter Ross Gertrich就是所谓的当初的计算机视觉的三驾马车他们都不是那种很senior的比如说大学的教授或者怎么样都是这种中青年大概的研究员但就是最顶尖的三个人对他们在那然后他们做的研究就是最顶尖的纪念机视觉研究所以对我来说没有什么好选的所以当初还挺好玩的就是伊莉亚给我打电话我什么都没说我就把offer拒了他们发给我一个offer然后说我不去抱歉伊莉亚打电话说什么非常生气然后他问我说你为什么不讨论一下就把这个offer拒了是我们给的钱不够吗多少钱记不太清了其实非常低可能就可能几十万吧当初的那个pay都是一个顶尖的PhD的学生在2008年能拿到的这个工资大概是可能40到50万左右对美金对然后现在已经至少翻了三倍但是anyway然后那个时候OpenEdgy也是这个level没有什么问题对然后但是伊莉亚很生气然后我也只能搪塞两句然后跟他说不能去然后但那时候确实是因为他生气会说什么呢其实也没有就只是语气非常严厉他为什么要决定打这个电话我不知道那说明他确实对招人很用心他没有被拒绝过我不觉得是这样在2018年的时候我觉得他应该经常被拒绝因为那时候的Fair不止在为人我觉得在很多方面对于最顶尖的PhDBA生来说我觉得都是一个比OPI更有确定性更open然后更像一个学术环境的这样一个机构我觉得至少在那个时间点上我身边的所有人如果有这样的选择的话除非他们是确实要做一些OpenAI已经在做的很擅长的这些事情我觉得大家还是会倾向于Fair的你是很顺畅的拿到了Fair的offer吗也没有那么顺畅了我觉得也挺对一路都很坎坷你当时拒绝了OpenAI是因为你拿到offer的吗是的但在Fair的时候你像我给了一个talk这个talk我当初也没有任何经验我觉得所有人在我那个阶段好像找工作都蛮有经验的就我啥也不知道然后给了一个talk本来allocate的时间是一个小时那正常大家应该是讲45分钟到50分钟然后有10分钟提问然后我讲了半个小时讲完了然后大家这个面面相去不知道该怎么办当然我觉得会有很多下面的researcher给了我很大的面子然后提了很多的问题所以把时间三号撑到了45分钟然后不至于那么尴尬然后后来坎明跟我讲说大家觉得这件事情第一很不常规怎么能这么快就讲完呢第二我觉得要不以后面试都这样算了半小时讲个talk也挺好的省省大家的时间所以就有很多时候我觉得我做的这些事情都没有做到尽善尽美你为什么那么快讲完了你为什么不遵守它的规则我不知道有这个规则没有读我不知道有这个规则你像现在比如因为这个规则其实是一个droptalk的规则就是没有人告诉我这个规则对大家说有这么一个11点开始有一个talk但其实这是一个既定的规则因为在学术界的面试就是这样然后Fair在当初其实是一个学术机构它其实是一个大学它的运作的模式其实就是PI带着一些小年轻不管是intern也好还是一些新入职的同学们也好然后一起做事情并且当初我加入Fair的时候我可能是我不知道是前几个可能陈新雷可能是第一个我可能是第二个就是这种Fresh PhD graduate能够加入Fair一开始他们不招这种New PhD graduate如果只是一个PhD毕业生他们不愿意要他们只会招这些像凯明一样已经做得很不错的这种研究员对所以我也是比较幸运吧对我觉得 [85:00] 对确实是那个时候的盛电了然后所以我觉得我也没有纠结太多的太多其他的可能性然后伊利亚这件事情再多插一句我一共就跟伊利亚打过两次电话这是第一次第二次可以之后再聊也是他是24年7月的时候他SSI刚成立然后他跟我发表建设书愿别愿来一起工作你又拒绝了他对这次为什么呢这次是因为我刚在NU开始我的工作然后我就好几点我跟大家聊的时候我们主要讨论的topic这次不是工资什么的都没有聊这些事情主要讨论问题是怎么样给未来的人工智能给予爱的能力给予爱的能力讨论哲学当然我最后问他了一句话我说你对多莫泰这件事情怎么看你对计算机视觉这件事情或者你对general的这种感知的模型你怎么看伊利亚的说法是他觉得这件事情已经解决得很不错所以我觉得可能SSI有自己的基于预言的这样一个路线吧然后这条路线至少在现在为止不是我想要去设计的路线这是你们底层的分歧就是到底是LLM还是视觉对我觉得之后可以再聊这个细聊但是我并不觉得这是一个分歧我觉得这是一个有机体然后大家只是在不同的地方在不同的时间在做不同的事情而已我一直喜欢说一句话是兄弟爬山各自努力大家在各个地方做各自的事情我觉得没有任何问题不是要拼的你死我活的状态LM跟我想做的事情不冲突并且没有LM最近的这些发展可能也没有现在计算机视觉现在的这种状态你们那个话题怎么赋予人工智能爱的能力有结论吗结论就是这件事情很重要为什么呀因为如果没有的话我们面临的是一个非常不确定非常危险的未来但是有爱的同事一定就有恨就是他是一体两面他不可能只有爱当他学会了爱的时候他一定会他一定知道他的反面是什么对我完全同意你说的这件事情就上升到哲学命题了但我觉得或我想反问一句吧就是为什么大家会对自己的孩子会对人这么信任然后对AI这个新的这样的一个智能的实体会这么担心或者恐惧呢我觉得这一面我没有答案对但我觉得会有技术上的一些可以去把控的地方就我们可以通过技术的手段让AI能在未来变得更加可信变得更加安全变得更加controllable可以控制然后其实这件事情侧面也是为什么要做世界模型他为什么想要找你不知道可能他reach out了1000个人1万个人吧福财我们那天在一起等餐厅排队的时候其实我们在纽约的街头一起走了走我们的话题很自然的就延展到了那些对你非常重要影响过你的人就是刚才在你的分享里面其实人这个因素占据你的很多选择的非常大的比重为什么人对你来很重要而且你的那个自己的个人简介里面也清楚的写出来了哪些合作者对你来说很重要这个非常少见为什么人对你来说这么关键这件事情少见我觉得一点不少见我觉得这就是一个在学术圈里面大家的一个行为的模式我觉得大家会有这种组织起来这种social network然后这些人决定了你的认知因为他们可能是你的学生他们可能是你的老师但是不是说老师就一定教导学生有时候也是学生反过来教导老师的所有这些事情都能成立所以它是一个巨大的一个graph然后人与人之间全都会被联系到一起然后我觉得这也是为什么research或者science这件事情特别奇妙的一点因为我觉得很多时候人与人的这种这种彼此的信任彼此的欣赏彼此的这种感受吧我觉得不是通过比如大家非要生活在一起然后做朋友这样建立起来的很多时候其实是通过scientific discovery这种research的部分建立起来的人与人的关系 [90:00] 我觉得这件事情其实是非常有意思的比如说对我很深影响的人那我可能了解他们的个人当然我也会尝试去了解他们的个人对吧但这个对我来说不重要我似乎在透过他们的论文了解他们的想法然后我觉得这才是research的意义就我觉得research的意义不是为了发论文我不认为发论文是这件事情的一个目的完全不是这样目的应该是目的是什么呢是对人的游历吗我觉得凯明跟我说这个目的是其实他的本质的意思是要把这个把knowledge share出去就是你发的论文的目的不是给别人看的是为了让别人看到这个论文之后别人有事情做就是你发表一篇论文别人understand了一些其中的内容然后大家会觉得我自己的视野被打开了就是对别人有帮助对别人有帮助对能够inspirer别人或者说能够启蒙别人这个是research的目的我觉得这是research的目的或者说一个更浪漫的说法其实是说这句话是汉纳阿伦特说的然后她说我不在乎什么impact我不在乎影响力这件事因为其实在research圈子里面大家会说我们发papet的目的是创造某种impact其实在我字典里面我其实是有点对impact这个词是有抵触的抵触有一点抵触为什么呀你抵出他的是什么就是说阿伦特他说的说法是说他说他觉得impact这个词是一个过于aggressive过为男性化的一个词对他来说他做这些事情的目的不是创造impact而是为了理解本身他觉得如果能够理解到一个事情这件事情的感觉是很奇妙如果你能把你理解到的东西写下来不管是一篇文章一篇论文也好传播出去那你就能够有可能让这世界上更多的人对这样的一个问题有跟你一样的这种理解然后这件事情会一步一步的传导下去形成一个很大程度上某种共鸣然后阿伦特的说法是他会在这之中找到一个家人的感觉他会觉得自己理解了一件事情告诉别人让别人能够被理解说明这些人也一定程度上理解了我但我觉得人作为这个社会上的生物是需要被理解的他把影响力这个使用了一种非常柔软的方式表达了出来是在谋求理解我觉得是我觉得是你个人赞同这个说法我觉得很赞同他因为我觉得对我觉得创造impact这件事情没有问题特别以我为中心我要创造impact对以我为中心并且是对你说你说非常对我要创造这个impact我要改变这个世界但这个世界的人同意我这样改变它吗或者说这个世界上很多的灾难其实是因为大家要创造impact要去改造这个世界所带来的我觉得这件事情我会倾向于同意这种更柔软的表述我觉得如果能让在这个世界上的所有的人因为我们做的研究能够对问题多了一层新的认识多了一层新的了解那这个地球上的智能总量就会被提上去但地球上智能总量提升这件事情永远不是一件错误的事它永远是一个对世界来说有利的事不管是impact也好还是被更多的人理解也好你需要被更多的人认识和记住吗你对这种fame是有需求的吗我当然没有这个需求了你没有这个需求但我觉得我没有这个需求真的吗或者说我趁在我现在这个角度我其实是某种虚假的fame的一个受害者原因是现在大家会把我们的一些论文放到小红书上去议论然后其实这件事情没有一个或者说大家说所谓什么三大会然后要宣传工作对吧我从来没有一次要求过任何一家这样的媒体去做这样的宣传然后我跟我的学生说你们千万不要去什么去小红书啊去什么知乎去宣传自己你可以去解释你的工作你可以去评论你的工作没有问题 [95:00] 不要去宣传自己的工作为什么在X上是可以的呢我觉得X上面更多的还是还是看怎么叫做宣传吧我觉得我更focus的东西还是说把这件事情稍微拧练总结然后告诉大家是怎么回事更有点像吸引大家去看我的这个工作我觉得这件事情没有问题但我说的宣传更像是你说的fame这件事情因为我真的很不能接受的事情是大家现在会说某某某团队发表了什么什么工作会强化那个人会强化这个人某个人的团队会强化这个人对如果有这个小编们听到这件事情的话希望大家以后能够不去说这件事不能写谢在您团队上不要把我的照片放在上面不要把我的名字放在上面我们需要更加鼓励年轻人真正做出这个工作的人让他们有更多的visibility对吧那他可能会觉得你是一座 maybe对如果是我是一座工作没问题啊但我不是一座对吧我只是这个团队的负责人啊然后很多这些工作都是学生做的对那应该叫什么呢不叫现在你团队就事论事就好讲这件事情解决了什么问题然后它为什么重要我觉得就够对你很讨厌被别人拿出来当靶子是吗对啊因为我觉得这件事情会增加很多的风险吧我觉得对让你来讲讲那些影响过你的人吧其实刚才我们已经讲过几个人了凯明 涂教授还有吗是我觉得对吧这个是在Fair其实可以顺着Fair往下讲那就是说Fair结束之后那我就来MYU了我觉得这又是一个decision making the pointFair待了4年待了4年整对是的也是起起伏伏对我刚刚说我很多去的地方其实都跟这个地方共同成长可能Fair是一个例外我去的时候是它的顶点是高点可能是高点对然后现在对也很可惜吧现在在那里发生的事情但我觉得也对因为我跳船跳的比较早所以我也不是在他谷底的时候才离开对我觉得我也是看到了一些迹象对OK然后但是对然后我觉得如果说影响我的人的话那在这个过程中去NYU的时候我觉得这又是一个蛮玄学的一个决策的过程对吧然后那个时候其实决定去纽约刚刚其实也说了是因为可能我会比较喜欢这个城市然后但我觉得另外一个很重要的事情也是因为Young在这对Yanlum康宏在这对为什么他在这你愿意去你们在Fair是共识过他会他经常会说他有recruit我就是招了我三次对吧然后第一次是在Fair但那时候是因为他是这个Fair的总的负责人他是这个Fair的director我没有跟他直接的共识对但当然也受到了他的影响或者长期以来有交流吗有交流也聊过但没有直接的合作过然后去NYO是第二次第三次我们跟你之后再聊然后在NYO这段经历也是我觉得为什么他在这非常重要也是因为我觉得他是一个非常有vision的这样一个人所以对我觉得还是很多很直觉的这种决定吧比如说NYO的教学楼我们叫做这个Scientific Data Science是就是所谓的这种数据科学中心这件事情其实是样牵头在过去十几年之前就设立了这样一个组织对他独立于比如说传统的计算机系或者数学系之外这是一个新的这样一个department所以我们有一栋新楼然后第一次我踏入这个楼的时候我就觉得感觉很好因为完全都是玻璃门对之后有空的话可以带你过去看看它都是玻璃门所有东西都非常非常open然后学生有点像公司但是然后配色又很好我刚刚一直说我是一个视觉动物对就这个里面有这种暖色调的然后橙色的这样一个floor然后有各种沙发然后大家虽然很混乱有各种各样的机器人在地上跑来跑去然后有各种各样的学生在这个沙发那个沙发然后坐着学习然后没有任何隐私毫无隐私可言所有的教授的办公室的玻璃门看得清清楚楚里面发生的事情对但我觉得哇这个 [100:00] 很有趣这个环境很有趣对现在其实越来越越多的美国的学校开始有这样的effort就是说我们希望有一个这种interdisciplinary就是跨学科的这种中心对吧通常来讲就是说这种AI的这种中心然后通过它来吸引人才通过它来把不同的院系组织到一起因为AI确实承担了一个这种中间层的这样一个一个身份和位置连接大家连接大家都需要对不管你是做科学的对吧做物理做化学然后做数学做统计商学院然后包括当然计算机科学我觉得AI是一个很好的一个中继的什么样一个中间的节点对但一样的远见在于它十几年前就把这件事情已经establish下了所以我觉得我觉得它这个是蛮 visionary的一个人对然后所以NYU在AI的布局上面也很好所以其实again我觉得计算机系不是他的这个学校的强项但是他有很多AI的人才储备对他汇集了很多很厉害很厉害的AI的这种这种Faculty对LeCun是你选择NYU的一个原因这也是我觉得有很多很多原因他是其中之一因为他需要面试我然后他需要最后拍板对或者说是他选择了我重要的人还有其他人吗我觉得还有啊比如说在NYU的时间然后我还跟很多其他的老师也有合作然后对我影响我觉得很大的一个人也是可能飞飞老师我觉得李飞飞老师他写的那本书大家一定要看一看对就是他的自传然后我也读过但是我觉得跟他深入交流下来我觉得我的收获又更大对然后或者说有时候我会跟他说我面临了困境和challenge然后菲菲老师会很语重心长的告诉我他过去的一些故事然后这些事情其实对我是一个极大的安慰比如说什么样的故事具体的事情可能就不方便讲了但是总之是他一路成长起来其实也不是一帆风顺他也是有需要踏遍很多的荆棘然后一步一步克服很多的障碍然后到现在站在这种世界的舞台上变成一个华人骄傲或者说变成整个这种research领域计算机视觉的一个北极星让大家能够看到他想的事情然后能够在某种意义上制定一些新的这种路线我觉得这件事情对他对我的影响都非常大然后我觉得菲威老师最厉害的点在于他是一个能够定义问题的人就这件事情其实也不是一个很直观的事情就是说其实大家说这个菲菲老师最厉害的这个这个成就就是Build的这个ImageNet这个dataset但事实上这个不只是一个dataset这个不只是一个数据集大家可能很难想象可能在过去这个时间点对吧然后比如2012年或者2011年的时候图像分类不是一个明确的问题就是把这个问题定义清楚远比build的这样一个数据集要强的多的多要重要的多的多的然后我觉得菲老师就是说set的agenda把这个问题定义清楚使得接下来deep learning可以有一个playground有这样一个平台可以去施展拳脚我觉得这件事情是他最厉害的地方也是我一直想学习的地方对所以我跟他做了有两篇工作一篇是Thinking Space然后这篇论文主要也是在涉及到这种多么态的原模型里面怎么样去解决更好地解决这种空间智能的问题然后最近我们有一篇配备叫Cambrian S然后这个论文也是涉及到的事情是说在视频里面我们怎么样去定义问题到底哪些问题才是重要的对我觉得这一部分跟她的合作也帮我拓展了我research的边界菲菲老师是怎么跟你熟识的都是很机缘巧合的机会她有一次来女儿出差然后我们就一起吃了自饭那跟我们讲 [105:00] 跟我讲了很多很多东西对然后后来他经常会来纽约然后因为他也在创业然后我们会经常一起聚一聚然后聊一聊对大概是这样然后平时我们会在research上面会有一些meeting我有一个好奇我想可能也是很多人对你的好奇就是你是怎么样从一个非常年轻的开始做学术的研究者然后慢慢的能够和这些AI业内赫赫有名的人走到一起并且站到一起的也就是说你是怎么走进AI的核心那样我还是不觉得我在AI的核心或者走进AI的核心吧因为你刚才说的这些人肯定很多人都很想跟他们合作是吗当然是了对我觉得而且你看你们都是一些机缘巧合可能凯明是刚过去你作为intern然后打开了自己然后菲菲老师是你们也就是吃了一顿饭你是怎么让他们打开自己的呢我觉得这件事情很难刻意的做到或者说这件事情也有点玄学我会觉得你可以教他某种吸引力法则或者说你可以认为大家想法一致的人最终都会聚合在一起虽然你可能有无数的小溪但最后可能都会汇聚到一条河流上我觉得比如说我上书列举的所有的人他都至少是坐不为认的或者说或者即使包括样他可以认为是做general AI但他出发点对吧也是做这种数字的识别这件事情也是一个视觉的问题对我觉得大家的根基还是非常吻合的所以我觉得我真的没有刻意让这件事情发生对或者说我觉得也不需要很刻意的让这件事情发生大家只是基于这些research的问题然后对这些问题的理解然后一起合作对我觉得我会这么认定这个问题就是从外部看我觉得你是一个很有目标然后很有逻辑的人但是刚才通过我们聊我发现你是一个选择上还蛮无序的人对吧对 我觉得有一点无序但我觉得这也是一个所谓的by design的过程就是我觉得我选择这样的无序我觉得用很老套的说法就是follow your heart但我觉得其实很多时候对没办法就或者说我的很多选择没办法真的优化一个结果我觉得这是无序性的来源那在这么无序的选择之中你能把你的所有的研究的历程串成一条线刚才其实我们已经讲了几个工作了是的对我觉得那我们可以一点点去讲我觉得确实一个好处是我也没那么多paper所以也许可以比较容易的去串一串然后我觉得确实我觉得不能说是草蛇挥线但也确实有一条线在背后对直到是我一直做这件事情或者说其实说这些论文之前我想说其实计算机视觉发展了这么长时间对吧我有很多朋友其实大家开始慢慢去探索新的方向对吧比如说去做一些robotics对吧然后做3D的视觉我其实也在诚实向外扩展边界但回过头来会发现这条主线上对吧我觉得这条主线对我来说就是表征学习这件事情上有太多的问题没有解决所以我希望停留在这条主线上往前拓展我们所做的事情所以我觉得这一切的起点可能如果往前数的话当然是涉及到Deep Learning涉及到Deep New Network这些Architecture的Design我觉得这一部分当然跟你的表征学习是有关的然后这也是我觉得在过去大家努力的一个方向也不只是我然后所有的人大家都在做这件事情怎么样去design一个更好的architecture使得我们能够去学到更好的表征使得我们能去解决更好的解决问题对吧然后再到后面其实我觉得我觉得事情就会发生一些变化你就发现其实architecture本身不一定是最重要的它一定很重要但它不一定是最重要或者说它不是事情的全部所以至少有好几件不同的事情会交织在一起对吧Architecture是一个事情就是你的架构是一回事然后你的数据也很重要然后还有就是你的objective你的目标也很重要对吧我觉得架构决定 [110:00] 你用什么来训练我们可以想象这件事情是你有一个巨大的引擎然后你可能引擎的硬件其实就是一个neonatural的架构但是你只有这样一个引擎的架构其实是没有用的你没有油你没办法发动它对吧所以有数据层面跟有这种objective层面这种目标函数层面的这种考虑然后所以我之后的这些research其实也是按这条主线对表征学习的主线围绕着架构数据objective往前走然后那其实在Fair的过程中我觉得Fair这个正式工作Foodtime工作的这个过程中我觉得一个核心是我跟凯明一起然后凯明在立的一些这种自监督学习的这样的工作对然后其实 again 现在大家会说这个scaling是一个是一个是已经是一个bossword就everybody's talking about scaling对吧但其实第一个人真正有人跟我说我们要做scalable这样的model就是我们需要把模型做的大大大啊是凯明的原话大大大对是凯明告诉我的哪一年告诉你呢就是大概可能18年19年这个时间对然后所以他从一开始对这件事情的认定就是说我们一定需要把模型变得更大把数据变得更大这样就能够得到一个就能推演到一个更好的结果我觉得凯明很早很早之前就有这样的一个vision然后所以我们也在这条路上有一些努力吧然后所以我觉得一开始大家讨论资金能学习包括Yanlu Kong他是一个一个big advocate就是说他是他是非常在乎这个资金能学习他有这个经典的这个蛋糕的这个analogy这个比喻对吧就是底层是你的蛋糕的这个body这部分必须是Self-supervised learning在上面你可以有一个superwise learning对吧这一部分是它的icing on the cake就是你蛋糕上的这些奶油然后再往上有一个reinforcement learning它只是cherry on top它只是最上面的一点樱桃这个蛋糕上面的每一层其实都很重要但是它没有主次之分如果你没有蛋糕的底座你是没办法只靠着上面的一个cherry能够通向智能的对所以因为我们在Fair因为我们做Vision所以其实我们很早就在关注这件事情但这一部分Risage的进程是这样就是说大概在15年16年的时候大家已经开始知道自监督学习其实是微人的一个未来所以那时候大家会design就设计各种各样的我们叫做pre-tax task或者说它是一种代理的这种objective代理的目标就是一些代理任务吧就是说什么是自监督学习呢就是说我现在没有一个label直接给你对吧不像image net一样我有1000个classes那我可以直接去训练一个supervised classifier然后通过这种方式拿到这个refrontation在过去的时代其实大家做的都是这件事通过1000个class labelby the way这1000class里面有200个狗的不同的种类即使这样这是为什么为什么image9这么强对吧即使这样的分布它还是能让我们的神经网络学到很好的表证我觉得这件事情非常非常厉害但是大家也能看到这件事情的局限性一旦你所有的事情都只是super s learning很多东西你是没办法去刻画的因为他学到的东西比如我们现在坐在这里我们看有这些椅子对吧然后我们现在有大量的这些图片有不同的椅子有些椅子可能比较正常是在我们这种studio里的椅子有可能是在家里的椅子有可能是一些这种设计师的椅子或者说是一个avocado chair一个长得像牛果的椅子对于监督学习来说你需要把所有的这一切映射到一个label这个label就叫做椅子所以你的network其实要学的这个映射其实是非常困难的而且它是无穷的映射它是无穷的映射所以他只能要么去memorize要么去记忆背诵下你见过的所有椅子你背给他所有椅子要么就通过一些我们叫的spirit correlation就是一些假的一些相关性来告诉你是一个椅子比如说他也许没有看这把椅子但是看的是椅子背后的背 [115:00] 然后或者说他觉得所有的椅子都会在一个桌子旁边所以他基于这个来有一个角色的分界然后说这是一把椅子但这件事情不是我们想要的我们想要做的事情是从这种非常diverse的Viral knowledge里面Viral observation里面去能够有某种common sense有某种这种直觉直觉对或者说某种常理对所以这是一开始大家为什么想要做所谓的Supperspire Learning或Unsuppressed Learning一个常见的过去的误解是因为是说我们要做Unsuppressed Learning是因为给这些数据打标签这件事情太难了太贵了我们需要雇人需要去打Label花钱花时间我们不想这样做但这只是其中的一个很小很小的问题大的问题是在做计算机视觉的人看来很早之前大家都知道只通过这条路径是没办法给予 AI 系统这种 common sense 的所以1516年的时候大家非常非常有创造力那一段时间其实还是一个蛮有创造力的时代大家会设计出来各种各样乱七八糟的任务这些任务比如说你把一张图转个90度或者转180度或者转270度你不给这些图一个标签但因为你设计了你设计了怎么转这些图对吧然后这些图会这些图以及它所旋转的角度可以形成一个valid protect task你就能够去预测这些被转过去的图到底转了多少度这就变成了一个所谓的一个代理的任务类似的代理的任务还有包括给一张图然后我们把它变成一个灰度的图把它的颜色全去掉但是我又通过一个神经网络去重构我原来这个颜色相当于从一个灰度图怎么去predict怎么去预测每一个object的颜色到底应该是怎么样然后还有类似的例子这个数不胜数比如说还有另外一个最后一个例子再取一个例子说这个所谓contact encoder就是说我现在把图中间挖掉一块把它变白我现在怎么样去训练一个神经网络然后去把这一部分的控给它填进去所有这些pretext task的依据都是说我们现在觉得人其实这件事情是可以做的人之所以能做这件事情人之所以知道你这张图片到底是转了90度还是180度你这张图片上面的一只蝴蝶一个房屋它到底是什么颜色或者你可以去预测中间缺失一块的信息这些事情是因为人有基于对于物理世界的某种认知它有 common sense所以它就能够去猜出来这些被cropped的信号被已经损失到的信号应该以什么样的方式被重构出来被遮掩的型号对但当初的问题是百花齐放有各种各样的paper然后但是没有一个能打的所有的结果都其实很差都比ImageNet的这种portraining要差大概可能15到20个点百分点所以大家在make一些progress大家在一步一步往前走但是这个距离ImageNet能够通过这种superwise learning在large skill这种data上面学到的这种label有label的情况下学到这种reportation还是差的太多对吧所以我们当初做了一件事情然后这个跟凯云一起做然后这个架构叫做Mocalmomentum contrast动量对比学习对动量这中文名字听起来都很有趣对是的是的动量对比学习其实我觉得其实不用深究它里面具体的这些技术细节因为现在看起来已经很多东西已经不重要了但它总之它是第一个把这种叫做对比学习的这样的一个框架把它真正做work的一篇论文然后什么是对比学习呢也很简单就是说我们现在在这个reparpresentation的space这个表征的空间里面有不同的点这些点可能是同样的一个object也有可能是完全不一样的object比如说我有好几张关于这个椅子的图片对吧然后也有一些可能是桌子的图片或者是一只猫猫狗狗的图片这些图片都不一样但在这个空间里面我们能够去度量他们的距离或者说我们知道这些所有的不同的椅子它的这种图片应该离得更近它的reportation应该离得更近但是一个椅子跟一只猫它的距离应该更远所以这就是一个对比学习的一个基本的一个逻辑然后这件事情其实也不新这件事情其实也已经做了很多很多年了然后 by the way 这件事情出现了 [120:00] 系的一些论文其实还是杨鲁空第一个跟他的学生一起做到的对很有意思当然在解决的问题不直接是reparmentation learning的问题而是一些metric learning的问题一些一些度量学习的问题但是但是没关系在这个这大概是2019年的时候我觉得我们又赋予了对比学习一些新的意义但这件事情也不是这个横空横空出世其实在之前整个领域已经慢慢在往这个方向去拓展比如说有一篇 paper叫做CPC还有一篇 paper叫memory bank这两篇 paper已经是在朝这个方向就是通过对比学习来做自监督学习这条路线上已经走了几步对然后这时候我就不得不佩服凯明的本事了我觉得这也是一个时间点让我觉得哇这个一个顶尖的研究员然后或者说我觉得不能说顶尖的研究员吧我觉得凯明在我心里面就是最牛逼的研究员然后他到底平时怎么做事情的我觉得有好几点吧我觉得也许我们可以可以简单聊一聊我觉得它是有某种极致的专注力然后这个专注力能够让它有某种心流叫做这种mind flow它能够沉浸在这个问题上不需要考虑这个世界上发生的所有的其他事情然后我觉得这件事情我特别特别佩服然后另外一件事情是他专注会怎么体现呢我觉得他专注体现在他每天除了这一个问题之外不会想其他任何的东西他会抓着跟他一起合作的人去聊这件事也会抓着其他人去聊这件事反正就是这件事情是一个他思维的这样一个主体对然后他大部分的这种mental cycle都会被alefit到这一个具体的问题上这是很难的我觉得非常难因为念头很多时候自己很难控制是的这个跟世界模型有关系念头很难控制这个话说的好但凯明其实是一个非常有这种决策能力然后能够专注的人其实我觉得有好几点我觉得一个top researcher他们都或多或少需要这样的能力他们需要有足够多的专注力他们需要有足够好的这种research的品位这个怎么定义我们等一下可以聊然后他们还需要能够有一定的坚守就你不能说只是随波逐流然后去做别人感兴趣的事情然后当然你还需要有很强的这种工程的能力research的sense包括你看文献的时候你知道哪些事情重要哪些事情不重要这个很重要对就这件事情其实也是一个学术界其实蛮莫名其妙的地方就是大家你要会画重点对大家主要的原因也是因为大家不讲重点你知道吗有时候要么是大家不会讲重点大家有时候不愿意讲重点要么是有时候大家其实没有意识到重点是什么但凯明的能力在于他能够把这些重点抽丝剥茧然后提取出来然后告诉你然后建立这种在这种高维度的抽象空间中的这种联系我觉得非常厉害对所以很多时候其实凯明的每一个idea不是坐在backwood room对吧然后在家里面拍脑袋想出来的然后其实是基于不断的探索基于大量的阅读然后基于大量的思考一点点衍生出来的然后这件事情其实我觉得真的是非常深刻影响了我做研究的方式以及我现在跟我的学生说大家应该做研究的方式是应该增加输入增加输入并且我觉得这里面其实是有一个范式存在的就这里面范式这也是海明教育我的对吧他就说其实这些所有的idea你不能坐在那想因为如果你要想出来一个idea这个idea一定不是一个好的idea这个idea无非有几种可能性第一种可能性你比世界上所有的人都聪明所以你想出来一个特别厉害的idea其他人什么人都想不出来但我觉得这件事情概率极小所以更大两个可能性是第一在你想这个idea的同时这世界上100个人1000个人1万个人在想同样的idea所以你要面临跟他们竞争你的手速可能不一定比他们快第二个可能性这是一个非常差的idea别人已经试了很多次不成功 [125:00] 那你可能也没必要去试下来所以我觉得凯明对我的最大影响是他教会我怎么样找到一个research idea怎么找我觉得这是一个求索的过程所以现在我有新学生技术我会跟大家说一个research的周期当然我希望它会更长一些了但是在现在的这种竞争的环境下面可能最多有六个月时间也就是说从六个月一开始你要开始想一下idea然后再到后面你要把这个idea写成paperpublish出来这个整个的周期大概是六个月然后这个流程是怎么样的呢是你需要有一个geral的方向你得知道你要干嘛你也不能完全什么也不知道然后就说我要做research也不行这件事情可以通过跟你的老师一起去聊然后或者说跟你的peers对吧你的周围的同学一起去讨论或者你自己通过你自己的阅读有一些general的这种direction这种方向性的认知对吧然后但是一定要给自己足够多的时间跟空间去explore然后这个explore这种探索期我觉得至少要有一个一到两个月的时间探索期应该做什么探索期A好问题探索期做什么事情不能坐在那想问题你要探索的事情就是说我现在要不断的去hack一些东西你要真的像一个hacker一样去play with去玩一些东西就把research当做一个游戏当做一个玩具去玩这个东西比如涉及到比如你可以去推一推公式你可以去读更多的论文你可以找一些联系当然可能更重要的事情还是要动手去做事去写代码然后但是你写代码的时候要注意的是你写的代码不是不是一开始你的出发的这个idea或者这个direction而是一个探索的过程所以你写的代码可能是简简单reproduce一个base sign对吧拿一个别人的paper在做的事情然后现在我们把它重现一遍然后还有可能是在这个被散的基础上去有一些某种拓展然后这一面最重要的事情是要找到一个信号就是说你现在还是你刚刚说的有点像所有决策的过程其实是一个蛮无序的一个探索的过程它是一个我们叫做随机梯度下降对吧这是一个所有机器学习的基石但它同样apply to research本身以及我们的人生大家在追求最终目的过程中其实都在进行一个stochastic gradient descent的过程然后我觉得research的部分也是一样对你来说对research最重要的事情不是从A点通到B点比如A是一个ideaB是一个paper而是这个过程中你到底能找到什么样的signal你的gradient你的t度到底在哪对所以这个凯明的说法是这个t度本身这件事情才是你真正的idea的来源就是当你经过不断的探索你试了很多东西有可能不成功有可能成功by the way不一定是一个成功的实验才能给你这个梯度有时候一个错误的实验会给你更大的梯度对吧就是说你只要最怕的事情是你不知道往哪走所以一个好的结果一个坏的结果都是好的结果对于research来说一个surprise一个令人惊讶的这样一个observation永远是一个research对一个recision来说最最幸福的事情意外观测到的东西对你看到的某些意外所以他说经过这样的探索之后在这个过程中你发现的这些idea才是真正属于你的idea一开始你想的这个idea不是你的idea这个东西不属于你探索中的idea才是属于你的idea然后recision过程就是找寻属于你自己的这个idea的这个过程但这个词你要看到它是属于这个东西真的是是你自己的就是上天给了你一个灵感注入了你的脑袋里对一方面上天给你了一个灵感另一方面它又是基于大量的实证跟实践得到的对吧它这里面没有free lunch有可能你真的是一个天才或者说你真的极端走运上帝握着你的手写下了这一个公式有可能发生大部分时候大部分的进展甚至大部分对这个领域产生很多影响的工作我觉得还是一步一步发生的对总能够追根溯源找到它的起点所以我也跟学生说其实最差的research是什么样的research就是一开始 [130:00] 是你定义好的一个问题你说这是我的idea最后你发了一篇论文这个论文的idea跟你一开始想的idea完全一致你没有遇到任何的障碍你没有遇到任何的困难它为什么是最颤因为这件事情说明你的这个idea是一个boringidea你发表论文也是一个boring的paper对我觉得这件事情我这么多年观察下来确实非常非常准确对所以我觉得这件事情也是为什么要跟学生说就是因为大家其实有时候没办法接受这个事实大家总会觉得我一开始应该想到一个小妙招然后我现在实现它我来做work发一篇piple我成功了我目望去做下一件事情但这件事情能够给个人的积累其实是非常有限的探索的过程其实非常难很多人不会探索探索人非常难而且这是为什么所有这些论文在我看来都是非线性的这个非线性体现在两点第一点是你六个月的时间然后到第五个月的时候比如说刚刚跟你说这个rest next story一方面大家听一下你最后一个月的时间重新改方向把这件事做好那这个时间周期这么短你竟然能做成这件事情好像听起来很不可思议但你知道这件事情发生的太多了之后我发现这件事情真的是有迹可循的你经常是这样我经常是这样或者说我最好的工作都是这样发生的那你前五个月怎么保持自己的心态那就没办法你得要接受这个事实你得要能够告诉自己这是一个常态化的research的过程那前五个月你会想换一个方向吗我可能去选选那个boring idea我觉得会方向而且换方向这件事情非常重要就是你一定要学会pivot因为我刚刚说最差的工作是你一开始idea就是这个idea最后的pivot也是这个idea最好的工作是你在这个过程中已经弯弯绕绕然后跳来跳去走了很多很长的路才走到这个节点这条路虽然非常唧曲但你总能从最后的终点一步一步找寻回最开始的起点最后才能把它连成线最后才能把它连成线但是你在过程中是不行的是的你在过程中我觉得你在过程中因为你不知道我们要预测未来对所以这永远是一个探索的过程所以我觉得有两个月这样的探索逐渐形成一个idea然后逐渐去拓展然后去scale up对吧然后把实验补充分这个东西可能再花个两到三个月的时间到最后把paper写出来然后花一两个月时间这是一个已经是一个非常非常顺利的一个research的流程然后我觉得这件事情again我觉得在现在这个时代面临着很多的challenge大家会受到各种各样的压力对吧我觉得现在的竞争压力太大了竞争压力太大了然后我觉得会让大家觉得一定要追赶最前沿的东西然后把事情尽早的做完抢占先机把坑占住对但到回过头来说我觉得就像我刚刚说的我觉得菲菲老师最厉害的地方是因为她是一个能够定义问题的人如果失去了定义问题的能力基本上也丧失了很多创新的能力基本上也丧失了做research的能力对而且这件事情我觉得我刚刚说research的非线性这是时间上但从结果上来讲其实也是非线性的就是说这个其实是MIT的教授Bill Freeman他有一个非常经典的这样一个一个plot就是一个illustration这样一个插画他经常做talk的时候会讲就这个插画有一个横轴轴一个纵轴横轴的起点是一个很差的工作一个还不错的工作一个非常好的工作一个非常非常厉害的工作这是他的横轴它的纵轴是对你的整个职业生涯的影响这篇论文对你职业生涯的影响所以你可以猜一下这个curve到底应该是怎么样的对吧它不是一个linear的curve它不是说一个很差的工作就对你比如职业影响可能很差然后到最好的工作或者说比较好的工作已经给你很不错的回报然后一点一点往上是一个线性的过程那不是线性的它是说基本上你一个很差的工作其实也不会怎么伤害到你Nobody cares没人会注意还不错的工作也没人注意能给你带来的收获也很小但是有时候你做出来一篇非常好的工作特别厉害的工作每个人都知道工作你的impact我好像说我不喜欢impact这个词 [135:00] 这个东西这个以下就会冲到顶点对吧所以说我们经常说学术界里面大家衡量的是所谓的代表作或者说另外一个说法是说大家optimize的目标不是一个average不是你所有之前的工作的一个平均而你optimize的东西是你的工作的一个max就是它的上级最高点对吧我觉得这件事情也体现出来research这个游戏的一个一个非线性的一个特征所以最高点是好还是不好当然好吧就是说你只需要就你这辈子只需要成功一次就好然后这件事情其实我之前CPR的时候给了这个talk我叫Risic是这个无线游戏对吧这件事情大家反响还是蛮强烈的其实我觉得我觉得我很少给这种non-technical的talk因为这个东西更多的是一些哲思跟一些总结Risic是经验的总结对然后但里面其实也也包含了我上面讲的所有这一切因为你想其实research这个职业一个research这个职业他的本质到底是什么他不是一个下棋的棋手他也不是一个现在冬奥会的一个运动员因为对于一个棋手和一个运动员来说你最后的成就取决于你最差的一步To some extent你要保证你的每一步你的动作得要标准你如果中间出了一点点差错对吧你下棋中间出了一点小错落子错了一次就输了你就输了对吧所以这是一个有限游戏在这个过程中总有赢家总有输家但researcher更像一个发明家说你这辈子真的只需要成功一次就够了如果你足够幸运你可以成功几次两次吧但你不需要成功一百次两次就到顶点了是吗我觉得是的所以我觉得这件事情其实挺好玩的所以我觉得我觉得整个这个领域慢慢往前走我觉得也需要反思吧我觉得现在原来的学术界其实它的社会责任也好或者说它在整个这个research的这个landscape下面的定位也好都是制定这个游戏规则的人都是制定接下来我们去哪的人对吧现在完全不这样现在制定这个去哪的人是是OpenAI是可能是Google或者是Meta或者其他各个大厂对对吧他们是有限游戏的他们彼此之间是有限游戏但导致他们把学术界也带成了一个有限游戏的这种决策的这样一个链条对吧所以你就会看到很多时候大厂发一个工作不管他叫他什么O系列也好GPT什么系列也好Nano Bonara系列也好一个特定的这样一个工作一个产品的launch紧接着学术界的所有人都会蜂拥而至然后说我们怎么样在这个范式下面用这项叫做peanuts of resources就像花生米一样少的这种资源然后尝试去追赶追赶What's the point对吧就是确实有这种追赶或者说可能大家也不相信自己能大家可能也对你说的对就可能也追赶不了所以就变成了某种某种意义上的附线或者在它上面通过一个我觉得这样的research的过程其实是非常痛苦的因为我还有一件事情没说是因为我在NYU的最近两年其实我还在Google兼职做part time然后这件事情在Nano不nana团队对在Nano不nana团队然后就是Genei里面的团队然后这件事情持续了两年所以不知道当讲不当讲我跟有时候跟一些朋友说我之所以去Google做这个工作原因是我想看看Google大家在做什么这样我就知道我在学术界不做什么就是我要知道你们在做什么所以我不做什么因为如果你在做这件事情的话我为什么要跟你一起做呢make sense因为它有更多的资源它有更多的资源没有必要再跟它卷了是的所以这也是一个指导我们对我不想太deverby the way这个disclaimer我所有的东西只是基于我在NYU有一个不那么成功的这样一个经验的一些分享完全不代表这个世界research的多元性跟复杂性而且回过头来就等一下我还可以说我觉得有些pipot我确实想跟大家分享一下但回过头来说我觉得我并没有做出一篇 [140:00] 认为真的有价值的工作你说这句话就是为了告诉大家我还没有到最高点我还没有到达那个max你说对我还年轻还可以再努力努力但确实是这样因为我我之前在想这个问题我想可能有大概这个20篇左右吧20 23篇paper然后深远的影响了整个深度学习跟AI的进程那这个世界有20片被问或者25片被问吧那我一片都没有我还有什么理由不继续努力继续做下去呢我觉得这是一个目标DIT不算吗我觉得算0.25吧就或者说DIT更像是在这个research的边界的切线上面往前push了一小步这件事情不是我们做也会有其他人做他没有complete change属于你对他没有完全属于我你说你说对是的对但这些或者说我觉得Diffusion model当然算包括可能DDPM算然后我不知道我们也许可以列举一下我觉得这个可能还蛮有意思的我觉得LeNet算我可能数不全我们随便数一数你想过AI进程的论文对吧或者说我觉得在我看起来这件事情是能真正称得上代表作然后或者说我差的还很远的这些工作的吧然后我觉得我觉得Lanet当然算AlexNet当然算然后ImageNet当然算RestNet当然算这个RCN或者FasterRCN这个detection的部分当然算这个开明已经好几次然后还有什么然后Transformer当然算TanSenseUneed当然算GPT3当然算Bird当然算我觉得clip也算VIT我觉得也算对Vision Transformer我觉得也算还有Gun我觉得也算对数不全大概是这些level包括3D里面包括NRFGaussian spotting我觉得都是算都都会算对所以各个领域吧都有都有他们的这些工作这些工作的意义在于大家本来是渐进式的通向一个方向突然有这样的一个论文横空出世彻底改变了我们刚刚说这个stockacy gradient design的过程你看他的收敛的曲线有一个drop这是我定义的这件事情然后我觉得假设慢慢的历史长河是说这条曲线还在继续往前有一次一次的让大家不管是跳出之前的local optimal还是进入下一个阶段这样的这种论文的出现但是我觉得还差得很远这条路还远远没有收敛之后还有很多事情可以走我希望我觉得不需要是我自己我希望至少我能够参与到这件事情上对我希望假设有下一次的revolution我希望回过头来对吧我说可能不是创造某种impact但是是因为我个人的经历我身边的这些合作的模式然后我自己的认知我自己的思考然后我能够理解一些东西然后我理解的这些东西能够somehow对这些这个世界的或者AI的发展有一定的影响吧我觉得这件事情是我现在很关注的事情我们是不是没有这个希望了下一个revolution again 我觉得我觉得完全不是不是没有希望或者说我会说LM终将凋零不对不对LM永不会死但终将凋零就老兵不死终将凋零为什么终将凋零They won't dieThey will just fade away就是说这个东西一定会有它的价值它是一个很好的工具我现在会天天使用LM但它不是我们构建一个universal一个通用智能系统的基石它不是这个世界模型的这种大厦的地基世界模型我们稍后再聊你的工作你还要展开吗我就在讲讲有时间吗有有有你都已经说没有达到max了是是是对对因为这样 [145:00] 说起来好像这些工作也没有什么好聊的了但我觉得还是有一些意义的因为就像我刚刚说这个non-linear research对吧在一篇论文里面我们会先做一些事情然后逐渐的然后有一些储备然后在最后一个月里面然后找到一个新的方向然后deliver最后的结果我觉得当我看我之前所有的工作的时候我心里面也会有这种感觉就我现在还处在一开始迷茫的探索期但谁知道也许今年也许明年也许我突然灵魂开窍然后就能做出来一些更有意义的工作但我觉得这几年的根基在于像我刚刚说的它得要能够串起来一条线然后或者说它其实不是一条线它是一个graph它是有不同的节点不同节点跟节点之间每个节点是一篇论文它们之间都有彼此的联系你后续发的论文都会受到前面所有这些论文的影响对所以后面比如说contrastive learning这件事情做过就是说我们第一次在视觉的这些task上面看到moco这样的工作尤其我们有 v1 v2 v3对吧然后在 v3我们用 transform然后我们去 scale up其实已经比 image net能得到的 represputation在各种各样的task上面都要好很多了这件事情对我们来说其实是一个重大的一个surprise然后其实那个时候在那个时间点上我会觉得哇一切又是欣欣向荣我们的问题基本上可以找到答案那我们找到了一个方式自监督学习可以work接下来我们只需要skill up我们现在做的事情那就是一个无比光明的未来但又很不幸这件事情也没有发生对吧但在这个之前我们又有另外一篇也是Moco跟MAEBy the way都是凯明立的的项目其实大家说这个什么叫做一个立的一个项目我觉得凯明也真的受传了这个leadership就是说他真的承担了80% 90%的一作家这个last author就是莫作这种corresponding通讯作者的这个职责他需要自己写base on需要自己跑很多很多的实验需要最后把paper写完去讲想这个story去present所有这些事情基本上是凯明一个人单枪匹马然后做到了其他人呢其他人我们当然也有参与也做出了贡献但我只是说这件事情是凯明主导的一个路线对我们在这加快了这个事情的进度可能会让结果也变好了很多但不影响这件事情的实质对所以这是凯明到现在比如说前两天他还跟我说他非常引出为这种IC的work就是个人贡献者的这样的一个身份他并不 enjoy说管理一个大的团队让大家一起只是做一个manager来指导方向他不喜欢这样的事情他现在管多少人他有很多很多人他现在有很多本科生来 visit对然后他现在也做很多很多很好的工作所以我其实不相信他我跟他说你其实也是一个很好的manager至少我虽然你没有真的manage我但是只要我在你的身边我就能感受到对自己做事情的效率我就觉得我自己变聪明了我觉得我如果想要有一个manager的话我希望得要有这样一个manager他能够empower身边的人去变得更好我觉得这是凯明所以MAE反正就是说contrast learning这条路我们走走发现它不能skill up所以我们想要换一个方向我们又回过头来去用了一个更简单的方式就是某种去造的autoencoder就是这种自编码器就是masked autoencoder这个方法就更简单了反正大家可以回去看favor但是总之是就是通过把一些image做一些corruption的方式然后去再去重建这些 noisy的这些image或 crop the image mask the image的方式去学appmentation这件事情跟contrast learningfundamentally不一样但它的结果也很好对虽然它会有很不一样的特点比如说它不会去explicit的去model这种某种envirens这种不变性导致它做这种linear probing的时候结果会稍差跟做entrine fun tuning这是两种不同的测试这种appmentation的方式对的时候效果又会好很多总之他们会不同的性质他们学try representation也长得也不一样对然后这些事情到后面也会有很深远的影响我们可以再聊但是这是MAE然后那时候我们就觉得哇MAE好厉害MAE至少能拿个best paper后来也拿不了MAE skill up就能解决所有的问题后来发现 [150:00] 也不skill up对其实我听你跟祥宇之前是聊过这件事情因为他其实也关注过资金多学习他其实也讲了很多为什么资金多学习不能skill up的一些原因其实对我就不赘述了欢迎大家回去重听节目但是总之是当初其实是有点这种大起大落大家一方面得到很好的结果但另一方面这些paper又只是一个paper我们从来没有能够真的deliver出来一个实际的对吧然后像GPT一样能够通向一个完全不一样的scalable的未来的这样一个范式对我觉得这件事情所以到那个时候就有点告一段落当然那时候我还做了一些其他的工作比如说我把自监督学习可以说是第一次拓展到了比如3D的领域在Point Cloud上面也做了一些工作对这些叫做Point Contrast但这些工作可能更多的就是说证明了reprendition learning 这件事情不只是一个 image 等命的问题它是一个很普世的一个方法或者说一个方法论它不只在 image 上面成立它也在 3D 的空的空间到后面很多人去试各种样的Metical Imaging还有包括这种Robotics的这种Task各种斗铭它都成立所以这件事情我不认为它是一个失败因为它确实在影响很多很多不同的就是超越我们现在关注的比如说计算机视觉本身的领域但另一方面它也远远没有达到像LM的这样的这种影响力所以做完了这些事情之后又做什么呢对好像又开始回到了探索期了这些都是在Fair实验室的都是在Fair在做的你在那个阶段待了四年待了四年这时候Fair这个周期就结束了吗没有结束还早还早这可能是前面的一到两年时间还有最好玩的事情是在吹一吹开明就开明当初其实资源永远是一个问题GPU总是不够的然后当初Fair make了一个 decision是说我们试一试TPU这个东西好不好玩Google一直在用然后他们也全面转型使用tpu所以我们买了大概5000张这个tpu的core的芯片不是买就是租吧就是在Google Cloud上面然后一开始是为了做language model人准备的然后大家去玩了一玩后来发现太难用了实在是不好用凯明上来说我来所以他真的是单枪匹马从头到尾在TPO上面建立了一整套Infrastructure使得我们能去做之后的一系列的这些工作包括Moco包括MAE包括后面的DIT都是在上面在TPO上面发生的所以这件事情对我来说也是一个很重要的一个guidance怎么总结就是公欲善欺世必先利欺欺然后凯明教我一件事情是说你的research的上限其实取决于你base line的好坏如果你的base line很差的话你可能很容易自欺欺人你是做不出来什么东西的你如果没有花足够大的心思去在Base案 level上面去把这个system搭建好把工程也做到极致你是没有一个平台让你去做真正的探索因为你可能会发现一个有趣的有价值的一个信号但有可能这个信号完全是错的原因是因为你的Base案对吧你的基准本身就不够好所以这件事情也蛮反直觉的因为大家总说我的背散要是差一点那我能受出来的这个performance gain就会多一点那我可能更容易发paper对吧但是其实凯明不这样想他会想我们怎么样把背散做到高到不能再高这时候在这个基础上我们做出了新的事情那是groundbreaking的事情那是真正的breakthrough对吧你在一个弱的背散下面做的任何的提升可能只是一篇灌水的 paper 而已所以这件事情我觉得对我来说也是一个启发包括他们做 detection 的时候做这部分工作我没有参与还是在读 PhD但所有的这些Fast RCNMask RCN然后这些 folk loss 等等一系列工作 [155:00] 这些工作都是因为他们包括包括Ross包括凯明包括吴玉新他们做了大量的工作去搭建infra然后去build这样一个cobase使得base line这些方法的base line就已经远超于这些所有的乱七八糟cvpr的paper我们的base line已经比你强了我再往上走一步我当然要比你走得更远所以我觉得我也是一直有这样一个方法论在这的我觉得我会比较重视这种我觉得我不想叫它工程因为它还不完全是这种只是这个co-based的这种事情它不是一个在产品公司里面打造一个co-based这样的一个关系它更是一个research的breakthrough的脚手架你的脚手架如果不稳你什么都做不出来所以这件事情也影响到我们现在做人形式的东西但anyway就是说凯宁在搭这个脚手架的方面其实真的也是非常非常厉害我觉得你好幸运因为你很早就有人告诉你很多正确的做法你所以其实在很多事情上你少走了很多弯路对我觉得我非常幸运但我也希望但我觉得很多东西真的是一方面是common sense但像你说的一方面对于一个学生来说这件事情可能不那么obvious不那么显然像这个脚手架现在我们在fair的时候会有一个这样的running joke其实有点开玩笑性就是说大家进到fair实习的第一课你猜猜是什么第一课是要用一个工具你猜这个工具是啥不知道这个工具是是Excel表格这件事情也很有趣就是大家我们会有一整套这样的track experiments当然了这件事情有可能有点过时因为现在可能会有更好的有很多更好的工具对但那个时候我们会精细的去构建这样一个template这个template就是一个exalt所以有时候我们有点像文质人员我每天做research过程中不是满屏幕的代码我们在写一些什么fancy的东西而是盯着这个spare sheet这个exalt的表格然后去看每一行它到底代表什么这一面关于research部分就是说你怎么设计这个表格你怎么能保证你的每一个实验都能给你像我刚刚说这个T度对吧因为你总会有可能有两个极端一个极端是你做的实验做的太少了所以你的信号不明确你啥也不知道另一个极端是我完全不care我在做什么实验我就瞎跑实验对吧我有这么多资源我就maximize我的资源然后就run所有的job然后把所有的结果全都dump到就是直接放到这个表格里然后我就觉得心满意足我觉得research已经做完了这两种情况都是一个比较差的学生的research的一个pattern但当初其实通过看凯明怎么样去build这样的一个spare sheet我觉得我学到了特别多对因为其实你就会要去make一些决策这些决策就是说我到底应该关注哪些metric对吧我到底应该记录哪些内容就有哪些column哪些列然后还有就是说我到底应该有哪些行我到底有哪些实验的结果应该放到这个表格里面哪些实验的结果我可能就不放了或者说我隐藏起来因为你放进去的这一行是需要跟其他的这个表格里面的其他的行发生关系的然后这种对照式的对比这个是research的流程这个东西again再次给了你一个这种T度的信号对吧然后这件事情其实有时候是非常非常sudo非常非常微妙的因为它并不是说你的结果越好你就一定是通向正确的道路所以应该是还是说你看你哪一个对照能给你最大的信息量maximize information比如说举个简单的例子如果你做了一个实验这个实验给你了差了比如说你的performance掉了10个点对吧这时候如果你是一个悲观的你就会说这个实验费了完全不成功那要不就算了但如果你是有这种发法论的人你会觉得这个方向可以掉10个点我往这个方向的反方向去设计我的算法是不是我就可以涨很多点因为你最害怕的事情是它的performance停留在原地不好也不差对吧不好不差就没有信号没有信号一个negative的信号的反方向就是一个正向的信号 [160:00] positiv的结果的正方向也是一个好的信号所以这件事情也是一个非常有趣的事情然后还有一件事情凯明用这个表格经常告诉我们的事情也是说你要学会做预测在你跑每一个实验的时候你要预测这个实验的结果应该是怎么样为什么呀因为你要猜你想的对还是不对如果你想的对了说明你前面的思维链条是可以往前继续延伸往前继续推的如果你想想错了again这也是一个surprise对吧也是一样的也给了你一个信号那你就会怀疑说我为什么想的不对对吧我哪里想错了我可以尝试去解释背后的原因然后或者我可以去重新去审视我自己的思路这些东西都是有价值有意义的信号这个可能说的有点具体了但是确实这些事情这个很有启发或者很多人对很有启发对因为他们可能没有你心意不能在他身边工作是对但凯明其实他也是不是我说的好像凯明是一个这种这种无所不能的机器研究机器其实他不是他也是一个很真诚很有趣的人他是有生活的人吗他是有他的生活很干净很纯粹但是我跟他一起工作的几年时间里我也跟他一起打了几年游戏打什么游戏他是这个魔兽世界的中式玩家然后我们一起那时候会打炉石炉石传说是一个棋牌式的这么一个游戏也是对战的我跟他有时候会一起联机然后打几盘游戏然后我有时候上线发现凯明也挂在上面打游戏你们会一起打多长时间没有一起打很久但只是平时线下会讨论游戏一般是比如我们讨论一个小时或者两个小时前一个小时讨论Research后一个小时讨论游戏讨论什么呢就是说我遇到的你最近玩的怎么样然后我给你讲一下我上次对12连胜然后发生了什么就类似于这样的事情听不了的挺好玩的事情从打游戏身上能学到什么research的方法吗倒也没有但是发现凯明游戏的也比我打得好他天梯爬的也比我高我就觉得哎呀这个没办法各个维度上被碾压对但是对然后但我觉得确实凯明也是一个蛮有趣的就是他会如果你是真的是跟他一起工作的话他会很愿意跟你去交流很多东西然后并且这些东西包含我刚刚说的这些research的方法论也包含一些有些虚无缥缈或者说很braw的这些内容他最喜欢聊的东西其实是进化生物学他本身学物理的还有物理然后包括量子然后还有包括哲学他一直劝我们的事情是说塞林你们在美国读博士你们的title可都是PhD是哲学博士但为什么你们培养出来的人一点哲学都不懂呢灵魂拷问他不是在美国读的他不是在香港对然后但这个也不只是美国香港应该也是PhD就是PhD只是变成一个代号但他说你们一定要多读点哲学然后所以这件事情也是挺好玩的事就是他给其实每个人或者至少给我然后一开始入职的时候给我一本书然后这本书是不是教你怎么做rssage的那这本书是金刚经我是不是透露的过多了金刚金跟research的关系是什么我觉得这个涉及到research taste的问题对这个也是我很想问你的因为研究员圈现在我觉得说最多的词就是research taste一些人在说你的时候就会说你是research taste好的人那什么是research taste呢什么来决定它呢我觉得你看你用这么一个很高大上的词对吧然后还要用英文来说说明这些东西很难的难被定义它真的是一个内法的研究审美对然后我觉得包含我其实上述所说的所有的这些事对具体怎么做事情我觉得这些事情都包含在之内但也涉及到一些更high level的这种 [165:00] 这种哲学部分的这种考量我觉得像坎明送过金光经我觉得他因为金光经里面说这些所有事情如梦幻如泡影对吧然后其中一句话也是凡所有相皆是虚妄若见诸相非相相即见如来然后这件事情扯远一点其实跟西方的哲学里面的某些观点其实也蛮像对吧比如康德去讲所谓的物字体然后然后然后到比如舒本华讲作为意志跟表象的这种世界对吧然后其实大家想要表达的事情我不懂哲学我也不想高谈扩论但是以我粗鄙的这种认知我觉得他们想讨论的事情都是说你看到的东西不是这个事情的本体你看到的世界也不是实质对所以当你看一篇论文的时候重要的事情是打破这个论文给你的一个幻想去追问一下这个论文背后到底隐含着什么样的一个一个实质性的东西然后我觉得research taste的来源就在于大家能不能真的抛开所有的这些虚无的像然后去一直去通往通往这个真理的道路一直去求索我觉得凯明这件事情做的是最好的所以这件事情如果你想的长远一点就是说我到底应该用什么样的方式指导我怎么样去选择一个题目到底做什么样的事情对吧然后这件事情又会涉及到你在做research的过程中具体每一步该做什么我觉得所有事情都是一致的然后我觉得researchtaste的不够好的一个问题在于可能大家会沉迷于这个项这个项可能是一个paper的acceptance可能是外界像你说的某种fame可能是因为你可以很快的去把这件事情做出来你能够得到的这种意识的这种称赞和这种追捧对我觉得对于凯明来说这件事情完全complete out of his他完全不care我觉得对但你要问我具体有如下ABCD几点这件事情就比难讲了这件事情因为涉及到的东西也很多因为其实research本身就像我说也是一个创意流程也是一个写作的过程从你的写作的by the way凯明也是写作能力最强的人他也非常鼓励我们说一定要早点开始写作这件事情非常不幸到我现在都已经一把年纪了还是做不好就是凯明所有的论文都是在deadline前一个月做完的只要在fair的时候是这样的就是当其他人都还在为了deadline通宵奋战然后获得巨大的满足感的时候凯明你知道吗就是那种咸云野鹤然后一个月把事情已经做完了然后开始把它一遍一遍的polish然后观察着你们去赶deadline吧我是以一个非常chill的方式然后把这件事情做到尽善尽美它是一个月前全部做完全部做完就paper要写完不是说这个结果得到是paper全部写完这是一个已经publishable的一个不错的工作那这是这意味着它是要在什么时候开始写那就是提前两个月开始写它只用写一个月一一个月很长了对当然他后面还会继续写在大胆之前的这个月会Polish每一个表格就是每个字吧每个标点符号比如说这件事情也影响到我比如说我现在就有这种OCD对吧就是这种应该怎么说强迫症对然后也是凯明时期带给我的就是说你的一行论文不能有一行有小于60%的文字什么意思就是说如果你有一行你有大半行是空的这个看起来不好看你得把这一行占满或者占的大概有6-7成满这样的pipo看起来才比较优雅对或者uniform所以这也是我们现在每一篇pipo最后我都会让大家所有学生这个对你们好好看你如果有一个什么trailing war对吧你现在如果大家不注意的话你会有一个词然后单独占一行在一个地方很难看的对懂然后而且凯明想这件事情的时候的想法是说这个paper不是给你自己看这个paper是给别人看的所以你要 [170:00] 那是别人的观感你怎么样能够就是paper只是一个载体我怎么样通过这样一个knowledge的载体使得大家可以比较顺畅的get到你自己的这个想要表达的这个内核它这个沟通界面要赏心悦目你总结好对 沟通界面要赏心悦目所以保证你paper也不能太难看对吧然后你这个细节要做好所以所有这一切你可以认为它也是某种research taste但我觉得这件事情其实是一个general的对于生活或者对于这宇宙一切的某种审美我觉得这件事情在我看来都是相通的对吧然后这也是为什么我们很在意我们自己的论文怎么样能够比较unique就是比较有自己的这种独特性然后我们可以有自己的网页的设计然后我们会自己录一些视频就是我拍摆录视频是啊对但是有很多人觉得为什么你们要搞这些事情这些事情跟跟这个research一点关系都没有这难道不是一个destruction吗为什么你要花额外的精力去去polish这些东西你是不是就为了炒作营销我希望大家不这么觉得因为我觉得有你自己的一个风格这件事情其实是非常重要的然后这也是为什么我们所有的paper都会用一套这种模板然后我们会有一些自己的设计然后间接的我也希望把一些我的tasteagain我不能完全保证他们都很好但是三不号至少跟我的学生一起讨论然后大家可以一起去把这件事情至少一起能够去构思一起去想一想对我觉得这件事情也是在我看起来大的research taste中间的一部分它包含了很多很具体的小的细节非常多的细节对但我觉得这也是为什么做research很有趣的点我昨天跟你说过我从小的梦想其实是当个导演从小的梦想没有从小什么时候破灭了很快就破灭了很不幸但是但我还是会看很多电影然后但是我觉得到后来我会发现Risish的过程跟拍电影过程其实没什么不一样为什么呢因为电影也需要发现一个主题他也是经过探索我有一个我想要拍的故事它也不应该是我站在此刻我就觉得我这个故事就是这样了然后我直线通往彼岸也不应该是这样的你也应该去拍电影我觉得有很好的直觉对是的对吧最差的电影就是说我是个流水仗的吧我有A中间没有什么冲突然后通往B然后事情结束了我就放给你一个好的电影其实是说或者说为什么我们写背背的时候大家说他讲的故事讲的很好虽然这件事情可能甚至有点nativestorytellingstorytelling对吧电影是一个storytelling的过程有一本书其实我之前也跟学生推荐我学习凯明跟大家推荐一些不搭尬的书我跟大家推荐一本书就叫story是麦基的这本书这本书其实是这是新闻学所有人都要真的吗OK I see I see I see对因为他里面讲对吧你真正的这个故事本身不是人物的背景而是人物在特定时候的选择这件事情带来了冲突然后带来了对这个世界的变化推进剧情的发展我觉得Paper exactly就是这样你写的这个Paper本身technique当然重要这个knowledge当然也很重要但是也许更加重要的点是你到底是怎么到达这的你到底中间做了哪些决策对吧你的decision到底是how did you make the decision为什么这个decision很重要为什么读者读了这个decision making的过程之后也许他们自己也会受到启发也许他们自己也能去做一个完全不一样的事情但 somehow又能跟我们present的这个东西串起来我觉得这件事情不就是拍电影吗已经把research进化到了艺术的层面不是这个Pick说了吗他不喜欢艺术家我觉得我完全不是我其实没有什么艺术的见解也没有什么艺术的修养更没有什么艺术的能力但我还是觉得这世界上的每一个人不管你是不是经历过这样的训练有一些非常common的非常个人化比如说这个Martin Scorsese说对吧最有创意的东西其实是最个人化我觉得每个人都太不一样了你怎么样在做 [175:00] 做research的过程中也能发掘出来你心里面的那团火你自己不一样的地方然后用它来指导你的research taste我觉得这件事情才是在我看起来一个scientific的道路上面很重要的一环其实人在选择自己偏好或者相信自己偏好这件事情上是非常难的因为大多数人都愿意走一条就是我们一起走的路因为它更安全就包括你说的做research的探索的过程也是一种就是更加愿意相信自己某种偏好的一个过程对我觉得我觉得这件事情是这样而且这件事情对于research来说还蛮重要的还是有点玄学但是其实这个也是在A3班然后余老师在我们本科时候跟我们说过一句话他说不是因为看见所以相信因为相信所以看见就如果你不相信这件事情的话你可能完全看不到这件事情按你设想的方式去发生我觉得我觉得不能太玄学但是就这一面好我们有点虚了research还是一个科学的过程然后每一次decision得要继续事实不能完全只是因为你相信一件事情然后你就往那走对这件事情肯定是错的但是somehow还是有一点这个的成分就是大家还是有某种自己的属于自己的这种精神的力量其实能够去改变你在study的问题或者你在看待这些问题的方式我要拉回来我们飘出去了飘出去太远了对你说research是就是更重要的是你怎么做决定的那你这个做研究的这个历程你刚才还是没有讲完就是后面的决定是怎么做下去的其他可能可以比较快讲一下因为其实有了现在附近很多事情也蛮好讲的因为其实很多时候我觉得我觉得有有好多点来知道要怎么做事情吧第一是可能要有某种质疑精神这件事情我觉得应该不用讲吧但是有时候在现在的这种竞争的环境下大家可能会慢慢丧失这种情形都很难对有点难然后还有就是说我觉得还是要我在我那个无线游戏的talk里面讲You are the genius of yourself你是你自己的天才希望你自己能够去做一个不一样的事情Be different这件事情我觉得也是一个很high level的一个指导的一个原则所以往后说那像我跟我当初的这个实习生刘壮他现在也是一个很强的这个research他现在是普林斯顿的一个教授了然后我们一起做一个工作叫Conf Next这件事情你可以看到对跟这个Res Next也是一个印照然后这个Paper的title非常ambitious叫做A ConfNet for the 2020s就是2020年代的这个卷积神经网络可以猜一下这个名字谁取的开明对其他人也不敢取这种名字又有X然后凯林取了一个名字然后我觉得我们做出来但这个paper其实很简单就是说大家认为在VIT里面就是Vision Transformer里面最重要的东西是soft retention但是我们质疑这件事情到底是不是真的然后通过这样的质疑我们去铺叠这样的实验对然后最后发现其实这件事情没有想象那么简单soft attention可能是最不重要的一环整个的这些global这种architecture design以及这些宏观跟微观 design才是决定这个performance的一个一个更加至关重要的地方对所以这件事情我觉得对也是当初跟刘庄一起但是还有其他的同事一起我觉得我们能够去提出这样的问题有所质疑然后刘壮做了大量大量的实验把这件事情最后梳理清楚对吧然后我们有这样一个一个figure有这样一个plot在paper里面就是说我们现在怎么样从一步一步从一个卷积身体网络通向一个这种层次化的这种transformer架构它每一步哪些实验重要哪些实验不重要对吧就是一系列的ablation study然后这个图现在也变成了这个配本我觉得还不错就是他可能也配得上来题目就是在此之后也没有人设计卷积神经网络的架构了基本上然后还有就是这个配图现在变成了一个经典的配图所以在各种各样的配本里面都能找到他的痕迹这个图也是我当初 [180:00] 花了很长时间手搓出来的对然后这件事情对我的启发也很大就我觉得对吧就是其实大家是知道因为这个图本身它在讲关于这个paper里面的一些逻辑但它所涵盖的这种怎么样去精细的做applation并且控制变量的这样的一个方法这件事情是可以被应用在很多很多不同的paper不管你的topic是什么的对所以我觉得这件事情也很好玩嗯然后然后后来可能可以谈一下比如DIT对吧然后但这个配配也是这个配配又是一个这就到NYU了没有没有没有这个也是Fair是Fair的最后一个工作然后Fair那个时候已经开始有一些Culture shiftOK因为那时候ChaiGPT刚刚出来OPI然后DMI做得非常好OPI作为一个新兴的这样的一个research的力量然后其实做了很多在菲尔大家想都不敢想想即使想了也做不到的事情对然后大家就开始在思考组织模式上到底出了什么问题是不是要进行大的改革其实已经进行了很多次这也是一个trigger是说为什么我觉得当初已经不是一个好的事件我继续留在费尔了已经开始下滑了倒也不是下滑只是说大家的focus已经不在research上面了大家会有开这种好几个小时几个小时的这种research的alignment的meeting就是这种对接的这种会议对齐会议对齐会议然后这个会议的唯一的topic就是说我们到底应该做啥但这样的会议这个持续了比如说好几个星期的时间还是没有办法确定因为没有人会知道自己要做什么因为这件事情是完全烦我刚刚说的这个research的正常的这种bottom up逻辑的对吧现在变成是说我们要坐在一起讨论我们接下来一年两年的时间应该做一个什么样的research project这件事情在我或者在凯明或者在很多研究员的心里看起来都是都是反research对所以那时候也受到了很多的影响比如说当初我在做这个DIT的时候Diffusion也是刚刚起步还没有人Fair还没有一个人在做Diffusion Model相关的研究但我觉得这个东西好像很有趣我觉得应该去尝试尝试然后Bill Peoples他是我当初招的一个intern然后他现在是Sauer的hat也在Sauer的这种各种生成的视频里面他也是主角他是一个非常非常sharp或者在我看来是一个我觉得完美的PhD学生就是在各个方向至少是六边形战士的这样一个学生但anyway当初我们的起点其实不是要做Diffusion Model也不是要做DIT在前两个月的探索完全也是集中在表征学习这件事上就是说我们想看一看你一个Diffusion Model学到了这个表征到底跟一个正常的Superwise Learning或者说一个Soft Superwise Learning学到的表征到底有什么不一样其实后续在这个方向还有很多很多的工作但我们开始的这个做了一段时间的感受就是说这个东西好像也还行也就那样它能学到一个不错一个生成模型能学到一个不错的表征但这个表征要比你的自监督学习的表征要差的多的多的多就完全不能打对所以我们就放弃了但是在这个过程中到了最后一个月的时候我们发现by the way这个东西的前提是说因为DIT我们需要在这个表征的level去跟比如说VITbased的这种表征的系统要做一个对比所以那个时候是我们为什么我们不用UNET要用VIT来做这个diffusion model这个是出发点对吧然后后来我们发现这件事情在表征的这个角度好像没有什么太大的价值但是好像我们的这个新的architecture它确实更加efficient然后确实更加scalable比UNET要更稳定并且从代码的角度我会非常care这些事情就从你的代码的角度我们叫它这种minimal description length就是说你代码其实还是很重要的你是能体现出来一些事情的如果你的代码的长度很短就能够去达到同样的目的你这个方法typically会优于一个比如说写了好几千行代码一个非常非常膨杂的系统即使它也能做同样的事情但你的前一种这种更elegant solution更simple solution一定是更好我觉得这也是某种以上的research taste所以我们发现这件事情又简单又难 [185:00] work又scalable然后又efficient那好像这件事情才是应该我们去pursue the direction所以也是提前一个月然后去做这件事然后那时候也要竞争很多的资源大家就说你做这个事情干什么我们现在要把资源集中到一起让我们要做一些更有意义的更大的projectnobody knows大家所以要有这种对齐会议里面讨论但是但至少defucian model不会是在这个critical path中的一个重要的就在这个核心路径上的重要的意愿对所以大家会有很多的反对但我觉得我能看到这件事情其实是一个很重要的事情因为我觉得这件事情从架构我做架构做这么长时间我觉得这是diffusion架构的未来对它不是diffusion model全部像我说data架构还有objective都是很重要的对但是在架构上这件事情是绕不过去的一环所以这是为什么我们最后一个月就朝这个方向去push最后结果也很好然后我们能受出来这种真的很好的这种skilling behavior然后我们投了paper到CVPR然后我觉得都非常开心然后paper被拒了对乐困好像写过这个推特是的就是novelty不够所以对你们可能做的这个东西对吧你没有大段的数学你没有大段的这种复杂的这些结构你弄了一个很简单的这样一个结构虽然得到很好结果但是River不买账对这也是另外一个lessen但到那个时刻其实我已经慢慢回过神来了我发现这个research paper这件事情其实在这个巨大的随机过程里面重或不重一点都不重要所以我们接下来又投了一篇那什么也没改那又中了一篇all world paper所以再次证明这个完全是一个纯粹的随机过程但之后发生的事情比较有趣就拿到这个paper之后我发现这件事情在各个维度上都比一个unet based system要好Why not你就应该用这件事你统一了你的底层的逻辑至少在架构上面统一了逻辑你可以share很多这种infrastructure它又这么efficient结果又好又scalable你可以出一个更大的模型所以我们就想这件事情这个paper发出去那一定会有很多关注which by the way确实有很多关注就是推展很多人讨论但是我们发现好像没有人真的用它干任何事然后我们开始就开始跟大家聊比如说我们去找Stable diffusion的人by the way我觉得Stable diffusion LDM也是一个在我看起来属于那二十几篇paper里面的一个但我跟他们有一些人也在去聊然后我们跟一些其他的大公司也有在聊我们相当于在学校里面那时候我已经就相当于这篇paper是刚好落脚在我在Fair的最后和我在NYU开始所以两边都属名是吗这样的话对其实不是其实是只属了NYU的名字和Berkeley的名字因为Fair不让我们属名为什么因为第一是他们觉得这篇paperIt's okayIt's a paper第二是那你已经离开了不要借我们Fair的名声给你有趣灯光天彩然后anyway其实本账还是一些legal的原因反正就没有署名所以是实书的万有名但这件事情是一个在Fair完整的做案的事情世界总是这么讽刺有点讽刺然后后来反正发生的事情大家也知道那就是Bill跑去OpenAI那说好你们都不买账那我自己来做这件事是这个原因是这个原因对然后或者说那时候他也在跟我讨论说到底应该去找什么工作他有好多不同的offer然后有些startup有opni然后也有一些大公司然后然后那时候他才第三年然后他也是我觉得也是有一个非常好的这种可能比我强多了的这种预测模型我觉得他是能看到说要早点加入OpenAIOpenAI现在不得了那是哪一年是这个22年22年年底22年年底对22年年底那个时候不是ChashPD刚刚出来吗是他就加入了对你没有工作就做完了吗做完了你们不是在ChashPD之后做的吗不是因为我是23年1月就已经到NYU了所以这个工作其实是上一年22年的暑假了开始的一个工作所以是在ChashPT之前就做了之前对所以这是为什么OpenAI我觉得也很厉害就它能够意识到比如Bill的才能并且能够 [190:00] 他们有一个包括Tim Brooks让他们能够有一个这样一个很bottom up在我看起来其实是一个蛮research的一个effort给他们足够多自由度跟资源让他们做一个在之前大家想都不敢想的事情这件事情就是骚扰我觉得这件事情至少在当初Fair是没有这个基因的大公司也不会有这个基因如果你没有离职还在Fair他们依然不会用DIT那我觉得也不见得倒不是用不用的问题我觉得更多的是怎么样能催生出这样新的这种创新的这种结果对然后我觉得或者说这个架口只是其中一部分我觉得它一点都不重它只是一个选择它Bite了这件事情对或者相信这件事情能做成我觉得这件事情不是所有人都能相信得了的我觉得这件事情其实是非常厉害的这其实在讲的是Sorrow的诞生的很多前续的故事对吧有点是然后对你见证了好多对我觉得见证了一些人一些事吧但也错过了很多错过了什么那比如当初没去OpenAI或者说之后还有很多其他机会我就不说了但总之是有点我觉得我看对了很多事情和很多人但也有一些时候比如说某些创业公司在非常早期的时候然后跟我聊然后想要说我可能是第一个看他们的demo的人也许可以说就是这个EleventPerplexity的Elevent然后他从Opi出来在Palato的Blue Bottle的这个咖啡店这也是一个硅谷里面很多事情发生的一个地方很小我可能是至少第一第二个看到他的一个demo的这样一个人他拿着一个电脑给我看一个一个浏览器然后说我们要隔了Google的命然后我说你这个好厉害但我心里面觉得这个是什么东西这个不就是GPT套了一个壳然后why are you doing this对吧所以他说要不要一起来做我还是比较enjoy being at NYU对去继续继续做research但后来其实确实我觉得我对创业者的认知在过去的几年也发生了一些变化然后我觉得这件事情跟research还真的不一样有很多相通的地方但也有一些不同的点对然后但anyway就是又扯远了然后工作上我觉得我们可以快速再讲一讲后面的一些东西因为我可能可以最后总结一下除了普普拉斯底下错过了谁其他的不说其他的有可能是刚错过或者我还不知道是不是错过的一些地方但其实没有什么错过或者说我在现在这个时间年龄我并没有后悔任何的决定我觉得每一个决定都是比较忠诚于我的内心然后在座我想做的这件事情有可能这些决定很傻有可能从一些维度上来看其实是一个错误的决定但我现在会觉得第一很知足第二我觉得像你说的这是属于我的一条路这条路还能通向更远的未来我还会在这条路上继续走所以我觉得非常非常感恩反正DIT之后然后我们又做了一个工作然后就是把这个flow matching就是把这个新的objective然后在transformer setting下面也把它拓展起来对然后这个每次也是都是当笑话讲了也是先投稿然后又被拒了然后然后同样的原因但是again经过这样次数多了之后我觉得我就基本上免疫了或者这件事情其实还是蛮叫做反脆弱的这个塔勒布有一本书叫做这个反脆弱然后我觉得我当初讲无线游戏的时候我其实也提到这个观点就是说我觉得research其实必须得要是一个反脆弱的系统这个反脆弱是什么意思呢就是说一个组织或者一个个人或者一个事情它如果是反脆弱的就是anti-fragile他意思是说一个可能的这样一个random的event某种黑天鹅事件或者说某种shock就一种一种这种这种令你感到惊讶的一个事件的发生这件事情如果对于这个组织对于这个人或者对于这个事情来说你的收益要比你的损失 [195:00] 那你的这个组织就是一个反脆弱的组织但如果你立刻被这个shock击倒了那你就是一个脆弱的组织所以我看起来就是说这个resage这件事情其实是一个怎么样让大家变得越来越反脆弱的这样一个事情然后所以paper被拒了也没那么伤心了然后但后来我觉得就是像DIT然后SIT都会变成一个相当于学术界的一个一个base line然后让大家可以继续在它上面做各种各样的事情然后我觉得它的历史这个任务也达到所以这是在Diffusion上面当然后来还做了很多其他的事情但是我可能想说一下我们最近比如说有一套另外的事情叫做叫做这个Cambrian对吧Cambrian series韩武技对啊中文叫做韩武技对但是这个韩武技这个东西对我也讲了什么善物技对吧就是说这个 leading theory 说Viren的演化带来了物种之间的在Viro能力上面的这种军备竞赛然后导致了这种物种的大爆发然后所以大家有时候会觉得韩武器是一个视觉的起点对然后说到这个韩武器了那可能再插一句就是说其实如果你看整个地球的历史我们把尺度放得更远一点从538个million years ago一直到现在对吧其实所谓的modern behavior这种behavioral modernity就是所谓的这种行为现代化这件事情是在过去的三万到五万年前发生的所以如果假设从航空记忆大爆发然后开始地球上开始出现这种物种开始一直到现在如果我们把它缩短到一天对吧假设所有这一切都只是在24小时内发生的那其实有语言的部分有这种behavior modernity然后大家可以有某种abstract thinking某种symbolic reasoning这一部分的过程其实在这一天中只占了最后你猜猜大概多长时间三个小时三个小时高估了三分钟还是高估了三秒钟大概是八秒到十秒吧所以怎么算所以在这个历史的长河里面其实我们有语言的时间其实是非常短暂的然后但是由于我们是人我们总会从人的角度去思考这个事情去看待这个历史所以我们会觉得好像语言自然而然就是人的智能的一部分然后这也是区别于人的智能跟其他动物智能的一个主要的区别但anyway就是这个可能又扯的有点远我们等一下可以come back to this那我想说的是这个Cambrian series之所以取这个题目就是因为我们当初觉得现在这个多么太大模型这么火热但我们又像有点像当初Conf Next的时候一样的视角我们希望能够去检验一下现在正在发生的事情然后以一个比较solid比较scientific的方式去研究一下到底什么重要什么不重要所以这是这个CAMBER MODEL的出发点然后这件事情在之前还有另外一篇paper叫做叫做Ice White Shot这边有导演朋友这也是库夫里克的一个电影所以那篇paper里面讲的事情是说对于Vision Encoder来说其实Clip可能不是最优的它有可能会有它自己的缺陷因为它有这种太多的语言的shortcut导致它对视觉的理解方面有可能出现一些偏差所以CAMBER ONE其实是这个PAPER的某种意义上一个延续是说我们怎么样训练一个我们自己的这样一个系统然后在每一块上都做足够充分的study然后但是我们只有一块不碰就是我们的LM的部分我们不碰我们不管它然后但我们去study比如说我们的DATA的构成我们去studyValue Repentations对吧然后这种表征然后以及后续的这些比如说各种各样的架构这种视觉处理的架构等等的一系列的东西对所以它是一个蛮大的一个effort所以很多时候有工业界的朋友问我说哎你我很好奇你们是怎么组织组织起来这么多学生然后做这么大的一个collaborative project的嗯对吧然后其实我也没有 [200:00] 那非要问我的话那就是学生给力对大家大家愿意去探求这个问题并且能够以比较好的方式在一起合作对然后当然这里面会有一个基础这件事情蛮好玩的可以分享一下就我刚刚提到说凯明当初不是在TPU上面去build这个infrastructure然后这个从无到有我们有了自己的资源然后他力出了比如说像MocoME还有这个DIT这样的工作所以很赞而然然后到了后面在NYU的时候我就在考虑说我们到底能不能去也在TPU上做一些事情因为Google其实还是对感谢GoogleGoogle也是一个非常这个generous的company然后它有一个program叫做TRC就是TP Research Cloud它无偿的给学术界的学生还有老师们去用这部分计算资源对但这部分资源极其难用因为还是面临一样的问题就是没有这个ecosystem所以你没有这个infrastructure没有这个基础架构也没有这个co base很多东西patch放在上面不work这一面其实就我们一开始面临的这样一个抉择一方面我们从Google拿到了一些资源我们可以有更多的算力绝对的算力去做我们想做的事情另一方面这件事情实在是太难用了所以我跟学生说你们一定要去试一试我也给他们讲了比如凯明的这个story但是他们试了大概可能一个星期然后回过来说老师实在受不了了我们能不能买个两台H100的机器还是用GPU吧然后我跟他们说这件事情还是要沉得住气如果比如说你们试了大概三到四个星期然后发现这件事情确实有技术上的障碍我们确实因为我们不在Google没有这一套infrastructure所以有些事情我们确实做不了或者我们解决不了那我们可以give up然后我们可以去换下一件事情去做但是如果只是因为暂时的这些阻力你只是试了一个星期然后发现这件事情有困难那我觉得我们一定要尝试去走出自己的舒适去去解决一些这些infrastructure的problem即使这是一些可能一开始跟research无关的问题反正学生就被我劝回去了然后继续开始在tpu上面develop我们自己的infrastructure对为什么不用gpu呢没钱啊ok 学校很惨了这个这个又要吐槽学校学校北美的学术界是一个是一个非常非常我觉得处在一个很很很难的一个境地吧对为什么主要还是就第一资源不够然后举个简单的例子比如说我们要申请funding对吧美国的funding system可能又要漂的有点远但是美国的funding system其实在过去的几十年里面都没有什么增长虽然有很高的通胀对吧所有东西都变得很贵学生的学费变得很贵但政府的资助以及各个公司有这种他们这种proposal这种program对吧有些资助的项目其实还是维持在一个很低的水平对然后大概就是说平均比如像ISF这样的美国的美国政府机构能给到每一个单独的这种PI的这种总共的资助大概就是50万这个级别美元每年5年每年大概10万对然后大量的公司其实已经变得少了很多因为again因为HGPT因为LM的时代到了然后大家慢慢的变得收缩这个我们之后可以再聊但是总之是也有更就是其实这种工业界资助的机会变得越来越少并且一旦如果有时候有一些这样资助的机会一般会给你比如10万到15万美元就是这么就是一次的一次性的给你这么多钱作为资助但你知道吗大概有一百个学校同时一百个老师或者更多老师去compete for这十万块钱十万块钱可以干什么呢可以养一个学生一年作为学费还可以干嘛呢可以买半个H100或者想买个cluster或者可以买个三到四张卡所以这件事情是做不了事情对吧当然这也不是只是我在吐槽我们所有的其实就是所谓的在美国的青年教师都是生活在水深火热之中的大家都要通过自己的方式去找不同的资源所以这也是为什么有点像创业就是你在一个非常constrained的resource的情况下要去从不同的地方找到不同的资源你要融资对吧小学生 [205:00] 你这是商业访谈录的我说我这个一点不商业但是其实某些地方可能还是有一些共性的然后包括跟Google的人我们当初我有一个我的合作伙伴在Google然后他也很特殊了他从来不去公司上班然后说他说我们可以聊一聊然后我说好那我去聊一聊然后飞过去湾区去找他然后他说我们可以聊但我们不要在办公室里聊我们一起去Google旁边的这个trail上面hiking去徒步边徒步边聊所以我大夏天跟着他徒步了一个小时然后跟他讲了讲我们在TPO上面做了一些infrastructure的这些contribution这些贡献然后包括为什么building这样一个更长期的collaboration的这样一个合作伙伴的这样的关系对Google来说对我们来说都是一个好事对所以我觉得这不就是一个融资的过程吗所以到后面就化缘了就化缘的过程对确实是因为其实这样的资助其实是不求回报对所以我觉得我也非常感谢Google但anyway我觉得更更应该感谢的还是应该是我这几个学生然后他们一点点然后突破了重重的困境像我几个学生像这个Petereter然后博洋然后书生然后很多人然后他们都在TPU上面做了自己的很大的弄性对然后好这是这个前提就是说我们现在有一些卡可以用了然后现在我们就可以做一些稍微有点跟大模型靠的更近的一些事情所以这是为什么我们会做Cambrian的工作对然后当然了所有这些narrative这些story都完全还是我过去这么多年的这些逻辑就是说第一表征非常重要第二不管你在解决的是一个普通的计算机视觉的任务还是我们到了一个多模态大模型的时代然后通过这种VQA的方式去解决这些问题我觉得这些都是都是像都是像对然后背后还是有一些实质性的东西我们要去构想然后这一部分反正关于预言跟视觉我们可以等下聊然后我们后来又有一个叫做Campaign-esque paper这个paper可能就是更进一步我们不只做image level 的VQA的task我们希望能够去还是涉及到video去涉及到视频对然后这件事情其实真正让我真的觉得想要做这件事情的原因又要说回到电影还跟我喜欢的两个中国的导演还蛮有关系的贾科长贾张科和B干都是中国很著名的导演对然后B干他路边野餐里面大量的运用这种长镜头这件事情让我觉得OK虽然在他来说是一种视觉的工具但这件事情对于人来说又是一个视觉理解的一个很重要很重要的一个媒介就因为什么是长镜头人活在这个世界上就是长镜头我们的眼睛就是我们的相机我们不停歇的在这个世界上面做各种各样的事情对吧然后我们看到的东西这个介质都是video都是视频但是我们又能看到这个视频的这些像素背后的一切东西我们能推理因果我们能感受到空间对吧然后贾成科说了一句话我觉得我非常运动他说这个电影之所以很有意思这个还是他在纽约的时候跟我说他说这个很有意思是因为你如果只看这个timeline的话这是一根时间轴它是一个线性的时间轴但是在这个时间轴的每一个点上你需要一个空间去扩展它的时间就像我们现在在说话虽然是一个静态静止画面但是假设你家有一个长镜头或者说你今天在纽约街头然后在当把大桥下面当把大桥下面对其实你看到的还是一个又一个的frame对吧但它背后其实体现出来的东西是这个世界的状态是整个空间的这种全局的信息这件事情是完全超越你的这个镜头所encode的这种单独的单一的每一帧每一帧之外我觉得这件事情非常有道理所以这件事情让我觉得接下来还是得要做视频即使视频难做即使视频需要处理海量的数据但还是要做对所以compress我们就做这件事情然后这件事情它有点像一个position paperposition paper就是一些 [210:00] 怎么翻译应该就是一个观点式的论文我想要提出这样一个观点所以在那里面我们讲某种super sensing的概念就是说超感知的概念然后它还是一篇关于数据的论文它是一篇关于结构架构的论文它也是一个关于spatial intelligence的论文所以菲菲老师也帮我们提供了很多很多宝贵的建议但核心是说我们想要定义一个范式是说接下来多么太到底应该往哪走对吧然后所以你如果一步一步看这个问题的话就是说我们可能是一个不恰当的比喻但你可以拿无人驾驶里面来类比你可能有一个L0的系统就是什么都没有系统这个东西就是一个large model它完全不能观测到这个世界所有的这种verial knowledge他看不到图片他也看不到视频对吧但是他能够通过语言的方式像柏拉图洞穴语言一样能够侧面的了解这个世界这件事情没问题我们叫他L0L1是现在的东莫泰系统稍微具备了更好的能力它能够所谓的show and tell就是说你给它看一个东西然后它能够告诉你关于你给它看东西的一些答案对吧你问它一个问题它会回答一个答案这可能是L1然后L2我觉得是我叫它streaming event calculation就是说现在这个东西不只是看一张禁止图片了你会有一个连续的streamable的这样一个viral string就是视觉流你的智能系统需要能够了解这个视觉流然后能够去process就是处理这个视觉流然后并且能够回答一些问题能够去understandwhat's happened对吧然后再下一个stage我叫它spatial cognition就是这件事情是我刚刚说的是你在这个时间的序列上面的每一点怎么样去能够看到超越他的当前真的背后的就是这些像素背后的空间这件事情也是一个人非常非常unique的本领到最后其实我觉得中局就是说我们需要一个predictive world model对有某种预测性的世界模型这件事情才能告诉你关于你observe的这种real world的一切对我觉得我想通过这个paper想要讲的事情是说我们在build的一个阶梯然后一步一步通向一个世界模型的未来我们虽然可能不知道应该怎么define这个世界模型知道在这个paper里面我们不会去做这样的define的工作但是我们可以去知道有哪些capability是我们必须得要有的对所以这是这个paypal的核心然后这个paypal然后我们也拍了一小段视频这个我还发到了推特上也是一些学生就是我们也没有花任何的钱也不是为了宣传就是一些学生拿着摄像机然后在纽约的街头上面拍了一段我们也没能很不幸没能拍出来必干式的长镜头但是边走边拍然后算是一个写给纽约的情书然后但是很多人不理解说你们拍这个东西干什么这个东西跟你们Paper有关系吗我说当然有关系了我们这个Paper的本身就是在讲一个活在这个真实世界里面的智能体它是怎么能够去摄入这种连续的视觉流的信号并且能够去感受到这个世界在发生的事情他们可能会被一些事情触动对吧会surprise会感到惊讶但更多的时候它的大脑会有一个某种自发运作的这种世界模型在指导大家做自己就指导大家活在这个世界上对我觉得这个这篇pipop其实还蛮有意思的因为我其实也以前也没有做过这种有点像希望想要set一个agenda就是定义问题的这样的工作所以说也是希望向菲菲老师多学习吧就是菲菲老师经常说北极星对吧那我一直在问的问题也是到底什么是视觉的北极星到底这个问题到底是什么应该怎么去解决它对所以这是这个pipop你有找到答案吗找不到答案找到答案我就不做我觉得我觉得这是一个终极问题我觉得这不是一个计算机视觉的问题或者说其实其实我想说的是其实计算机视觉这个这个特别很有趣的吧他叫 vision那 vision 有两重意思他是一个非常有奇异的词语vision既指你的视觉又指你对未来的评论 [215:00] 来的预判对吧就你说你一个人很有vision有愿景有愿景对吧所以我觉得compute vision其实我完全不会这个我可以说我是一个做compute vision的人对但在我定义下的compute vision它是一个perspective它不是一个具体的任务它甚至也不是一个具体的领域它是一个perspectiveperspective就是它是一个观点对或者说它是我觉得智能就它蛮本质的它是智能一定要解决的一系列问题的总和这个东西对我说具体一点就是什么是为人或者为人care哪些问题呢不一定能说的清楚让我想想它第一它care处理的信号是连续空间的高维度的有噪音的信号对吧这是compute vision要解决的问题compute vision要解决的问题不是在纸上写了大量的文字我们现在要能够演化出某种智能它不解决这个问题它address这个market它的target的市场就跟language完全不同连续高维度有噪音的信号这是Vision要觉得问题第二从做Vision第一天起从我刚刚说我的第一篇PaperDSN或者HEDHED开始我就知道或者说我就有这样的一个betVision其实最重要的事情就是要学会这种层次化的表证就hierarchical representation这件事情是非常非常重要的如果你的表征没有层次的话你是没有办法去解决这个世界上很多很多的问题的层次化的过程就是一个抽象化的过程抽象化的过程就是一个所谓的泛化的过程是一个generization的过程这件事情跟language model又很不一样因为language model是纯粹在语义的空间里面去思考这个问题的所以当然还有一些其他特点比如说我说Vision as a perspective比如说我想想它又是这种大规模的并行化我们现在能看到很多很多的东西我们大脑的皮层有很多地方在fire对吧然后我们在并行的处理很多很多的不同的object以及他们的因果规律然后intuitive physics他们的物理变化这些事情是在不同的对时间然后在不同的空间都都都在同时发生的然后我们能够有一个方式能够capture所有的这些变化我觉得这件事情也是视觉的一个很重要的一个特性然后最后可能还有一个就是某种不知道应该怎么样去define这件事情某种某种某种特征的共享吧这件事情意思是说比如说我看到就这件事情涉及到的语意的部分或者真正的understanding部分可能会更多一点就是说我现在看到一个小孩画的一只狗和一只动画片里面的卡通狗和一只真实世界里到处跑的狗对吧然后我是怎么把所有的这些不同的view的这种entity能够connect together对吧让我们有构建这种抽象的认知说他们都是狗对吧虽然他们千差万别在这种You knowData的角度上面他们差的太远每一个pixel都没有可比性所以我想说的是Vision要解决可能会有更多了我其实也没有仔细想过对反正它会有一些这样的共性这些特点对吧层次化解构然后这种continuous domain的模型continuous domain的modeling然后还有这种这种大规模的并行和大规模的共享我觉得这些事情都是智能体的一部分这件事情不能够简简单单把它们规约为只是一个compute vision system要解决的一小块问题对所以这是为什么我会觉得compute vision这件事情我觉得我觉得虽然现在越来越少的人去做这个方向学生也越来越少申请的学生也越来越少大家在本科的时候选择的这个方向的时候也越来越不愿意选择对吧一个东西叫做compute vision然后然后然后然后然后 faculty招人的时候也是我们可能也越来越少的招一个做纯粹的computation的老师但我觉得这件事情是如果你认为计算机视觉是一个perspective的话我觉得这件事情是一个智能的本质你看过去这几年Chargept来了之后CV以前其实是人工智能一个非常中心占据一个非常高的 [220:00] 中心的位置当然这是在你入行之后发生的这几年LLM兴起了CV被退回到一个比较边缘的位置在这个过程中你觉得你们这些人沮丧吗我觉得我不沮丧我觉得完全不沮丧我觉得像我说的我要感谢这个LM对没有LM的话Vision也没办法拓展到现在这种真正的多么太智能的这样一个大的scope就其实在视觉的发展时再看来其实也有两根轴你可以画这根轴是说在古早时期对吧在最early的stage计算机视觉所要handle的事情永远是这些最单一最具体最简单的任务比如说MNIST的数字识别对吧一二三四我要把它显示出来到底是数字几然后到后面有一些小的数据集像C4这样的数据是一个32乘32的像素上面的十分类的问题是猫是狗是汽车是飞机然后再到后面像有ImageNet这样的Diaset出现它变成了一个在256乘256的这种level然后做Classification的问题对吧但这些时候还比较相传说比较可控然后再到后面会有detection segmentation就这种更结构化的这种认知的过程对然后这些是commit vision然后再到后面对吧这根轴继续往前推演就会到比如说这种multimodel launch model的行期因为多模态的介入我们可以很容易的放弃很多这些具体的比较固化的这种这种Task的Design这种任务的Design然后去那我现在就可以拿着一张图问各种各样的问题supposedly这件事情语言作为一个很好的interface它是可以或者语言作为一种很好的界面它是可以去帮你解决很多很多问题的对吧所以你可以看到这个时间这个轴这根轴是从Task从简单到复杂的这样一根轴但也是一个语言开始慢慢介入到compete vision 的一根轴是吧这里面会有两个问题第一件事情是语言介入到Vision 之后带给我们巨大的好处让我们可以很自由的定义问题我们可以问任何事情然后可以得到任何答案但第二个很重要的风险在于语言的介入导致你对语言的依赖也变多了所以导致所谓很多多么态的时候这些任务其实跟视觉没有什么关系纯粹是一个语言的问题然后从这个角度来讲我当然是觉得V人好像变得边人化但我当然不会觉得沮丧沮丧我会觉得这是一个巨大的机会因为等到最后就是如果你现在解决的问题比较简单的时候那无所谓你用语言能解决的问题那就用语言去解决就好了对吧虽然我没有看到我没有办法做所谓的grounding就我没有办法知道你描述给我的这个红色的苹果到底什么叫做红色到底什么叫做苹果但 somehow通过这种统计信息在语言里面我还是能够去完成一些决策的任务这件事情无可厚非我觉得没有问题但这里面暗藏的巨大的机会是说等到真的有一天我们需要去deal with这种真实世界里面真实的task去build的某种真实的intelligence现在这种不够完美的这种视觉的表征就会是一个重大的缺陷所以杨勒昆的说法是现在大家都是只是主着拐杖这个拐杖就是语言模型本身对吧虽然你可以走路然后你会觉得我还走的挺好的但是你可能跑不起来你也没有办法去参加奥运会因为你有一根腿这部分是所谓视觉的表征的这一根腿现在还是不够好为什么你说是真实的intelligenceLLM为什么不是真实的intelligence因为我觉得LLM是LM是虚拟的intelligenceLM但是我们的智商所谓的智力不也是虚拟的吗我觉得可能虚拟这个词不对我定义的真实是说是跟真实的世界要发生交互的对这个意思是什么就是说你看现在LLM能解决得很好的这些问题大部分还是在digital space发生的比如说他能够记下来所有的这些factual knowledge他可以去知道对吧我们可以把所有的wikipedia的这些article全都存在里面可以告诉我们想知道的一切他可以做很好的这种法律顾问他可以去甚至 [225:00] 可以去帮忙去总结知识然后去做education去做教育大量这些东西对吧然后我觉得LM当然是革命性的但是这件事情跟我刚刚说的vision as a perspective要解决的问题其实完全不是一个市场就是如果你现在要handle的东西是continual spaceheight dimensionalnoisy的这种domain的话那这些机器人这些space不只是机器人 by the way机器人是其中一个很好的例子我当然会说这件事情很难被tokenized他们已经脱离了这个virtual space脱离了这个digital space对吧这件事情涉及到什么样的task呢你说非常对我觉得机器人是一个也会有很多的这些industrial application对吧industrial process的control就是说一些所有的这些涉及到sensory modeling的这些信号就是说你有一个有很多不同的这种 sensor 对吧这种传感器然后它会感知到这个世界里面在发生什么事情然后你现在要有一个统一的算法去去model environment 这个system使得你再去performing action或者intervention就是说你在你在你在有一个动作或者你有介入的时候你能够去预测出来这个系统接下来会发生怎么样的变化这件事情是LM很难做到然后这件事情你说你说非常对我觉得在我看起来其实是有两个极端一个极端是LM非常擅长在数字化空间里面做很多很多的事情并且非常擅长通过用coding这样的interface对吧通过agent的方式去介入到我们的物理生活之中这件事情也会发生也没有问题但总归是它是基于一个离散的tokentoken的这样的一个position最右边是robotics但这个robotics不是简单robotics这个robotics必须得要是真正的general purpose robotics就他能够generalize到就是泛化到一定程度使得他能够做人能做到一切他有自己的一套角色系统然后他有自己的一个自己的大脑然后我现在感觉就是说这两集对吧然后从LM怎么样一步一步推演到这个robotics我觉得这才是计算机视觉或者在新的时代下面视觉智能所要解决的问题对然后我觉得这件事情也是多么大的未来因为很明显现在robotics还不work然后我经常跟学生说或者跟我身边的人也说其实我最想做到的事情是通过不做robotics的方式去解决robotics的问题为什么呀因为你觉得robotics的方式解决不了robotics的问题吗倒也不是因为我觉得我们每个人就我觉得robotics进展也太快了对吧现在这个出卖上面这些语书什么的对我觉得都令人有点瞠目结舌但另一方面我觉得还是要有人focus在预训练的部分就是所谓的这种机器人大脑到底是什么或者这个大脑包含了你的视觉系统在控制的部分在硬件的部分这部分又是说了兄弟爬山各自努力我觉得我不需要去过早的介入硬件然后去做这件事情对我觉得现在有fundamental research的问题在软件层面没有解决在这种大脑的构建上面没有解决我们需要先专心把这一部分解决好当然这一面很多人会 argue说你必须得要有一个相当于一个闭环你得要有某种合作的方式你得要在你的机器人上面去做验证不然的话你现在必须的某一个算法一个模型可能用不上这件事情我也完全认同但我觉得这件事情可以通过某种partnership的方式对我只是不想买回来我也没钱我也买不了那么多机器人机器人也有自己的硬件的skin lawby the way就你是需要买很多的机器人才能做好一个硬件的对我想focus在大脑的部分然后我觉得这件事情是计算机视觉需要解决的问题是表征学习需要解决的问题也是我觉得到最后世界模型要解决的问题你看凯明那么早就开始想就是要大大大为什么LLM的Skilling Law比CV要早那么多好问题对我觉得首先不能说早那么多因为CV现在没有一个 [230:00] 对吧然后其实之前我们都很绝望的我说这个Vision怎么始终没有这样一个Skin现在可能还行现在比如说这些VideoDiffusion有一定的Skin behavior所有Skin是你能把数据吃下来对然后你能够得到更好的结果对吧或者说更形式化的刻画就是说你Skin就是说你现在如果有一个Transformer System我现在满足C等于6ND的这样一个配比就是说你的你的compute基本上等于你的6倍的你的tokens和你的number parameters的成绩然后我想借用这个形式化的定义来说这件事情是因为我现在觉得越来越觉得Vision不需要要一个skin那为什么因为againVision care的事情跟language care的事情完全不同我的一个不能说暴论是一个观点长期的观点并且有很多做NLP的人其实都认同这个观点就是说Language Model其实不是一个自监督学习的过程它其实是一个Strongly Supervised learning的过程就是说它是一个强监督的过程这件事情看你怎么看什么叫做有监督或者没有监督对就是这里面的逻辑是这样的通常我们讲说你有没有外部的这种annotation外部的label这件事情决定了你是自监督还是强监督学习对吧但语言这个东西太特例了什么语言语言是人在过去这么几千年Civilization然后经过不断的演化然后在不管是社会学的意义上还是每一个人单独的个体的意义上然后process了所有的关于这个世界的一切然后以一个Pokenized的方式把它存储下来恰好我们有了一个东西叫互联网然后我们把这些knowledge全都upload到了互联网上面去所以恰好对于所有的LM的researcher来说这件事情是for free但一个东西免费不代表它没有label一个问题就是说假设我们现在没有互联网你现在要训练语言模型你还能做得到吗打书训绩是的或者说假设你没有书对吧是的就是这种knowledge的upload这件事情本身是一个supervision construction的过程对吧所以这件事情跟视觉是不一样的所以有点像language想要解决问题始终停留在这个target的这个y space就我们通常讲你有一个x到一个y的一个映射就是所有的积极学习你可以通过某种不管这个x跟y在哪里反正你可以去这么去定义这个问题然后y通常大家讲是supervirus是label然后ax是你的数据对吧你可以认为这个language model其实只在刻画这个whidespace上面的事情但这件事情是对回答完问题就是说这件事情其实不足以代表这个世界的全部有很多东西你是没有办法去通过语言去描述和刻画或者说这件事情既是language的好处也是language可能最后像我说的可能会逐渐凋零或者说lm不会作为整个世界模型的根基的一个原因原因是它的好处是这件事情你不需要做任何事情就可以跟人有某种对齐因为你写下来的每一句话每一个文字都是人写的都是人写的对吧你写下这件事情就language是什么language是一个communication的图language不是一个思考的图language甚至不是一个decision making的图它是一个communication它是一个交流的工具所以如果它是一个交流的工具的话你总要make一些trade off你总要牺牲掉一些东西所以然后我觉得我想说的事情主要是对他作为交流的工具跟人对齐的很好但另一方面他也失去了很多本来他就是一个智能系统我们应该去model的东西对比如说我们现在说我有一个杯子掉在地上碎了其实这是一个语言我们之所以这么说是因为这就是我们对最适合我们沟通的一个东西我们只在乎这个事情的结果和状态对吧我们不在乎一个杯子掉在地上 [235:00] 它到底是怎么睡的它满足哪些这种物理定律它背后的这种动力学规律到底是怎么样对Dynamics到底是怎么样这些是因为我们的不care所以我觉得这也是它的一个局限LLM的人会抱怨说加入视觉以后有可能会影响他们的智商为啥真的吗对他希望像杨志玲就是说加入多模态他们希望不要是一个傻的多模态是我同意当然不应该用一个傻的动物谈但或者我觉得是如果不加入视觉你一定会很傻但我觉得这件事情其实问题的根本在于到底怎么定义聪明和傻对就是对智能智能的定义是不一样的对智能定义是不一样的然后或者说到底怎么去定义什么是一个简单的任务什么是一个难的任务嗯在过去的几十年的时间里所有的这些人工智能的researcher会不断的去撞到这个这个所谓的这个Merovic paradox这个Merovic悖论上这个悖论说的事情是说你的对对于对于机器简单的事情或者说The easy problem is hardThe hard problem is easy这是一个悖论就是说对于机器简单的事情来说对人其实是难的对于机器难的事情来说对人其实是简单的你在NYU好像还有几篇工作对从Bistar开始VSTAR其实只是一个工作我觉得蛮有意思可以讲一下因为我们是第一次觉得想要在一个multimodel system里面去build in一个system2所谓的这种可以去在test time做scaling的这样一个模型就是说我们看我们周围的世界的时候比如我现在要问你一个问题比如说你周围的旁边有个垃圾桶是什么颜色的你不会直接像语言模型一样直接告诉我一个答案你一定会去先去想一想哎哪里有这个垃圾桶你可能会回家头哎发现那有一个冰箱也许这个垃圾桶在冰箱旁边嗯然后你会localize这个物体然后找到这个物体对吧然后告诉我一个答案所以你是有这个viro的推理在这对吧某种视觉推理在这的然后这件事情完全是一个推理过程中的一个behavior对吧然后这件事情我们当初就做这样一个系统然后这也是比如说就是在这个Chair V01之前很长一段时间对至少隔了几个月吧然后我们开始做这件事对那时候这种test time scaling还完全不是一个bosswordNobody was talking about this对吧然后我觉得这件事情可以聊是因为这件事情其实对于我来说其实是一个鼓我觉得它其实一个我觉得它是一个Bitter Sweet的这么一个lesson就是说它苦涩的一点在于我先跟你讲发生了什么就是说我们有这个paper之后我们有了自己的一个benchmark然后我们找了就是我有两个朋友这个Alex Kirilov他也是这个Sam的这个作者然后还有博文他俩在OpenAI工作所以我跟他们聊了很长一长的时间我告诉他我们这个工作做了什么事情我们这个benchmark现在在这你可以拿去玩一玩并且我也讲了一些关于这里面背后的逻辑对吧就是说你怎么样能够去做这种visual thinking然后后来Alex跟博文就drive在openware里面drive这个project这个project就叫thinkwithimage然后后来隔了大概可能一年多的时间对吧然后这个productlaunch然后这个productlaunch之后就叫thinkwithimage然后里面其实很多example或者他们benchmark其实就是我们这个配备的benchmark所以我觉得它让我觉得很幸福一点在于这是第一次我觉得我们其实可以有办法真的走一条不一样的道路这件事情可以 somehow 启发在OPI 的researcher去 improve 他们自己的模型我觉得这件事情至少我觉得在学校里面有事情可以做但另一方面又比较 bitter 是因为像在那个时候OPI在SAR的时候我DIT之所以大家能够去接受也是因为DIT会在SAR的blockpost里面会被cite或者说比我的名字在上面让大家能够去找到逻辑和背后的线索对吧但很不幸我觉得慢慢最近的几年时间里面其实industrial research lab变得越来越close所以一开始大家发论文后来大家不能发论文了可以写一些blog post可以加一些citation也可以把每一天的课程 [240:00] 一个team member的名字写在上面再到后面可以发一个block post但已经不能有署名了只能有一个对吧open item或者jama item就结束了所以我觉得这件事情会导致我不知道接下来的这种本来可以很良性的学术界跟工业界的这种交流的这种渠道是不是会被打断就我们做research本质上还是一个为爱发电的过程就我们为了探究这些问题我们也不是为了真的他能够deliver什么产品或者赚多少钱但另一方面某种credit assignment就是让大家知道谁做了什么事情我觉得这是在过去的几十年里支撑雪数界能够往前走的一个机制但现在这个机制慢慢被被LM这一代的对模型以及这一代模型背后的这种组织结构我觉得慢慢打破了他变成商业竞争了他变成了一种商业竞争是的对然后对然后quickly conclude 一下我觉得还有两篇我觉得我想迅速提一句的这个这个论文就是说这个REPAREPA这个叫做Representation Alignment你看又有一个keyword所以这是为什么非常喜欢这篇论文但这篇论文也是经历了这么长时间然后所有过去的这些工作以一种奇怪的方式组合到了一起形成了某种化学反应然后开启了至少一个小的research的动名然后做的事情很简单它本账是一个Deeply supervised nets就是说你现在一个模型不只有最上面有一个diffusion的loss就是你final objective你中间还会拉出来一些其他的这些object你可以有其他object我们用的这个object是说我希望能够让我的一个diffusion model它是一个生成模型by the way让它的internal representation能够跟外面的一个自监督的一个模型the representation能够align到一起就这一年again讲的事情是说表征是最重要的事情它不但对像Cambrian 1这样的system做Multimodel Understanding重要它对一个生成模型生成图片生成视频也很重要对所以这件事情我觉得是一个对我来说一个蛮大的启发但这件事情还没有做到位你就是说我们为什么要用这种DP supervision的方式一个非常间接的方式去做alignment呢What if能不能直接用这种很强的这种representation作为你的生存模型的一个一个encoder或者说作为它的一个foundation对吧然后这件事情又是再往前推了一步我们也得到了很好的结果这个paper叫做REreportationautoencoder对它也涉及到表征也涉及到autoencoder但anyway这件事情里面的逻辑我觉得again我不想说太多的这个paper的detail但我觉得有一件事情这个马亦老师当初我去香港访问的时候我觉得他说的非常非常对他说有学生就会问说你这样做这件事情对吧你的autoencoder你的表征层现在会变得非常高尾因为它是一个表征了它不是原始的简单的这种pixel的reportation也不是一个低纬的vae的这样一个reportation它是一个高纬的表征你想要在这个高纬的表征上面去做去造去生成土相这件事情其实是一个很难的事情对吧然后有学生当初就提问说这个维度太高了可能不一定是那件好事然后可能会让我们的学习系统变得更复杂或者说训练更难首先我们的结果完全是相反的结论但是马一老师就很激动他站出来说说我要告诉语众心上告诉大家说你们一定不能害怕高维度高维度是所有机器学习里面非常非常重要的一个基石包括不管是之前的所谓的这种和学习的方式Kernel Method还是现在为什么一个Transformer里面我们得要有这种Up Projection Layer对吧你要有一个D维的向量进来然后把它变成一个4倍宽的这样一个Fully Connected Layer对然后所有这些事情都是在讲述这样如下的事实就是说你在一个高位的空间里面很多问题原来在低位空间里面解不了现在可以解很多问题很多信息原来在低位空间里面没有现在可以有然后你也会有更好的efficiency然后这是传统机器学习理论为什么你要做升为之后使得事情使得你的data points可以变得线性可分 [245:00] 都是同样的逻辑但我觉得我受到很多鼓舞是说你不要惧怕高危我觉得这件事情用词很好因为很多时候大家会觉得会害怕对会害怕不只是高纬度的representation表称这件事情也是害怕逃逸出当前的某种local optimum就是说我们现在就我们之前做的很多事情都是为了要跳出这个local optimum所做的像VAE就是当前这个时代里面的一个local optimal我们希望用一个表征学习的方式把所有事情串联起来然后这件事情其实是一个很自然的事情对吧然后现在有很多人做相关的这些论文有很多同期的工作也都非常好但另一方面这又是一个没那么自然的事情因为你需要去跳出原有的方向去做一个新的事对但当你能够跳出这个local optimal去做一个新的事情的时候我觉得你会感觉你的世界被打开了因为RE之于我们或者对于我的research来说我觉得还是一个蛮重要的工作因为他告诉我一件事情或者说让我能够去make一个bet或者说我们能够预测一个未来这个未来是什么或者对还是不对我们可以过几年之后再来看所以这件事情也跟语言相关也跟diffusion model像最近很火的C danceSaur都有关系我现在的bet是说这个世界上只有一件事情是重要就是怎么学习到这个表征这件事情是重要当你有一个足够好的表征之后在上面处理其他的问题都是简单的你的language model会逐渐会退化到一个简单的communication interface它不像现在一样所有的这些多模态的智能都是通过大语言模型驱动的你的表征层只是提供一些简简单单一点点context进去对吧大部分的这些所谓的highway lifting就是这些脏活泪活都是靠大语言模型来做到的我要make the bet是说未来事情不会是未来你会有一个很好的foundation它是一个很好的表征但它也是一个很好的世界模型然后它什么叫做世界模型这件事情我们可以再聊但是这个foundation本身它可能不是一个checkpoint它有可能是一个neural modularconnected together的multiple components的一个cognitive architecture说的好复杂但本质上就是你的一个大脑它有不同的区域在看多不同的事情对吧语言会慢慢LM层会慢慢退化成你的本质的表征或者说你的世界模型的foundation的一个接口它还是很重要它永远不会消失因为人需要通过一个Logium之model提出问题然后回答问题对吧他要去跟他沟通需要跟他沟通他是一个界面对另外就是说你还有一条线是说你的Pixel generation本身就是你怎么样生成一个图片一个视频本身这件事情通过RE通过WAPA我们之前一系列的这些工作可以看到它也需要基于一个足够好的这样一个表征的基础或者说你可以认为它它是一个世界模型Again 在我这里面在我的定义下表征就是一个世界模型最重要的一个部分它不是它的全部它是最重要的一个部分但当我们有这样的一个foundation之后你可以认为我们可以把它轻易的decode成语言对吧然后我们可以轻易把它decode成一个pixel然后生成视频我们也可以把它decode成某种action某种动作所以它可能就是某种现在的这种VLA的类似物但它是基于一种更强的表征更强的世界模型的一个架构现在表征包含哪些部分语言是其中之一我觉得是其中之一对然后当然这件事情也有争议就是你像你刚刚说石林可能说他不想让视觉来污染语言他们还是会做多魔态但是要想怎么让多魔态变成一个聪明的多魔态就不会让整个大脑的这个智能水平降低是的这件事情但我要讲了这件事情真的取决于你怎么定义这个问题但我先把前面一句话说完就是说你说比如说语言在其中的这个位置我觉得我们也会有自己的担心就是说语言其实是一个毒药或者语言其实是一个鸦片你加多语言你总是会觉得更幸福的那说不他有用啊这个拐杖他有用但他是一个short cut如果你一个人 [250:00] 我一直什么吸鸦片你就废了然后如果它是一个拐杖主着拐的话你也没有办法训练你的你的大腿的肌肉这是你跟直林的两个perspective对所以我非常担心语言对于视觉的污染这件事情对我来说非常非常担心而且之前这个污染已经在发生了这个污染的发生的状态是这样的这个污染的发生的状态是整个large model有一个巨大的这样一个价值链条从工业界一步一步传导的学术界这个价值链条是说我们在最上层有一个narrative这个narrative是whatever AGIskating lawBeta LessonLM这些叙事的逻辑现在的圣经对等一下我们给你讲一下Beta Lesson因为我完全不觉得Logic English Model是一个Beta Lesson的一个展示它Light-Wing Model其实是反Beat Lesson的最后哪些表征或是足够通用表征它的终点是什么呢终点我们可以叫做叫做就是世界模型所以也许我们可以讨论一下在我定义下或者在于这个表征的这个conce团队下面世界模型到底是什么意思什么是世界模型对这也要马上进入到你创业的话题了然后我们先从对从多么泰到世界模型对是这样就是严格定义上来讲世界模型就是说你现在给定一个系统或者一个环境的状态好这个环境状态可能就是比如说你可以认为它是在当前时刻的一个状态但世界模型也不一定只是做所谓的temporal上的prediction但我们先不管这些事情总之是你现在有一个系统或者一个环境你有一个状态ST对吧然后你有一个intervention或者action比如说我们叫它AT在当前时刻你对这个系统施加一个动作你现在希望能够学到一个predictive function或者transition functionF使得它能够take the action跟你当前的这个state这个环境state能够去predict下一个state对吧就是下一个时刻的state所以这是最基础的一个general的这种世界模型的一个定义然后这个定义本身其实又无比的直接或者说甚至有点trivial因为这件事情不是一个新的概念因为其实1943年的时候有一个生理学家叫Kenneth Craig他第一次提出了这个概念他就说人在脑子里面是有这样一个世界模型的这个世界模型能够告诉我们当我们去做某一个动作的时候接下来会发生什么样的后果我们因为能够预测我们的动作我们的action带来的后果所以这件事情能够指导我们到底应该去take什么样的action和做什么样的决策如果我知道我把手伸到火堆里面我会疼我就不会对吧把我的手伸到火堆里面这件事情这种prediction的这种结构其实也是过去包括control theory在六七十年代然后大家怎么样把一个月球探测器送到月球送到什么地方对吧然后其实大家也需要基于这样的控制系统比如说一个经典的算法叫做model predictive control这一面也涉及到一个model但这个model其实也就是某种word model这个算法其实也非常简单就是说你现在需要讨论我到底应该施加哪一个control signal给这个系统使得它能够去完成我既定的一个任务对吧然后我要做的事情是说我在当前的时刻通过我的模型去roll out去滚动输出接下来的这个这个kick stop的action一个action的sequence就是说我现在要输出我接下来的一个一个action sequence动作的一个序列然后我要通过这个动作的序列用我的这个model去得到下一个时代或者说每一个step上面一个state然后最后我也会有一个某种cost function一个度量函数然后告诉我我执行了这个动作序列之后我离我最后的这个目标距离到底有多远所以这个算法就非常简单就是说你不断的去sample你的action sequence然后跳回到第一步就是说然后找到找到这个这个cost的最低的这个action sequence执行他的第一步然后重复迭代的去做这个动作对吧再rollout下一步的action sequence对所以在每一次 [255:00] 要做一个决策然后这个决策的来源都基于你对未来的预测对这是所谓在model predict control里面大家怎么去用这个word model然后再到后面比如说在model based RL里面reinforce learning里面其实大家也意识到说一个word model其实是非常重要的然后所以这边有一个经典的论文是Dyna D-Y-N-A这个paper其实是Rich Sutton的paper对所以Rich Sutton自己写了这样一个paper然后他讲了一个很有趣的观点或者一个flamer他讲其实人的智能体系可能可以分两种一种叫做reactive的policy一种可能叫做某种更智能化的model based policy对吧这件事情其实这个类比是是这个所谓的system one system two就human cognition也有所谓的thinking fastthinking slow对于很难的问题我们可能要需要更多的mental cycle然后去study这些问题但对于一些问题来说我平时或者说我们开车我们刚学开车的时候紧张的不得了我左看右看然后需要做很多的决策当你真正会了开车之后你就会把这些决策内化成为你你自己肌肉记忆的一部分它就变成一个reactive的policy对吧所以Rich Sutton在Diana的paper里面说了一个很有趣的事情他说What is reinforcement learningreinforcement learning是一个非常primitive是一个非常基础的没有模型的没有这个世界模型的一个learning algorithm所以Rich Sutton自己其实也是有点反Pure Reinforcement Learning至少在当初的那个时间在他的这个paper里面他讲一个更好的一个系统当然是说如果你有一个足够强的这个世界模型你可以基于当前state去预测下一个state对吧那这件事情你就有这种所谓的planning的capability在里面了就是planning就是所谓做计划的能力然后planning其实跟raising也在某种意义上也是同样的概念raising现在在Log and Smaller很火但事实上我们需要的这种planning然后以及planning对于decision making的这种意义其实是在当初很早很早在control theory在inforced learning其实大家都在讨论的所以我觉得这是一个word model的历史所以如果从这个角度出发word model实质是怎么样去刻画一个系统和一个环境,使得你能够在这个系统里面去做预测,并且这个预测能够指导你的action的sequence,以及你的自己的角色。代言模型是predict next word,这个是predict next action?是基于这个action predict next state,对。怎么理解state?State是最少的信息可以描述一个系统的所有状态的这么样一个一个信息的来源吧可以这么认为就是一个State是说比如说对这件事情也涉及到一个很有趣的事情很有趣的另外一个事情我们得要讨论就是这件事情跟表征的关系到底是啥对吧我为什么说是一个最小信息的一个刻画单元呢是因为假设我们现在就是说我们现在这个物理世界对吧我就说我地球吧或者我先不说那么远我们先说我们这个屋子对吧这也是一个环境了对吧那刻画这个环境的state是什么对吧这个state如果你不追求这种所谓的最小信息或者minimal description length那它就是可以是比如说我们现在把整个的这个space全都重建起来然后我们精细的去刻画这个系统里面的所有的参数包括这个桌子上的纹理包括我们声波包括我们这个桌子的质量这个话筒的这种各种各样的physical的这种parameters但我们不会这样去刻画这个系统的对吧因为很多这些信息对于我们的角色来说不重要对吗因为其实如果假设我们现在一个智能体活在这的目的是我们现在要聊天那我只需要知道一些基本的这些事实就够了比如说我的这个话筒可以在这个桌子上可以放住然后我不会去关心每一点的这个光照也不会关心这个桌子上每一个细节的纹理对吧这些事情都不重要所以这个state其实可以包含很多很多的信息也可以包含enough信息就是足够多的信息这件事情是取决于你要解决什么样的任务那这件事情是什么就是怎么样去构建这样的一个state这件事情其实 [260:00] 也跟表征学习是直接相连的表征学习像我刚刚说的对吧我们要有一个层次化的这种表征这种层次化还玩各个的representation其实目的就是说我们怎么样能够去慢慢develop出来这种一层又一层迭代上去然后越来越抽象越来越对我的decision making越有意义越有价值的这样的representation它不会惊喜到每一点它不会用惊喜到每一点那现在怎么抽象呢而且我们也不能进去到美点就做不到对因为这件事情很显然对吧就比如说我们现在要造一个飞机然后这个飞机比如说我每比如我们叫model这个飞机的一个动力学系统对吧我要知道这个怎么样它能够比较省力省油对吧我们当然可以去从一个最low level的角度出发我们可以说这个每平方每立方厘米可能有十的十几个四方的这种分子然后我们去model每一个分子的碰撞对吧然后我们通过这种方式来去刻画我们这个系统这件事情当然不会work这是一 totally stupid way对吧我们做的事情是说我们怎么样去能够在统计的意义上去study这个问题所以这才有所谓的流体力学然后才会有所谓的navier stock方程然后一系列这样的setting对吧大家变得越来越抽象然后但是我们能够去这个刻画的世界也越来越广阔其实语言就是以某种意义上的抽象语言是某种意义上的抽象但是它是一种就是已经被证实过的抽象它是高度理念的就是它是一个已经存在的抽象它是一个存在的抽象对那你们现在想构建的是一个新的抽象在语言之外它是一个对它是一个有点它一定是一个latent的representation对然后这件事情人可以通过侧面的方式了解到你到底学了什么样的一个representation或者说哪些representation的那些reportation是有意义的这件事情都没有问题它不是一个完全的黑盒子但它不是一个受限于语言的句法跟逻辑的这样一个东西这是我为什么说LM完全不够bitter lesson就bitter lesson是说你应该尽可能的减少human knowledge对吧把你的这种所谓的人类的傲慢和他所谓的这种自大这种傲慢和他的所谓的这种聪明才智以及这些所谓的比较Clover的这种Structure尽可能减少然后尽可能的多用Search跟Learning的方式去找寻答案对吧但你可以想象如果现在我们讨论的是怎么样去刻画这个世界的话语言就是这样一种structure语言是一个人类极其聪明的一个产物它有精巧的设计我觉得它本身就是它都不是多和少的问题它全都是它都是所以我觉得这件事情代表着这个语言它有它自己很强的地方而且它一定会在未来的智能所有的这种智能体系里面占据一个很重要很重要的地位而且它可以COT但COT是另外一回事的COT也是另外一个我觉得怎么讲是一个阶段性的产物COT也是阶段性的产物LM的所有的一切都是一个满阶段性的产物这也是为什么LM就这件事情我也蛮同一样的就是LM这件事情其实它也不controllable它也不safe因为它没有这样一个真正的世界模型甚至我们把LM当做一个世界模型在用但它是一个fundamentally flawed就是一个有缺陷的世界模型对然后这件事情是说其实就是说现在的所有的这些controllability或者safety对吧你一个LM怎么去做这些完全是通过fun tuning的方式来设计的来实现的你需要为给他大量的数据让他知道什么事情该做什么事情不该做或者他不能做事情什么话能说什么话不能说对吧什么样的话可能会带来危险什么样的话可能是比较友好所以这叫做alignment但所有这一切都是基于某种post training或者某种post training或者fun tuning的alignment带来的对但真正的世界模型其实你不需要这样做因为你可以预测你的action会lead to world consequence你可以你的行为会带来什么样的结果那你就可以在inference the time的过程中去尽量避免这样的行为你可以加 [265:00] 一些external constraints就告诉我说这件事情你真的不能做比如说我有一个机器人拿着一把刀在切菜对吧然后我现在怎么样保证我这个机器人拿着刀不会向后一转把你砍了呢这件事情怎么保证对于一个language model的思路来说你能做到这件事情的方式就是通过为给他大量的数据对吧他得要能看到这件事情世界模型不是吗世界模型不一定需要对世界模型它因为你能够去预知这个结果就是我能够去有一个动作我可以去understand我现在这个刀如果转过来产生了一定危险会造成的结果你怎么让它知道呢这就是你的训练的一部分关于世界模型现在好像它的定义是没有收敛的比如说你们定义的世界模型和李飞飞他们团队定义的世界模型的区别是什么对所以我刚刚阐述的其实都是在我们定义下的世界模型但我觉得现在遇到很多的问题是说这个世界模型不好定义原因它其实是因为它不是一个技术路线它不是一个算法它是一个目的就是我们所有人不管你在做LM还是做什么V2D model还是做这个Gaussian Spotting我们所有人都在通往世界模型的道路上所以所以我说我说我说有时候这些竞争或者说这些这些Arguments听起来我觉得在过不了多久可能过一到两年时间都会显得异常可笑因为因为我们其实都在往这条路线发展然后每个人也都知道这件事情是应该应该是正确的道路但只是大家从不同的方向在思考这个问题比如说在我们定义下或者说我先说其他人定义对吧比如说对于一个video diffusion model的company比如像Sauer像Bidance的模型像Genie对吧然后所有这些模型他们包括Runway什么这些Luma每一个做这种生存模型的公司都在做这件事情都在position themselves as a world model company但他们其实还是主要聚焦在构建一个世界模型的模拟器上一个世界的模拟器上所谓的 word simulator他们的目标还是能够渲染出来足够好看的视频使得它能够有某种一致性能够有足够长的这种内容等等并且你可以在上面施加控制你可以选择像Ginny一样对吧像前走两步向后走两步你要保证你有一定的memory或者whatever这件事情是他们的这种word simulator或者说这种生成派的word simulator想要解决的事情然后菲菲老师那边在wordlabs里面我觉得它更像是一个front end的一个asset的interface这件事情也很重要因为它是一个强3D的reportation所以这是by the way也要恭喜他们最近不也刚刚融资成功如果你可以看到他们融资的这些lead investor对吧他们在讨论的人比如说我看到新闻Autodesk给他们投了2亿美元那Autodesk是一个什么样的公司对吧Autodesk是一个做3D这种CAD或者whatever design这样一个公司所以在这个场景里面你需要有一个非常非常具象化的3D的一个你可以叫它表证它也是某种表证但它是说你这个东西不是一个抽象的概念对吧它不是藏在你的参数里面它得要有explicit 3D的这种形式在哪这样的话你才能够在这个空间里面去掌握某种空间智能你才能够在这个空间里面去探索并且你能够100%的确定你不会出错对于一个word simulatorgenerated word simulator来说这件事情是不一定对吧虽然你可以通过更长的context有更好的memory但它是不能保证的然后我们想要做的事情其实更像是要去打造这样一个predictive brain对我们看来这个问题的核心还是说怎么样去提升智能本身对那这意味着你觉得LM是不智能的我觉得again就是LM是智能体中的一个至关重要的一部分但它不是全部它不是全部对我再举个例子比如说为什么LM做世界模型来说它是fundamentally有问题的比如说我们还是回到视觉这个问题上对吧我们现在坐在这里我们稍微投稍微扭比如说5度10度就会生成几百帧其实这个frequency是非常非常高的人的这个FPS其实是可以感知到比如说100Hz [270:00] 这种频率的变动的非常非常厉害对吧如果按一个LM的方式去处理这个问题会发生什么呢会说至少按现在的这个方式去处理会发生的事情是我要tokenize每一个frame我们把它拉平串成一个非常非常长的序列每一帧我可以做一些down sample或者没关系whatever然后我们把它串起来对吧比如说我有256个tokenfor one frame现在可以有32个frame或者128个frame把它串到一块那你就有256乘128这么多个tokens然后你把它塞到Watchmen Trimovol里面拿它跟语言作对齐然后最后回答一个问题但这件事情make sense完全不make sense因为其实你把一个这种世界的这种representation在它的背后其实是有某种global的state的对吧你把它序列化成了一个非常非常冗余的token然后transformer其实大家说他没有什么in that bias他其实还是有一些in that bias他in that bias就是说他得要pay equal attention to every single token那这件事情本身就不合理对吧这件事情代表的事情是说语言模型的矛盾力的这个technique不能够解决对这种连续空间信号的这种认知的问题这件事情是不成立的对吧所以这是为什么对于我们要build的这个世界模型来说我觉得需要具备如下几个特征它需要去能够去understand the physical world就这里面的定义是说得要是physical world虽然word model application也会延伸到比如说这种digital agents去比如你打游戏的agent当然也会benefit from word model但我觉得它首要的任务是要解决physical world understanding的问题然后它得要有足够大的associated memorymemory也是一个很重要很重要的对于这个word model为基础的这样一个系统的中间的一环然后他能够raising能够plan我们刚刚讲planning能够做这种counterfactual或者这种causal的这种inference也非常非常重要然后最后一点就是说他得要足够的controllable and safe他得是一个安全的系统我觉得所有这些事情这也是我抄样样样的说法了但我觉得这几点其实还是非常精辟的不多不少它和代元模型不是延伸关系是替代关系我觉得也不叫做替代关系我为什么刚刚说其实我们现在领域每个人都在往世界模型发展往前走对吧原因是大语言模型也想往世界模型发展其实不是这个意思是说之前没有大语言模型的时候我们压根谈不了什么世界模型你有一个纯粹的RL的system的话你纯粹是在做overfitting当前envolument的事情Large rich model让你具备了一定对这个真实世界的认知的能力它构成了一个元素它构成一个元素然后但这件事情像我说是fundamentally flawed因为它的这个认知太间接了语言能带给你的东西实在是太少对而且语言还会有其他的问题就是它是一个本质上是一个communication tool所以我们在使用语言的时候对吧除非你说一些这个对做梦了说一些梦话大部分时候你用语言是带着一个intention的你是要传达一个目的所以说LM更像是一个在我看来更像是一个search engine的延伸对吧或者拆暴更像是一个search engine的延伸我们总要带着我们心里面的目的去问一个问题然后expect一个答案对吗然后但是这件事情不是word model的实质就像我刚刚说的word model我们大脑领域的model是在我们的这个这个background做了很多很多的工作他甚至就有很多心理学一些反直觉的认知就是说甚至你大脑已经替你做好了这个决定在你决定要比如说我捉上了三个按钮在我知道我到底想要按哪个按钮之前我已经能够监测出来我的大脑已经做好了这个决定给你这件事情这个实验好像叫什么贝利特实验还是什么是一个有争议的实验但大家体现出来的事情是有很多东西是在你的background在你大脑里面已经在发生的这件事情是你的word model一部分language model不是这样language只是一个communication tool你永远带着目的你永远抛出一个问题想得到一个答案它也是一个推理的tool对它也是一个推理的toolof course但只是symbolic level的推理的tool [275:00] 所以你们想构建一个像人类的大脑一样的世界模型我觉得要越来越看看人其实不只是人各种各样的动物它的智能到底是怎么样发生的我先 conclude一下我刚刚说的那段话就是说我觉得为什么大家一步一步都在通向通向这个word model原因是语言模型已经侧面有一点这个word model的behavior虽然它没有action他没有一个对真实世界的understanding他其实也不能够真正的resin and plan因为他通过COT的planningCOT的resinning还是很不一样跟我刚刚描述的比如说这种MPC level的planning他也会带来他自己的一些问题但这些都OK但再下一步你就会看到比如说大家做这些不管DIT也好或者whatever模型也好但大家开始做生成模型这件事情已经让事情变得有些不同了对吧这也是为什么很多人大家做video generation会说自己是世界模型我觉得也无可厚非虽然我不同意他们做的video generation model就是一个最后的end game的世界模型但它确实比language model要往前推了一步对它是怎么做到的呢它在language model的基础上我觉得现在所有这些系统其实也是要依赖于language model的对吧它还是要通过language model帮你去做prompt rewriting然后去帮你去当做一个conditioning丢给你的视频生成的模型其实language model也会变成了一个你看这个历史的进程就很有趣原来language model是主体现在language model变成了一个video generation model的前期的一个准备工作的一个教手架原来language model里面你model的是py对吧你这个y就是还是在这种semantic space的某种label space的这个信息到现在你video generation model的时候你model是px given y的概率这个意思是说你现在model的东西已经是X了X是你的数据本身你的Y变成了你的一个条件这件事情已经很不一样为什么很不一样呢是因为当你有一个low dimensional的Y space的时候你在去model这样一个分布的时候你的probability density只会在你的Y的分布下面竞争就是说你Azine的这个Likehood我这个说的有点过于Technical但是总之是或者说我们先不说语言模型我们先说比如说一个1000类分类的这样一个模型因为这些Label也是一个语言的前身对吧它也是一个Low Dimensional的一个Vocabulary对吧然后如果你要做这样一个分类问题的话那你的所有你需要去做的决策是我这个东西如果是一只猫它不能是一只狗对吧我这个东西是受限于我的这个label set但是你当你开始model的是px given y你做一个生成模型的时候这件事情你assign的这个lectorhood是说这个世界上到底有哪些现象哪些东西是更可能存在的这个事情就很不一样了对吧因为你现在要学到的东西你的这个智能的信息量是远远大于你的py的modeling的你需要知道为什么在这个世界上一只四条腿的猫要比一只三条腿的猫更常见对吧为什么我要生成一个视频比如说我现在有一个I don't know一个跑步的视频为什么我有这样一个一个smooth的奔跑的状态要比突然产生出来一些幻觉有三条腿四条腿这样状态更可信更可能在概率空间里面更可能这件事情已经是有巨大的信息量你已经要model的东西要远超于你在language space或者label space里面需要刻画的东西了对吧你需要对这个世界有一定的认识所以这已经是更加在我看来有一点bit lesson了就是说你抛弃了更多的语言空间中的这种认知跟它的逻辑跟它的句法结构开始去model pixel开始模型像素本身但再推演一步像素本身可能也是错的像素本身也不够bit lesson像素是什么像素是人为定义的一个regular grade对吧就是一个框框然后上面每一个框里面可能有250有bug bits information对吧然后你可能有这种这种lattice就是你有一格一格一格这是一个像素这是我们看到的每一帧的图像这件事情也是一个借口这件事情也是给人看对吗 [280:00] 就是World Simulator为什么大家觉得Gini这个好酷因为我们造出来一个视频我们造出来一个游戏这个是给人看但再往前推演一步真正的Beat Lesson是说我不需要给人看我为什么需要给人看对吗他给谁看呢他给你的这个系统看他给你的这个世界看他取决于你到底想要什么他可以给人看但是给人看这件事情不是word model的核心而是word model的接口word model本身它在自发的去学到更好的表征去做更好的预测对吧但这件事情本身跟你是不是要生成一个很酷的视频其实是无关的跟你能不能回答关于你的input space的一些信息其实也是无关的所以again就是我重复我刚刚刚想说的事情我们每个人都在这个世界模型的道路上前走世界模型是一个目的不是一个具体的路不是一个具体的算法或者说是一个技术路线然后总有一天我们会有一个更好的世界模型语言模型会在此之上然后它也会变得更强我们会有更好的动物态的模型它能够更好的理解这个世界我们也会有更好的V6生成模型然后我觉得RE就是这个过程中的一个雏形所以现在还有很火的一个说法是所谓的Unified Model或者omnimodel大家试图把所有的数据全都堆叠到一起使得我们能够让一个系统既能做understanding又能做生成大家讨论问题也是说我到底是理解能够帮助生成还是生成能帮助理解我觉得都不重要理解和生成是一体的它都需要一个真正的word model作为它的基础一旦有了好的word model它能够做某种prediction能够做某种planning reasoning上层的解码这件事情其实是非常简单的所以我觉得它们都是你们的上层世界模型是这个底座对你可以认为我们想做的事情或者表征派想做的事情是蛋糕最底下的底座表征派表征怎么统一成一样的表征统一成是指那个根language还是最终统一成某一种表征抽象某几点抽象的表征所以还是要有skilling对吧还是要有现在可以看到的除了语言还有什么有skilling对语言的skilling对我们刚刚说说到这件事情就语言的skilling本身我觉得又是一个有点说不太清楚的事情因为我们也知道有一个理论是所谓的这个Compression is intelligence对吧就是压缩极致脑是的但这一面讲的事情是说你的语言模型其实是一个lossless的Compression的过程或者说语言模型模型变大能让结果变好不是因为它死尽被背诸了所有的所有的这些内容而是它就是一个更强的模型了所以它能有一个更好的压缩率去压缩你所有的input这些信息它带来了某种泛化能力但我想我同意这个观点但我想后撤一步我想说其实因为语言模型在意的问题本身导致其实它的skin law里面其实是有水分的就是这个水分是说它并不需要真正用最小的模型去通过真正理解这个世界的方式去回答问题而且我们所有的这些benchmark以及human在使用Louching Smart在达到的目标上或者这些任务上也需要它能够retrieve出来对吧就是能够能够检索出来这些factual knowledge如果一个模型对吧他没办法告诉我比如说wikipedia上面有一个具体的人名他过去做了什么事情那这是一个很差的一个辣虫之毛所以我想说的事情是说语言模型的skilling law是基于一个对knowledge的这种representation所得来的这样一样skilling law所以这是为什么他可能会有一个相对balanced的配比就是说你的你的number token你的数据和你的parameter需要大概1比1的方式的chinchina里面是这样的一个方式对吧然后去skill up世界模型尤其是基于这种visual intelligence世界模型我觉得它会有一个非常不一样的skin law它会有skin law [285:00] 但它这个Skin Law的写率可能完全不同或者它的配比完全不同我现在的直觉是这样它的模型不会很大它模型不需要Tradium parameters因为你不需要记住如果你要做V6 Generation那是另说的吧但它不需要记住你能看到这个世界里面的所有这些细微的细节它不需要通过解一个什么薛定的方程在一个聚高位的空间里面的方式去判断一颗苹果是不是落下来他不需要做这些事情他不需要人类的支撑他不需要人类最高级的支撑我们讨论一下到底什么是人的支撑但是总是他不需要这些事情他不需要把这些这些knowledge全都记下来他需要通过很好的understanding能力去filter information就把信息过滤掉处理掉对吧然后因为最后真正重要的东西还是决策本身对所以这件事情跟人会越来越像我觉得因为人就是这样的人有很多很重要的事实对吧比如说人的视觉系统或者说人所有的这些sensor统一对吧包括听觉视觉嗅觉然后触觉这些这个东西其实是非常非常高带宽的这个带宽可能要达到比如说11个bits per second1亿到10亿这个级别但我们现在说话的时候其实这个带宽极底这个带宽只有10到100个bits per second所以到底发生了什么对吧我们大脑是怎么样一个模型能够在20瓦的功率下面把10亿bits per second的信息通过我们眼睛还有各种各样感官输入进来转化成我们10个bits per second的一个行为模式这件事情是word model本身它过滤大量的无用信息噪音对它有很多的容易性然后它知道什么东西是重要什么东西是不重要所以过滤系统很重要对当然这个东西也是一个层级的过滤的系统确实是这样那这个数据模型怎么训原模型好训是因为其实互联网信息就在那里所以它可以训养那世界模型看起来我都不知道怎么下手对我觉得这是一个biggest bet因为事情越通向我觉得智能的本质事情也会难走很多对我觉得像你说的我们经历了去dump整个互联网然后去训练模型的这样的一个时期我觉得接下来我其实也不知道这条路能不能成功我有足够多的信心但你要让我说一定百分之百成功也不一定原因还是数据层面我们到底能不能把这件事情做到极致需要多少数据需要什么数据我觉得过去的时代是dump这个或者download吧internet的时代现在时代是downloadhuman的时代我们要把人类下载下来就是我们现在每一个again对吧大家process这些knowledge我们有一个东西叫internet我们把它upload上去我们可以train一个transformereverything is good但对于真正的我们对一个世界的理解一个四岁的小孩他看过的视频杨也经常举这个例子就比现在所有的用来训练世界大元模型的所有的这些Token还要多对吧四个月的小孩对他看过的视频的量要比30个Tillion的这些最好的这些大元模型的数据的量还要大对吧所以这个量量级实在是太大所以我刚刚说到DownloadHuman是说那我人眼看到这些东西这些数据到底我们怎么能采集过来呢对吧我觉得视频还是这是为什么之前比如在CAMERAS里面我还是非常希望去多做一眼可能视频相关的研究我觉得这是现在全村的希望这件事情可能有很高的门槛但我觉得不一定成功不了我觉得可以分几个阶段走第一可以先从互联网数据开始先从YouTube开始像我刚刚说不管是什么全部的这些训练的token几十个train token还是四个月小孩看到这么多的信息所有这个数据量等于30分钟的YouTube uploadYouTube上面有海量的数据在那这个有版权问题吗所有人都知道有版权问题所有问题所有人都在继续这么做我觉得at some point一定会有很大的版权或者说这个东西不是一个版权的问题因为可能YouTube不own这些视频的版权但是一个terms of service的问题YouTube是禁止你去爬去这些数据所以导致这些数据现在非常难爬基本上爬不下来你爬几个视频YouTube就把你的IP办了 [290:00] 然后你就得换一个IP所以有点现在我觉得这些数据公司跟这些平台有一种这种道高一尺魔高一丈的感觉一方要严防死守禁止你爬数据另一方要想尽办法要爬更多的数据我不知道最后会终局是怎么样自己也好有优势自己也好有优势并且自己也不care但是他们也收到很多律师函所以我不知道我觉得之后可能会有更多的但我觉得这件事情就涉及到人类社会里面更多的这种政治的优化第一步是视频然后接下来其实parallel的运作就是说我觉得这样的世界模型或者这种很vision centric的世界模型会有一些非常好的这种应用的前景因为我觉得只有research也是不够的LM之所以成功也是因为chapob这样的一个interface实在太成功太自然了对吧它依赖于互联网依赖于这种移动设备但它是一个很好很好的接口一个非常好的product所以OpenAI自己的人也没有意识到对吧但当我们讨论世界模型的时候尤其是我们刚刚定下这个世界模型的时候这个最终的这个product到底是什么我觉得这件事情可能需要我觉得这可能才是一个真正的难点可能是一个比数据还要更难的问题所以现在如果拍脑来想again拍脑来想的想的idea可能最终都是错的但是至少有两个出口一个是比如说这种AI glasses这种真的personal assistant这件事情需要一个word model这件事情只有语言模型不够只有语言模型的话它还是一个带着屏幕可以有语音交互的这么一个XGBT对吧它没办法走出这个产品的心态比如我现在经常跟大家举一个例子我现在带了一些这种这种variable devices他们不是真的AI的variable devices对吧但somehow他们具备了一些我觉得世界模型的特点原因是他们是一个always on的这种device就它一直开着一直在监控你的身体体征对吧也有大量的信息因为每秒对吧我不知道有多少频率它是以什么样的频率采集这些信息但我一直在心跳所以它一直能track这些信息然后这些信息放到哪里去对吧我这些信息本身对我来说是没有意义的我知道我某个时刻心跳频率BPM是怎么样的对我来说没有任何意义所以它需要有一个智能决策告诉我说你好像under too much stress对吧你现在压力太大了你需要缓一缓然后说你过去几天时间睡眠都不是很好你可能需要考虑一下对一些补救的措施或者说你今天应该take a day off对吧我觉得这件事情其实蛮世界模型的只不过这是一个最最最最basic的世界模型因为它能get的信息实在太少它是一个很垂直的信息对非常垂直对吧但我觉得这件事情是一个未来的视觉模型在AI variable上面一个缩影因为如果假设真的有眼镜或者说对我知道你不喜欢戴眼镜但是假设有某种variable devices它能够真的是always on我不知道这个功耗问题怎么解决先不管应届问题我先不管但它能够实时的看到我们所能看到的一切有这种完全always on然后infinite的这种tokens进入到这个系统里面我觉得这件事情其实是会有很大很大的潜力的然后第一我会很想要这个东西因为我想知道我几点喝了一杯咖啡然后是不是这杯咖啡喝的早了一小时晚了一小时导致我晚上可能睡眠没那么好了或者说我是一个运动员他想要指导我的每一个动作或者说我在医院工作我希望给养老院里面的每一个老人都配备这样一个variable使得我知道他每天的行为模式是怎么样的他吃了什么药做了什么事然后他的心情怎么样对吧他的状态怎么样然后跟我背后的这些医疗记录挂钩然后提供更好的自动角色我觉得有很多很多类似这样的例子对但这件事情也是基于现在的LM现有的多么态的智能其实是我觉得是做不到然后另外一个出口我们刚也聊过我觉得就是robotics我觉得robotics面临的问题是其实还是大脑不够然后即使它可以武术它可以表演当然也不能否认 [295:00] 这也是一个很好的vertical domain了文娱市场可能也挺大那机器人就去表演节目吧我觉得也行但这件事情离general purpose robot能够走进千家论户能够背着年迈的老人上下楼照顾他的饮食起居这件事情距离实在是太大了能干活的机器人都是荒漠是的然后我觉得这一部分你可以看对吧机器人其实是一个很好很好的一个downstream的application因为不管有任何上游的这些新的我们讲泛世界模型的这种眼镜机器人都能够benefit from it比如LM出来了那我就有VLA对吧然后活了一段时间现在这个video diffusion做得很好action conditionvideo diffusion做得很好对吧这种生成派的这种word similarity做得很好那我们也在讨论机器人怎么样去用这些模型去做一个更好的这种action的planning对有大量这样的工作所以像我说的我觉得这里面还有很长的路要走然后我跟但我觉得在网上看机器人在春晚上看机器人和私下里跟从事机器人行业的这些research聊我觉得感受是很不一样怎么说后者是后者会愿意跟我说真话不代表他们平时在说假话只是说后者会更愿意告诉我现在的系统的缺陷到底在哪里为什么这件事情听起来好像是现有的这些模型实在是解决不了的刚才其实讲了你长达十多年的研究历程你是怎么跳跃到世界模型来的我觉得其实没有跳跃就像我一直刚刚说的我觉得所谓的reprimitation learning表征学习世界模型以及整个AI的发展其实还是一个蛮smooth的一个transition然后我其实不是很喜欢世界模型这个word了我觉得听起来有点hype然后并且现在它变成了一个口袋一样的一个称呼然后所有人都在claim自己做世界模型我觉得这件事情一方面我觉得对我觉得肯定不是一个比较一个researcher会享受enjoy这样一个过程吧但另一方面我觉得可能一个领域往前走可能还是需要一些这样的这样的bossword对然后我觉得非要说的话我可能会喜欢世界模型的一点就所谓word model的一点这个是Jetendra Malik一个教授讲的他说他唯一喜欢word model这一点是因为他能告诉大家我做的是word model而不是word modelWord是Word就是单词我做的是世界模型而不是单词单词模型单词模型就是LM所以我还蛮同意的所以我觉得像我一直重复的我觉得世界模型是所有人会抵达的一个终点它是一个目标对其实随着你要开始做世界模型你也做了一个非常重大的决定就是你要创业了这是一个非常大的跟你之前的research的生涯非常大的不同的一个选择你为什么做这个选择以及这个选择是怎么发生的这个选择也是一个玄学选择玄学哎呀这个大家可能觉得我这个太玄学但是确实是因为之前有很多湾区认识的朋友一些也是对我帮助很大的一些mentor然后大家可能有投资人的身份有这种其他创业者的身份他们就说你应该也尝试去创业因为在学校里面像我刚刚说的其实有很大的困境但并不是学校一无是处我觉得学校其实是一个很好很好的平台它让我有足够的空间去真的找到我想做的事情但我突然觉得好像现在是一个时间点似乎我想要探索的东西探索到了一定的地步再往后有可能会陷入我叫它一个中等paper陷阱中等收入陷阱就是说你会发一些不错的论文但是由于resource的限制导致你没办法真的把你的这些idea推广成一个某种意义上一个新的breakthrough对所以我觉得这可能是一个好的时间点然后所以我有一个mantan就问我那时候还蛮有趣的可能大概是去年的可能年中吧或者说可能是秋天的时候 [300:00] 二五年年中对二五年年中然后他就说你去问一问Yang Lecun他好像最近在Meta待的不是很顺心但那个时候其实还没有这么动荡还没有这个X王然后比如说Fair的Layoff然后这么多动荡的事情然后我的第一的直觉是说这个怎么可能呢对Yang对吧我们等一下可以再聊我想还想再聊一下Yang是怎么样的一个人但至少在那个时候我会觉得他还是一个Godfather of AI然后他是一个纯粹的researcher怎么可能会拉他一起创业呢然后结果我们有了这个对话之后的第二周的周一我们刚好有一个oneone的meeting就是一对一的一个meeting跟Yang跟了空然后还没等我说什么然后Yang就跟我说说Sanin你先不要告诉别人但我已经决定了我现在想要做的事情我觉得应该在外面做我想要去创业开一个公司然后我就问他说你想做什么事情这个背后的business model是什么然后后来发现哇这件事情跟我想象的事情完全一致非常有趣对然后这件事情是什么呢我觉得你可以你可以教它世界模型或者说这部分的出发的逻辑在于我觉得在我想做的这件事情上在现在的这个不管是世界上每个任何一个国家我觉得都做不了包括在弯曲在固固也做不了那这个事情是什么就是说你还是有一定的这个research的程度对吧它不是完全的说我们现在要logic model我们要deploy这个system然后我们要push the product然后去get some revenue其实not like that然后我觉得这件事情有很强的这种research的这种倾向性对吧但是它又不是在纯粹的学术的这个这个sending下面它不是过去的fair也不是nyu它不是学校也不是过去的那个传统的fair但另一方面它也不是弯曲的这些大厂和现在的很多这些new lab处在一个完全封闭的情况下封闭是什么意思封闭是说你当然不开源不能发表论文然后像我说的这个blog上面也不能署名也不能署名然后像我其实我在Google在GDM的时候我在Genei整个Genei Or只有我一个人是有这种相当于小财两只船有一个double affiliation还在学校在做事情大家其实对学术界对这种纯粹的探索性的research其实是有点抵触的这是一个弯曲现在的一个状态对抵触怎么理解是谁抵触抵触意思就是说第一我觉得大家瞧不上这个学术界在做的工作不觉得学术界在做的东西能够真的能够产生怎么样的影响第二他们因为也不publish导致很多东西你也不知道他们在干嘛对吧即使在这些大厂里面其实有些大的公司有这种research的部门然后也有这种偏托大的部门但即使这两个部门同一公司两个部门之间也有一个很大的隔阂因为again就是做这边比如说核心模型训练的这些公司的这些部门必须要在这个highly competitive赛道上面走到最前面这是他们唯一的目标对是军备竞赛是一个军备竞赛然后这件事情就会压榨你的research的空间你会抽走这个环境里面能够给你充分的freedom去做resist的这样的氧气所以你没有想过加入任何的lab你没有办法忍受这种没有氧气的感受是 我觉得这也是一个很有意思的现象这个现象是说当初确实有一些机会我也在有一些其他的考虑然后但我想了想之后我觉得可能这件事情如果你真的想做这种完全前沿的探索你想要去定义问题的话可能还是得在一个自己的startup做才会成立这件事情嗯别人的startup就是他定义的问题然后你来做执行是其他startup当然首先我不认为在这个其他startup里面嗯有任何 [305:00] 和一个startup或者一个大公司在focus在我们在做的这个事情上所谓的building the predicted brain这件事情对吧在你可以认为是最foundation layer或者说最upstream layer做一些事情这件事情其实是不存在的更有意思的是其实很多我的朋友在我跟他交流的时候大家都会意识到这件事情其实是必须的就我刚说这件事情一方面有点所谓的这种反共识的吧就是有点contrarian view但另一方面其实又在过去的一年里面我觉得又逐渐变成了一个共识所以我说的东西没有什么新鲜的没有什么新鲜的但是我刚才简单提到了我觉得现在在整个AI行业里面有这样一个巨大的AI的这样的一个value chain这样一个价值链条在最上层这个价值链条就像我刚刚说的有bit lesson有AGI有LM这样的一个叙事逻辑这件事情定义了一系列的benchmark对吧就是说你要打宝那你就打的这个榜可能是LM Arena或者说其他的这些榜单对吧有一系列这个benchmark这个benchmark定义了resource allocation就是说你怎么样分配资源对吧因为我的目标如果是在榜单上得到第一名那我只能投入最多的资源使得我能够处在这个位置上去竞争然后resource allocation决定了其实这件事情已经跟researcher觉得什么是对什么是错已经有一点脱离了虽然有些很强很强的research知道我们可能需要做一些research但是在这个价值链条下面resource allocation决定了他们不能做这一部分的research所以比如说我会觉得这个视频理解这件事情其实蛮重要的但现在好像不管学术节也好工学节也好做的不多或者说大家做这件事情但没有fundamental从world model角度去approach this problem去解决这个问题对吧但为什么会这样但你这个很有意思的现象你就会看到不是没有人不愿意做这件事不是没有人没有这个能力做这个事是他们全都无一例外不管在哪一个公司里面无一例外被发配给了一个做视频生成模型的这个video captioning的team因为这是在这个价值链条下面的唯一一个可以间接对吧参与到这个价值链条里面的一个position对吧虽然他们都知道我们这件事情没有解决我们需要一个更好的像我刚刚说的一个word model based video understanding model并且这件事情可能是一个真正训练出这个world model的一个一个很重要的一个前提条件但大家不会有空间去做这样的这样的exploration所以当初我在我在Google时候也会有这样的困扰包括我们做RE这样的论文这篇论文其实前前后后这个学生跟他一起跟博洋一起我们可能做了快一年的时间因为这个学生中间可能也有一些身体的原因然后反正anyway吧就是可能有一些gap在里面对吧然后反正完成这个工作我们花了一年的时间当我们发表这个工作之后我其实还有点担心我会说会不会有google的researcher然后过来找我说为什么你会发一篇paper我们也在做一样的事情你怎么把我们的机密暴露出去了结果是有有好几个research找我然后他们给我的反馈是我觉得这件事情是对的我做了这件事情做了两个星期但是我的manager说你不能做这个事情我们接下来有product cycle oneproduct cycle twoproduct cycle three这些产品的发布的这种timeline我需要完成他们现在的驱动力是不一样的驱动力是不一样的对所以就又说回来我觉得还是要回到一开始我们讨论这些事情就是在这样的有线游戏下在这样的强竞争的环境下每一个公司都似乎失去了他们定义问题的能力比如说其实你看之前像OpenAI对吧然后他其实是具备这样的能力的很多这些问题都是他们定义的对吧包括GPT包括像Clip这样的模型对吧或者说他们一开始从成立的第一天起作为一个research unit他们也有他们自己探索的过程我觉得还是很research的很research的但是现在research已经变成了一个产品问题变成了一个商业问题你必须竞争不竞争怎么办呢 [310:00] 那当然是逃出来然后我们来一起创造一个更好的更friendlyresearcher friendly的这样一个organization这样一个团队所以你们要逃离硅谷的叙事对我觉得双向选择我觉得可能对互相那个什么对互相dease一下勒困见你那次他跟你说了什么他也没说什么他只讲了对他说的这件事情就是说我刚刚说我觉得我跟他的想法非常一致的这件事情就是世界模型是什么我们可以有一个定义在这部分上我跟他的定义其实非常非常吻合然后包括他做JAPA我在NYO也经历了一些过程这个过程是我从质疑JAPA到理解JAPA到成为JAPA经历了这个人生的三个stage我等一下可以再展开聊一下这件事但他具体跟我说的事情是说这个公司他不是一个non-profit他不是一个纯粹的research lab所以我们是要有一个business model的again这件事情可能不是他的原话或者可能更像是我理解他说的事情的话是说我觉得世界模型是世界需要一个世界模型在硅谷之外在LM的叙事之外有一个隐形的世界这个世界里面有很多人大家想要解决物理世界上的很多物理世界里面的很多的问题他们可能是一个农场可能是一家医院但他们拿着LM不直接能够解决这些问题它能解决一部分问题但有很多涉及到真实世界的physical understanding的问题他们是解决不了的所以大家其实都很焦虑大家都还怕说这个AI的浪潮要来了我是不是连上这个牌桌的机会都没有对吧然后所以我觉得这一部分隐形的世界是在这个硅谷的叙述逻辑下面不可见的但我觉得这是一个很大的市场这是我跟很多人聊天的体会然后我觉得其实我现在最enjoy的时光不是跟一些researcher聊天是跟完全不在AI research field里面的人聊天我觉得我每次都会得到很大的启发比如说怎么讲这个也是其实有两个人跟我说同样的话第一个还是活脚底第二个是张涛是曼德斯的张涛他们都跟我说你如果想要做一个好的产品你首先得要热爱生活你得知道这个生活里面的人他们在做什么事情他到底需不需要这个东西你不能把某种AI某种智能强加于人的头上你需要理解他们的需求然后你需要通过这件事情不管是做你的research还是打造你最后的产品所以我觉得这里面很重要的一点是说这个世界上有大量的人他们生活在这个世界里面他们是这个问题的定义人这些问题不是researcher坐在实验室里面想出来的我觉得如果真的我们要做一个能够汇集所有人类的这样一个AI系统这件事情不应该是一个一个某种独裁的状态不应该是头部的几个公司强加的一种能力我们得要去知道这个世界上到底在发生什么然后大家有那些需求所以这是我觉得为什么这是第一点或者说前一半其实我想说的是其实世界是需要这样的world model的对吧LM不能解决所有的问题第二点是说world model也需要这个世界这个世界有两部分第一部分是定义问题的能力对就是问题的定义对吧我希望这件事情是从生活来的从人的真实的需求来的或者说是从工业生产中的需求来的然后这些事情对于硅谷的或者LM的叙事来讲都是也是隐形了然后其次涉及到你刚说的数据的问题嗯嗯虽然我们第一步可以从互联网上去拿到这些数据可以去训练这些模型但最终还是得要去在真实的世界里面去淘金的这些数据也是不可见的大家不会把这些数据传到YouTube上面YouTube上面的数据还是一个跟人类非常align跟人类的价值观或者跟人类的这种for entertainment [315:00] 需求非常align这样一个数据的分布对吧然后我们还只是在讨论这个viral的数据但这个世界里面有大量的非viral的非视觉的还是在连续domain的head dimensional高维度的和possibly noisy有可能是有噪音的这样的信号这样的数据的这些数据我觉得现在again对训练一个世界模型来说至关重要我们的世界模型也不只是一个为人的model因为这个世界也不只有视觉但另一方面这些数据现在是不可见的我们需要从一些地方获得这个数据对吧然后所以这是我跟Yan聊的这些一些high level的这样的一些感受然后到后面其实这件事情跟business有什么关系呢等会儿你说不只是视觉模型不只是视觉还有什么呢比如说我现在可以有一个飞机引擎一个飞机引擎里面可能有一千个sensor这一千个sensor在不断的记录这个飞机引擎的数据对吧我怎么样能够训练一个飞机引擎世界模型能够知道我这个飞机引擎可能哪里有设计缺陷哪里可能现在有这个错误对吧等等一系列这些非常long tail的问题对那这个是一个就是飞机引擎的世界模型这是一个飞机引擎的世界模型但它会基于一个universal的世界模型的预训练对所以你们会训一个通用的世界模型这是我们的目标这个是预训练然后上面可能会有很多的锤类很多的锤类像我说的你看language model也是上面的一个锤类video diffusion也是上面一个锤类action对吧然后planning然后robotics也是一个锤类但这个东西可以非常多元这个预训练的数据量会有多大这些事情就是说这是research的部分对我们现在其实有一个很好的roll map然后我们也招了很多很多的人大家其实都很在意怎么把一件事情落地不只是简单做做research虽然research非常重要然后现在如果你要达到我们最后想要达到的目标的话我就要做很多的research但另一方面我们要找到一个balance对吧我刚刚说它既不是一个纯粹的research lab但它也不是一个像XCI GDM或者whateverMeta TBD一样的一个相对来说比较封闭在现有的paradigm这个现有的范式下面去竞争的这样一个lab对吧我觉得我对它的定位可能是somewhere in between可能甚至超过50%一定超过50%可能有60% 70%更像一个现在的new lab对吧然后但是它会有20% 30%的这种完全自由的然后这种非常前沉的research其实我理解现在的这些frontier lab竞争这么激烈是因为现在的LLM的范式是相对已经是确定性的了所以说他们都在争一个商业的输和赢的问题相当于说你们不想在这个范式下卷了你们去提前想去找下一个范式给我感受是这样的是这样的所以对商业访谈录但是我现在要说我真的不懂商业然后我也没有做过startup我没有成功过我也没有失败过对吧然后所以这件事情既让我感到焦虑又让我觉得有种无知者无畏的这种冲劲我会有一个疑惑就Lakun他本身就是一个research 背景的人他为什么创业他是第一个找到你吗为什么他又找一个research呢其实有很多research因为again我觉得research是这个公司的focus这个公司最后最重要的product是一个research breakthrough所有的这些各种各样的我们刚刚说涉及到数据涉及到问题定义涉及到这些跟各种各样的industry有partner对吧这些所有事情的逻辑都建议在我们能够support我们的research能够make another breakthrough就是下一个这样的新的AI的革命然后你可以叫它世界模型的革命或者whatever you want to call it但是它跟LM fundamental不一样但它至少是一个transformer或者chatchby level的事情对这是我们的梦想落到实处要一步一步走但回答你的问题就是说其实不只找了researcher比如说我们的CEO对我是这个公司的co-founder and chief science officer我非常喜欢这个title因为我觉得我希望我自己的定位还是在Science上面我不是一个好的CEO至少现在不是我也不是一个能够去管理一个大的team然后去launch这些product对吧这种公司的一个角色你不想当CEO跟Pick一样对 [320:00] 对有点像然后对当然我们两个公司跟Milus可能还是会有很大的不同当然是的我觉得我们这边主要我还是期待的事情看到的事情还是怎么把research这件事情做好然后这件事情也是我现在看起来我们能够吸引人才能够让大家一起来工作的一个真正的这种精神源头算是硅谷的避难所吗不能叫做避难所但是确实是一个不一样的地方这个不一样的地方我觉得很多人过来我们有从OpenAI有从GDM有从各个地方过来的小伙伴大家不是为了要赚多少钱然后说IPO要上市大家心里面也非常非常的纯净就是想要做research并且大家觉得我们有机会能够去成为一个某种意义上的影响AI进程的人这件事情我觉得其实大家很多时候其实都因为现在行业的变化我觉得心态也会发生一些很微妙的变化对什么意思意思是说现在大家会有点过于走到一个极端是说我们要lower everybody's egoeverybody is part of the team对吧就是都是团队的一员但事实上在发生的事情是他们确实变成了团队一员但它同时也变成了这个巨大的machine这个机器中的一个可以轻易被替换的一个螺丝钉我完全同意researcher如果太强的ego这件事情不利于团队的协作但是我还是希望给予年轻人有足够的visibility因为我觉得这件事情能让他们有他们自己的人物浮光然后能够让他们真的成长起来变成一个现在对吧在外面有很大声望的这些 leading the researcher对吧但我觉得现在这样的这样的 pipeline收的越来越紧了或者说这样的上升的通道越来越少然后所以这件事情是至少是我们的一个招人的 strategy是说我们会真的真的非常希望这种mission driven的年轻人加入到这个公司来大家一起来做成一件事情我们其实不想把一些很established这些已经是superhero一样超能英雄一样的这些researcher聚拢到一起然后希望大家有某种化学反应我不相信这件事情为什么就不能这个团队里有多个你是吗完全不是这个跟我自己的一个没有任何关系我的感觉是一个人很难被不不首先我这样的人我们可以招很多我不觉得我是一个完全不是这个千万不要误会我但是我说的是可能那些我们刚刚说的25篇改变了AI历史的这些paper的这些作者对然后我觉得我觉得相比于他们我会更牵向于招一些有很好的reputation很强的能力但somehow还大家不知道的这些人对然后我觉得要问我为什么的话我会觉得一个人很难被闪电击中两次如果你已经发了这20几篇paper中的一篇你再发下一次类似这样的paper的概率我觉得会低很多就是为什么你一直要说我在这二十篇之外对我在不是这个目的但是确实我在这个之外但这件事情真的不关乎于我我觉得我希望然后我觉得这件事情也是by the way这个公司是我唯一的一个机会能够keep我的NYU的failation能够建立一定的academic engagement我还是会全职的投入到这件事情上但至少我不用很抱歉的跟我的学生说对不起我刚把你招过来招了一年现在我要走了你们自求多福我当初其实有一点这样的计划跟筹备但后来我发现我做不到为什么不知道我觉得我的学生我都很爱他们我觉得他们都是特别优秀的人他们比如说有几个学生然后他们通过他们的 project然后做完这一套下来我也在各个公司也有一些经验对吧我也跟不同的人打过交道但我觉得我有几个学生比我 [325:00] 见到了所有的这些leading research lab的这些研究员都更强啊从成熟度从工程能力从 research taste来讲他们都更强但 somehow他们在学校里面没有一个渠道能够真正的啊做一个在在充足的资源的情况下去做一个不一样的事情对啊倒不是说这些学生都会加入这个公司我觉得肯定不会我们还是会有一个清晰的 boundary但只是说in general我希望我们的这个公司我们叫Amy Labs他能够承担起一定的这种定位他能够联系起学术界里面想做事情的年轻人让他们能够参与到这个历史的进程我觉得这一部分的对这个渠道在现在的很多这个Lab里面是不存在如果Lakun不从Meta离职你会创业吗我觉得可能也会但可能会纠结一段时间你会自己做CEO我觉得我不知道我觉得对如果这么决定的话也是另外一个玄学决定但至少我现在不知道你会做这个方向吗如果是那样的话我会在想或者说我现在在公司里面我们讨论的问题就是exactly我一直在想要做的事情然后这件事情所以有一点不谋而合而且其实这件事情again我不懂商业所有的这些路纪但是有一些点我觉得很有趣就是我们想要build这样一个反向的op AI什么叫做反向op AI就是正向的op AI是说我现在有互联网作为我的数据的发源地然后把数据download下来串一个transformer是一个GP model好我们现在有一个智能对吧然后这个东西你们可以叫它AGI但by the way我也非常反对这个词我觉得AGI是一个完完全全的伪名题但anyway你有这个逻辑之后然后我们现在有了这样一个模型有了这样一个intelligence我想要把这个东西push到我的market对吧然后不管是2C然后或者一些2B的application都没问题然后什么是反向的Opian是说要做这个model本身这件事情没办法直接从互联网上当落下来我们没有这个shark hat可以走我们需要走一条更加艰辛并且我们不能自己走这条路所以这是我刚刚说world model needs the world所以我们希望反正还是说会有很多的这些有点草根联盟的感觉你知道吗就这些不愿意就是在AI的浪潮面前有点formal然后有具体的问题要解决有很多的数据类似这样的公司大家也可以一起携手通过某种合作伙伴的方式一起去共建这样一个模型对吧然后你可以形成这样一个闭环我们可以有初始的世界模型我们可以deliver这样的世界模型去创造价值大家拿到这样的模型可以得到一些回报然后可以产生更多的数据来重新去反补我们自己的这个方式的数据这个世界模型所以你需要从这些生态里收集多少数据你需要哪些类别的数据这个就是这个公司接下来我们要讨论的事情我觉得现在能够看到的事情是说因为Yang其实有他的名望在这然后而且他作为一个真正正正的世界人他有一个非常neutral的face一个中立的角色他是一个美国人但他也是一个法国人然后他对我们又不在硅谷的吧所以其实能吸引很多这样的potential的这种partner对然后遍布全球我们这公司第一天就会有四个office总部设在巴黎但是也会有纽约MontrealMontellier然后还有新加坡四个office然后目的也是说怎么样把这样的一个联盟能够打造起来大家一起在这个resist道路上面用钱走然后这件事情其实我还有一个很有趣很有趣的故事或者一个比喻就是你知道这个master card是怎么来的吗美国大家用信用卡有visa还有master card是不是反visa对是反visaexactly但这个story还蛮有趣的这也是我一个很好的朋友和我的一个mentor告诉我的他说visa一开始是这个BOA这个银行创立起来的对吧在此之前没有人有这种信用卡的模式的然后BOAbuild了Visal Credit Card然后push to market然后赚的盆满钵满然后他还藏着掖着他还不告诉别人他别人问了就说我们这个是赔钱的生意然后这个东西一点都不赚钱直到过了一两年这件事情藏不住了因为财务上你已经能看出来了然后其他人就慌了 [330:00] 你知道吗家人就说这个怎么办这个你现在已经把这个market已经dominant了然后我们每一个小的银行我的体量都打不过你这个bank of america然后这个我们现在单独发一张信用卡我又抢占不过市场怎么办呢那他们就说不如我们把所有的这些local bank组织起来变成一个联盟我们一起推出一张信用卡叫maskot对这是怎么样反visa然后或者说没有真的反Visa但至少能够跟Visa分庭抗理的一个方式我并不是说我们的公司真的要走这样的模式但我觉得在某种意义上会有这样的相似之处但我觉得这也是为什么World Model是一个挺不一样的这样一个叙事的逻辑它更加decentralized更加分布化然后也天然的怎么讲呢resist某种垄断对我觉得还是挺有意思的然后这也是我们开放性的来源这也是为什么我们会能够更open-minded去讨论这些合作不管是跟学术界还是跟这些industry partner因为这件事情是research exploration的一部分当然我们也不是说我们所有的research都会开源或者怎么样这还是一个正经而严肃的一个创业公司但是我觉得我们可能可以做的不一样但我觉得想要做成这样的不一样的事情还是蛮难的因为像我说的对吧我一直在强调其实我们在寻找一种平衡这个平衡是说对吧它既不是一个纯粹的research lab也不是一个现在的封闭式的这种大模型公司然后这种平衡也在于比如说像我个人也是一种平衡就我既不是一个非常senior然后已经所谓功成名就的这种大教授但我也不是一个18 9岁的年轻人可以卷着铺盖跑到深圳的工厂里面然后扎下来然后去做这些数据采集或者whatever我都不是好有一部分数据来自于深圳的工厂是的有人在做我刚刚说的这个例子是一个具体的公司他们有一个公司叫build.ai我还挺佩服这个小孩的叫Eddie对他就是带了几个人从各大quit了然后去了深圳工厂里面住下然后来build这样我觉得好厉害我觉得我觉得这件事情即使找平衡但我觉得对我来说有难度但也是一个新的机遇我觉得说不定了对吧说不定这个时代可能既不属于老灯也不属于小灯一个属于中灯创业的时代你对伊列两次say了no然后你对了困say了yes这是为什么呢就是在你眼里他是一个什么样的人对Yang在网上是一个斗士对就是坚决的反对LM派不只是反对LM其实他不反对LM他还说自己用詹姆奶他完全不反对他只是反对大家觉得LM可以通往一个human level intelligence人类级别的智能的叙事这是他要反对的他完全不反对LM但anyway他在网上是一个斗士然后四处开战但我觉得他私下里是一个很好很好的人是我一个打心眼里崇拜或者敬佩的一个人你们之前熟吗我们合作过一些paper但是肯定不像在一个一个startup里面作为co-founder的这种形式这么work closely之前没有你跟凯明熟肯定没有是的但我觉得我觉得Young是一个人真的是对他也能够去扭曲这个reality field我觉得他非常非常厉害就每次我开始对一些事情有所怀疑然后我都会愿意找他聊一聊他很容易就让他身边的人至少我是这么感觉的感受到某种宁静感受到觉得这些challenge不是challenge前方的路一片光明他是有这样的能力然后而且当然他的research的vision我觉得我也非常敬佩就我刚说很多比如说什么是word model为什么要filter这个信息这个本质也是JAPA他提出的JAPA思想的一个内核就是说你不能做generate model你不能把所有东西都记住都重建出来你需要在一个extract representation space [335:00] 一个抽象的表证空间里面去做预测这是JAPA的内核但我想说这件事情是一样我觉得还是蛮知情合一的他这个人本身蛮JAPA的就是他一贯之的在坚持他的很多逻辑和他认为正确的事情这件事情是不受到外界的任何事情的干扰但这件事情不代表他完全是一个固执的听不进去任何话的人其实也不是这样他有些时候他错了有些时候他对了他大部分时候是对的但他其实是能听进去大家说的话的并且他也说过就有一个之前有一个新闻稿是说Young can't be moved就是Young Lecun永远不能被移动对吧谁也不能这个对移动他然后Young说对就是说他在固执让说我完全可以被move我完全可以被移动但我需要基于事实来被move而不是一些人告诉我应该怎么做我去怎么做我才会move所以当初在meta的时候其实也有很多人告诉他说我们现在meta要去做logic model我们要做很多这些事情你不能在外面再说这些话了对吧你不能说天天thislogic model不work让完全不能接受让说我作为一个科学家的政治对吧My integrity as a scientistCannot accept this所以我觉得这件事情我也很敬佩我觉得他真的他说的话不是因为现在什么什么东西成了一个热点让他去这么说的都可以追问溯源对吧包括他在讲word model这件事情也不是最近word model火了才说的也是很多很多年前他已经在提这件事让他还有一个这个很好的论文我真的推荐给我身边的每个人去看就是叫做The Path to Autonomous Intelligence对就是它一个position paper也是一个观点性的一个论文然后这时候你就会发现它思想里面还是有很多的layer的这个layer其实又是以一种非常工程化可实现的或者说数学化的表达把它罗列在这儿了所以你看他别人问他说这个word model到底是什么的时候他从来不会说一些比较high level的这种这种相对来说比较虚无的这种概念他永远要给你写公式的他永远会现在也会现在也会而且他现在每个星期也会有一天在NYU然后还是要带自己的group还是会开组会的开组会的时候就是要走到白板面前然后给大家推公式一点点推highly technicalvery technical对你们两个的分工是什么一样是executive chairman所以他其实更像是我们这艘大船的船长我跟他这件事情我也跟他聊过谁是船长他是船长我不是聊谁是船长我不讲聊船长对但他一方面讲说他很不希望希望管理这些operation level的事情他不是一个好的CEO但一方面我觉得你也不是对我可能也不是但我又觉得他是一个很有智慧的一个管理者他跟我举这样一个例子他说他的管理的思路就像在滑帆船一样这件事情白的位是他的一个hobby之一我等一下可以聊聊他的其他的有趣的事情但他有一个hobby他马上三月又要去加勒比海上面去滑帆船了他说他的管理模式是说给予每个人足够多的信任让他们做自己该做的事情但是一旦出现了一些波折对吧一旦我们需要校正一些东西的时候他会及时的as early as possible尽可能早的去做这样的调整对吧但在此之前trust everyone to do their work就是相信每个人去做他们在擅长做的事情对我觉得这就是一样的定位他是这个公司的一个一方面是某种精神领袖但另一方面也是大海航行靠剁手他也是也有船长的身份在这对我觉得我真正让我觉得我很喜欢跟这个人共事还是更多personal的原因 [340:00] 他也聊了很多这些decision其实不是纯逻辑性的决定有时候还是要看气场是否相投都是人的原因都是人的原因对像一样我觉得他虽然真的是大佬但你会经常看到他在会场上面拿着一个手机跟所有人拍一张自拍拍张合影然后私下里面他也是一个蛮纯净然后温暖的人对然后跟他在一起主要是我不会有这种畏惧感虽然他可能高高在上功成名就但我不会担心我说了一句错话惹得他不高兴这件事情我觉得其实还是蛮难得的尤其在他的这种身份跟地位白看然后我可以或者说包括这个公司里面所有的人都可以很直白的告诉他说这件事情我是怎么思考的我觉得你说的对或者你说的不对但我们一起来讨论应该以什么样的方式进行下去可以对这个公司最有利我觉得这件事情其实也非常难得能不能介绍一下你们到目前为止在资本上在团队上的进展当然我们这个时候发的时候就已经是你们announce之后了是的对我觉得资本上对这个没办法我的世界模型不足以支持我给这样的预测但是我们target可能可能会是差不多一个billion吧对如果不对的话我们只能减掉了然后然后人员的配比上面然后我们会有很多小伙伴志同到合的伙伴一起加入这个公司所以我们一开始会有25人左右的一个初始的团队然后我们希望逐渐去grow这个团队我们不想太快但也不希望太慢对然后这一面其实就有很多我觉得这也是一个我觉得创业的魔力因为我之前比如在大厂里面也会refer一些我的这些过去的朋友对吧我的学生然后一起到这个公司一面但完全不是一个事情对吧大家去了不同team做自己的事情但来创业之后我会发现真的可以把大家聚拢到一起然后找到这样一个mission然后这件事情我觉得太有意思然后这件事情其实我自己也很感动因为我们有好几个朋友然后他们其实比如说都有好几千万的这个Openeye的Unvested Stock如果他们从Openeye来然后会有在比如说在Google也有好几这种不是在Google在Meta也有这种15个Million20Million的这样的offer对然后大家好像想都不想然后就放弃了然后加入我们为什么我觉得还是说我们脑子可能都缺根筋觉得好像对你总之是你要考虑的是一边是research一边是某些反难受的outcome对吧当然我觉得一个创业公司最后做成的话它的upside也是很大的反难受力至少现在开始我觉得大部分人还是很密身追问对然后大家还是相信这是唯一一个地方我们可以做这件事情你们现在已经开始考虑商业模式了吗我觉得之所以要融这些钱可能也是希望能够减少一点这些压力但是当然了这是一个serious company所以我们的CEOCEO都在每天花很大的精力去考虑商业模式的事情对然后我能不能回过去再讲一讲一样好啊对之后看怎么调整一下但我觉得我刚刚说其实这个气质相投这件事情其实完全不是一个商业decision对然后我觉得符合你的玄学一贯选择方式当然考虑就是比如说同时比起来我也会有些其他的机会这些机会可能也会有much better这种short term的financial这种return就又会有更高的工资更高的回报但我一直考虑的这个方式是说有些人劝我说你先去赚两年前对吧赚够钱了之后回来再创业不好吗partly I agree,但是我又会担心说对吧,我现在作为现在人生的stage还有没有两年的时间可以让我在一个足够好的精神状态去做这件完全explorative的research我觉得不好说,有可能 [345:00] 在你有钱了之后你的lifestyle你的生活方式会变化然后然后这件事情也可能导致你失去了最开始的一些勇气然后我觉得这只是对我个人而言我觉得现在我有很多很多的朋友他们在Meta尤其在Meta大家其实都赚很多很多钱他们也很卷他们每天工作我觉得也是加班加点然后大家基本上都搬到公司旁边然后每天加班一个星期工作七八十个小时这种我觉得我也相信他们一定能够做出一个很frontier的model但我也想对他们说当你把这个model做完之后可以来我们这看看我觉得Hopefully it's not too late但我觉得其实我认识的所有这些人大家都是有这个mission的MetaTPD的招人策略跟你的招人策略是一致的吗我觉得肯定不一致我们哪有钱像MetaTBD一样找人肯定不一样对然后或者说像Thinking Machine包括像XCI我觉得都很不一样对我觉得虽然我们可能融资规模上面其实还是蛮不错的对至少也能排进历史前几名前几估值多少不知道估值我们一直没变还是三个billion的pring money的euro对对然后但是钱其实还是不是很多对吧这个capital money其实还是非常非常宝贵的它不像像在mata在google你真的有一个印钞机在那你不但print moneyit's okayYou can do whatever you want我觉得在创业公司里面我们还是要非常非常谨慎的去布局我觉得你们是刻意布选去硅谷创业是吗对我觉得Sitting Valleyagain is very unpeeled就是大家经常说就是说已经深陷于已经被largement 催眠了然后我觉得但这件事情我觉得不会持续很久被催眠的人总有醒来的一刻然后我觉得那时候我们完全不排除去硅谷设立公司我觉得到最后或者说可能很快我们的公司location一定是哪里有人才我们公司就在哪里有一个office这也是一个很正常的事情对再能让我回一样一下我想说的事情是我觉得Yang其实还有很吸引我的一点是他真的是一个斜杠青年或者说挺文艺的这么一个人或者按凯明的说法Yang是一个16岁青春期一直延续到65岁的这样一个人那很幸福我觉得他应该挺幸福的但他经常就很骄傲的说他有四大爱好第一个爱好是造模型飞机第二个爱好是拍天文摄影所以他你看到Zoom经常讲套背后他那有一个星云有个Nabla的这样一个桌布桌面其实就是他自己拍的在后院拍的然后第三个兴趣是搞电子乐然后搞一些Jazz什么这些事情然后你看他的网页上面这也是宝藏我经常时不时回去看一看就他会讲说在纽约有哪些这些爵士乐比较好哪些乐手比较好然后他又讲说通常来讲法国人是瞧不起美国的流行文化爵士除外讲什么查理帕克等等一系列人然后这些伟大的乐手怎么怎么样我觉得好有意思然后他还有一样号是我刚刚已经说了翻船所以我觉得这样的人对我来说其实是很有心理的因为我觉得他的世界其实是很大的他的世界不止局限在research一小块然后我们都要做世界模型我希望这个大船的舵手是一个有格局热爱生活的人然后还有一个很有趣的例子我们接下来三月也许这个节目播出的时候我们还有另外一篇paper要放出来这个paper叫Solaris叫索拉里斯星这个东西其实是一个科幻小说莱姆的一个小说然后后来被塔古斯基改编成一个电影然后我们之所以取这个名字是因为我们在做一个所谓的这种video微久生成的模型然后这个电影讲的事情也是说有一片海洋这个海洋可以读取人的潜意识里的记忆最后把一些东西具象化生成出来然后这件事情我觉得非常好玩然后当然塔古斯基在他那部电影里面讲的事情是说其实我们最大的敌人不是什么外星文明 [350:00] 这些不可知的这些海洋其实是人自己是人自己的苦难和自己的记忆所以这片海洋只是人对自己的投射而已我想提这件事情是说我觉得这个电影跟LM发生的事情也太小我觉得LM其实可能没有再理解人它只是人的一个投射只是一个反射而已但我想说跟一样的关系在于我有一天跟他讲说我们这个paper你觉得叫这个名字怎么样然后我想看他知不知道这个电影然后他说你知道这是一个电影的名字吗我说对啊我就是因为取了这个名字他问我说那你用的你看的是哪一部是1975年的一部还是2000几年的一部我觉得我找对人了对是塔克夫斯基拍的还是索伦伯格拍的然后我说OK我觉得我不光Risage扶你我在电影上好像你也比我懂得多我觉得这是一点蛮有趣的可能对很多人都不重要但对我个人来说蛮重要的一个人格魅力的体现吧有一个中国的投资人曾经跟我说过所有含着金汤石出身的创业都没有成功的几乎没有吧你怎么看不懂什么叫金汤石融资金额巨大非常的有名作为方的就是已经功成名就而且是非常高的功成名就我们没有含着金汤石就像我说我们是完全一个不说草台班子吧是一个草根联盟的一个创业模式样怎么可能会是草根呢样的草样不是草根但他现在在整个AI的行业或者在互联网上包括在投资人面前很多时候是一半支持一半反对的一半支持一半反对我不知道这个比例是多少但总归是他不是众心捧月的那种英雄他是一个坚守自己然后在永远尝试做下一件事情但这件事情还没有做成功的这么一个人对吧然后我觉得这件事情导致我们不是汉质经常书我们没有经常书我们完全没有这种感觉我觉得我们是一个underdogunderdog就是我们其实是在某种这种行业的压迫下生存的这样一个公司对吧你们所有人都在没有反而在真的那我们可能会有很多融资但比起LM现在撬动的资源来看这简直对吧我不知道是百分之几差太远你们融资难吗有样在这确实不难对但是对吧我觉得 sit around也只是 sit around我觉得要看后面对吧然后我觉得要看后面还是说我们到底能不能deliver我们这个mission我们能不能把这个research的birth through做出来我觉得这才是对我们来说最关键的事情但反正我会觉得我非常enjoy这种underdog的这种身份尤其作为一个创业者因为我觉得我觉得做research也是一样你们越不相信我我越happy你有感受到谁对你的不相信在开始创业之后我觉得很多人很多投资人的feedback不相信更多还是相信更多我不知道比例是怎么样我们有很多人相信我们我们有很多人不相信我们我们很多的人或者在硅谷里面大部分人不相信我们在世界的其他地方大部分人相信我们所以综合起来我不知道但没关系我觉得我最期望看到的事情就是说对吧你们可以不相信我们但那我们就Let's see对吧这个这条路我现在已经all in了你跟不跟你觉得创业跟你做researcher有什么不一样我觉得有很多相似的地方然后但有很多不同的地方我觉得创业的话还是小薰滑雪吗我不会我不喜欢运动我以前也不会滑但我最近滑雪我觉得我还受到蛮多的感受的我觉得第一是滑雪是一个讲求平衡的运动你掌握了平衡你才能滑得起来第二是你要无所畏惧的把自己的肩膀朝向山下我觉得这件事情太反直觉了就人总是害怕的人你面对山下的这个坡度的时候你总是想要往回靠反本能对然后你反本能然后你一旦跟从你的本能做事情你向后倒那你就完全失控然后完全摔倒对吧你只有完全不具备这个你只有足够的勇气然后不害怕任何事情 [355:00] 自己肩膀朝向山下的时候你反而变得更稳定对吧然后你反而你更能控制你的速度所以这个有句话我很喜欢的这个可能是这个哪里的Jojo里面的动漫里面的Jojo's Bizarre Adventure他讲人类的赞格就是勇气的赞格我觉得这也是我的一个对于创业的认知我觉得需要勇气但你刚刚问这件事情在学校是不是也是一样我觉得他需要更多的勇气但我在学校做的很多这些决定我觉得也是一个蛮有勇气的决定对吧然后并且还有一句话是这个我觉得你永远不会独行吧我觉得会有很多的人帮你一起也正是因为你有身边的人所以你才变得更加勇敢你刚才说了你对research的taste你觉得你对人的taste怎么样首先我不觉得应该对人有什么taste我觉得对人的taste这件事情好像还是一个居高临下的说法我觉得识人能力怎么样换一个说法是但我觉得这也是一个相互的过程我觉得again我觉得是有某种吸引力把能够一起攻势的人聚拢到一起然后我们只需要遵循着这样的吸引力去找到这些人跟他们在一起就好对我好像不会当然也会有一些具体的这些这些这些这些metric的吧我们当然有一些比如我们现在要面试我也不能说那个你不用面试了嗯我有一套玄学的逻辑可以用来用来招人我觉得也不现实但确实我会比较在乎嗯一些事情吧我觉得我会在乎你到底是不是真的有这种想要解决一个问题想要去理解一件事情的这样的勇气和这样的执着我觉得这件事情对research对创业来说都是很重要然后我招学生其实也会也会需要有这样的对能够看到这样的就是这样的性格的人然后对就这个到底是什么意思呢就是在做researc时代都来讲就是说你现在如果有一个问题摆在你面前这件事情也是凯明跟我说的应该是他讲说你一天起床要想这个问题吃饭的时候要想这个问题洗澡的时候要想这个问题睡觉的时候可能可以不用想那可能带着这个问题睡觉你到底有没有这样的这样的passion这样的热情去一直思考这个问题还是你只是把这件事情当做一个工作来看待我觉得这件事情我觉得是一个可以区分人与人的一个标识你现在有这个问题吗什么样的问题就是每天带着他的问题有啊那当然有了但我现在的问题是这也是为什么我觉得在学校我觉得待时间久了有点难因为在学校里面其实作为一个发挥你需要做更多样的我们叫做contact switching就是你需要切换这种上下文对吧因为你有好多这种partial要管理然后要一起合作我觉得在创业公司还是蛮好的我现在可以focus on一件事情我可以想我们到底应该组建什么样的团队这个团队需要什么样的人我们应该在接下来一个月三个月六个月一年解决什么样的问题这件事情我可能想的不对但没关系只要整个team齐心协力对吧大家可以fail togetherpivot together那我觉得这个公司不会失败对我不能保证我现在每一个设想都是对的我觉得样可能也没法保证但我还是相信人像你说的我还是相信把这些人有理想有热情然后想要闯出一番新的天地的人聚合到一起一定能做出来一个了不起的事情你是当场就答应他了吗没有没有没有这个中间隔了很长长的时间也不是让第一个找的我反正后来呃一样来负责recoup这个团队那他也要思考说每一个人到底应该有什么样的角色对我觉得后来我们一起在讨论一起在协商而且呃我觉得是一个蛮长期的一个过程吧然后我觉得大家最后都找到了合适自己的位置你纠结了多久就是从他第一个 [360:00] 就结了可能一个星期在纠结什么就是说到底应不应该去创业去做这件事到底应不应该跟Yang做这件事然后或者说是不是去寻求一些新的机会对吧然后后来但我没有纠结很久我觉得跟Yang用他的魔力我跟大家说其实跟Yang说话有点像他有点像给你就是casting spells就是哈利波特一样跟你施一些咒语说一说一些话然后你就不会想其他的了他对你施了什么咒语没有吧他只是讲了他的愿景然后他只是讲了为什么这是一个更好的选择对于我是一个更好的选择对这个公司也是一个更好的选择为什么在这里我可以有足够多的agency跟autonomy就是所谓的自主决断的这种能力然后去打造一个team然后去帮我们去设计这一套一整套的这种执行的这种road map我也非常感激一样能够给我这样的信任但我们公司有好几个其他的可fonder大家人都非常好一共有6个可fonder这么多是的还有一个CEO还有一个CEO对还有一个COO有一个COO对然后还有还有一个VPVP of World Model然后还有一个现在暂时的他就叫做CRIO对他也是一个中国人他叫他叫PascalPascal Fung这是什么职位更多的是某种介于纯粹的Research跟Product中间的这种alignment层的这样一个角色是负责我们的innovation的他也之前有很多的创业的经历然后我们的VP就是Japa Team当初的这个这个directorMike然后COO是当初Meta的整个南欧区的VP对大概是这样一个组合所以完全不是一个纯Research背景的组合你们会去探索2C的产品吗会的而且最后的目的一定还是会有一个2C的产品但我们希望我们不会受到任何的压力因为我们还是希望先要把这个world model不管你怎么定义它先要做出来你们现在这个roadmap能规划到几年几年当然都很不现实的对吧我觉得如果能规划到一年已经很不错对然后我觉得我们不需要更长期的规划伟大不能被计划吗对就跟research一样我觉得你要有一个探索的过程开始先探索先动手做事情然后逐渐的找到属于你的idea我觉得这件事情对于startup也是成立的你说现在你们的idea进展到哪一步了我觉得进展到了我觉得我们现在有事情可以做并且我们还觉得会有一些很快会有一些很promising的结果的这样一个地步对吧但这件事情具体是什么我们可以过几个月之后可以再聊但是对话又说回来就是这件事情其实外面的人对这个公司对于Yan还有一个错误的认知就大家其实不知道什么是Japa对然后其实我个人也经历了好几个阶段我从质疑JAPA到理解JAPA再到成为JAPA这样人生的三个stage然后这件事情我觉得也蛮好玩的因为一开始质疑JAPA是因为我们刚开始做Supply Learning做Moco 做M&E然后我觉得JAPA好像是yet anotherSupply Learning AlgorithmThat's it然后后来慢慢理解JAPA是因为觉得JAPA其实比我们想象的走得要更深它里面会有很多背后的逻辑有很多的数学的原理并且我们也需要有人在这条路线上继续坚守下去因为我们当初发现东西skill up不起来然后就不做然后但后来JAPA比如说包括我举个简单例子比如最近有一篇piple叫JAPA然后他们就以一个非常严格的证明说如果你要有一个很好的representation如果你要想要让这个representationagnostic to你的downstream task那它一定是一个asetropic gaussian distribution这有点technical基本上就是说它是对这种表征了某种性质的一个刻画然后我发现这件事情其实还是有它的道理然后真正成为JAPA是因为我觉得JAPA不是一个模型JEPA不是一个具体的算法JEPA是一个整个一套的Cognitive Architecture就是一套认知体系这件事情是Young在他的2022年的paper里面写到的事情所以这个认知体系在我看来是通往一个智能Universal的智能体的一个在我现在看起来一个很合理的 [365:00] 道路对吧所以他需要付JPARJPAR不是只是self-supply learning他需要有这种world understanding的能力他需要就是理解世界的能力然后他需要能够有做prediction的能力然后他需要有能做planning的能力对吧预测跟计划对我觉得我觉得这件事情让我对JPAR有了新的认知然后我发现JPAR其实不是一个具体的像大家外面说的一样好像说A样有这样一个方法然后他一定要基于这样的方法然后把它做成一个什么样的事情不是这样的Japa是一个非常非常广阔的海洋在这个海洋里面可以有好多好多的船在上面在上面在上面开然后最后这个整个一套系统会有很多的写作并且LM也是其中的一部分对所以这件事情让我觉得这个公司可以做并且有很大的机会可以做成功原因他不是把事情做小了现在很多LM的siting下面大家是把事情往小里做但Yang的公司是刻意的把事情做大他有足够的空间让我们去做探索让我们去做skill up然后直到最后我们可以有一个某种新的breakthrough这件事情到底什么时候来会不会发生我们没办法判断但我觉得这是一条我愿意投入我的生命去走的路创业以后感觉怎么样真实的感受有变忙变累有变忙变累当然是有了我觉得会有很多ups and downs就是会有很多繁琐的事情但是也会因为看着这个公司一点点成长起来看着一些因为我们有四高费有这么多的这个legal problemwhatever对吧这么多的这种internal fiction慢慢就是这种本来的这种内部的摩擦慢慢变得润滑这个过程其实也是蛮开心的然后在这个过程中我们也得到了很多很多人的帮助所以暂时看下来我觉得我做了一个正确的选择跟你预期也许还是会有一点不一样的可能跟乐观对我觉得跳下来那一刻就恐惧消失了对我觉得只要有勇气一切都好说然后我觉得在这个公司里面对我是能找到这样的勇气的你刚才说AGI是个伪命题你这个能展开一下吗AGI是伪命题这件事情也是杨经常说的他之前不是跟Dymus有一个辩论吗他就说到底什么是general intelligencegeneral intelligence到底存不存在这件事情我可能也就不赘说但其实它的逻辑也很数学也很一样他说的事情就是基本上说的事情就是说人比如说有200万个这种视觉的神经纤维这件事情可以去model的所有的可能的这种视觉的函数其实是非常非常大的它是2的200次方这么多的这种函数但人能够真正去process能够看到的东西其实基本上趋近于零对吧就是我们受到我们的意识的限制我们受到我们自己的神经的这种这种 bandwidth的限制我们看不到这实际上发生了一切的事情所以人的智能是一个非常specialized的智能对他只能人只能认知到自己能看到的东西然后后来我又补充了一个推特就是说我看了一本书叫做Are we smart enough to know how smart animals are就是我们到底是不是够聪明让我们知道动物有多聪明然后我是觉得看了这本书之后我会放弃更多这种人类的自大我觉得我觉得这种智能眼镜是一个连续的过程它不是一个说人就真的是独一无二对吧很多时候我们说人很有智慧是因为人会使用工具但动物一样会使用工具然后有些人说人其实有这种某种某种对自我的认知跟意识一个实验是说人能够看镜子然后能意识到镜子里面的人是自己而不是另外一个尸体狗狗是不是也可以对很多动物都可以因为有些动物不行狗还蛮喜欢的近自己看自己的反正有很多动物动物确实不行但有很多动物可以然后也有很多很有趣的事情比如说像黑猩猩的然后这个作者Dewa他写 [370:00] 另外一本书叫黑猩猩的政治吧叫做然后就讲这个有四只黑猩猩怎么样去做这种权力的博弈就很像这种纸牌屋或者怎么样这种有很多斗争然后你怎么样拉帮结伙然后有一些权谋然后上位然后等等一些故事我觉得这件事情也很有趣然后还有一个我觉得我印象比较深的事情是说比如说他们其实这些动物包括黑猩猩也有某种theory of mine就他也能有自己的World Model并且他们World Model还挺强的比如有一个例子是说这个实验人员在一个房间里面然后他有两个box然后这个box里面比如一个放了香蕉一个放了苹果然后我们把这个给黑心猩看一眼然后把盒子扣上对吧然后这个实验人员就把黑心拉出去了然后过了很长很长时间再把它带回到这个肉目里面然后这时候黑心看到第一件事情是一个实验人员在吃香蕉然后黑心境直接禁止就去打开装有苹果的盒子把苹果吃了看都不看这个香蕉一眼所以黑心境也有某种这种推理的能力对吧然后虽然确实语言是独一无二的语言是只有人类有但不代表其他动物不会交流如果我们说他们有他们的语言他们有他们的语言包括你像鲸鱼也有自己语言反正这些事情还是蛮有趣的我很推荐那本书然后包括还有我看到那个叫什么某一种鸟我忘了叫什么了然后他就说他们很会就是如果他在埋一个食物他把一个食物要埋到地底下如果他发现有他的同伴看到了这件事情他会先埋在底下等到这个同伴走了之后把他挖出来换一个地方重新埋下去对所以我觉得还蛮有意思的然后大部分也知道对吧那狗的嗅觉很明明然后蝙蝠会基于听觉我觉得智能的界限是很广泛的大家现在说Jack的intelligence那你们的world model会先朝着哪一种生物的智能去做目标当然是人类的智能人类智能肯定还是至少在一个demand上肯定还是最强的或者说它也是能够最能benefit这个世界的所以我们还是希望build一个world model通向human like intelligence但我只是想放弃人类的这样的自大然后这件事情其实我最近很受启发是因为看了Rich Sutton的一个他在这个podcast上面的一个理论因为其实我之前我也不知道我该怎么address这件事情因为大家说RM不是很厉害吗RM现在可以写code可以拿到IMOIOI的金牌可以帮我们去月球去火星这件事情太伟大了然后我觉得我没法否认这件事情这件事情确实很厉害对吧然后但Rich Sutton他的回答我觉得就很好他回答是说你觉得这件事情很伟大很厉害吗很难吗那你就这么觉得吧因为我不这么觉得我觉得能够打造出来一只松鼠的智能这件事情才是难的问题一旦你有了一只松鼠的智能一旦你能够去build的一个松鼠的智能能够让他在真实的世界活下去他有自己的goal他有自己的目标他有自己的像你说的这种intrinsic reward他知道饥饿他有自己的emotion然后他能够有一定的社群的活动后面的写code上火星上月球这件事情都是再容易不过的事情我现在慢慢觉得我非常认同这个观点如果抛下人类的自大我觉得打造松鼠的智能其实是一个更难的问题但对人来说不是这样对于我们的认知来看好像不是这样但这件事情完全是因为人类的自大你们也要做人类的智能是啊但就是说人类的智能有很多很多点人类的智能不只是语言模型人类的智能有很多智能不能通过语言模型或者语言本身所决定对我觉得这是一个核心的观点你的智能定义是什么样的所以说刚刚说Rich Sutton讲这件事情他觉得松鼠的智能才是真正的智能我觉得他的定位有点不同他定位不是站在人类的视角以人类中心的视角看待这件事情它是站在宇宙跟造物主的视角看那件事情在这个角度那当然能够重新去造出一只松鼠这件事情要比你的你的人类文明在这530个million years最后的8秒创造的东西要伟大的多在这个意义上我觉得又生活了 [375:00] 我觉得上价值有道理但怎么样定义智能这件事情我觉得我不会想要去给他一个定义我觉得就是不同的动物有不同的智能然后人也有human level的intelligence对然后我希望鼓励大家的事情是说不要只关注那些我们每一个个体做不到的事情关注一下我们现在做的很好的事情关注一下一个四岁小孩或者说几岁小孩就能做的很好的事情这些事情其实是我们接下来事件模型需要着重去解决的问题所以这件事情也是为什么robotics是一个最后非常合适的出口因为在你谈论什么AGI这个super intelligence之前能不能先有一个足够reliable足够general robot能够在我们家庭的环境里面帮我去解决一些家务因为一个几岁的孩子其实能做很多很多的家务这个有一个列表你可以去网上搜一搜一个12岁的孩子基本上可以做所有的家务但现在到底有没有一个机器人能够像一个12岁的孩童一样去承担这些家务当然没有谭杰DeepMine谭杰他也说就是机器人发展是极不平均的极不平衡的他跟一个小孩的成长的轨迹是不一样的比如说现在机器人的四肢的发达能力已经比他强了已经比人强了但是很多其他能力都还不如一个小孩因为大脑没有人做大脑这件事没有人构欠机器人大脑所有的机器人创业公司包括在大厂的机型公司都没有去解决这件事情Deepmind不算吗Deepmind现在完全也是基于詹姆兰所以他也是在VLA的空架前去做是是是所有东西收敛到詹姆兰对但这件事情需要一个预训练的下半场按姚舜宇的这种经典说法我觉得需要下半场但我觉得这是一个预训练的下半场Jim Fanns其实最近也发表了同样的观点然后那这个预训练就是world model预训练这件事由谁来做这件事情对我来说是不清晰的如果我知道另外一个地方也可以做这件事的话那我可能真的还可以考虑一下我也不一定非要在现在这个startup自己做这个事对吧robotic startup没有任何的精力去做这件事他们需要把自己的资源投入到所谓的硬件skilling law对吧就是你需要买更多的机器人去deploy这些机器人然后或者在simulator里面去做这些这些invitation learning的方式能够让你有一个足够好的能够在短期内解决一些这种具体问题创造价值的这样的机器人的团队Pi呢PiVLA对吧派也是一样派我觉得已经是一个非常非常research然后做的已经非常非常不错而且有启发性的一个公司但again他们不会做预训练他们不会做pre training他们会会拿这个language model作为他们的foundation对吧你们的预训练下半场怎么理解就是他输入什么输出什么不知道至少第一步就是长期来看就是输入的是所有的像我刚刚说的连续空间高维度的可能有噪声的信号对吧那一开始可能可以还是video但我们也可能会有一些多模态的incorder去handle不同的这种除了视觉之外的信号然后输出的东西这是research的问题这是self-suppress learning的问题我不一定不知道但是对可能之后会更清楚然后但是这件事情我觉得肯定没有那么容易了但我觉得这也是exciting的地方就所在我还觉得挺有意思的因为我们第一次见面你就说You are not the chosen oneYou are just the normal one你为什么这么喜欢说这句话没有你看我这个一路我们也讨论了这些对吧这个成长历史我其实没有预料到我们会聊这些但是对我觉得肯定不是那种天选之子然后这句话其实也是我喜欢的一个球队对吧就是利物浦然后我是一个cop已经20多年了然后然后我觉得也有点气质相投然后最喜欢的一个教练是克鲁普Yorgan Klopp然后他其实是有点半开玩笑的跟大家说就当初另外一个教练穆里尼奥然后说I am the special one我是特殊的一个然后克鲁夫说I'm not the special oneI'm the normal one对然后我觉得这件事情一方面他自己又非常捧客他都是那种摇滚气质然后 [380:00] 然后他又经常跟大家说他觉得他在团队的定位就是一个电池的作用他希望能够通过自己的passion自己的能量去让其他的人给其他人的发电empower其他人对我也想成为这样的人我也想成为一个团队不管这个团队是在在学校还是在创业公司的一块电池我觉得这件事情其实不容易因为有时候每个人都会有沮丧的时间我也想多吐吐槽然后抒发一下情绪但我现在慢慢觉得在学校比如在学生面前然后在创业公司的团队面前需要能够有人有这种电池的作用或者说我觉得一样是一个巨大的电池它感召了我但我希望把这个电力通过我也输送下去你最近一次感到沮丧是为什么呀我天天都感到沮丧我觉得这个已经变成了一个这也是research的一个宿命吧我觉得大家这个对底色都挺悲凉的原因是research的求索的过程就是在一个暗无天日的这样一个地方去摸索的过程你看不见光亮的时候你总是会感到迷茫跟沮丧然后大家真正感受到这种快乐的时候无非就是你真正把东西做出来的时候但这一部分的时光又是非常非常短暂的可能也许只有5%10%凯明好像有说过类似的话所以长此以往对吧大家心理状态也很堪忧但我觉得还好我觉得现在这个时代我觉得还是跟原来不那么一样了我觉得现在会有更多的讨论我觉得这也是AI这一波带来的好处至少大家不会觉得自己是在一个优弊的空间里面独自的探索对吧至少大家可以刷刷小红书刷刷微博知乎看看大家是怎么讨论这件事的我觉得这件事情有时候还是挺解压的但有时候也挺增加压力的被人骂的时候你就不这么想你们公司有创业者人格的人吗有创业者人格一般还蛮乐观的我觉得样本身就很乐观非常非常乐观他为什么不是researcher的这种悲凉的底色我不知道因为他经历过悲凉然后成功了吧他经历过这个AI的寒冬然后告诉所有人他是对的你们是错的如果我经历一下这件事情我可能也没那么悲凉他还是蛮乐观的我觉得这件事情或者说他过去的这些经历也让他更有信心然后他经常说的一句话是这件事情跟过去Deep LearningNew Network发生的事情一模一样哪件事情就是现在World Model或者你不管怎么叫它现在系统现在智能系统搭建他说总有一小群人大家能够清晰的看见这个世界发展的脉络这个科技的进程但是他们只是一小撮人大部分人看不见对因为大部分人都在忙着做其他的事情那可能deep learning之前那可能就是做一些whatever其他东西那现在对吧你这个东西就是你可以不说了想想对然后我觉得他其实还是蛮乐观的或者说他有足够的confidence然后说我能看到的事情是重要的事情我能看到的这条路线是一个清晰的路线然后在这件事情上我还蛮相信他的你有怀疑过他吗我说了吗我质疑JAPA理解JAPA成为JAPA所以当然有个怀疑但我觉得对人的信任和对一条research主线的信任这件事情是需要时间的我前两天还在跟学生说一样每次出去给talk会给一模一样的一个talk就是他那个size也是说实话挺难看的对吧然后但是又有他个人化的风格就是风格跟design这件事情也很有意思有些东西本来很丑但你用的多了等到时间发生了变化它又变成了新的时尚但他每次给这样一个同样的talk但我最近体会就特别的为深我就说我这个talk已经翻来覆去看了至少十次二十次了但每次都有新的收获每次我都会觉得好像我更加understand他到底是什么意思然后这件事情的更加 [385:00] 不是因为我看了十次二十次同样的内容得到了这个新的understanding而是因为我自己在做我自己想做的事情然后我能找到就是我在看他套的时候每次都会去做这种翻译工作跟联想工作我会发现原来他说的这件事情在我现在的认知体系下是可以这样解释的它跟甚至现在的large range model的范式多模态的范式一点都不冲突所有东西一样说的话都可以被很清晰的map到我们现在在做的具体的事情上并且指导我们可以走出也许某种local optimum然后也许可以通向一个不一样的未来所以它变成了一个inspiration它不只是knowledge它是一个inspiration所以这件事情我觉得也很奇妙我们刚才聊了很多世界模型你对这个真实世界的世界模型有什么新的思考吗在过去一两年我觉得就是说这件事情一定要超过超出这种research的局限research的局限一定要走到真实的生活里面去然后要了解到这个真实世界发生的事情但是我觉得纽约很不一样我就每天我上班首先不用开车所以已经开始进入到从一个铠甲脱离出来进入到真实生活开始不行这件事情我觉得也有很多很奇妙的这种反应比如说每天有时候其实还是压力蛮大的有时候遇到一些事情还是蛮沮丧但每当我穿过从我家到我学校办公室会有一个公园叫Washington Square Park华盛顿公园然后里面形形色色的人什么人都有大家都在过自己的生活有弹钢琴的艺人有跳舞的有这个推着婴儿车的妈妈们有下象棋的老大爷然后有坐在台阶上什么也不做发呆的年轻人也有拿着电脑学习的NYU的学生那我觉得我每天最解压的时光就是这大概5到10分钟的路会发现这个世界比我们想象到大的多不是所有人都关心什么叫做AI他们可能不care这件事情然后他们有自己的生活这个世界很大但另外一方面也许AI在未来某一天确实会影响到他们的生活那我们到底应该做什么我们做一个researcher有没有某种社会责任但这个可能说的有点远了但我只是觉得多跟人接触多跟生活在这个世界里面的人接触让我对什么是AI应该怎么样去做下一代的AI会有一些新的认识于是这件事情正是伊莉亚当初给我打电话的时候她想要跟我聊的东西但我那时候还没有这些感觉有了什么新的爱好新的爱好在纽约吗对没有什么新的爱好我觉得我觉得滑雪算一个吧现在大部分时候可能还真的是没有时间但是在纽约的好处是你知道你出门之后就能够去找到找到一个新的爱好这件事情本身对我来说已经足够开心不管我也没有时间真的走出门去然后做这件事情然后有这样一个机会在这我觉得还是蛮不一样跟完区也很不一样能分享一下除了工作以外你有什么喜欢的音乐喜欢的书 电影喜欢的游戏现在啊这件事情还蛮难想一时半会儿我觉得还是通过AI来讲吧我觉得最近看了什么东西我想象啊我还挺爱看电视剧的所以可以推荐一些电视剧给大家看一看有个电视剧叫POI也是一个很老的剧Personal Interest这个很多年前看在那个里面大家讨论了什么是一个super intelligence你有一个好的super intelligence和一个坏的super intelligence他们之间的竞争跟对这个人类社会的威胁然后我觉得这件事情我就不剧透了但是还是挺多摩泰的而且这件事情 [390:00] 有可能有我觉得有一定的预言性我觉得还挺神奇的对本质上它就是怎么样从一个在一个核子里面的语言模型或者说一个可以写代码的这样一个agent一步一步跳脱出来变成一个多么太模型的一个过程我觉得大家可以看一看然后到后面当然还有我很喜欢的比如说像万神殿这也是一个我觉得是一个某种AI的预言对它是一个动画它的作者是刘雨昆他也是我的老乡然后但他也是一个当过什么律师当过马农然后最后变成了一个小说家的这么一个人非常厉害我非常敬佩他他的书我也很爱看对然后但这部剧之前也被Sam Ottoman推荐过所以很多人也都看了然后还有最近当然就是很火的同乐者叫做我觉得这件事情也是一个AI的语言现在有一点麻烦的事情在于这些流行文化被AI渗透的太多导致所有事情好像都跟AI有关系有点受不了但是作为一个那可能只是因为我是一个AI从业者所以有时候会有不一样的感觉但我觉得其实这些事情还是蛮有启发性的包括我之前说的这些科幻小说包括这些老的电影我觉得他们可能都是某种现实的预言但通常来讲这些影视作品都没有去指向到一个很光明的未来通常来讲结局都是挺惨淡的最近还看一个电影好像叫No Other Choice可能翻译过来叫别无选择朴三玉的一个电影然后他讲的也是AI对人的异化他全篇这个电影没有讲任何关于AI的任何事情直到最后但通篇都在讲因为AI的到来人到底发生了什么样的变化人的心态人与人之间的关系到底发生了什么样的变化我觉得这些事情也很有很有借鉴意义对然后说到电影最后说一句就是欢迎大家来纽约在纽约我现在以前我会参加一个电影节就纽约电影节会有很多这些电影可以看现在我会参加两个第二个是这个Roneway每年举办的AI电影节然后我觉得也很酷也很有趣然后要推荐的话跟我们刚刚说的这些事情都很相关的一个今年的得到他们大奖的这个AI电影叫做Total Pixel Space叫做中文可能叫做全像素空间Total Pixel Space然后对我也不去透反正这是一个很有趣的一个AI的短片然后他其实讲了很多我们刚刚讲到的关于世界模型或者说为什么人的intelligence不是只是简简单单的或者不是purely general的这种intelligence的一些argument我觉得很好玩我们的每一位嘉宾都会给我们的观众推荐一个人生之书就是希望它是真的影响过你改变过你你的或是什么呢书吗放哪儿你得让我想一想一本书我猜大家可能都经常推荐但这本书之所以对我的人生改编很大我觉得不能说对人生改编很大但是是我在本科的时候一个群体性的记忆大家会看这本书叫做记忆毕你有听说吗就是哥德尔巴赫埃什尔中文名叫记忆毕之大成里面讲了很多关于哲学关于数理逻辑然后以及这三个人哥德尔巴赫跟埃什尔一个数理学家一个音乐家然后有作曲家然后以及一个画家他们之间是怎么样能够他们到底有哪些哲学的共同点可以这么说然后这件事情很有趣是因为我们本科的时候这本书有这么厚我们组团在学习这本书这也是我们老师推荐的所以大家组团学习本书然后其实当初大家也看不懂但是到后面可能越来越觉得这件事情有点到了我觉得这本书我觉得如果没有时间去仔细看每页的话也可以稍微读一个精简版或者某种summary对它里面有些观点我觉得非常有意思然后还有一本书是 [395:00] 可能是本科的时候看的对叫做禅于摩托车背修还是叫摩托车修理Zen and motorcycle repair好像叫这个名字对然后这本书也是一个内心求索的过程他讲的就是一个人骑着摩托车然后有一个这样可能又剧透了有一个想象中的这样一个责任但其实这个责任就是他自己的投射我觉得我看这本书的感觉是我也其实并没有完全看懂他到底在说什么对但是有些书有些电影会把你装满有些书或者有些电影会把你掏空我看完这本书的感觉是他有点把我掏空了的状态然后让我感觉到了一些对这个说起来又虚了然后反正让我觉得到了让我感受到这个世界里面到底什么重要什么不重要对于你来说什么重要什么不重要我不知道我觉得永远在找这个平衡吧我觉得我觉得人与人之间的真诚的交流是重要的也许其他都不重要但我在某一个时间点上你要问我这个问题那可能我觉得我会说创业很重要会说research很重要但归根结底我还是相信人与人之间的交流这件事情很重要听起来你想做research也是为了交流对啊我觉得是啊而且我觉得research本身也是一个deeper connection吧这件事情其实我们在融资的过程中还帮到我们为什么呀就有一个投资人很愿意投我们然后他的原因是原因是他认识的一个很强的一个创业者也是一个研究员然后他说你们一定要投赛林然后我们不管以什么样的方式都要帮到他但我跟这个人只在开会的时候见过一次然后后来后来这个啊谁啊呃谁啊啊这个这个RobinRobin Ramahat就是他是这个呃Stability Fusion的一组是现在Black Forest的CEO的Flux对吧然后我觉得投资人跟我说说其实他之所以会这样就是这种信任关系是建立在你的学术工作之上的这种信任关系甚至有时候会远超于你真正的personal的这种可能大家通过你的一篇作品了解你然后这件事情会传承下去甚至可以走得很远你怎么看现在这个C-DanceC-Dance非常厉害C-Dance真的让我们今天的设置组的朋友也可以来讲一讲我觉得非常强然后我听说他们也是一个很大很大的模型而且是一个MOE的模型不知道小道消息是否属实因为在此之前我知道大家没有人能在这种Diffuse Model里面把MOE做Work如果他们真的能够做到200个Billion parameter并且是一个MOE的架构并且他们能够把这些数据吃进去我觉得非常了不起然后但是所有这些生成模型90%还是一个data问题架构不重要90%或者我再说95%吧都是一个data的问题他的data本身就多他的data本身多但多不够他们应该做了大量的工作去清理这个数据去做captioning去校对这些数据的分布他们diversityquality以及他们和语言的这个prompted alignment的程度我相信这里面应该有大量的人参与这个工作然后做了大量的事情对但是一旦你把这些事情做好之后后续的事情就变得简单很多但我觉得我觉得C-Dance很厉害我觉得包括Sara包括View想要超越我觉得不一定那么简单我们的工作室叫语言及世界工作室当你听到这个名字的时候你在想什么我看到你给我写了一句话叫放开威特根斯坦对放开威特根斯坦你这个结尾是不太好我又开始吐槽了没事放开威特根斯坦是说你不要大家不要拿 [400:00] 然后把他作为一个语言的边界就是我世界的边界的把这句话拿来当做一个LM或者语言决定论的背书这件事情完全是很离谱的然后同样的话也有其他的话比如说大家说费曼讲What I cannot createI do not understand这件事情拿来当做一个unified model的背书我觉得这件事情这两件事情都让我实在是接受不了第一件事情是什么呢第一件事情是维多根斯坦对吧他当初讲的这个语言的边界就是我世界的边界是有强烈的前提的他在这个Trakatis什么Logical Philosophicus里面讲的这件事情是说是说是说是说你的你的他指的语言针对的是可以被命题刻画了这个世界的边界对然后这件事情不代表General的整个我们所说的这个世界对然后然后所以所以这件事情第一就是他说的这个这个语言所以他说的世界本来就跟我们现在LM里面说的语言跟世界有区别第二维特斯跟斯坎在后期的时候已经完全推翻了自己之前的这个一整套的这种哲学体系他后来不再说这句话然后他讲的事情是语言其实是一个游戏所谓这种语言游戏这样的一个概念就说语言本身没有意义这些simple本身没有任何意义它之所以发生意义是因为它跟真实世界的实践发生了关系然后这件事情就很世界模型我们并不是说语言就能够去完完美美的去represent整个这个世界我们说的事情是说这个世界的实践这个世界的action决定了语言这个游戏它的内涵跟外延again我不懂哲学我也不懂维特根斯坎但我只是不喜欢看到大家paper里面开篇先拉一句话放在这儿然后我觉得这件事情不符合我的审美然后包括费曼的句话也是一样他说I cannot createI do not understand这句话本身没错但他说的这个create跟understand是说比如说我们有一个世界的我们要认识这个世界我们要改造这个世界我们要通过改造世界的方式去认识这个世界whatever他说的这些事情还是在一个真实的具体的世界里面要有某种action的即使是你是上课你去做一个PPT你还是一个创造的过程但现在很多人会把这句话拿来去做这种某种简单的unified system的一个背书这件事情逻辑上也是不成立的我们不能简单把create这件事情归结于一个diffusion model它反向传播的这么一个loss这件事情完全是离谱的对吧所以我不知道我觉得就跟我可能也是我小时候写作文这个名人名言用多了吧现在看到这些事情有点PTSD然后我觉得像凯明讲的大家可以多读读哲学我觉得这件事情还是蛮有意思的你一开始就说你相信命运而且越来越相信你现在感觉命运在把你往哪里推啊我觉得我不知道啊命运在推我吗好像也没有我觉得好像没有被命运推着走的感觉只是在下一次需要做选择的时候希望上天保佑吧这个世界是一个巨大的世界模型吗这个世界当然是一个巨大世界模型那你能预测命运吗我觉得不能为什么呀因为我们资源不够你需要用地球这么大的一个计算机或者说你要有一个有整个宇宙作为你的计算机才能告诉你一个关于生命关于宇宙关于任何事情的答案这个答案最后可能是42嗯