[10:00] 田渊栋: 这是我第一次产生‘想要把 AI 续写的情节直接存下来作为自己小说一部分’的念头。
[10:00] 田渊栋: 这是我第一次看见情节的互动和人物的细节展开，让我觉得非常有意思……这说明它的基模（Base Model）做得比以前好太多，对写作动机和深层次思路的理解变深了。
[62:00] 陈羽北: 如果 Scaling Law 是我们唯一的 Law……人类是比较悲观的，你既不拥有电力，不拥有算力，也不拥有数据，In the future 你将交出所有你的 Memory 和 Context，那普通人的价值还剩什么呢？似乎我们就变成被圈养的宠物了。
[52:30] 田渊栋: 难道我们要把地球变成一块巨大的显卡吗？
Original transcript
[0:00] Hello 各位好 那我们就谢谢大家对,然后大家好,我是硅谷101的联合创始人陈倩,欢迎大家来到我们的直播栏目101live,那其实呢这是我们第二次直播啊,第一次呢是上周,我们上周呢刚聊了AI和能源基建,我还说谢一阵子啊,过两周再直播,没有想到这么快,Gemini就发了,然后基本上呢我们可以看到所有人反响都是出奇的好啊,感觉这次硅谷的这个AI格局好像又有点被重新打了,乱的这个感觉我就觉得应该赶紧在直播一场来聊聊这几些大家使用Gemini的一个感受还有大家观察到最近一些模型的进展所以呢今天我们也非常的荣幸有一个非常豪华的嘉宾阵容那我们先来介绍一下今天加入我们直播的嘉宾吧然后让嘉宾跟大家打个招呼然后也说说你们的一些研究背景你们关注什么对首先呢就是我们的田日洞博士他是前MetaFair研究总监也是AI科学家那远洞跟大家打个招呼吧大家好,感谢陈倩的介绍应该说我在AI这块已经做了挺多的时间了之前也做过很多的关于大模型的一些工作包括reasoning,后训练和reinforcement learning这些方向在这之前,我这边做过强化学习的分布式系统来做训练围棋困难的一些实际的问题啊怎么样去设计这个行动空间和啊和创载空间让这个训练变得更加更加有效率啊另外呢就是我这边也在做啊对对神经网络的本质理解啊用线机制啊和那个打开模型的黑箱啊这样一些方向嗯好的好的感谢于远东待会呢我们又会主动的分析到你现在正在研究的方向那第二呢第二个嘉宾是陈于北陈于北教授他是加州大学戴威斯分校的助理教授然后也是ISEP的联合常识人于北跟大家讲招呼感谢今天的邀请,我很荣幸能有机会来参与分享。虽然这个topic不是我最擅长的东西,但是还是很高兴有这样一个机会然后我其实是看着田人栋学长的当年的博客入的这一行然后在这个过程中呢我也做一些白河模型理论做世界模型然后做这个最近也新入坑的一个就是real world robotics然后主要探索这其中的一些极限的一些不能说是理论理论问题但是还是希望给它一些scientific的科学上的一些解释和理解然后在这个过程中呢也参与到创业的过程中开创了这个在叫Aizip的公司做全世界最小最快最efficient的模型嗯嗯好的感谢于北那待会呢我们会聊到小模型还有一些啊word model方面的议题对然后啊下一位呢是Gavin啊Gavin Wang他是前Meta AI的工程师然后也是从事Lama 3的后训练多模态还有AI系统架构该晚给我们打个招呼大家好,谢谢陈倩,很荣幸能够和各位嘉宾一起讨论关于Gen9 3以及AI Frontier相关的一切我之前是在MetaLama 3干过一阵子post training相关的engineering和product实现今年5月20号的时候因为Clawed Code发布,发现就是Vibcoding empower me就是让我们可以做到很多以前做不到的事情所以我就开始做一些自己的创业项目,然后在这个过程中发泄了一些ping point,比如说我现在focus on the context engineering,就我觉得现在AI agent 的一个 main bottleneck is context awareness, we're not there yet,然后我就是主要technical技术路线就是做 context engineering, non-memory,尤其是 multi-model 的部分,并且基于此去 explore 一些新的产品的形态和策略,然后我们的,我的公司叫 Vibris.ai,然后我们的 mission是希望可以 close human AI的 attention, communication and the collaboration gap.嗯好的那今天呢我还邀请了一个这个资深的AI开发者然后因为我也想从一个开发者developer的视角去聊聊啊对最近这些大模型进展里面的一些感受所以呢我们就请到我们的老朋友Nathan对Nathan也跟大家打一刀骨吧好大家好,我是Nathie Wang,也谢谢倩和硅谷101的再次邀请。我个人其实是一个AI的开发者,我大概从2013年初的时候就开始做。
[5:00] AI 只能开发那个时候可能还没有这个Agent的概念但是后来也经过了挺长的时间然后也开始使用这个web coding包括现在这种AI coding的模式所以说我个人在平时工作和生活中也是用很多AI的工具啊然后也是跟Gemini各种大模型去打交道然后我最近在做的一个事情大概就是说每一周去开发一个AI的产品所以说我我也想突破一下个人加AI的一个极限然后现在大概已经做了15周的时间这基本上上线了15个产品所以说也是想通过这个机会来跟大家分享一下在从一个开发者的角度怎么去看待Gemini3这个大模型的发布好的那其实今天我们的直播呢会以Gemina3作为一个引子然后我们顺便也可以聊一聊就是这周密集推出的各种每天真的是被各种这个模型推出了新闻轰炸我们看到Grox 4.1最近发了然后GBT 5.1发了然后同时呢我也是想跟大家聊聊就是最近大家观察到的这些state of the art搜索模型的现状还有未来的发展方向与我们的嘉宾们也都是非常前沿的AI科学家们一起讨论一下除了LLM之外的其他分支然后最前沿的研究你们都在关心什么对所以我们先开头先聊聊Gemini然后我们再聊聊Beyond Gemini你们在研究的方向好吧那首先呢我们还是要说一下这个最近新放出来的这个Gemini Story反正我是看到各个社区也好媒体也好大家都是各种夸夸夸对那大家能不能首先给我们讲一讲你们的使用感受就是它真的如这种各种ranking上面的排行榜这种霸榜第一的这种好度吗那大家可不可以跟我们讲一下你们是什么样的感受它好在哪里呢要不然我们先从开发者的视角先从Nathen开始然后我们再去田博士预备还有Gavin那边好的我大概可以分享一下我这两天就是集中使用Gemini3包括他一系列apps的一些心得吧我大概是主要使用了三个一个是那个Gemini就他现在最主要的那个app然后使用他的Gemini3 Pro的这个model第二个其实是他针对开发者放出来的模型叫做Google Anti-Gravity大家可以把理解成就有点像是一个Google放出来这个Agentic的IDE就有点像Cursor或者Cloud Code的这样的一个竞品那第三个我用的可能就是这个NanoBalanda Pro也就是我今天才发布的然后大概会从这三个点给大家来介绍一下那我个人因为从开发的角度更多是关注于就是说这个模型的这个编程能力那其实我去看了一下它的这个benchmark的这个跑分啊Switchbank它其实不是最高的Switchbank最高的其实还是Cloud的Sony 4.5它其实是稍微低一点点但是已经是非常接近了这样的一个能力了然后我在使用这个整体的这个Gemini这个APP的过程中我发现它一个非常新的一个功能就是说你直接可以在APP在它的这个组的这个APP里面让它去编程然后它可以去生成很多前端的这种小程序然后包括像网上有很多人去用比如说它甚至可以去调用你的这个计算机的摄像头然后让它看你的这个表情然后听你的声音然后给到你一些的反馈所以说各式各样这种小程序在网上包括X上都发布出来我觉得这一点上来讲的话很多人去尝试怎么去开发一个APP然后并且很快的就能使用上去但是我觉得它Nimitation可能更多它是注重于前端那比如说像后端的一些部署啊包括在用其他一些Agentic的这种framework它可能没有办法是在它的主APP中完成那我觉得它第二步走的那个事情就是说它发布了这个Anti-Gravity也就是一个完全针对开发者或者编程人员的这样的一个Agentic的Ide那我觉得它的一个好处地方就是说他完全是希望这个AI coding这个agent能够非常自主的帮你去完成任务所以他在做界面设计的时候其实是分了两个大块一个叫做manager view还有是叫做editor vieweditor view就像大家可以理解成就传统的这个编程的这种editor你可以看这个程序他不断的这种修改的这个变化包括美国在做什么事情但是他只是针对一个agent去呃给你看这个给他干什么那manager review呢他其实想做这个事情就是说呃instead的让你只跟一个agent的工作你可以跟一系列agent可能比如说八个九个十个你可以不断的给这些agent的布置任务然后就像你是一个manager一样坐在那里然后看底下这些小弟在写程序然后这样的话你可能在做一些系统工作的时候就可以有更多的这样的玩法比如说你可以create一下agent帮你去review你的程序甚至有run一些unit test然后包括我觉得他最新的功能可能是其他这些ID没有的
[10:00] 就是他用到了他Gemini 3.0 Pro里面的一个这个browser use的一个功能我不知道大家没有用过那个Manus AIManus其实他很多就是based on这个browser user可以让大模型去使用你的浏览器然后帮你做一些操作但是Gemini这个模型呢它的browser user跑分应该现在是最高的它有个叫screenshot pro好像那个跑分应该是所有模型中现在是跑的significant的高然后我觉得它利用这个功能呢就是说可以让你调用它的那个Chrome浏览器因为Google也用这个Chrome它可以拿到底层的一些API然后让这个浏览器帮你去测试你这个前端的这个程序那这样来讲的话自动化了然后变成这个一体式的这样一种开发我觉得这是它一个非常好的一个亮点但是我在实际使用过程中其实还是会发现它在做这个browser user的时候有一些复杂的操作它是没有办法完成比如说你让它去上传一个文件去做测试的时候它很多时候就停在那的需要人的这种manual的干预那最后一个nano banana我发现它最好的一个功能就是说它可以去生成一些复杂的这种图片甚至是换灯片就比如说大家如果想要去解释说诶 Gemina 3.0 Pro它从1.0到1.5到2.0 2.5到3.0这个发展的这个路线是怎么样的然后每每一个模型它的特点是什么像以前如果你让Nano Banana去做的话它是没有办法完成整个这个逻辑面包括把它这个调理理得非常清楚但是现在如果用Nano Banana Pro去做这个slides的话它已经是能够非常好的完成所以说我觉得就是市面上可能那些做slides相关的这些软件可能都都要被这个Nano Banana Pro给取代了使用到现在三点主要的观察嗯好的那田博士对我这两天用了一下那个Gemini3对吧拿着把它我还没有用因为它还有个pay它需要就是你先有个pay project你才能进去现在还不能做到这个事情对我主要是拿来用来写小说吧就是因为这个也是我业余爱好对我一般来说一般新模型先拿来拿过来之后第一件事情是看他能不能做比较好的小说去写这是我自己个人的一个benchmark这个benchmark一个是它不会overfitting没有什么人会把它当成一个official 的benchmark 来测对吧所以这样的话这个比较客观然后另外呢就是说我有这个domain knowledge的话呢可以看到很多细微的那个变化所以这样的话可以反过来去大概看一下这个模型本身有多强所以这个也是一个比较重要的有意思的这样的一个活动嘛对吧我测了一下之后我觉得Gamilasci呢确实就是我感觉上它的基模应该说做的比以前要好这是一个很大的一个突破就是以前就是你把一部就是小时候也很短的一个片段放给那个模型一开始呢就是我觉得一年两年以前呢基本上续写的小说是不能看的就是说他只能续写成就是那种公文式就是非常的官方的这种口吻就是完全脱离了之前的那个小说的情境和文笔和他的那个写作的风格就是大概是一两年以前这样的状态不管是GPT4也好不管是LAMA也好都是这样子那么等到就是去年开始呢就是你会发现就是续写的质量开始变好了什么变好了就是他的那个文分和那个语言风格开始跟那个就是之前提供的那个小说段落开始开始那个开始那个match然后那个人物呢其实也开始有一定的那个连续性这个是一个比较好的一个进步但是呢就是还是不像是人写的因为有些时候你会发现写到最后他会说啊就是这个人内心想什么准备做什么就是有一种这种写法就是把所有人的想法和思路全部都写下来而不是说把它作为一个比较复杂的文学创作让别人去猜这个人会想什么所以这种文字一定要写出来之后就非常出戏就觉得这个回到了这个写功能的状态对那么最再后面呢就是说你可以发现特别是crowd的一些能力呢就是你会发现他开始写的时候呢他开始注重不不仅是主角而且还注重其他的配角和主角之间的一些互动那么这个时候呢就是他这个能力呢应该说比之前就是单写主角或单写这个环境呢要好一点所以你就会发现就是他这个模型能力还是进步一点点然后呢这次我看Gemina 3呢其实我其实有点惊喜因为他不仅写了这个人物的一些描写引用了一些氛围而且还能知道就是这些人在这个小说里面以用什么样的情节可以抓住人物抓住这个读者的心我觉得这很有意思就是说这个写法已经跟以前的小说续写不一样我以前在用Gemina 2.5的时候我会觉得就是Gemina 2.5它比较好
[15:00] 他文明比较好就是他会做比较详细的描写他对于这个场景他进来场景之后说这是一片废墟的他会写得非常细是什么地方有墙壁倒下去了什么地方建筑不行了然后整个环境非常的销索那么这个环境描写应该说JM2.5已经做得不错了这个相比就是XGBT来说他已经像个文科生写得很不错但是他情节上来说他比较平铺直徐应该说没有什么抓人的地方但Jimna 3在我用了之后我会觉得他有些情节的想法甚至是设置一些反转他这个反转很有意思就是说他确实是满足之前的人设而且他能够在这个人设上做一些比较有创意的这样的互动这个互动我会觉得很有意思也许我应该把它存下来也许我可以把它作为就是比如说我自己小说一部分我就产生这个念头所以这个其实让我觉得这个应该说是一个比较大的一个不同的地方地方应该这么说对所以我以前可能就是用小说用这个AI来续写的时候呢 我最多可能存一些它的一些描述 那么这些就是对环境的描写呢 它可能就一些词用的比较好 我可以把它存下来啊 但是这是第一次我看见就是情节的互动和人物的这个互动呢 它们之间的一些有意思的这个展开 让我觉得很有意思啊 这个是第一次出现啊 所以这是一个比较有意思的地方啊 那么从技术上来说呢 我觉得像这样的一个方向应该说不会是有特定的这个后训练的那个任务去做的啊一般就是因为这个模型肌模比较好所以他对这个小说的那个理解更加深入了那他对这个作者写这样那个写这样小说的这个动机和那个深层次的这样的一个思路展开呢他可能理解的更深了那么他就能够有意识的在这个续写中把这个把这个理解给给给贯彻贯彻下来啊有趣的这样一个一个一个一个结构那么另外呢我另外我就是大模型对我来说还有一个用处就是怎么跟我就是做brainstorming就是我去跟他去讨论一些有意思的那个话题和想法那么这一块呢其实我觉得Gemina 3可能还没有特别大的那个进步吧对之前我一直用的是GPT5我觉得还行他确实呢确实能给这想法但是大部分情况下呢就是基本上他跟我跟我聊天就感觉上他像一个刚刚入学的那个博士生什么东西都知道就是有很多时候呢他会跳出一个你知道一个新的一个想法新的一个框架或者新的一个数据工具你可以用然后说这个我们没见过这很好这个是很不错的但是如果对一个问题如果有深入了解的话他没有办法去做一些比较深层次的思考这个思考这样只有人才能做而且人给他一些比较好的建议跟他说这个事情你不能做你做另外一个那个东西是有前途的这样的话呢这个模型才能延任你想做个思路往下走现在我给他其实也没有做到这上面有什么突破啊还是跟原来差不多啊就是他做题肯定是可以他是一个非常好的做题家啊我相信那么多打那么多打分其实背后是因为很多人努力把很多人的题目都放进去给他训练了但是他并没有做到就是超越做题家的这个水平啊还是就是创造性的特别是对科研上的创造性思维还还不是很足吧所以还是还是需要人啊所以这个是我的现在的两点感觉啊这个是相当于是两这两部分应该说是对我来说是重度的那个使用的这个方向啊其他的像coding啊,像做那个程序什么的啊,我现在用的还不是很多,那我就随便,比如随便写了一些,比如说他生成一个三维的,三维是,地人设计游戏啊,那种first shooting game,他就是能写出来啊,当然我会发现,写出来之后才发现这个方向键是错的,就是你按前,他往后走啊,所以啊,当然这种小bug应该说不爱大事,但是啊,确实就是他这个降低了这个前端开发的门槛啊,很多时候我什么都不懂,我也不懂什么3D,什么D3JS,CVCJS这东西但是他就能够写出来一个东西是可以跑的这个我觉得应该说是对大浪的编程的程序员来说这是很大的一个便利吧我大概就说这么多好的好的就感觉他的这个 reasoning的能力还是有很大的增强的但是确实可能还不够对然后刚才那个袁东跟 Nathan都提到了编程嘛然后我也看到这个这个anti gravity是不是之前Winsurf团队做这个做的那么是不是这个收购还是收购的蛮正确的对那接下来呢那个问一下Gavin因为Gimney3出来之后呢我跟Gavin小聊了一下他就跟我说这边的3很惊艳的一点是在于全模态的这个概念那Gavin能不能跟我们来说一下这个全模态的定义是什么然后
[20:00] 你觉得整个Gemini是怎么在布局这样的一个多模态或者全模态的下一步的首先我改变一下就是 Google 大厂之力恐怖如斯,就是它有一个很完整的一个一个 ecosystem 就是 end to end 关于 AI 的一个 type stack然后我们先看就是technical wise,它foundation model的一些benchmark吧,就是我其实最惊艳的一个是Arc AGI 2,因为那个benchmark我之前稍微研究过一点,它是一个future learning,少样本学习,或者说也叫meta learning,原学习,它其实就是考验的,就是说我们现在更多的模型训练是一个大数据,就是说我们要有很多很多数据丢进去,但是就是Arc AGI的那个founder,他就觉得说这不是真正的智能,就是你是一个做题家,人的智能是说你就算是看过一两个例子,你也能够快速的获取某种某种pattern,那才是真正的intelligence。所以说就有了RKGI上一个benchmark,然后它的话就是Gendai 3可以说在RKGI上,这个benchmark上有了一个质的突破,之前我看他们缩长好像是百分之十几,或者说是个位数,它缩长百分之三十几,这样的话就是说它其实,光通过看一些很简单的例子和pattern就能够发挥出一个就是human reasoning capability我觉得这个地方应该是仰赖了它的一个multi-model的一个 reasoning capability因为之前的话我们的 reasoning model思维链我们看到那个channel thoughts就是模型在那里自言自语 对吧它是一个 single modality 它是通过语言的层面在自我的去思考去推进的所以我觉得这个地方multi-modality reasoning可能是对它有很大的帮助不过这个地方的话还是要请教天老师和陈老师然后another thing 就是它的 math arena apex就是它是对于就是数学啊就是基于符号学的一个一个表征啊做 reasoning也有一个值得突破我知道有些公司像啊就是XM然后那个Symbolica他们也在做这个方面的探索然后看到Google在这方面突破我觉得是very impressive另外一个就是像Nathan讲到的Screen Spot Pro那个东西就是我之前看过一阵子就他们有些做OS agent或者说browser agent他们是就是说通过一个vision model对于一个屏幕的理解然后呢更多的还是要把这个视频的理解这个东西屏幕去image进行annotate它以后扔到一个Json Blob里面去就它有一个它是有一个structured representation是给language model去做一个resigning因为真正的那个resigning capability在language model里面那现在的话相当于就是它能够在模型本身仿美式模特本身就一边看着那个屏幕一边就在语言里面进行理性我觉得这个地方就是impressive就是我知道他们那个就是Multi-model的这个这个pre-training已经从之前的那个glue era就是说就是我一个language modelarchitecture和一个image或者video architecture拿过来我做一下alignment就是中间加一些adapterembed的这个alignment现在的话就是说他们是全部放到一起 Mesh up together给那个模型去做预训练所以说这些大模型尤其是GMD3它效果其实很好的它是model native一个multi model就是和去年我们说的都完全不一样所以这个地方我觉得它就opens up a lot of doorsa lot of new opportunities去年的话还有就是我有一位很尊敬的前辈他跟我说这个model这个东西吧就是文科生 艺术生他给你generate的那个图片出来吧一个人有六根手指because it's trained on pixel by pixel, right?就是他其实不知道就是人占有生物是应该是只有五个手指所以就他并没有一个像我们人一样去基于 causality 或者说是 common sense physics理解他的能力但是现在从 Gemini 3 就是就是他可以 self-beli-t of 一个角度来说那因为这个情况我昨天跟 Gemini 3做了一些讨论我说你为什么那么厉害能不能告诉我他跟我就是破吸了一下就是讲到就是他们里面其实采用一个tree of thoughts就是因为我们之前都是channel thoughts就是从软件工程的角度来说它是一个线性的一个推理的一个链表但是GMI3的话它actually它是一个思维数就是它其实是有多条思路并行的并且在model内部它architecture就是一个self reward就是它里面是打分就是说threshold然后哪些思路我要drop哪些思路我要adapt这样有状态就是说Foundation Model它上面还wrapped一层Engineering的wrapped就是说像我们传统的说search对吧就原来你就是一个linked list现在我是一个search in a tree然后我可以从这里面寻找就是我觉得真正那个就是就是好的思路我能够给你一个validation那这个东西就跟之前的另外一个philosophy就趋势是吻合了所以一开始的时候我们是prompt engineering后来我们要做context engineering现在呢我们要做environment engineering这个东西它那个Google Gemline已经adapt了就是说我有一个engineering environment去给你很多的feedback 让你valid你现在在推演的这个东西是不是make sense这条思路还有没有必要搞下去 首先它是一个performance的优化
[25:00] 其次它的 accuracy 也有了显著的提升对我来说最惊喜的部分就是说我们竟然可以就是说engineering 和 model 和 science 结合起来然后我们可以继续去突破这个 scaling law 的一个壁垒因为之前就是我们完全的去 vertically 的这个 scale就是 foundation model 本身可能就是它已经遇到了一个瓶顶一个 bottleneck但是现在他们相当于就是 adapt the mixture of expertsMOE 的那个 architecture 以后它又能够 model 本身能够 horizontally scale同时呢 engineering 又可以让它就是不断的能够 self-validate所以说我觉得就是technical wise的这个不能不压于30前的那个GPT时刻对于我来说另外一个呢是就是Google他们却真的是就是全家桶嘛GAML i3全家桶它又是就是Nano的那个Pro也出来了然后那个Coding的那个ID也出来了直接对标那个Codex加Cursor就是它首先前端它一边看着那个网页一边跟你编程一边看着那个网页一边跟你编程这个体验我认为是就是完全Next Level的像伦伯伯啊,Vigma这些,还是说他是个Chatbot但现在的话它真的就是说至少就是在视觉效果上它的那个attention跟the align on the same page这个就是因为我之前也做过一些类似方面的探索和尝试然后Google这个一做的话我觉得这个方向没什么好做的就等着那个Google给我们包园了就完事所以我觉得就是它Google有个很完整的一个产品的生态ecosystem然后让它有足够的problem space去 iterate它foundation model的能力并且去验证去提升就是yeahI'm very impressedand glad that's happeningGavin的评价非常高啊我这两天在那个一些社交媒体上面看到很多人得出结论说coding之争已经结束了然后你们觉得这对比如说Cursor跟Devon来说意味着什么首先第一个就是说这个不一定是对的因为现在很多demo是一件事的我给你一句话然后它出了一大堆的那个程序大家看了更多的是那个程序本身的这个完整性和漂亮程度对吧我觉得这个是他们看的但真正写code的人呢其实他们更关注的是这个模型是不是能够做比较好的instruction following就是说我说我就要希望这段code改成我想要的样子或者说我要做一些非常细致的事情希望这模型能够follow那这个东西行不行这个要看就是之后大家的就是更深入的这个评测吧我觉得所以不一定是比较就是说这个事情可能还下军了还下来还比较早对我是看到网上是有人说introfollowing不够强Gemilai 3对这个不是很清楚但是可以再过个一阵子看看大家的想法是什么对Gemilai 3的话但是就是coding的话it's a much more complicated engineering problem就是说现在的这些大文明都是写写前端可以因为那个东西非常简单但是说后端的话还有一些我觉得现在还缺了很多modality这也是为什么我对于那个动物他这么感兴趣就我觉得你后面的production log啊就是还有很多一些就是你code真的跑起来以后你code index这些东西都是些signal他可能就是说不一定是按照现在这样就你静态的去读code的形式给model做一个理解对有很多的具体的use case就是说你真的拿它来做codex或者拿它来做一些具体的reportive的一些task的时候其实很多task是非常琐碎的有很多的coner case不知道他们解决不了解决不了这是个问题对这可能又到说到这个模型的rebutness就是于北非常慎长的方向那于北来跟我们说一下你对这枚Gymnet3的观察我其实不敢说我对RubusSense的战场有一定的在团队中有一定的这样的经验然后其实今天我要坦白的讲就是说GIMI 3出来我最近比较忙所以我其实GIMI 3还没有来得及用上一下然后所以我今天就赶快找不同的小伙伴然后AZB的各个组然后去看一下大家的使用体验然后所以我今天讲的所有的东西基本上都是二手的但是我觉得可能有一些有用的一些feedback可能是有价值的然后首先是我觉得是一个它的优点然后我发现大家普遍的这次反应就是说G9SN发布以后呢在General的这个问答以及General的这些Agentic或Resening的部分呢大家都反应能够回答到大家的心头好笑了因为在2.5的时候呢,大家在使用的时候总是觉得它的hallucination非常强,然后经常回答的就是觉得回答不到点上。但是这次Jimny3发布以后呢,我听就是好几个组都大家都反应,就说这个觉得Jimny3的话,他觉得这个可能pre-training或post-training全都做得比较好。
[30:00] 然后所以这个这是回答的呢不但简洁而且准确度还觉得挺合理的然后这是我觉得是一个比较优点的地方然后呢紧接着呢就是另外一个early的feedback就是说来自于这个Vision组Vision组的他们做了一个早期的内部的一个测评就是用内部的一些benchmark做了一些测评然后呢反馈反而是negative然后就是说在GIMI 3的时候在real world的visual understanding反而下降了然后但是呢这个是一个非常early stage的因为benchmark的级别比较小所以它的variance可能会比较大所以不敢说一定是一个conclusive但是毕竟是一个很早期的嘛然后所以他们去看了这个测评原来的GMI3的这个测评报告然后就发现在GMI3的这个测评报告里边真正涉及到real world就是涉及到visual understanding的这个benchmark只有一个然后而且还不是真正的real world的visual understanding或者video understanding这一类的所以说不排除这个所爆出来的这种improvement里边有一部分的重要的一些task没有包含在里边然后所以这是从Vision这边的一个反馈然后呢不好意思对我稍微打断一下你说的这个real world那个Vision understanding主要是测的它什么能力啊能不能给我们的比较小白一点的这个观众们稍微大家解释一下就是说这个就是涉及到就是当你使用摄像头在真实世界的场景啊比如security camera等等一系列的这种场景下你要分析用户的行为呀然后有没有一些事件的发生呀potential的一些risk啊或者有一系列的这种我们涉及到这种现实世界中我们部署的这种摄像头门铃的一些等等的就是各种各样的这种场景下的一些分析的话然后反正就是说在小范围的这个benchmark上发现它性能下降了然后但在这里边呢反而它的 reasoning的长度上升了由原来的基本上上升了两到三倍3.5倍两倍到三倍吧这 reasoning长度上升了两到三倍但是实际的在小范围的benchmark上下降了但是 again这个是一个小规模的一个benchmarking然后小规模的benchmarking的话它的variance可能会比较大所以你不敢说这个就一定是一个客观所以我觉得需要更多的一些测评就是从不同角度大家的测评那由此也其实也引出一个问题就是说我们其实这是我们讨论的蛮多的最近一件事情就是说在工榜上的一些benchmark有时候未必能反映实际产品中的一些性能因为真正的产品级的这些team的他们的内部都有自己的测评的这种measurement然后这些measurement呢其实是很重要的一些指标因为你如何来优化模型很多的时候是依赖于你如何来measure it那么如果我的measurement就是就比你更贴近于实际或者更好的话那么无论你如何优化那个在工榜上的这个task的话有可能会走偏因为它的gradient错了嘛然后所以这个可能也是OpenAI像其他的一些team他们也有的一些优势我觉得可能大家的benchmark内部的benchmark和外部的benchmark未必是一样的这个需要更多的context来建立一个更好的一个measurement然后再者呢就是language组这边的一个反应就是说觉得在这个虽然这个Gimini3有一些有很大的提升然后呢但是涉及到这种反复的multi-hop然后涉及到外部搜索然后aggregate就是说整合信息的这种就是要搜索然后比如说我要分析这家公司20年的这个财报里边的一些问题然后我要做这样的一个比较复杂的搜索任务的时候呢JMX3它的performance似乎还达不到就是这个ChalligPT Pro的这个能力但是智明代三有一个好处就是说它的速度非常快然后对于一些更为简单的一些Task的话,你可能不想等上好几分钟,然后让它去做那么长的一些这个 reasoning。然后所以就说从一些比较常规的问题上大家可能更prefer来使用GMI9 3然后涉及到复杂问题的时候有可能还是会想考虑使用到GPT的Find Pro然后再就到下一个Task就是说这个就比较subjective了就是
[35:00] 在这个Scientific Writing因为我们要写Scientific的文章然后学生的反应就是说感觉Scientific Writing上面呢反而性能也下降了就是说不如这面在2.5的效果好然后但是这个都有可能是没有用对啊然后还有就是做这种不是外部扣定但是就是说辅助扣定的时候接入GMIX3的时候似乎性能也下降了然后所以就是在如果你问他们是用GMI 2.5还是用GMI 3的话大家反而在使用GMI 2.5进行coding但是这都有可能是一个新产品发布之后呢就是说你没有通分就是能够合理就是把它最大的优势发挥出来或者使用正确导致的所以这些结论都是比较early的所以只是一个早期的一个分享但overall大家还是觉得这一次的Google对于Skilling Law的执行较为彻底就是说在似乎在这个当然也有他得天独厚的优势了然后反正就是说这是大家给我的一些信息然后我就把这个二手的信息传递给大家好非常非常好我觉得给出一些不同角度的反馈跟测试非常的有价值跟有意义但是就像于伟说的可能现在刚放出来没几天大家都还是在测试的一个阶段但它真正的到应用上在开发上能够带来多少的robotness跟稳定性我们可以就是再等两天然后再看一看这个开发者社区的一个反馈那就接下来对于Gemini我还有一个问题就是说总体来说就是谷歌现在从一个追赶者的这样的一个角色现在差不多齐评或者是已经超越了比如说可能还有一些最SOTA的一些模型那我想问一下就是说就是这次大家怎么去理解就是谷歌在模型上面的优势呢还有就是它的优势是不是它的生态还是说它的算法还是说它的多模态因为我看这次Gemini的这个项目负责人自己透露说啊那Gemini3它的秘密就是改进了预训训练和后训练那么这句话意味着什么是不是可以理解就是scaling law不像我们之前说的已经壮强了而其实算法优化和改进空间依然还是有的啊我想听一下大家对这样的一个结论有什么样的看法谁想先来那我们从这个田博士开始对当然了就是说这句话说预训练和后训练都改进了这句话其实是废话因为有点这样子对两边肯定都会有一些改进吧然后比如说数据可能做得更好了肯定会有新的架构啊对吧然后训练的那个各种的稳定性资料增强对吧然后后训练各种任务完成的好还是不好就是或者说reinforcement能不能更加skill up这些东西都是一些一些一些比较细的东西吧对吧就是每部分都做的挺好的模型做得更好这个我觉得是没有问题的就是本来是有一个工程上的就是这本来就是工程上的那个challenge你把每一部分都做到非常好比原来更好那最后模型会变得更强但是就是我觉得很好奇的是就是他的训练是有什么样的那个secret就是怎么样能够让预训练变得更强我觉得这个应该是很重要的因为预训练很强的话呢很多后训练的问题其实就不是问题会比较容易解决基本上是这样就是预训练就相当于是一个就是把一个那个模型变得很聪明那么他很多后训练的那些任务就很容易就学会了并不需要花很多代价去教他如果预训练不行的话呢后训练的问题就是就是你必须花很多东西去教他然后教他就他不会就像他教一个比较笨的学生一样的是这样子一个风格但是如果聪明的学生呢就是给一些样本他就马上就通了看现在这些反馈的结果我感觉上是它的预讯量是比较好的所以很多事情就是它能够一通百通或者说是比较容易的能够做到比以前的能力更强应该是这样的一个状态大概是这样预讯量里面就是一个是架构一个是数据两边如果做得更好的话那当然模型会变得更强当然还有一些传言说就是Google修掉了一些以前的那个训练的bug对 当然这是传言我也没有办法证实它正式性是Norm干的吗说Norm回去就把Gemini bug修了Gemini就好用了我不知道,这个都是传言。谢谢大家
[40:00] Thank you. - Okay, Gavin. in orchestration layer in the josh prompt. This is echoed to Ben Cali, we talked about the word. Every new version launchers, the agent performance will be reduced. Because in orchestration, the prompt is used for the previous version. It doesn't work very well for this version. It's not the same thing to embed in the default, the heuristic search space. So I think that it's a good thing to do with the web. So it's a very good thing. So I think that this is the bottom-neck, but agent is 把一些以前大家已经在做的事情去 automate 就是这个蛋糕并没有去做到 所以说就是job positions可能是在变少 And I think it's just like we need to create new business models, new product shapes, new job positions in a different way. For example, like coding this part of the web coding, it's like Plantia, they've been created a new form of forward deploy engineering, right? It's the engineer, it's about commercialization, it's about commercialization, it's about the product, to the product, to the product, to the product, to the product, to the product, to the product, to the product, to the product, to the product, to the product, to the product, to the product, to the product, to the product, to the product. I think that's the strategy I think is... I hope to see more of these strategies to come up with... Just to let everyone with... The "says" of the "says" of the "says" of the "says" of the "says" We should build a small ship in the "says" of the "says" of the "says" We can build a higher level of the "says" of the "says" of the "says" And I think that... If the "says" of the "says" of the "says" Nathan, you have some additional? Thanks. 对,我可能补充一点就是说, 我其实觉得Google整个这个Gemini模型的生产业从1.0,1.5,2.0,2.5到现在3.0, 我觉得它一直做得比较好的一个事情就是它一直在坚持做多模态这个事情, 其实我仔细去查了一下, 其实它在1.0的那个technical报告的时候就已经写了, 他们已经开始使用这种native的multi-modality的训练, 也就是说把这个文字,图像,视频,包括声音都放到这个embedding这个system里去进行, 一系列的这种 pre-trained 只不过当时可能效果不是特别好 然后到1.5的时候 他已经开始在用MOE了 然后到2.0的时候 加上了很多这种脱靠的这种 improvement 因为那时候agent非常火 然后到2.5的时候 也就是Deepseek发布 Deepseek是比他早发大概三个月吧 然后他是在2.5的时候 去上了这个thinking mode 就是raising mode 我觉得应该也是借鉴了Deepseek 当时的那篇报告 然后很快的去迭代出来了 然后到3.0的时候 其实我也跟 Gemini去讨论一下 为什么你这么好用啊 然后得到结果 其实跟那个Gavin刚才说的很像 他刚讲的那个 decision tree的那个概念嘛 然后当时 Gemini给我的那个答案 他也是说叫做 他说一直说 我们用了叫deep thinking的 这样一个mode 大概就是说 我们去试很多多轮的 这样的步骤 去得到这样的 尝试得到这样的结果 可能最后我 比如说我把一个问题 run了十几次 然后得到十个不同的这个方向 然后最后我会去reflect 然后去思考说 哪一个可能更好 然后在得到这些结果的时候 然后我再去生成最终这样的结果 我记得Yan Le Quint 其实在一年前的一个讲座的时候 就提过类似上概念 他也讲到在Embedding System的时候 如果是想train一个很好的Wall Model的话 你其实也是需要让这个模型 可以有各个思路的去思考 然后找到一个最好的这样的思路 而不是说在最终结果的时候 去完成这个事 而是在整个Embedding System 去完成这个事情 所以我觉得就是说 是不是他们也接近了Yan Le Quint 当时的那个想法 这个可能不表 然后最后一个我其实想讲的 I went to look at the API, the API's API's dock, and I found a little bit of a light. It's a way to go. It's in a case where you write a list, and you can write a list.
[45:00] 变成google就是可能呃非常重要的其中一环我后来就是突然联想到我现在在使用这种大语言模型的时候我会做的一个事情是什么比如说我想让他帮我写一篇很好的这个推特post我一开始会跟这个模型讲说你帮我到网上收搜索怎么样写一个viral的推特poster然后帮我把这些资料收集下来然后整理好然后根据这些learning你再根据我想要写的那个内容帮我把它adapt这些东西所以我发现就是这个context engineering我在想说谷歌是不是也在train的过程中通过一些数据啊或者或者通过一些思维链可以让它自动产生这样的一个行为包括谷歌自己其实它的这个做设置其实是非常强的嘛是不是它在这个模型使用这个过程它已经可以自动的去抓取这些信息这个私人店和这个context里面去然后最后再生成这样的结果也相当于说每一次我去生成一个response的时候我都可以去抓各式各样的这种context然后再完成这个我觉得这样的话其实我个人就是手动这样去做使用的效果其实就已经非常好包括我可以让他写出来比较好的比较viral的一些ex的这个post所以我觉得这一点上是不是谷歌也这地方包括从他API的这个彩蛋里面他也提到这个context handling我觉得可能也是下一轮模型训练当然这个我是一个外行来去讨论这个我觉得各位可以再再补充一下我想要先说一点就是一般来说你最好不要问模型它是怎么做的因为它会hallucinate对所以一般都是看那个具体的文章看那个模型的这个model card去看就是它这个模型怎么做的对如果他跟你说他是用tree of sauce做的他不仍然有tree of sauce他是hallucinate出来一个tree of sauce所以这个都是这个都不是那个真实的这个新闻另外我觉得因为我也知道Google文字行的Google很多人对吧所以他们自己有在2.0的时候已经有thinking mode了就比如不是说是超了DBC然后他们做起来这个不是这样子他们有自己的那个他们有自己的原创性的能力对对当时Danny Joe就有一些那个想法吧对然后他们整个team把这个thinking mode做起来对所以我觉得应该说还是有很多的这个原创有很多的原创性的东西都是从古古来的对对对Google的人才储备这一点真的是非常非常强的对于辈你有什么要补充的吗这个问题这个里面 again就是这次的这个想法呢其实还是从传对其他小伙伴这得到的然后尤其是这个问题我认为我觉得Brian Cheng我的一个好朋友然后他的一个观点我觉得非常的有意思我也比较认同然后就是说很显然就是Google这几次Jimmy Night的迭代其实也体现了Google可以actually correct之前的一些问题对吧那显然在这个不见在AI上已经赶上来了尤其是这次Gemini 3发布以后呢我们确实觉得他确实比较极致的在执行这个scaling law那加以时日那可能也可以达到OpenAI的这些performance对吧哪怕今天不到当然GIMI-9 3有一个GIMI-9 3 Ultra我不知道还是在不在啊但是我这个完全没有信息那我这个就不comment了但是感觉上就是说这个假以时日确实可以赶上了那么这里面涉及到一个底层逻辑就是说Brian提出来的一个观点我认为有意思就是说为什么Google更加ready的可以去执行彻底的执行这个scanning law反而是来自于它硬件上的优势因为只有它的TPU是完全的软硬件整合在这种大轨的方面的软硬件整合然后呢那如果我们看NVIDIA的硬件的话它的margin有70%那也就是意味着这使得没有硬件能力的AI公司它不具有这样的一个economics可以坚决的来执行这个scaling law然后那Google呢它具有这样的一个硬件的一个优势然后它可以坚决的执行在更大的模型更多的training然后呢其他的比如说post training一些data的一些curation等等的比较更加expensive的这种multi model的一些都是following就是因为它的这个底层的硬件能力使得它可以更加坚决的执行这个skinning law所以会对其他的团队提出一个比较大的挑战安泽朗比克是不是应该没有自己的硬件所以可能就意味着就是硬件的限制是和主流硬件的margin的过高导致于他们在执行坚决执行skin law的这种进程当中会受到阻碍主要是上一个经济上的一个问题这可能也对大家挑
[50:00] 一个警钟就是说大家对硬件上要重视然后这样的话才能再把这种Skilling out再坚持的执行下去然后当然NVIDIA如果要它的margin降到比如没有margin的话那也许大家就不存在这个阻碍了当然这只是说对于scanning load的一个角度那么overall我们还有一个感觉就是说在multi model尤其是涉及到visionMulti-model的scaling其实不会像感觉上没有像language一样简单然后就是说我们想要的从language这边获得的这种scaling的这种效果在vision上出现的较慢所以这也是Multi Model上的可能面尤其是涉及到Vision的一个挑战吧这里面很多的一些观点我被Bron成inspire的所以我也给他打一个小广告就是Bron今年要去UCSF的Biophysics要当教授了然后如果屏幕前有其他的小伙伴要申请PhD也欢迎申请Bron的组合我认为Bron是一个非常weird的人然后他很original那我觉得这样的人我竟然能可以被他inspire然后他也在AZV一起我们一起来做一些事情所以我觉得就欢迎大家申请这个Brian的组太棒了太棒了下次那个请Brian来上我们的节目然后跟我讲讲他在研究什么对非常感谢各位然后我们最后还剩一点时间我来想来聊聊除了这个大元模型之外然后大家正在研究什么样的东西对因为我觉得就是现在虽然就是大家说或者是执行了scaling law把他的这个frontier再push往前了一步但我们看到在硅谷呢其实有非常多的团队还是在探索一些特别非主流的一些去达到AGI的路线这些非主流的小团队呢在这边被称为NeoLab那最近我看到的Information其实就有篇文章说这些NeoLab最近的融资呢也是非常受到这边风投VC的追捧的那比如说在过去一个月就有五家的这个Neolab的出售公司就达到了高达25亿美元的这个融资啊,这包括了比如说Reflection AI,然后他们是有两名这个Deep Mind的研究员出来创立的,然后想要跟OpenAI还有Anthrobic去直接compete这种避免路线,然后他们是想要做开源,那可能还有一家叫做这个Purotic Labs,研究负责人叫Lean Fedders出来创立的然后他们想做的是AI自动化科学研究呃以这个为目标想要去探索这个低能耗超导材料的这个探索领域所以我们可以看到一些垂类的小模型的非主流的这些模型的派系出来那还可能还有一些派系跟实验室包括伊利亚苏塞凯伯的Safe Super Intelligence还有Mira Murati的这个Thinking Machine Lab等等等等所以呢就是接下来一个问题呢我还是想问一下各位说大家看到除了LM Scaling Law之外的AI发展趋势特别前沿的那些研究有哪些是值得我们关注的那我们先从田博士开始好不好因为对最近田博士也是发了论文然后再描述这个AI在论物还有可解释性方面的一些研究对我这个是这也是我一直以来的一个坚持的一个方向吧对吧就是我个人一直觉得就是Skin Law呢它是一个很有意思的实用性的一个方向对吧但是总有一天你会发现这个地球上所有资源都没有办法满足这个计算的需求我们是不是要把地球变成一块巨大的显卡这个是一个很大的问题所以就是如果它的横轴是指数的然后纵轴指线性的话呢很难真的是去维持这个Skin Law的经常运转应该是这么说对如果就是回到以前的这个技术学期的这样的犯式呢大家可能会觉得就是你用指数级的样本获得一个线性级的那个效果的增益呢其实并不值得称道因为其实这是以前的研究员的一个想法因为就算是你用这个Nearest Neighbor或者说你用这个Sepernal Backstern Machine就直升级来做他都能做到这一点其实就意味着就是说我们对这个世界的结构无一无所知,我们只是说希望这个模型去把这个结构学习出来,用这个模型的结构的学习呢,然后代替人的去人的想法,是这样子。当然就是因为现在这个模型越来越强呢,就是它每强一分都能够让就是世界上的很多的工作变自动化,所以它本身有自己的意义。所以这个时候呢,就算你对显卡也不是,
[55:00] 不是什么坏事但是作为研究员来说我还是希望就是有一些对这个世界本质的一些理解吧所以这一块呢我觉得应该说是一个比较有趣的一个方向就最近我这边也做了一些工作比如说就是探索神经网络如何产生涌现的这个机制这个你们知识怎么学出来的它的学习能力它的那个知识的那个表示是怎么怎么怎么达到的我们经常说这个母型神经网神经网络的表征很好更好的内部的结构让这个模型变得很聪明这样的话它的后训练能够做到更加有效率所以这些东西都是一些比较虚的或者说比较高层次模糊的概念或者有人说神经网络是来压缩的比如说像伊利亚说的就是压缩数据压缩就是智能但这些话呢其实应该说是就是比较高层次的这样的话那具体的就是什么样的数据能压缩就是什么样的数据能压缩什么样的数据不能压缩比如说如果是压缩有智能的话我们不能用亚速软件来做亚速软件也可视不定产生新的智能但是其实亚速软件并没有产生智能产生智能还是神经网络所以应该说是这里面到底是什么结构导致着神经网络有很好的放化能力我觉得这个是一个非常重要的一个方向所以这个方向我觉得应该会见识下去做下去然后当然了就是现在大元模型那么有效果那么有能力的话其实传统的研究的思路也是需要与世俱进的怎么样用大元模型怎么样用现在那些工具把研究的过程进行加速然后怎么样研究变得更加有效率我觉得这是一个很有意思的方向其实可以继续做像其实今天是应该说最近SML有一个review process然后今天也是rebuttal的一个deadline或者说是今天晚上还要做些东西就是我就觉得我在做就是给自己的文章做实验的时候你会有效率是成百上千倍的提高非常非常快我已经有个想法其实这个想法可能20分钟刚刚提出来然后我直接在cursor里面写我希望这个代码改成这个样子然后我就三分钟之后代码就写完了然后你就可以直接跑然后直接把效果给做出来然后直接图全部给你画完然后你看一下图你就知道了我这个实验怎么样所以我觉得其实应该说是这个效率的提升是难以置信的我觉得这样应该是可以提高整个AI研究的速度如果以后AI研究的速度更快的话也许对于整个问题的理解对于神经网络本身的机制的理解应该会有更大的突破所以这一块我也在继续在努力的进行中我相信总有一天我们会知道为什么我们的神经网络能做得那么好也许我们能发现完全不同的算法这个算法已经用了很多年了也许有一天我们突然意识到也许不用T-T-R酱就能得到更好的效果那么如果是这样的话呢那会有很大的范式的改变我觉得这个是一个很有意思的方向可以做下去所以可解释性感觉也是你非常对对对这个是应该说是就是我一直以来有一条比较大的一个方向是做这个有很多的理论工作然后这些工作中泛化出的一些实际工作这个实际是我这个做研究的一个大大方针因为如果没有这样一条主线的话呢就是其实可以有任何的工作都可以去做但是你能不能做到比别人更好能不能做到比别人更深入主要的原因还是要因为要有一个就是对这个问题有深入的持续的一个探索那么有一个更深入的理解之后呢再反过来去反馈比如说更加偏应用的这样的研究这样的话呢应该说就是能走得更远对其实可解释性模型的研究我觉得有几个大厂都在做嘛Mopen Air他们其实内部其实也有组在做这个事情那更别提Andropic他们号称就是他们想要做这个可解释性模型起家的你觉得就是现在大家做的方式有什么样的不一样然后哪家其实是做的最前沿最好应该说这个方向本身还是很多人在做对吧但是目前大家的主流的方向呢还是说我神经网络训练完了然后呢我把神经网络拿出来之后呢去研究里面的这些神经元之间的连接然后他们内部的那个学处在这个承重是多少然后做里面去找到一些比较有意思的结构这是一种就是这种一般大家叫mechanical intervabilitymechanical intervability就这样的一个方向那么这个方向呢其实一般来说就是需要做很多的实验然后在纷繁复杂的这个实验中找到一些有意思的规律这是一个
[60:00] 一种做法那我这边的做法其实不是那么像就是我可能更多的是一个从第一性原理出发然后就first principle出发就是我知道训练的模型的过程呢是一个Tipshaw的一个优化过程那么根据这个优化过程呢我们能不能得到什么样的有意思的结论那么这个结论呢是不是能够被那个实验所验证那么这样的话呢就是如果一旦找到了一个有意思的这个数学框架那我就可能解释很多的这个实验上发生的事情那么这样的话呢这个效率应该说是比就是纯粹做实验发现然后从实验中用现在的原来的效率要更高一点这个是我的一个想法当然这个方面很难应该说是非常非常难因为首先神经网络的数学结构是非常复杂的有很多人在上面做了很多很多的工作然后也没有特别多的特别大的进展吧但是我相信就是如果现在有更好的工具比如说没有拆了GPT对吧这个软件工程的这样的一些AIM的这样的一些帮助的话AFO固定的帮助的话其实这个进展应该会更快一点就是我相信就是一个非常优美的或者说是那么有效果的然后用那么简单的规则训练穿的模型它为什么会有那么效果其实一定是会有一个内在的数学上的完美的或者比较美妙的一个内核这个我相信是一定会发生的只是说这个问题很难我们可以继续往下做谢谢大家对于北我知道你也是之前研究过科解释性模型包括白河模型很久对然后你现在在看什么样的方向我这里其实原动学长已经讲了很多了然后我其实share很多相似的一些研究的一些taste然后我觉得这个方向很重要然后他需要有一些有信仰的科学家投入到其中因为这个方向确实有的时候挺不容易坚持的因为他很多的时候他并不面向直接的产出而直接的产出又是我们这个时代就比较鲜明的一个特色然后当然从另外一个角度我们也可以看出来就是最近的这个SSI然后以及Thinking Machine Labs然后他们这个市场对他的估值其实也是信仰的力量你没有产品然后但是这个估值都已经到了50个币然后56个币等等的那其实我其实觉得从economic传统的economics都不work了但是呢那信仰的力量现在就是发挥一些优势了所以我其实觉得就是说研究这个白核模型以及或者说AI的或者intelligence的基本原理对吧也从first principle的角度来研究intelligence的他如何工作我觉得是一个非常非常重要的方向需要一些越来越多的有信仰的同学们的加入researcher的加入以及现有的researcher的坚持我自己这是我对我很重要的一个方向然后呢我觉得就是说mechanistic explanation对吧这块我做一些然后呢另外一方面呢当你以极限的角度来思考问题的时候,有可能你会问出一些不大一样的一些问题,那我认为要理解一个这么复杂的一个现象,不管是人还是机器中的intelligence它到底如何work,把它从一门工程性学科变成一个科学学科,应当是需要一些不可能的视角来看这些问题的。就是以一种常规的视角来看问题可能不一定会找到答案也许需要我们一些就回到我们以前如何建立一个又一个的scientific domain的这个过程中对吧然后让我们以回到那个时代然后我们来看一看那些工作它的视角然后再到今天回到这个AI的这个领域那我们可以问我们有没有可能以一个不可能的视角来看待这个问题然后这个不可能的视角能带给我们什么样的灵感那我觉得这个就需要我们每一个researcher变得weird一些就是或者crazy一些就是问出来一些别人都觉得crazy的问题但这些crazy的问题可能恰恰是引领我们走向一个结果然后有一点我非常同意林农学长的说法就是说如果Skinning Law只是我们唯一的我们可以大胆地把它叫做The First Principle of LearningSkinning Law那我希望它不是唯一的Law因为如果是这样的一个闹的话那确实人类是比较悲观的你既不拥有电力不拥有算力也不拥有datain the future你将交出所有你的memory和context那要
[65:00] 普通人的价值还剩什么呢似乎我们就变成被圈养的宠物了对吧我们的价值是历史的就是真的是在anthropic的角度来讲我们是有价值的 otherwise就没有价值对吧那所以我希望它不是唯一的law所以我觉得作为研究者的话我们有义务去search for another law或者another laws就是那这个是我比较相信的一些角度然后但是我觉得与此同时还有很多很基本的问题都没有被回答就比如说信号的原子结构长什么样子然后就是说脱离的语言如何来获得智能对吧在我看来语言其实从很大的程度上来讲是short cut是我们在distill我们现有的这个civilization但如果我们一定要用机器取代知识的话 我希望是一个机器它可以重新invent一个新的civilization而不是只是简单的distill我们现有的civilization比所有人都更好, 比所有人都更好Cest那这个是不够理想的对吧就好像说我们放到出来一个机器把我们取代了但是 exactly there那这个就是非常悲观的一个未来了对吧那所以大家现在在用这种机器来做科学问题其实从某种意义上也是在像这样的问题来发起冲击就是人类的最高层面的活动可能对于机器是最难的the last bit那我们能不能创造出来machines然后能够真正在这个方面产生突破然后我觉得需要一些可能不仅仅是Skinling Law方面的突破和创新当然了我觉得大自然已经给我们一个evidence就是说人和动物其实在学习的过程中是蛮efficient的我们抛开vision不说对吧咱们就说是language的token的话在13岁以前我们可以获得的这个token一定是10个billion以下10个billion token以下可能是一个billion token以下那你能否用如此少量的数据来train出一个model我认为模型的尺寸不是问题然后也许功耗功耗是一个很大的问题但是也许我对他理解其实不是那么深刻但是模型的尺寸其实parameter的数量这些我认为不是最大的问题因为人其实神经元它有80个billion到100个billion如果你算上神经元的话就是突出的话那它的要再乘上1000到10000这样一个量级所以人类的这个模型的话是非常非常大的但数据非常少我们其实在数据上没有那么scale那么我们到底如何以这样的方式来学习如何能以数量级的方式来突破我们当前的学习曲线我觉得这是很重要的问题还有一个问题我觉得也很有意思就是说robotics今天现在robotics给我一种感觉是它跳出来原有的框架对吧然后因为当年我跟做control theory的lab聊的时候其实一个鲜明的感觉就是大家不需要学习为什么呢因为robotics是我们设计出来的我们有model对吧如果你有model的话为什么还需要学习呢即便需要学习的话你可能也只需要在局部进行微小的修正对吧那你要做的是一个system identification然后那么你可以用统计学习的理论来做你可以把它做得非常precise然后但是fundamentally它不是以learning就是native的方式来构建一种控制的方法但是你如果当你看到biology看到自然的natural intelligence的时候其实我们一开始越高级的智能越不知道如何使用自己的身体对吧你马站起来15秒可以站起来那小猫小狗可能需要一个月才能比较卤棒的来local mall那么人的话需要一年那么其实越高级的智能越需要依赖于学习我其实觉得robotics这块当然很多大厂都在纷纷的最喜欢裁的就是robotics team对吧就是因为它对revenue的这种产生的影响可能是最不直接的那么也是需要最 long horizon但这时候恰恰是researcher的机会那么今天的robotics有点像当年感觉有点像当年AlexNet出来以后它是有一点work又不是那么work也不以非神的很多地方都不太行然后那但是这个时候确实有一些也许是researcher可以进来做一些没有用东西的一些机会然后那么说不定未来有一些这方面的我觉得也会慢慢变成产业那它今天不是产业 反而是一件好事然后让我们的researcher有一些
[70:00] 可以静下心来思考的一个时间所以real world robotics也是我最近在入坑的一个东西然后当然我需要focus不能做的太广太散这样和我们组也也resource的组也这个学校的一个小组它也撑不起来那么大的一个scope那么对这是我最近在就是想过的一些思考的一些问题好的好的非常棒非常我觉得valuable从这个一线的研究员给我们提供了非常多的这个最前沿的模型的思考跟prospective那今天我们的时间有限非常感谢各位的时间那我们最后留一点点的时间给我们的观众留两个问题好不好然后我看到有观众提问说几位嘉宾觉得未来三到五年大公司会使用与transformer不同的新架构吗嗯最近就是这个东西跟我做的contact engineering 和 long memory 有一定的关系 就现在的 transformer 的话它是他有两个竞争者 一个是MambaMamba 还有另外一个是RWKV他们的话是可以把一些以前的记忆变成States,就是Compact然后以欧英的时间复杂度去做一个检查就是放在KVCache里面然后包括在Model and Arc内部也记录一些Hidden States这个的话我觉得就是在后面AI需要做长期记忆的时候会跟就是Transformer架构之间做一些trade off因为现在Transformer架构的这个model它相当于是就是直接回到那些markdown files里面或者说一些就是说presisted的一些externalDB里面去找信息对嗯好的那天博士对我觉得这个东西其实已经用上了比如说像DataNet像一些像Kimi最近搞的KDA对吧就是这些东西其实已经在大模型里面已经被使用了就是当然了就是说这种使用就是可能跟现在就是比如sliding window attention跟Fort attention混在一起用每就是每三层加一层这样的一个结构这样可以提高效率同时也不会影响到这个长文本那个long context的那个performance就是有没有跟Transform完全不同的框架能用进去的现在还暂时没有比较多的那个例子应该这么说对也是这样那为了三到五年就看嘛就如果竞争非常激烈的话其实挺难的因为竞争激烈的结果就是所有人都不愿意在就是那个architecture上花很多很多时间开始会做一些就是比较小的改进然后看看有没有效果我觉得大公司的话可能还有工作的空间因为对大公司来说有这个时间和精力也有这个卡有这个资源去能够探索这些东西可能是这样子也不太呢我觉得这个我也比较同意杨东学长讲的这个就是Skinning Law在没有结束之前而且我其实觉得感觉上短期之内是有相当的空间因为我们在DSTIL我们的这个civilization那我们是否已经完成这件事呢我认为far from it那既然没有完成这件事的话那短期之内也许优化architecture对于很多的leading labs不一定是最重要的一个事情也有可能对他们来讲不是最大的一个ROI然后所以Skilling Law我觉得包括前段时间那个Anthropic的Julene大家出来讲也说这个Skin Law没有任何Slowdown的迹象如果你就是说相信他们的所讲的这些事情作为researcher如果他们比较responsible的话讲这些事情的话那认真的来讲的话未必architecture是最重要的事情当然肯定会有各种各样的创新进来那我觉得我个人的观点是感觉当你在追求极限的时候architecture肯定不应当是一个transformer当你追求极限的时候但是你不在乎redundancy的时候那么transformer不一定是一个坏事情因为有比它更重要的事情需要思考那么也许还是可以走然后从个人的believe来讲我觉得我们不应该会在某个点就发现transformer that's all you need这有点像是像神一样就是一个告的你figure out的这个基因然后这个基因就永久的stop在这了那我觉得它一定会缓慢的变化对吧当年我们其实觉得非常火的很多的architecture今天我们都已经不谈了比如LSTMLSTM这个当年其实大家谈的非常非常多今天你也不大听到LSTM你接下来出来了然后我其实觉得eventually可能Architecture层面的创新机会还是蛮多的尤其是比如说Space-based model对于物理过程的一些东西它确实比Transformer会有优势
[75:00] Diffusion Policy它确实效果挺好的在学这些动作的prior的时候所以in the long run我其实觉得还是会有更多的architecture尤其是在begin极限的时候这种architecture的作用又会变得更大一些好的好的我们的直播平台上好多好多问题我在选一道两个问题吧然后我看到很多人在问生成是UI对这个概念说Gemini 3的前端能力飞跃,Gemini应用中新增了动态试图的模式,所以这个契机想要了解一下各位对于生成式UI的看法。我可以讲一下吧因为我之前有用过一些我个人感觉就是它可能在交互上面可以让用户有更好的一种体感就比如说以前你可能是absorb文字对吧然后或者说你跟这个文字之间或者这个信息之间没有太多这个互动但是Gemini通过这样模式可以生成一个生成式的这种UI让你跟他进行互动甚至他可以生成图片啊然后包括一些动态的这些效果可以让你更好observe这个信息那像今天我用Nano Banana做了一个例子,就是我看到一个推特,他大概是在讲就是OpenAI,包括NVIDIA之间的一个经济上的一个就是,相互买卖啊然后相互相互这个有这个必有的这个过程当时我看的文字大概有一千多字非常长那我直接就把这个文字让nano banana帮我转换成一个illustrate这样的图然后一步步让我去理解我就会发现比我看这个文字要快很多所以说我觉得在深圳战爱就是让用户的一种交互得到一种很好体验获取信息的这个速率大大的加强了包括有很多这种interaction但是我觉得它的局限可能在于它只是可以很快的针对某一个user case你去做这样一个事情但是他可能没有办法去大发源的普及化就是我想把同样的体验再给到另一个人那可能那个人就会需要根据他的这个需求根据他看到的这个信息然后及时的dynamic的生成这样一种UI来让他去absorb所以我会觉得这可能是会更加个性化一点的一种获取信息的一种方式嗯好然后除了几率三北美大厂从探索和商业化两个维度视频模型都在做自回归吗这个是不是 Gavin 可以会影响好Sorry, what is the question?除了Gini 3,北美大厂从探索和商业化来的维度,视频模型都在做自回归吗?这个东西就是World Model的范畴了,那个Genie 3,因为World Model现在主要有三条路线,第一条是像这种Video Base,像Genie 3,它实际上还是个2D,但是它represents的是一个3D的World,给你一个immersion experience,对吧,就是他们现在这World Model还有另外两条路线,比如说MeshGen,就是它是有物理碰撞体积的一个object,第三是Gaussian Thread,像那个李克菲老师他们的那个最近Marvel放出来的主要就是一个Gaussian Thread,就是它是一些空间当中的点银,然后,就是它没有物理碰撞但是它就是说尤其现在在美术UI上面就是有很大的应用空间这个我觉得也Echo的刚刚提到的问题就模型架构什么的我觉得就是LMLarge Language Model就是纯语言维度上的那种模型架构可能后面比较stabilized后面那个我们可能做的更多的是做small language model小语言模型在端侧对吧Edge DeviceEdge Computing上面那些优化那这个也就是Echo的像刚刚宇本提到的就是AI能不能像我们人去理解这个世界他看见听见just like us那这种就是说情况下也对于就是后面我们的模型的可解事情也是有一定的促进作用就不是那个就完全从science的角度来说这个才是就是AI for everyone然后这个地方就是说我有一个想要非常想要promote的地方就是我是非常支持open source model因为我们的基础设施建设经历了很长的一些阶段,从一开始的铁路运力到电力到网络到算力,现在是智能。现在智能被困在GPU大组的Data Center里面。我们普通人要付费API,我们可以获取这些智能。是不是如果端测,小语言模式,小语言模式,这些东西的发展一个趋势,能让我们普通人也能够更多的被智能付能, instead of paying for it?我给电力算力付费现在我还要给智能付费这个其实就是我觉得是一个数字集权就是我现在非常support的就是open source就是这些model然后对世界模型是其实是其中很重要的一个部分因为语言模型就算了接下来空间智能这个部分它是要跟那些传感器啊就是说硬件去接
[80:00] here, what? I hope it's a better immersive experience and user experience. 大家记得要subscribe我们的channel,然后不要错过我们的更新。 好的,那今天我们的直播就先这样,然后大家可以在我们的这个频道上可以看到我们的今天的直播回放。 对,如果有什么评论啊,或者是大家想要问的问题,可以在我们的评论区给我们留言,我们之后如果有机会的话,可以把我们今天的嘉宾再请回来,跟大家再做进一步的交流。 Okay, so today we will be like, thank you for your time. Bye bye! Bye bye! Bye bye! Bye! Bye bye! Music Bye.
