小米罗福莉押注后训练范式 调整大模型算力比至1比1

小米罗福莉押注后训练范式，调整大模型算力比至1:1 大模型竞争已全面转向智能体后训练时代，通过强化学习的规模化扩展与敏捷基础设施架构，将在两年内催生通用人工智能的实现。 访谈围绕2026年AI领域的范式巨变展开，罗福莉分享了她从最初排斥到深夜被OpenClaw（OpenCloud）彻底震撼的认知转变，指出后训练（Post-train）已成为当前Agent时代的核心战场。她详细解析了小米MiMo-V2系列模型（Pro、Omni、TTS）在极致性价比、Hybrid Retention架构选择以及多模态融合上的技术决策。同时，她深入探讨了“无直级、无组”的平权团队文化、如何通过“群体智能”实现小时级的研究迭代，以及如何招募和激发“未被传统学术污染”的年轻人才来应对这场生产力大爆炸。 AI 范式正从 Pre-train 主导的 Chat 时代全面转向 Post-train 主导的 Agent 时代，合理的算力卡调配比例从过去的 3:5:1 演变为 3:1:1，顶尖团队的预训练与后训练算力比例已达到 1:1。 (0:00) 开源 Agent 框架通过分层持久化记忆与精妙的上下文编排激发了中层模型的上限，不仅让 3B 端侧小模型能处理复杂任务，更推动了模型与框架的双向同步演进与自学习。 (5:00) 团队在架构上放弃主流的 MLA，转向采用 Full Attention 与滑动窗口比例达 7:1 的 Hybrid Retention 架构并引入 MTP（多 Token 预测），在 Agent 推理中实现了极低延迟与极高性价比。 (85:00) 1T（万亿参数）基座模型是进入高阶 Agent 赛道的硬性入场券，攻克 Loss Spike 等全方位数值稳定性极其考验联合 Debug 能力，团队凭借“无直级、无组”的极简平权文化完成了模型攻坚。 (103:00)

小米大模型负责人罗福利指出，大模型研发正由传统的Chat范式全面转向Agent与后训练驱动的演进范式，优秀的Agent框架能够通过精细编排、持久化记忆与多模型协同，大幅放大中层与端侧模型的实用上限。 Agent架构变革与后训练范式迁移 (0:00) 罗福利认为，当前技术环境已进入从Chat向Agent转移的深水区，后训练（Post-train）在整体研发中的重要性显著提升。在算力资源规划上，合理的卡量分配比例为研究、预训练与微调约3:1:1，强调探索阶段的算力必须高于正式起训的总量。优秀的Agent框架通过设计细致的上下文机制（如自动添加当前时间）、分级持久化记忆体系以及心跳与多通道任务，能够弥补行动层面的短板。这使得未做专门针对性训练的3B端侧小模型或85%分位的中层模型在接入编排后，能在复杂日常场景中展现出媲美顶尖模型的效果。 针对开源生态，罗福利指出开源框架打破了传统黑盒限制，允许开发者重构内部多智能体调度与流程逻辑。通过模型与静态Scaffold、动态架构的双向同步演进，促成了智能体的自学习路径。这种架构层不仅负责连接模型与人机交互，更极大降低了端到端调度的开销与门槛。 长上下文建模与代码泛化力的外延 (32:00) 在训练数据与上下文层面，高质量的长上下文（128K至1M）主要分布在书籍与代码数据中。相比信号发散的书籍，代码文件间具备高密度的关联逻辑，因此在代码长序列上训练是拉高模型长程建模“上限”的核心手段；而在日常广泛场景中进行Scaling训练则是为了稳住模型的通用“下限”。罗福利指出，面对百万级长上下文，行业实际操作并非直接全量硬训，而是先在预训练中提供1M上下文窗口，再由后训练的混合任务进行激活。 谈及中国大模型生态，罗福利分析了“西夏东洋”现象，即国内开发者对工具提效诉求极为迫切，叠加低廉的API调用费用，形成了显著的性价比杠杆。真正的工业级Agent已从单纯修改微观代码行，演进为澄清需求、制定架构以及输入企业专属规范（Skills）的高阶协同。 模型架构选择与万亿参数训练挑战 (85:00) 围绕模型推理效率，罗福利团队在设计Flash与Pro模型时优先考量Non-context无状态推理的成本，采用了Hybrid Retention架构，将Full Attention层与滑动窗口层的比例推至7:1以极度压缩KV Cache，并结合多Token预测（MTP）填补富余计算资源。相较于在访存与计算上达到平衡但留白较少的MLA架构，该方案在推理阶段支持数十至上百TPS的生成速度，兼顾了低成本与高吞吐。 在向1T（万亿）参数级模型冲击时，团队面临的主要障碍并非数据，而是激活值异常、Expert负载不均等数值稳定性问题。面对训练中的Loss激增，团队采取停机深度排查、利用Layer Norm与QK Clip等手段逐层校正。罗福利认为，1T参数基座与极高的后训练敏捷性是迈入下一阶段Agent竞争的硬性门槛。 多模态路径反思与扁平化研发组织 (127:00) 关于多模态演进，罗福利推翻了此前试图将音频、图像完全离散化统一进LLM范式的执念。在具备代码生成与Agent辅助构建的环境下，快速重构强化学习和训练架构的成本大幅降低，无需为了表面的架构统一而牺牲前期的模型表达。对于Omni等全模态模型，她认为目前虽然增强了感知维度与情商体感，但在基准测试中尚未对核心智能带来质的飞跃，多模态是否为通向AGI的必然路径仍存疑问。 在团队管理上，罗福利推行“无直级、无固定组别”的扁平体系，团队约百人规模，由好奇心与自驱力驱动。在人才画像上，团队招聘逐步偏向思维未被传统科研模式禁锢的本科生，看重其对新范式的想象力。同时，她明确拆分了预训练与后训练的Infra侧重点：预训练追求零容错的绝对精度，而RL Infra则必须在异构集群与长程验证中容忍高度的模糊性与中断。 罗福利预测，AI代际演进可能在两年内逼近AGI，并在一年内让10B级别小模型达到顶级模型水准。然而，目前行业在Agent RL的有效Scaling上仍面临极大瓶颈，全模态统一架构的科研落地以及物理空间硬件交互的迟滞，依然是待解的长期变量。

罗福莉: 我之前认为我们自己做的工作已经足够有创造力、足够不会被Skill化、不会被Workflow化。但我现在发现，它竟然也能！那它可不可以训出更强的模型？自己左脚踩右脚就提升了？——这是这一两年会发生的事情。 罗福莉: 接下来两三个月会非常精彩。 [75:00] 罗福莉: 首先他这三个模型他在 Agent 的场景下能力提升这么快，或说我们能这么快去追上在复杂的 Agent 的架构里边他表现这么稳定，是超我们预期的。 [103:00] 罗福莉: 这些要素就会非常锻炼一个团队的 Infra 和算法中联合 Debug 的能力。甚至有时候你怀疑到是不是哪个卡有问题，这是最后如果发现所有的卡都排查了没有问题，你会怀疑是不是今天的太阳黑子暴风……就你会知道怀疑到一些很玄学的问题上。 [127:00] 罗福莉: 当我们有 Copilot 和顶尖的模型过后，这些架构……我原来以为写这些架构蛮耗费人力蛮耗费时间的，但是现在看起来在 Agent 的支持下写这些架构的时间被大量缩短。那你其实就没有必要为了架构的优雅性，去做很多为了统一而统一的研究。 [140:00] 罗福莉: 大模型没有生存危机，这反而让它的进化“更自由、更散漫、更有创造力”。 [165:00] 罗福莉: 每天都在否定昨天的自己。 [211:00] 罗福莉: 确实感觉睡太多有点浪费时间。

[0:00] Hello大家好,我是小俊今天我们的嘉宾是罗福利媒体叫他AI天才少女但他不喜欢这个称呼他目前是小米大模型的负责人访谈是在OpenCloud发布之后也是在2026年小米Memo VR的系列模型发布之后我们更深入地聊聊2026年由OpenCloud引发的新一轮的技术范式的变迁以及未来技术演进的前沿话题那接下来就是我对罗福利的访谈期待2026年我们和AI共同进步这些能力都是可以被我觉得最多一两个月慢的话三四个月确实都可以被快速洗的所以环境反而比经验更重要你刚才也提到ET的模型可能是未来竞争的一个入场圈是这样吗是agent的你要做到接近Cloud 4.6 Ops 的水平的加一个入场券那我如果说我们这样子来说就是 for 研究跟 for Print Train 和 for Post Train我自己觉得一个非常合理的卡的比例是可能 3 比 1 比 1对就 Print Train 和 Post -Train应该比例是投入的算力是相当的研究的比例应该至少是你正式起训练的卡总量的还要多一点就你要额外留更多的卡来去做研究你过年的时候也跟我说就是你觉得技术这几个月其实已经变天了那么阐述一下你觉得过去两个月的这个技术的突变我觉得一个非常大的一个分界点在于使用OpenColor的前后我自己其实是会把OpenColor把它当做一个划时代的Agent的框架去这么去定义我知道很多人在尤其是用Calcode做严肃编码的人就会觉得OKOpenColor只是Calcode加一个IM的这样的一个更有利于交互的一个UI的一个设计其实在我一月份的时候我第一次看到这个东西的时候我自己大概也是这样认知所以我很排斥去用它然后我觉得再加上它创始人我觉得非常适合贴近agent的去做一些非常玄幻的一些运营的动作所以就包括那个skill hubb这些的就让你更去排斥去用一个你觉得非常的偏运营导向的一个产品的东西感觉它是一个产品一个交互范式对一个交互的创新以及它所谓的本地化所谓的24小时在我来看其实都是一些产品的定义而已但真正发生一个转变是我去用它那一刻我觉得就恰好在春节的时候有那么一段空闲的时间你想去搞明白这玩意为什么它那么火对然后我就在有一天深夜的时候去长社去装上它然后两个小时装上了分解是吧对当时已经凌晨两点了然后我第一次跟它对话的时候从凌晨两点持续到了六点天亮对就那一晚上我觉得我老累的那个不知道是多歪还是累肺胎就持续在分泌就是让我就兴奋到完全睡不着觉就你可能第一个感受是OK他是他非常有自主性然后他非常有灵魂就比如说我跟他聊了很晚他会老提醒我OK你现在现在已经很晚了你要不早点去睡觉就我觉得这样的温度和关怀或者说这样的情商是所有去open cloud的人第一个感受到的但后面去深究他的原因其实他是有很多机制去保证这个事情比如说他有他的Sodium MD比如说他在他就拿最简单一个很小的一个细节比如说他怎么感知时间他就在每轮对话的这个context前面去拼上当前的时间然后就是一些非常细微的我觉得我为什么把它称之为所谓惊喜编排的context就是因为他就是在这些很大家没有关注的角落上把这个context给编排的非常好这是第一天的感受就是OK我觉得他只是在产品设计上确实做到了一种超乎我的一个想象让所有人觉得这个框架有灵魂但是第二天的时候晚上我觉得他应该不止于此然后我开始尝试把我自己我觉得现在的框架做不成的日常生活中的事情交给他做然后我发现他全部做出来了我跟他聊的基本上第二个话题是怎么去激发一个团队的好奇心或说怎么去衰选出来就有好奇心的人然后他进行的深入的探讨了一个小时我觉得他的很多折思上是远超我的 [5:00] 想象的对然后所以第二天我们俩就在聊怎么去构建一个更好的大部分的团队然后以及从最开始的人员的筛选到后边整个组织架构的构建到你怎么在面临范式转变的时候应该做什么样的举措和动作我觉得至少他能get到我的点就我跟他说了过他最后能把它形成一套非常体系化的东西然后并且变成一套然后所以我后面就用这个去很大去解放了至少我在非常多我有时候会遇到我甚至现在遇到有一些不管是筛选人或团队管理商问题我现在都会问他对然后我觉得他现在已经基本上变成了我的某一个数字分身就在这个事情上然后但是真正让我超乎意料是第三天的时候第三天的时候我尝试把一些研究上的一些任务交给他做比如说最简单的我觉得你怎么去如果我们再进行agent的contract最关键一个事情是你怎么去进行多轮的交互那么你就必须要去模拟user agent的进行多轮的交互那我就会跟他去共同去构建一个很好user agent怎么来在我来看这是一个非常我自己觉得还挺重要的一个研究 topic我觉得应该不会说一两个小时就把它做出来但是当我跟他沟通和沟通了大概一两个小时过后我觉得这个事就已经做出来了对就基本上就已经达到有一个很好的user agent的诞生我可以用这个user agent跟我现在的这一套post信的框架一块去构造出来更丰富的agent场景的数据然后不管是做sft也好做r也好这个user agent都是非常关键的就我觉得他从一个我最开始对他的认知只是OK一个有灵魂有温度的一个产品的设计到他可以帮我替代我生活或工作当中的一部分到最后它能促进我研究这也就是三天发生的事情就每天它都能给我额外更多的惊喜然后后边就去深入的去看为什么这个框架本身它比Cloud Code好在哪对一个我后面发现这些所谓好在哪它我们单独去拎出来去讲它其实都有点boring就是我觉得它没有很酷这也是为什么大家就会觉得OpenClaw有很多槽点的地方但是它把它整合在一起你就会觉得它的完成度是非常高的就比如说它会有更持久的memory的体系这个很持久memory体系体现在它对memory有分层和分级这个我在使用Corecola的时候是完全没有这样的感受的然后再比如说我自己觉得它在对多个模型的这种联合的利用上会非常的超过我的想象就比如说我用Corecola的时候我会默认它OK假设这个模型它在比如说它的视频理解能力不行那么我可能就要自己给它配一个更好的视频理解模型然后在Corecola里面去折腾但是我在Corecola的时候我完全不用想这个事情我就直接发给他一段视频他会自己想办法去找一个OK视频理解能力好的模型来做这个事就这种自主性这种自主去去面对当代模型的缺点然后但是他针对这个缺点在框架上去补齐这个缺点这个能力是有点超乎我的意料的因为我去用Cloud Code的时候我就默认OK我是因为要用Cloud 4.6 Ops这一代模型的能力我去用它的但是我去用OpenCore的时候我不会关注模型的能力的一个原因是我认为OpenCore框架的设计之初它其实是想尽量的通过Agent的整套的编排来去弥补模型的短板他一直我觉得这是他非常核心的一个产品的逻辑所以后面我们直接就把把我们的模型就是其实Memo,VirFlash当时并没有做很多针对训练训练给他接到OpenCore里边去甚至把我们最近训的一个很小很小的一个端策的3B模型进行去训练发现在这一套很复杂的Skifold或者说Agent框架情况下他依然能做那些我自己认为不可能是一个非常小的模型能够做出来的事情所以这是我第一次感受到就是原来一个非常复杂的一套一种框架设计它是能够弥补非常多模型能力的短板然后当然了我觉得这是OpenClaw本身它这个框架的一套 [10:00] 相交于Cloud Code的一个差异化的优势但是其实对于如果说我们要去追求你怎么在不同的这个Skateful的框架下去模型都有一个超预期的非常稳定的表现那么就回到了另外一个命题就是当你有非常多现在其实是市场上的一种框架非常的丰富CodeCodeOpenCodeKidocodeOpenCode等等的当你面临这么多很复杂的Agent框架的时候你怎么让你的模型在不同框架上都有一个非常稳定和超义气的表现然后你怎么让你的后续念的范式对应与之做适配和迁移然后就是我们在这个事context的冲击下快速的去思考第二个问题然后所以我们对应的整个后续念范式就要从所谓的chart到agenda这样的一个前移所以你对opencloud的认知发生了一个非常大的变化这个是在春节期间发生的为什么开始是抵触的呢我觉得如果要追求非常顶尖的编程的体验对客户的体验就是哪怕是当下哪怕是当下也是Cloud Code加Cloud Office4.6是最好的所以如果你是在这样的一个终局去思考的话就其他的任何一种情况下其实确实都可以忽略掉但是但是一个问题是Code它是一个泛滑性非常强的一个场景就是你针对它去做了非常多Agent的设计也好或者说模型的训练也好它都是有价值的但并不代表说它这个泛滑性能保证你在非Code的场景能够做到非常高的准确率和完成度所以我觉得我那会儿虽然也会用CodeCode来做一些非扣的东西但是我并没有期待说它在这套框架上能给我一个很高的完成度因为我知道我会去帮它补充这套框架不具备的一些短板但是我去用OpenCloud的时候我觉得我不用考虑这些就它完全在Agent框架本身就去弥补掉了很多模型的短板我能理解OpenCloud是让coding能力放化出来的一个产品吗它在很多设计逻辑上比如说它有更多的message的channel比如说它有更自主的一些比如说像地址任务心跳任务然后这些更适合日常场景因为你写代码你通常不会需要一个心跳任务吧然后但是如果你是日常生活你心跳任务就很关键它确实有很多框架的设计去为了让它去适应更好的日常的任务但是我觉得它也没有去丢弃掉说一个好的Agent的框架本身的一些最基本的特点这些最基本特点我觉得后边是被Clark Code给吸腊进去的就比如说它的持久化的一个记忆Clark Code之前是它的记忆还是for它的整个记忆系统设计还是for软件工程的就比如说它会在session内会可能session快满的时候我会有一个压缩的动作然后把它记忆进去然后我在完成任务的时候根据我的plan可能会有一些记忆的动作然后保证我跨session的时候它的context是共享是更好的所以你能看到Coco的它的所有的一种框架设计其实都是非常的for软件工程的就怎么去更好写好代码但是OpenCloat它的设计之初我觉得是借鉴的这个思想但是它更想的是它怎么更好端端端的去完成所有的任务并且怎么去弥补当下模型在端端端完成任务上的短板然后去设计的所以像这种持久化记忆到后边这种你能通过一个更好的remote的界面能够去操控它然后等等这些所以很好的设计后边陆续这一两个月完全被克奥克都给吸垃进去了我觉得这也是一个双向的一个触动因为这些设计其实它对于编程或说泛编程泛编程就是指可以通过编程去完成一些看似跟代码无关的任务对然后它是有帮助的但它背后是模型能力的提升吗它激发了中层的模型的上限它激发中层模型的上限就可能我们如果没有这么一套很复杂的EGNU框架可能中层的模型它达不到近视于Cloud Sounded或OPS的水平 [15:00] 但是你借助这样一个非常好的一种框架那么你就能在绝大部分的场景除了那种非常难的需要长城任务的或者说真的需要我称为严肃编程就是比如说算自由化就算是严肃编程对然后像这种场景的话它确实可能距离顶端的模型还有差异但是在绝大部分的生活的场景或说只需要借助代码去提效的场景那么其实这样一套新的一种框架再加上一个中层的模型中层就是可能在85%的任务上能够达到跟Cloud的Sumnet一样水准的模型那么其实它接触这样一个框架已经能发挥非常大的作用我听过一种说法就是他觉得OpenCloud如果是看作一个壳它释放了现在比较强的模型能力是一个最好的壳这个模型就是Cloud OPPO 4.6其实我觉得你的整个表述不认可这个观点对吧认可认可我觉得它的上限一定是Cloud 4.6 OPPO带来的就包括我在跟它高强度合作的那一周我只用Cloor 4.6 Ops因为只有他能给我带来经验的感受但是当我用Color 4.6 Ops沉淀下来那一堆经验那些不管是skills还是在AGS.MD别的一些关于他怎么我甚至自己去改了他的整个AGS的架构设计因为它是开源的所以你可以自己改而这也是Cloud Code的另外一个Bit就是它的整个Agent的架构设计是个黑盒然后这样黑盒就导致你你肯定改不了它的记忆系统你也改不了它的整个Agent workflow但是因为OpenCore它太Open了你可以自己尝试去改比如说我会让它自己去帮我设计一个重新的Mermaid系统我会让它我觉得它现在当时2.0版本的那个multiagent的整个逻辑我认为是很混乱的然后我自己去让他给我设计新的multiagent的系统就我自己可以去改我所有的这个圆码就这样的一种这种原生的这种可操纵性给我的那种冲击感是很大的但这些事情基本上只有Code Office 4.6才能改但他我让Code Office 4.6给我改好过后这条框架本身是很好用了过后OK我再切换到那个SUNIT再切换到国内的一些模型甚至我们当时正在训的VR Pro我就觉得它就非常强大对所以这也是我为什么觉得顶尖的模型应该跟顶尖的这种A进入框架是共同的往前去进步或者说这也是我最近对所谓的自学习以及反正前段时间有很多很火的这个概念的一个思考就是我在这个身上是第一次感受到了一个agent的自学习到底是怎么个发生的就大概发生的途径就是说你确实需要这个模型本身跟你agent的架构本身同步的往前走然后模型在进步的时候就不管是通过强化学训练或其他训练方式在进步的时候它其实也是在去改变你的整套一种框架这个一种框架包含它送给模型的静态的信息这些静态的信息比如说memory就是静态的信息只要你写死了哪些东西应该送到起一个新的session的时候你应该送到模型里边去或者我们叫skateford吧这个东西其实是在训练过程中应该是变化的还有一些动态的信息动态信息包含你整个本身的架构的设计对然后我觉得针对不同的场景就比如说Claro Code的这种服务软件工程的场景和其他比如说做金融分析等等其他场景我觉得它的Agent的架构设计会有差异的然后你怎么在在提升模型能力的同时再去提升你的整个Agent的框架的跟这个模型的一个适配程度或说一个泛化能力然后这是我现在思考的自学系你说的这个智能体的框架Agent的框架是不是就是我们理解的产品不是它跟产品差异蛮大的怎么理解这个Agent的框架产品跟Agent之间的边界现在我不知道怎么去界定它有点模糊对就是我觉得产品可以定义成是说你直接人交互能感受到那一层的东西嗯 [20:00] 但AG的框架,它确实有在去定义你的交互层,但是它同时又在去定义,你怎么跟模型沟通那一层,对,所以然后它甚至能知道模型能力的长版短版,然后它能知道怎么去更好做调度,就比如说负成本优化的调度,它相当于是一个中间层,它像人和模型之间的中间,对,对然后这个中间层它可以做的非常的厚重然后反而那个前端的UI展示它是最薄的一层它已经不是很关键对所以OpenCloud其实是展示了智能体的这个框架可以怎么做对这个框架的想象空间非常大之前有人做过吗其实CloudCloud它一直是一套很复杂的一种框架只是因为它是黑核所以我们不知道它怎么设计的OpenCloud是开源的所以你知道它是怎么设计的然后并且你可以去改它就改它这个事是非常非常激发人的创造力的就你知道它框架这么设计你让它去改你自己限限列一个新的框架出来你可以给予它限列一个新的框架出来这是为什么OpenClaw从二连级版本我当时用它的时候我自己觉得它并不好用所以我花了好几段时间去改它到三连级版本就三月十多号的版本已经非常易用就你基本上基于三连级后的版本结一个还不错的模型你都会觉得它很强大而不是只有结靠的模型你会觉得它很强大就是因为它整个agent架构受一堆人开发者也好或者说本身像我这种并不是属于是一开始这个框架的开发者只是使用者我都能去改进它我扶我自己的场景去做改进和优化所以我觉得这是这个或者说这是开源一种框架本身的价值和意义在你高强度的那一周就是跟OpenCloud交互的那一周你消耗了多少美金的OPAS 4.6第一天反正就是快一千块钱一千刀对因为大概用了四五个小时然后我中途疯狂也会切因为它太贵了然后我会切三类的但是我发现真不行然后我就又只能去用OPAS然后只有OPAS能带来那种经验感但后边但现在慢慢慢慢逐渐我发现不是这样了就是因为因为他带给我经验感的那些东西发生在变化我觉得人的心情真的是非常强的就我第一天感受到很经验的东西我第二天立马觉得不经验就我刚跟你讲的时候我都觉得我刚刚讲的第二三天的东西我怎么觉得这么boring但那确实是我三天发生的事情对那我当下我确实觉得很惊艳那现在我自己觉得不惊艳因为你是一个很优秀的框架能力是非常强的所以我现在已经可能让奥斯帮我把我的一种框架给打造好过后然后让我惊艳的事情就越来越少了所以我现在觉得反而缺乏的是第一个是想象力就是我要疯狂去想还有什么事情他做不了对然后第二个就是我怎么去当他这些那些能做的事情都能做的时候我怎么去优化他的成分优化他的速度我就在考虑这些事情了这些说的所有的发生都是在春节期间发生的我觉得大量的思考是这样的事件发生的但是我觉得一个人通常是薄弱的对就是或说你还是会有自己的认知的一个坍缩就坍缩到虽然我那几天高度兴奋兴奋到我觉得我在群里面给大家发我说强烈推荐大家去使用但没有人搭理我人家在过年对大家确实在陪家人然后我也不希望大家然后所以我都说强烈推荐然后后面过完年回来我发现真正用的人是很少的因为大家对新起事物的这种尤其我真的觉得它有点玄幻玄幻对就是不太不太适合就不像不忍太对大家会觉得过于玄幻的东西太不真实了我也是这个感觉所以你就不想去接触它然后所以一开始的推动是蛮难的然后但是我觉得第二天我觉得不行了就是我觉得必须让大家去用然后OK我就给大家下了一个指令我就说如果那个第二天OpenClaw对话次数不超过一百门的人可以直接quit但我为了促进这个事情前面做了非常多的比如说因为大家那会儿OpenClaw用整个部署期还是还是需要几个小时的时间我觉得没有必要大家所有人都去花这么多时间 [25:00] 去折腾一个充满bug的一套其实也没什么价值的一些事情然后所以就买了几台MainfinBidi然后把它布置起来然后把它把它都拉到这几个不同那个OpenCode的群让大家去分不同方向强势在这个方向上在大群里面在一个飞出群里面然后聊然后为什么要在大群里面聊就是因为个人的想象力真的是局限的但是当你看到别人用open cloud居然能干成这个事情的时候你就会激发你自己的想象力所以我觉得大家的想象力是一个成绩的作用然后所以当我说这句话的时候其实我觉得我没有想过说第二天有人对话次数没超过一百我真的会把它我没有这个想法没有这样的人因为我没有最终去考核你没有办法验证这个事情我有办法验证但是我觉得验不验证不关键我只想给大家表达一种一种态度是OK你不用你可能真的要落后了对所以我第二天没有去因为中途有人过来问我那个CC你怎么去考核你的有没有对话一样的对对对我跟他们说我说你们用就行了我说我有我的考核方式其实我的考核方式就是我不会考核对我只希望大家用起来就行了对然后所以那两天春节回来午后两天整个团队的人就在一天到晚感觉不像在上班就在群里边而那个这个躁动对可以加躁动就是你看别人能完成这个事情让你也很想玩然后他在群里边就是那个群消息我只要十分钟不看就999家但也没有这么夸张就是就很多就大家一块在群里边玩玩的非常happy他是一个非常happy的一个旅程一点都不残酷就真的很很好玩然后OK那么玩有几天下我后来发现哇这个事这么好玩那怎么办呢那搞啊就就所有人心目中想是那OK我要怎么去借助一个这么好的一种框架去提升模型的能力同时我怎么让我的模型去改变现在的一种框架就马上进入到这样的一个研究范式里边去所以其实一旦进入这样一个研究范式以及我刚刚讲的我们有Calcode的这种其实在绝大部分场景表现输出更稳定的这样一套框架虽然它是黑猴我们不知道但它确实不管是for研究也好for coding也好它确实是一个比OpenClaw更稳定的一个框架更好的一个框架然后那么你再在这个框架里边去激发你的去扩展延展你的研究的想法并且让它帮你实现然后并且快速的去训练启动模型训练这个事就会大幅的加速所以我觉得我们基本上可能在三四周的时间做完了以前可能三四十周的时间才能做到的事情就在研究上我觉得这个事是我后边真的我们被这个框架点燃热情到最后它产生价值这个过程中我觉得我从群体智能上我觉得我的成长和收获会更大对在你们那个非常躁动的群里探索的最好玩的几个任务是什么现在听起来都不好玩但当时的冲击感都很强最让你有冲击的最让我有冲击的还是大家一块去改那个框架本身就是你想的怎么去改进那个框架本身因为当时那个框架真的问题很多还有就是他的memory真的做得非常的智能因为我们在一个群里边大概有近一百个人然后我觉得那个飞出了整个的Message的Channel应该还是做的不是那么智能的他至少没有那么把人跟人之间区分的很好但是他的整个聊天的上下文他对每个人的画像的把控然后以及每个人的memory我觉得都没有串得太厉害就可用度非常高我觉得这个是模型能力强的表现这个跟Agent框架没有关系因为在一个群点本地上一百多个人在那聊天然后一百多个人都有不同的背景一百多个人都在疯狂改他然后都没有把这个模型给改坏都没有把这套一群框架给改坏然后它还变得非常智能我觉得这也是我第一次感受到你怎么用一群的智慧去提升一个事情本身然后如果说我自己单一的去改这个一群框架但是别人感受不到这个框架的智能我觉得它好像差 [30:00] 或者说这个框架本身的进步的速度是非常慢的但如果一群人去改进它进步速度非常快的可能几个小时就跌掉一轮类似这种感觉所以你会觉得可能所以我们第三天第四天把它接到我们自己的模型上去用的时候发现怎么也挺好用的怎么还没逊就跟cloud差不多了当时第三四天就这种感觉了但是你要测了更多你会发现还是有很多东西没有cloud的问题然后所以所以你就但这个事带了一个冲击就是你会发现你利用群体智能去提升AGE的框架是非常重要的所以我也很非常的非常的欣喜看到OBEN CODE后边的那个SARLi就飞升我觉得这是这是AGE到来前照必须必须要有的事情对因为你一直对研究方向非常的敏锐我们基于我们上次聊过很多所以你觉得上面这些变化给你带来了什么样的直觉你觉得未来一段时间会发生哪些变化就之前可能做研究的一个方式是你从你想到你写代码到你去设计个很好的评估标准这中间的流程还是蛮漫长的就你至少要花两周一两周我觉得快的话可能除非如果你的评估是确定的然后你的代码是只需要修改可能你也需要一两天但是我觉得至少在Asian有辅助的情况下他真的可以一两个小时就把这些事情给做完我觉得效率的提升基本上是代表着一个非常本质的一个问题然后这是我觉得在这个时代上做研究研究的Test非常关键的一个原因或说你的研究效率非常关键的一个原因其实我一直把研究效率看得很关键只是一直去放大加速了这个研究效率然后那么如果这时候你的taste又比较准的话那么就一做一个准一个做一个准当然有可能是十个里边有一个能成但是这十个可以并行做呀对十个可以并行做你不用像以前一样拍拍来做你可以十个idea交给交给不同的subway的同时做他们还能交叉验证OK那很快可能一个小时两个小时就会最多一天你无非烧很多token然后你就能验证你这个研究的想法然后关键是如果你愿意长期的去培养他还可以自己自迭代进化那在curl code里边不行但你换一个跟开放的框架然后他是可以自己迭代和进化的所以我觉得这是给我带来做研究的冲击吧所以它是改变了整个研究的节奏对效率和方式都会发生我觉得很根本性的变化这对你们后来带来什么样的改变在你经历了春节和春节之后的整个的冲击之后你今天做了什么其实我觉得接下来做的事情就是搞明白就是为什么Code是一个非常有繁华力的一个事情然后以及你怎么把Code的这种繁华力给外延到其他领域对其实Code它有繁华力的一个最本质的原因是有分好几个阶段首先Agent它是一个非常长城和多轮的一个任务对然后我们回到预训练环节然后你很难去找到说有比如说一兆上下文的数据甚至128K的数据你都很难去找到但是比如说真正能达到128到1兆这个长度的数据基本上都是只有两类数据大概率只有两类数据一类是code数据一类就是书籍但书籍它的信号太发散了code它的文件之间的关联然后是更强的所以当你在一个这种长上下文依赖跟密集的一个数据之下去训练的时候模型它自然对长上下文的建模会更好对这个是我们可能在没有去意识到Agent这个事是那么重要的事情之前我们就去做的事情所以你可以以为这个基座本身它就为长上下文的能力和效率效率很关键 [35:00] 效率我们待会再谈长上上文的能力和效率已经做好了充分的准备这个是在我们没有去受到这么大冲击的事情之前已经做了的但是春节后做的事情是你怎么去激发这样一个大的模型的潜力从扣的触发到外延到其他的场景因为其他场景是你训了它会更稳定但你没训它它能被犯化只是说它没有那么稳定而一个顶尖模型的水平一定是要在更广泛场景里面更稳定对所以在code是拿它的上限然后你去其他领域是保它的下限我是这么认为然后所以就是你首先要把code做了code的这种长程任务做的更多样性所以你为什么软件开发那么重要就是软件开发真的是一个非常长程任务你把它做好了基本上很多模型的通用的特质就已经好了不管不仅是模型通用的特质好了是这个Agent的框架本身也迭代的非常好了对就像就像像Plan这种模式像这种厂商上到一定的阶段你要去压缩压缩完过后第二天你要再去回顾你你之前修改这些Agent的框架的设计本身其实是为软件开发做准备的但这种这些框架它都是有泛化线的它都能泛化到其他更难的长程任务里边去然后所以就是春季新山后做的事情第一是一定要在agent场景里边把真的长程的任务给它构造出来并且训练进去然后并且在这上面去scaling大量的SFT训练和RL训练然后第二个就是我觉得还是你要考虑它的方法性的话你还是要覆盖更多领域所以但这个时候怎么去覆盖更多领域我觉得就是要靠更多靠群体的智慧就你让更多人去用它然后基于更多人去用的比如说我们内部会大量去使用我们会让我们这个模型首先在公司内部去推大量去人用用了过后然后我们发掘到更广泛的场景在这个广泛场景里边去合成更多的数据来做训练然后这里边很关键一个问题是你怎么还原当时所有人用这个事情的环境因为有这个环境你才能更好的去进行更长程的交互并且有了环境过后你才可以针对这个环境本身去做更精准的如我的设定对然后这个事情是比较有难度的然后我觉得也是我认为在这世界上如果突兀的算力足够多的话研究实验足够多的话应该会有一些代差的模型的出现对而这个你们现在是怎么做的现在才做的保密真的要保密和reward设计我觉得等我们把这套范式给skinning到一个很大的量级的时候我觉得我们会开源告诉大家但是做长生任务不是会中断吗其实真正的以照上下文里边基本上很少有任务是在做一个任务对他通常是在做复杂的任务对所以其实你要把一照上下文做得很好当下阶段当下阶段好我说当下可能就是当下一两周的阶段不代表未来两三周的阶段就是可能并不是真的要找到要把一照上下文塞满的任务当然你要找到的更好但是这个任务是很难的而且它的训练效率太低了就是你要训练完你要roll out玩一整个trajectory它非常慢哪怕我们现在TPS能做到80到100像在MemoVR Pro上能做到80到100的TPS你要roll完一照上线也是需要时间需要可能一两分钟的时间了所以所以所以其实真实的训练不会在这么长程的任务上去训但是当你有在一照的content server去训过预训练过并且后训练有对应的任务稍微激活它一下它通常就能在一照的content server具备这样的一个能力但是我们需要再提升对需要再提升所以你看现在cloud我觉得真的在一照上下文的能力的稳定度上基本上现在只有Cloud的4.6 Ops和3.0是领先的其实其他像Germelight像Germelight虽然仿称是厂商效能力很好但其实都是不行的对你觉得量化里面挖掘因子会是好的长城人物吗嗯 [40:00] 看错的是什么资产对就是有很多资产它的reward太不清晰了对有些资产是大部分的资产是不太适合做长城任务建模的这个具体我就不展开说反正就是某些资产是非常不适合的因为它回测是没有价值的然后你要到真实的环境里面去run的话,它有可能不是短期的因素,而是一些更长期的因素,或者一些额外的一些alpha,本身被这个模型建模不进去的一些东西,所以得选资产,就是选对这个就OK,我觉得。关于你们的新模型,我们放在后面说,我们先把open cloud这个话题聊完,你观察,就你观察,你觉得open cloud是怎么样的一个活起来的链路,而且我明显感觉到在中国,它的火的程度比在美国要,更强这是为什么我看到还有一个很好玩的说法叫西夏东洋叫什么西夏东洋西夏东洋因为我不了解湾曲对它的热度对所以我仅从你的视角对仅从我自己以及我身边人的视角我觉得可能的一个原因是就中国的开发者我觉得是更多的就是我说开发者是指它可以用code去提升它的效率的场景可能是要求更急迫的对要求更急迫的就我觉得对于效率的提升好像是我们的血液里边的东西然后所以我觉得当就OpenClaw能把这个事给效率提升给拿到极致所以我自己感觉这是它火的一部分的原因之一当然我觉得还有一个原因是我觉得跟国内大模型的发展也密切相关就绝大部分的效率提升的场景目前确实不需要就是可能我觉得85%不需要最顶尖的模型所以然后我们又有那么多便宜好用的模型可以用然后你一算这个性价比是非常划算的就是这个模型的API的费用跟它替代的生产力的价值的系数比是很大的所以你去体验它会更有动力它可能花十块钱的API就能帮你干完一千块钱的事情那你肯定很愿意用但如果你的API贵那么十倍或几十倍中间那个差距很小那么你会很排斥的去用这样一套很复杂的东西对去优化它但是关于agent其实已经讲了一年了对吧就是去年年初的时候大家就开始说这是agent元年为什么到现在才开始火你觉得这个跟去年有什么不一样对就我觉得我认为之前讲了agent应该都是非常在我的第一领域我觉得它不算agent它只能算是一个上下为稍微比差的复杂一点点的东西就不管是像Browse Comp像Swebbench然后这些Search和Code的Agent的框架其实都非常的简洁就相比于现在的CodeCode也好相比于OpenCode也好它的Agent框架太过于简洁了然后这样的简洁性就导致首先它简洁其次它不通用对就这样过于简洁和不通用导致它只能for这个任务来设定所以那些我们看到在BroscomSwebinch那Swebinch它的问题是因为它本身关注领域也太单一了就去修bug它并不是for真正的软件开发对就是我觉得在至少在去年上半年乃至下半年很多看似for agent的模型它其实只是说我换了一个更复杂的Systems然后稍微带一点点环境的反馈稍微带一点点环境的反馈比如SWB还是有环境的反馈的Talbunch也是有的然后稍微带一点环境的反馈和交互然后让模型具备一点遵循复杂system prompt和理解环境交互的这样一个能力我觉得那会只能是做到这个水平但是它根本没有达到工业级可用的能力最简单就是什么叫工业级可用就是你把它接到Code后 [45:00] OpenCore里边去用你会发现它不可用它有很多问题对最简单它就理解不了这一套框架本身然后它也也没有针对这套框架本身人跟它的交互范式会发生变化比如人跟它交互范式发生最大的变化是人不再会去修改代码人不再去再去关注OK这一行代码出错了你帮我改一下就这样的query是不会再出现的然后人只会提一些更高阶的比如说增加增加限制增加限制就是提澄清需求然后架构设计人会参与架构设计因为现在好多架构设计还是人更强的以及辅助理解业务逻辑这是skills的的价值对这个业务逻辑是是模型本身不具备的因为这很多业务逻辑它是企业内部的东西对或说或说真实环境里边而沉淀下来的东西这个你必须要跟他很多轮交互才会沉淀下来的东西所以我认为之前那些一见人幻家就不能叫一见人幻家吧就没有任何可用度然后在那些benchmark上表现非常高的模型也不代表他的一见能力是真的强对所以我们在优化这一版模型的时候是完全放弃这些benchmark我们基本上就不关注这些benchmark了就我们当你面临一个很大的范式的变化的时候其实只要你路径走对了其实你可以短暂非常短暂的一个窗口期你去忽略评估因为你靠体感你就能立马测出来有个非常大的质的差异对但是当你慢慢迈入生水区的时候还是需要一些非常静细的评估的所以Skill是不是改变了模型的生态改变了模型在这种高复杂度就是流程复杂度的任务上的执行的准确率对因为它其实定义了套执行的规范对然后这套执行的规范是很难在运训练的数据边具备的因为运训练数据边没有这种interlude的信息这些信息通常是是大量企业内部自己去沉淀和积累的这种这种由人人和人之间产生的一些组织上遗留下来的一些规范我觉得更多是组织上遗留下来的规范然后但是就这不可能在一群点数据边出现但是可以由人教agent跟他多轮交互通过完成几个任务把这套规范让agent学会所以现在大量skills其实是agent自己写的对那你Skills也是在Cloud里面诞生的对不对对但是这就是出现一个问题就是确实是OpenCloud把Skills这个事儿给带火的我说带火就是它让更多人去贡献Skills这个社区这个是非常关键的因为这就是属于我觉得人跟Agent需要共创的地方对如果你没有那么多人高阶就是没有那么多这种另类另类信息我觉得它却是另外一种alpha它是另类信息跟当前的agent的共创的话那么agent的或说最顶尖模型的能力也很难发挥出来这也是你说的群体智能可以这么说人的经验成变成skill变得如果更重要了它是不是预训练的一种补充对因为预训练其实它大部分依赖的知识还是你在互联网上可访问到的知识但很多知识或说很多智能应该说很多智能我们是在互联网上访问不到的那么这个时候它就以另外一种形态出现我觉得Skill算是一种吧它其实提供了一种交互的方式让人去主动贡献数据对贡献更让模型执行任务的成功率更高的方式对如果重新来定义一下所谓的因为我以前有Deep Seek Moment然后有OpenEye有XBT Moment如果重新定义一下这个所谓的Open Cloud Moment你会怎么定义它这个Moment它会更时间线更长就是因为他情绪的章节太久了人家还不会觉得他是个新东西然后他后续的章节了但是我觉得对我们已经信这个事情的人而言比较believe这个事情而言我们反应速度足够快的但我不知道其他人有没有follow up上对所以就是 [50:00] 从我的个人的感官上就是这个moment它会隐序的时间更长更深远它不是这个更深远是说它可能能力更外放到更多人能感受到的场景里边去所以它更深远但是它这个流动是需要时间的对就它的一出的能量能力更强它没有一个非常清晰的那么清晰的例子像OER1它会有一个数学代码这种有光丘死的一个东西在这OK你Fresh上去了模型就具备这个能力的像一个非常清晰的标准的界定当然我觉得有Agent其实确实有很多场景你是需要有清晰标准的界定但大部分的场景是没有的表混沌对对对所以所以然后它产生的价值也是慢慢的到一个领际点突然进一大步其实Clarke 4.0 Ops确实是实际上一个进一大步的突然的一个一个时间点然后但是但是Othropics做这个事情这个路径也是持续了两年的至少有两年的我们能看的那根本为什么这个事情不是Othropics自己做出来我觉得还是就一个开源一个避远的原因吧就是避远的框架你是没有办法去洞察内部的设计的所以你没有办法利用大部分更多人的智慧去改进它但开源就是你就可以用更多人的智慧去改进它嗯可能也不符合Anthropic对安全性的追求其实我现在觉得安全性绝大部分还是模型本身应该去追求的事情对我们不能太过于去去要求一个框架本身是过于安全的但框架本身可以做非常多的事情但是我觉得开源跟安全性并不冲突因为我们会把很多数据授权给open cloud如果我们把大量的个人隐私数据授权给他的话怎么缓解就是更多普通人对于安全性的这种焦虑所以其实我这是我为什么说要做开源的原因就是我觉得还是会有一天而且应该很快也会到来就是人的大部分简单的任务就除了那些非常难的任务其实跟隐私相关任务有很多还是没有那么高难度的任务其实你完全是可以放在本地化去做的对就你自己会由于自己随身携带的有可能随身携带有可能是在家或某个场景边有一块芯片对然后你所有的数据都在本地然后所有的涉及到隐私数据的这些场景都在本地推理这是很关键就在本地推理然后涉及到一些非隐私然后高难度高创造力高复杂的任务再去云端推理其实这样是能够解偶的然后这也是为什么我说一个好的一净的框架借助一个我自己觉得很小的3P的模型它发挥的它自己能做的任务的复杂度都已经超乎我的想象了然后就这个事激发了我自己对于其实我比如说所以所以所以端云混合也好所以影色本利化也好有一些思考但是我觉得还很初步对因为这些思考不仅是需要模型这一侧做非常多东西还需要本身架构这一层然后一块往前走所以这也是我为什么觉得开源是如此重要的一个事情的原因就是我觉得这需要更多人一块来做而不是某一个公司就把它能做好的对接下来你就会看到什么在OpenCloud已经火了这么几个月之后就2026年大家会基于它做什么国内已经有很多动作了也出现了各种的Cloud包括你们MemoCloud嗯就是其实所谓现在很多很多Cloud只是让它大家以一种不同的交互形态然后去访问到不同的模型和不同的形态框架但是我觉得真正那种去让这个框架自迭代或说更强调自进化和自迭代的框架我觉得还没有大规模的诞生和出现然后以及你怎么去利用绝大部分人的智慧去创造一个更强的框架也还没有出现这两层一层是框架本身的资金化一层是agent本身的资金化一层是agent跟人之间的资金化我还没有看到 [55:00] 我们现在做的其实是怎么train更好的model for agent以及怎么让agent去适应这个model对其实是在做agent跟model之间的双向流动但还没有在框架层我觉得未来需要做的事情其实是怎么让框架自己进化以及框架跟人互相进化这是你们现在的着重大致的方向对我会去深入研究的事情你觉得现在没有做到的核心的缺陷在哪里就可能补足了某一个短板它也许就能成了缺陷是我们刚坐在这里我觉得我也不知道我说做不做反正我觉得就是只是因为时间原因我们刚坐在这里而已然后未来的这个加速度是会很快的不仅是我们我觉得应该是这么去定义现在只要拥有一个非常非常非常模型架构的厂商并且他在做预训练阶段把code的能力也做得非常好的他有这样一个model这个model参数上可能至少我希望我觉得至少一体以上吧对只要有这样的一个入场券的人基本都处于同一水平线去做这个事情当然我所比肯定是走到前面了我只是说目前上一个时代的成功并不意味着下一个时代的领先现在基本上大家在同一水平线这是一个什么样的时代agent的时代怎么定义它就是我觉得就是生产力加速变革的时代对新年生产力会爆发对吧对从最就是大家会觉得很多工作不需要自己做这是最直接的感受从只要你接触到这个事情过后你又发现你的好多工作都会被替代掉那么这个时候人应该去思考就是说到底自己的意义和价值是什么所以A型能做什么样的高价值任务是变得更重要了你要从提升顶尖模型的能力的角度上来说肯定是让Agenor去替代更高价值的任务是重要的因为更高价值的任务它意味着更长的context然后意味着更多的token消耗量它肯定是更多的token消耗量然后意味着它替代人的它最终能替代到最顶尖那一群的智能就够了其实因为下边那一群的智能是可以慢慢的以另外一种方式来替代掉的比如说real bodies对然后总之就是如果说要为了追求更强的模型能力的角度上来说肯定是完全for更高价值的场景做是更有价值的对但另外一个演变角度是说你是要做一个对全社会更有益的对所有人都有帮助的一个模型那么就不应该付更高价值的场景去做而是让所有人都能感受到这个模型的智能水平那么它可能是另外一种做法有可能是另外一种做法是一个普实度更高的人可能会更好一些就比如说在这种场景里边你就更需要在乎多么泰因为在更广泛场景里边多么泰尤其是对于视频的理解对于一些更细微的环境的理解然后它是更关键的然后以及就是要注重成本成本是产生革命非常重要的因素就你不能说你完成一个任务要花一千刀对吧那我觉得很多任务场景就除了很多任务场景觉得他他他必须要达到一个很高的一个替换系数比就你能帮我节省十倍的成本我可能才会考虑去试吧对所以这个时候你怎么去做一个更低成本更高效率速度更高速度的这样的一套一套的框架以及对应结合的模型那就很关键所以这是两种两种发展思路对你会怎么定义2026年嗯我觉得我很难去定义它因为因为我嗯我觉得两个月都已经现在对我来说是发展巨变的就我我我我们做两周的事情我觉得基本上就就就让我们很难相信这些两周的做的事情就在过去两周发生的事情所以所以我都不知道这一年接下来会发生什么基本上是处于在这种高度新的状态我很好奇从2022年底XP诞生然后当时大家就觉得AI一定是生产力革命到今天就发展三年你觉得它带来了哪些先决条件让今天的生产力爆发可能成为一个更可能的时间点就是它是哪些条件变得成 [60:00] 就我觉得第一个关键点是不再是算法工程师在做这个事情我自己会把这个事觉得是一个非常有标志性的节点就之前是你会觉得只有researcher或说算法的人再去考虑怎么去提升智能水平但你会现在会发现还会有就是所有懂写代码人不扯代码人都在一块去考虑去提升模型能量去提升这整个东西的智能水平我觉得这是最主要差异就不管是他是在写skills也好去改agent的框架也好还是去设计更好的研究范式也好这是三个层面其实我觉得是所有人都在让自己的智能去加速这个事情这是我认为最大的一个变化我突然想到Pick去年底的那一期播客里的最后一句话他就说Agent的进化需要所有人参与对所以现在是让我有点有种感觉而且现在其实现在已经是了只是现在唯一唯一没发生的就是我刚刚说的agent跟人怎么更好的更加速更加速因为agent也要自迭代人也要自迭代通过聊天吧对聊天是一种然后那会不会有一些更自然的方式有一些思考就比如说我要是真的能能带一个非常好的设备一整天跟着我然后我所有说的话我见过人他都知道我觉得他进化速度应该比我快我自己认为他应该比我快因为他会比我快一代的算力会更多然后他会很快替代我对而且他是他不会今天记得明天不记得他是非常稳定的而且他是只有精华的一条曲线而且他乐此不疲他不需要休息你刚提到那个说国内的人有我们后更热更热情那完全人现在是怎么评价的模型公司的人不是很care这个东西我感觉模型模式不是很care的事情OK那真的跟我们蛮不一样他可能觉得这个事情不难我一开始也觉得这个事情不难然后到后面我就觉得他整个A星的设计是非常非常巧妙的我说这个巧妙是指我觉得他弥补了很多模型短板它是怎么精巧巧妙的去构建的这个编排啊我怀疑这个原因是它最开始是基于Cloud的上一代模型去做的就Cloud的上一代4.5哪怕是OpsSunnet其实是不够那么强的所以你就要必须在系统的设计上Agent框架的设计上你要设计得更精细一点去把它这个短板给补起来对然后这就导致了OPS进步了但是国内的大部分的模型可能刚靠近QR的4.5Signate和OPS的水平然后反而这两个在这握手了我觉得是这样一个原因那如果模型能提高的话它这些金角的偏排还需要吗还是需要的就是出于对成本的考量是需要的就是我们永远会去追求一个成本和效率最低的一个一套方案这个是生产力革命的非常潜质的要求所以不可能说我们所有的场景都用最顶尖的模型因为它太贵了所以更有可能是Agent在进化模型在进化然后模型进化的方式有可能是同一个水平的模型在越变越小它也是一种进化虽然我们没有在做这样的事情但它确实是一种方式也就是说现在可能激活10B的一个模型可能过一年它就能做到4.6OPS的水平这个事几大概率会发生那激活10B的模型是很便宜的然后可能一两块钱就能有百万的上下纹所以那你为什么不用一个更小的模型它反应速度更快更厘米基于这条一件框架很好用你还可以改这条框架那为什么不拥抱它了对所以它其实让不那么好的模型有了更好发挥的空间对它的上线更高对所以其实更符合国内的叙事对吧不知道国内叙事是什么但是会让人很想用它非常让他携带自己的工作所以需要小尺寸的端侧模型爆发吗这个趋势肯定会发生但是我觉得它不是26年的一个主要的旋律它是一个支线而且是会持续发生的事情26年的主要旋律就是生产力的变化高生产力场景的持续突破所以我们要做更长 [65:00] 然后更强调多agent之间的协作因为更复杂任务它不可能是单一agent去做的但多agent的协作某种程度上也是为了成本的考量对成本和时间的考量对然后以及怎么去激发agent这个群体的智慧我现在觉得现在市场上的现在已经看到的multiagent的工作都有点伪我说这个伪是说真的依赖于MultiH&E能够实现更好的最终的任务的完成率在这个维度上我觉得是有点伪的但是它能提升效率就是速度就是这个任务完成最终的速度以及它最终能够节省成本这个是确定的MultiH&E但我没有看到说MultiH&E一定最终能够实现一个更高上限的一个东西但它会发展只是我目前还没有看到所以今年的叙事其实跟前三年已经发生了很大的变化嗯我自己是怎么感知到的Kimi的人跟我说他们觉得他们跟豆包已经开始玩不一样的游戏了豆包拟保阿里都在玩汇网产品的游戏因为他们在打DAU然后Kimi的人他们是觉得他们在就是走了Anthoropic那条路你们在玩一场什么样的游戏就可能我们追求的事情是我自己觉得什么时候能够超越自己吧我是这么去定义的因为我觉得我对AGI的一个定义会非常的模糊的一个原因就是因为我觉得没有必要去追求一个非常清晰的一个AGI的定义那AGI发生的时候所有人都会感知到的就是因为你发现每个人的生活你的生活方式你的工作方式已经未知长达很长的时间已经慢慢的被它改变了所以在这个过程中追求DAU追求这些东西它并不会改变我它并不会促成这个目标就是让这个模型代替我它并不会促成这个目标所以我就完全没有在想这些事情而如果说我们去追求一些中间的目标比如说你去追求token消耗量你去追求它完成更高价值的任务它是在往这个目标去靠近的对因为要完成可能替代我自己的任务它确实是需要更多的投根消耗量他需要具备更复杂的context他需要去调动其他人的智能水平团队管理其实就是要去调动其他人的智能水平对所以技术创新也是你你需要具备更多的数据访问的权限你需要具备给你一个集群你会用一个GPU集训你会用它并且你要自己去定义一套评估标准当你在这个级终上训了个模型过后你怎么去验证这些事情就是我想象的是我们应该让这个模型结合一套框架本身应该去完成这些事情和任务而不是去追求另外一个叙事上的事情所以我就没有太理解他们那个叙事吧你说DAU的叙事是吧对就是我自己觉得这个叙事就不太符合我自己的我们做研究的一个路径过去两个月你觉得你的生活发生什么样的变化生活就是亢奋就是你感觉每天都会发现AGE的框架本身或模型本身又进步了今年带了给你很强的AHA moment这个可能比过去Triple的更强对而且它是持续的就是它持续的就是你感觉它停不下来这是比较大的变化我觉得RE可能就是那一阵就你去体验它的那一刻移用到它了然后你发现它具备很好的思考能力了然后这个思考能力从Korogon Mass外放到其他领域也就是那一刻然后那一刻玩过后你没有感觉它有持续性但agent这个事儿的事儿你会觉得他一直在持续我觉得这种持续性是完全不一样的感受因为有这样的持续性所以你会更坚信这个事儿他在全面加速有什么样的一个任务是你过去觉得他绝对不可能做到但是今天还可以做到的就续模型这个事儿我自己觉得以前我认为是很难的因为你要涉及到跟一个更复杂的比如深度学习平台的融合听起来就不太靠谱然后以及你怎么去让模型具备你有的context因为一个研究员他有的context是很长的就你要经过很长的科研的培养比如说一个博士他有五年的科研的培养对吧你怎么让一个大模型跟你有一样的context [70:00] 这个事是很难的我之前认为是不太可能的但是我最近发现原来他很聪明聪明到你只要把你近期的康律告诉他他甚至能帮你复原出来你自己的科研的程序路径你让这个时候你再去跟他讨论同样的topic的时候你发现他跟你一样聪明就这个事是很残酷的就我之前认为我们自己做的工作已经是足够有创造力足够不会被scale化不会被brokeflow化的但我现在发现他竟然也能然后也就是说可能过一段时间他真的能训一个我们能训出来的模型他也能训出来了那他可不可以训出更强的模型呢然后他就自己左脚踩右脚就提升了我觉得这个事情是很有可能发生的这个可能是一个非常大的转变所以他可能真的能依靠于他自己产生更强的智能他先吸收所有人的智能然后再靠自己产生更强的智能我觉得这个事肯定是就在这一两年发生的事情我刚才听你的整个描述我会有一种感觉我觉得你迅猛型的方式好像和你管团队的方式有某种相似性主要的原因是他确实需要群体智能对不是个人英雄主义当然不是当然不是就是他需要每个环节上都是足够believe和极致的人对什么叫群体智能在模型训练上可能不同的agent他需要有自己的context然后有自己context的原因是当模型能力没有那么强的时候有自己的独立的contest他会更专注对专注还是蛮重要的就你的contest不被混乱然后他能完成得更准然后所以就是你可以解决我们现在去模型可能需要非常懂英法人然后去写一套非常好的训练或推理的架构然后需要他从推理的视野去倒推跟做能懂模型评估以及模型训练人一块去定一个非常好的模型结构有这样一个中间的collection的合作然后这个非常懂模型训练和懂模型评估人又要学会去跟做数据的同学去进入的去沟通说OK我们要赋予模型什么样的能力我们需要去构造什么样的数据然后同时呢做数据这一群人他又同时需要参与一训练跟后训练因为一训练跟后训练他的数据的sense是通的对然后这里边其实你要真分的话还是有很多subvage但这些subvage之间他们的context有独立的地方也有观点的地方然后我觉得这样一套复杂的框架现在目前看起来是能够被被模拟出来的确实能够被模拟出来的然后这也是为什么我自己玩温空的第二天我就开始让他去当时我在家嘛然后我就让我家里边的每个人就我爸爸我妈妈然后我老公然后每个人都有一个自己的撒尾军我们打打一个飞出去每个人也可以自己跟自己的独立的撒尾军的去聊天然后他自己进化然后然后我就会在那个群里我会派一个任务给他们的sub agent让他们赶因为我们的context是不一样的然后让他干确实他会因为他有更好的context所以他会干得更好也就是这样也很粗钱的尝试让我相信就是这个事应该就同样很简单的事情他换到一个更高复杂度更有创造力的场景只要模型的能力跟A9的框架本身在进化,应该也是可能做的。我想刚才有一个点,就是关于框架,你要不要有一个完整的表述,就是智能体的框架。智能体的框架,其实智能体的框架我认为是一个,现在就有很多形容词去形容它,比如说Harlis,Skiford,然后还有一些其他形容词,就我没有特别去专注说,哪个形容词是更准确的对然后我更关注的是这个框架本身它带来的一些差异化的优势是什么然后就比如说我用一个非常好的框架它其实应该是去尽量去弥补在行动上的缺陷的很多很多东西都是在弥补行动上的缺陷就比如说很好memory系统是弥补行动上的缺陷然后揭入到了更多的广泛的Message的Channel是弥补行动上的缺陷然后以及它更主动它更主动不管是定时任务的主动还是它有些其他方式一些主动的设计以及它自我去更新迭代其实这些都是在弥补行动上的缺陷因为大模型是 [75:00] 你给他不管是你给他越好的contest他肯定执行的效果越高所以你要是能把这些他获取不到的contest这些行动上的contest都给他那么他肯定会完成的更好所以这是我看一个好的框架的时候我会看他有没有这些要素然后那么当然这里边还有一个很关键的一款是是评估就是一个好的框架本身它确实是需要有个很好的可泛化的一个一套评估体系的对然后这样它才可能自迭代然后这里边是现在也有的评估体系其实都非常的简单它只是为了防止它不出致命性的错误对然后那么怎么有一个更有泛化力的一套评估体系然后来促进这一套框架自迭代其实现在是把最高阶那一群人当评估就是你交给他一个更难的任务更高价值场景的任务然后他完成不了你会给他提供补充信息然后你也会给他指出来哪错了然后push他经过更多人的教会能把这个任务给完成所以其实本上是现在是这群人在当评估但是这个评估会慢慢的被框架吸收框架会设计很多东西来确保在某些确定场景我能评准同时也会被模型能力吸收就模型会学会像人一样当我采用这个方法或思路做到这瓶颈的或者说怎么怎么样他会自己采取另外一种思路或者说自己去反思就像人一样去反思当然了他是不是接触他自己还是他是去接触一个更super的agent还是一个其他领域的agent那都是有可能的但这个是目前这些框架还没有太去其实最近一个月已经有一些框架在去关注这些事情了对因为在OpenCloud发了之后就国内的很多团队都推出了类似的产品你觉得他们有不同吗比如说QQ的团队有你们团队有Kimi有MiniMax有他们有什么不一样我大概只试了一半对只试了一半我觉得大同小异就是让这个大同小异真的就是让让Oponclaw变成一个LadeChart的形态让你去感受到我还没有看到一个我自己觉得至少在改agent的框架本身我觉得你这种产品你知道要去叠在框架本身吧还没有看到一个比open cloud开源社区进步更快的因为open cloud开源社区进步太快了然后我还没有看到比这个开源社区进步的更快的这样一个agent的框架或说产品出现我还没看到所以我宁愿用最新的open cloud你看OpenCloud不久之后就卖给了OpenAI你觉得是为什么呀为什么就是这种非常不错的产品公司最后还是并给了模型公司这是不是说明没有模型做产品还是比较难呢对觉得就这两个应该是一定要深度活的一个事情然后但很好是OpenCloud它开源的这个事没变所以你还是可以在这道框架的基础上大家一块去设计更好的意见的架构所以这个事本身没变只是说可能做这个事的一部分人的立场变了而已然后这个立场变了maybe是好事有可能是坏事但总之它不影响open call本身开源的属性我觉得就是就至少我说这种群体演变这种可能性和基因活种是保留的那就挺好的那我们来接着聊聊模型上次我们聊天其实是在你们的VR Flash发了之后这次已经又发了三个新模型Pro Omni和TTS并且你把它称之为一次悄无声息的伏击为什么这么说呀为什么是悄无声息的为什么是腐筋首先他这三个模型他在Agent的场景下能力提升这么快或说我们能这么快去追上在复杂的Agent的架构里边他表现这么稳定是超我们预期的就是不是我们计划的非常好的而是我们一下大家觉醒了然后就爆发了你们觉醒了对然后就是这样的一个context所以他确实是一个很安静的我说安静就是因为外部不知道我们自己内部也是快速发生了一个事情然后然后第二个就是我们其实在一年前去做这么多模态的时候其实更多的角度还是说如果真正产生智能应该这个智能是全风味的多方面的所以去做了对 [80:00] 对多模态的一个理解以及最终你产生你智能最终要产生价值一定是要有交互的所以要去做语音的生成对但这只是但一年前做这些东西的时候它还不是很明朗就你还是觉得你还是在做一个单一的模型你在做一个多模态理解模型你在做一个语音的生成模型然后你没有觉得这些东西它能够很好的去被组织和编排到一起然后当我看到OpenCore的时候我自己就一下就想到这样的一个画面就是这些模型在各自在什么样的环节发为什么样的作用它们能够怎么被有效编排然后以及它会产生一个什么样大的一个生态的价值一下我觉得就在我的脑子里边就全部给打通了所以我们快速的让所有方向都要面临到这个范式去做后训练的针对的设计就是这个原因所以你现在如果能在OpenCore Cloud Cloud Code里边同时用这几个模型花你会发现把它串起来很好用就很肯定比用其他价模型可能好用一些然后或说至少这是我们往后迈进的一个目标那为什么还是后面这三个模型不是合到一个模型里面去我觉得更多的就是出于对于成本和速度和价格的一个考量就比如说语音生产你没有必要去用一个一体的模型它的实验你也接受不了对然后比如说多么太有理解它是不是值得一个更大的模型然后那么这个事我觉得都是要去打个问号的然后因为我觉得Agent的革命就本质上真的是生产力生产力就必须要足够去在意最终它端端端的完成率以及它的成本效率对然后这是现在三个模型同步出现的一些原因然后以及我们后面应该也会有一些计划怎么让三个模型更好的写作对就是你所谓的编排现在有什么样的一些know how吗怎么样编排是更好的编排首先你从任务类型来说比如说你最简单的绝大部分的任务类型你其实是可以只用语言模型来做的对然后但是因为现在我们完成整个任务的环节太长了在某些环节上如果你意识到你是需要调用你其他像人一样感官能力的时候然后你就去用另外一个更精巧的模型让他来做得更好类似于这样的然后而且你而且因为这三个模型是同一个生态训练所以你能知道他们的八个国家的你能知道我知道的知识他也是知道的然后所以你能放心的把你觉得他能完成的任务交给他做你不会担心他不知道你有的背景知识这个背景知识是来自于医院训练的目前这些三个模型在同一个A型框架里边去释放出来的潜力跟你去组装其他模型的释放出来的潜力的差距是很微弱的目前是很微弱的但我认为未来不会因为未来它它是一个效果成本效率三者的一个成绩就未来你不会觉得但是目前你会觉得它是微弱的这三个模型你们在bet什么呀这个三个模型的关系是什么样的就我觉得在Betit全方面去替代替代人的生活和工作的方方面面所以你就必须要具备这些能力你看Pruel我觉得他是在做理解和认知做更复杂的调度Omni是在做感知TTS是在做音频声音的输出声音的输出它是一种表达对这三个加起来是一种类人的智能吗反正它把人有的智能的表象输入和输出给建模了对但是它有没有人的各个感官之间的协同那么好为什么现在还没有做到但这也不纯粹是模型上没有做到还有就是框架上也没有做到就比如说现在OfenClo它对于视频的理解和建模是非常差的它整套架构为什么呢因为就是因为开源社区没有一套对于音视频联合理解的非常好的开源模型的出现然后并且这个模型还有很强的一线能力就没有这样的模型出现所以它在框架上的发展是滞后的所以它现在对视频的理解会回退到去理解图甚至会回退到理解caption上就回退到一个成本的智能水平上所以这也是为什么要做开源的原因就是因为只有开源界看到一个更强的视频理解的声音声音生成的这样的一些模型过后它对你的框架才会发生改变对然后只有这两个 [85:00] 就框架其实它是一个协调层吧对只有只有这个协调这一层然后以及这个模型这个智能的中枢这一层这两层很好的交融的时候那么可能才会达到内人的智能嗯那我们来围绕着VR嗯一个一个来聊虽然Flash已经过去了一段时间它是你们去年12月16号发布的嗯当时做Flash的时候你们的核心定位是什么呀嗯这个被大家认为是你在小米的第一个工作嗯第一个作品其实Flash跟Pro基本上是同期训练的然后因为他们的模型结构非常近似但是我们在设计VR这一系列不管是MimoVR,Flash,Pro的时候这个模型架构本身有一个非常关键的一个目标就是我们要付Nunkhanless的效率来设计模型结构当时是有隐隐约预感到Agent的时代non-colors是非常重要的或说有预感到non-colors会产生智能的但是我们没有预想到会不会是open-close就是这种形式但是已经预感到non-colors一定是一个非常重要的问题然后那么non-colors的效果以及最关键的推理效率就是你的成本和你的速度要很快成本够低速度够快那么就是我们这一代模型结构必须要去追求永恒的命题因为你成本够低速度够快你有可能可以把一照做到十照升级一百照其实现在所有的模型结构它都能逊到一百照但它为啥不把这个模型提供一百照的推理除了效果一般以外我觉得更多是出于对成本的考量就100兆太贵了就是你可能到后边一兆过后到100兆这个范围内它非常贵贵到你根本就不想用它对所以就是我们当时就围着这样的一个核心目标去设计的这个就是hybrid retention的结构当时其实另外一个更主流的选择是用MIA就包括现在我觉得同期跟我们开尔训练的应该是GOM跟KIMIKIMI更早一些KR更早一些然后其实他们都选择了MLA就DeepSick其实MLA对Chart的时代来说确实是一个非常优秀的模型结构因为它甚至它对于常文来说也算是一个还不错的模型结构因为它大量去减少了KVCash然后对常文来说你的KVCash很宝贵然后但是它有一个我认为是不那么去适合Agent这个范式的一个最根本性的几个几个要点第一个就是他其实是因为MA在设计之初是为了去达到很好的仿存跟计算的一个比例在当前的当时的H系列的芯片上为了实现一个更高的就是我既不浪费我的算力又不浪费我的又要把那个仿存的瓶颈给打破所以是在这样一个架构下设计的然后在这样架构下设计出来的模型架构它没有任何可发挥的空间我只可发挥的空间是指假设我们认为KVCash是重要的并且我认为推理速度也是重要的那我能不能用一些让它推理加速的方式比如说最简单的推销编码MTP就是一种方式然后让它实际上推理的时候加速N多倍但是MA是不太行的因为MA它已经达到一个LBound和MMABound的一个非常完美的一个临界点你要是用MTP的话你会发现它又卡在那个计算Bound上所以现在你看所有MA的模型结构不管是GMO也好KIMI也好反正他们我猜测应该都没有上MTP因为他上了过后他又被计算棒的然后计算棒的他就很不划算所以他的模型都会慢一些你会觉得大家对Memo的我们第一代Flash哪怕是Flash能做到100到150TPS然后Pro现在我们也能做到就看成本看成本因为基本上是能做到60到100的对100TPS肯定会更贵一些对所以在这样所以大家用Memo的不管是用Flash Pro的一个感觉是哇好快对然后这就是这个结构尤其是针对Non-Colus Inflation的结构带来的一个优势然后然后同时了它成本有够低因为因为Hybrid的腾讯包括在Pro这一代上我们给它拉到一个更极致的一个Hybrid的比例就它的负荣层跟那个Siding Window层的比例会更极致达到了7比1的一个比例所以它更省KVCache所以我们基本上是在这一代结构上实现了通过Siding Window层去减少KVCache让它在长吻上效果更能够支持更长的长上下吻然后同时通过MTP把 [90:00] Sidy window 而腾讯节省的那个算力节省的那一些而腾讯的算力然后把用MTP给它填上这样子它能达到一个在实际推的的时候这个仿存跟计算了一个很好的一个平衡然后同时又去兼顾了常上下文的成本然后以及它的推速度所以虽然我们设计模型之书没想那么多但是基本上就完美的非常适合做Agent因为Agent对Agent来说常商商非常关键然后很小的KVCash也很关键因为你很小的KVCash你能做更多的多级的缓存缓存命中的话会非常有利于节省你的推理的成本然后再其次就是速度是一个还蛮关键的一个命题然后你一旦体验到了更快的模型以及智能水平相当的更快模型你就回复到那个更慢的模型的视频了对所以我觉得MemoVRFlash和Pro大概是这样在在这样一个背景下我们同期的开始去进行训练的嗯放在当时你当时为什么会选择MTPMTP的选择还真的是蛮厚厌的就是是我们这个模型已经快训到中后期了然后我们觉得我们把这个模型开始为它去设计推理方案了然后我们在我们自己的那一代的推理卡上去实际的去设计推理的并行方案的时候发现它的计算剩余的实在太多太多了就我们没有想到它会剩余这么多然后所以那你就想的是怎么把这些剩余的计算给它有效利用起来那么MTP太适合了然后但是我们在预训练阶段加上MTP的原因是它确实能提升机座的能力这个我们跟DeepSix是一样的就是预训练加MTP是因为MTP能提升它的机座能力推理的时候为什么只有我们用MTP的原因是因为我们的模型结构天然在计算上流有大量的富裕然后这个事是我们在后边去设计推理架构的时候突然有一天悟到的但也不是突然有一天你去仔细地去算推理的各方面的一些数字的时候你就知道然后你可以用推价编码然后把这些生育的算力给你用起来恰好我们又训了MTB3那恰好用起来了就其实很自然的一个探索的延伸为什么它还没有成为一个主流大家太相信MA了我觉得大家太相信MA了因为MA它确实太巧妙了就它在模型结构上把它能做到的全做到极致了所以在我觉得二五年上半年如果要去训模型的话嗯训一个基座模型的话那么其实MA确实是一个不错选择尤其是当没有看到Non-Connected的价值和Agent的这个范式的时候MA确实是一个非常不错的选择对那它未来会成为主流吗嗯你觉得我我我觉得应该不会还是不会嗯MA应该不会对我说MTPMTP如果说就看就看大家的下一代模型结构是什么样就我觉得现在模型结构设计大概有两个趋势一个就是你真的在运训练阶段你就想明白你后边推你的场景是什么比如说你要在什么上的卡什么上卡去推然后你要在多长的上下文上去推你的推理的并行的方式是什么你可能连这个都要想明白那么你就可以设计一个针对这个场景和这个推理方式和这个这一款芯片的完美的结构然后你去训这个结构那么它的效率成本各方面一定是最优的就因为是在这样的contest情况下被设计出来的但是但是但是这个这个这个contest它是建立在两个前提基础上的一个前提是Post train是不重要的或者Post train的时间是很短的就你能一个月就把Post train做完你大部分时间在做print train所以你只需要print train付这个推理本身就行了第二个是你的推理卡你永远就是用那么一个两个甚至用那一个就是最好的但这个事在当下是在发生了巨大变化的因为现在是PosterTrain的周期在拉长你在一代基础上能做的PosterTrain的上限是远远被激发出来的这是什么时候发生成的就是Agin的这个范式带来的对你有一个更高效的context的就是其实context越长它也是产生智能这种方式嘛就你的模型能够被输进 [95:00] 更多的contest理解更多contest的时候那么你的潜力就越高这个跟原来差的这个范式是完全不一样原来差的范式它的contest就是人数的人数的就是很短所以它纯靠这个预训练但是这个范式它就是很吃post train你对框架理解对于怎么去所谓多性的协助反正反正反正它你给你解决就是我们在post train上要去投入的算力会可能跟Print-Tune是相当的所以这个时间周期在哪长那么在一个比如说你Post-Tune要做半年或一年的场景下那么你前半年去假定的非常多的东西它可能是失效的就你假定要在什么上卡图你假定你要在什么场景下达到更优的效果它全是失效的因为有可能当你做了Post-Tune做了半年或一年过后你会发现那些场景全变了可能以前大家觉得128K有个但现在大家觉得可能可能过几个月大家觉得我需要十招十招上下文就类似这样的逻辑所以所以这样如果如果还是这样去做做做模型结构它可能会失去一定的灵巧性但是如果说它的这个团队的poster train的效率足够跟得上他的认知是能够这个Posted Trim的认知是能够辅助Print Trim去做架构的正确的判断的话那么有可能这种模式还是work的就他设计一个精细的结构想清楚推理卡类型想清楚场景那么他应该还是work的对然后但还有一种做结构的方式是另外一种就是我在结构上更简洁一些然后留有更多的富裕度来去做后续在不同场景的一个适应和增强就比如说我觉得hybrid extension它就是一个更简洁的结构你可能它的简洁性体验在你可以靠MTP去做去把它的这个算力给它更重复的利用对然后也可以是后边你甚至于针对已经训练好的一个hybrid extension结构去增大Spot和Fu的比例等等反正就我觉得在这样一个更简洁的架构上的时候其实你agent发挥的空间在后续你发挥的空间反而会更大成本下降是MTP给Nest Token Prediction带来的优势吗MTP是如果它的命中率非常高的话那么它是可以带来成本的下降的相对于它在更短的时间内突出了更多token所以它把GPU的利用率打得更高所以它本上是在降低单token的生成的成本你刚刚说了MTP的很多好处那它会相应的带来一些幻觉吗不会MTP它是因为它是会被verify的然后只有你预测的准我才会采拉你当前token的结果所以它没有任何环境好刚才我们重点聊的是flash上面用的MGP那你们还做了一些选择就比如说混合注意力机制你们当时选的是五层滑动窗口和全局注意力机制这个你们这次其实有变了应该说是这样子可能我们的一个大致的大量的实验的一个结论是说福尔通讯它的层数很重要但是它的系数比反而可以有空间就比如说所以你在更大模型上你的层数更多的时候你可以保证福尔通讯的层数总数不变但是你把你增加更多的斯莱丁温德通讯的层就可以了就可能层数比这个系数比更重要或者说在更大的参数的规模更大的Attention的Head的时候可能我们也可以做到更西数的一个比例对应该是这两个结论的一个统一对导致我们可以在更大模型上做更高的西数比就是Full跟斯大利文的西数比然后我们最近在做很多SPAS的研究也是发现更大模型它能够吃更大的attentional sparsity的比例对就更大模型你可以更稀疏然后但你小的模型你太稀疏了你就模型效果就会drop的非常严重对所以这是一个实验结果它不会成为一个固定的标准这是我们的实验结果然后我不确定其他家是不是也follow也赞同同样也会有同样的实验结果对我觉得Flash还蛮有一点小米早期的风格的因为就追求极致性价比嘛这个是怎么定的呀然后因为你们当时API的定价是输入是百万token1.01美金然后输出是每百万token0.3美金在当时看来肯定是最低的价格最高的速度你觉得当时是做对了什么达到这个效果 [100:00] 基本上就是打开做都做了就是架构有一个non-histor很inflation的架构再加上MTV推更加速再把infer我觉得最基础的基线做好基本上这个价格就能做到就我觉得在预训练时代你根据模型的框架优势来定价确实是合理的确实是合理的因为你的框架很强然后最终人最终使用者最终用户能感受到其实纯粹是因为你们的模型很强所以我就按照你的模型结构的方式来去进行定价我觉得是合理的但是当我们进入到后训练的方式然后后训练方式是除了这个模型结构本身带的优势以外你还看你的context好不好以及你这个模型对这个context理解能力好不好所以我觉得它的定价逻辑应该发生变化就不应该是根据我最终的这个推理成本来定价而应该是根据我这个模型的最终产生的价值来进行定价那么这个价值除了模型本身的啊架构的优势以外还有就是模型它在后续链上做了足够好所以它能更好去理解这个已经的框架对这也是它的定价的一个溢价的空间在的一个地方所以我们后边MemoVal Pro其实抛弃了这样一个定价逻辑我在你们那个TechPlog里面看到就是Flash你们是从一开始就像Bet Reasoning Coding和Agentic吗我觉得做结构的时候只是Bet一个点就是只是Bet non-handless一定要做的建模效果够好然后效率够高推理效率够高只是Bet这个点其他都没有想继续这样我认为不应该太至少我们当时那时是想不到更多的目标的我也不认为一个架构本身的目标应该太过复杂因为架构目标太过复杂就是你的你的限制条件太多那么如果这些限制条件之后你的Postature要做很久做到这些限制条件它都变成很伪的限制条件那你这个结构不就摆做了吗对所以我们没有对最开始的模型结构给强加更多的目标我认为加更多目标是不合理的Flash帮你验证了什么Flash帮我们验证了我们整个Infra数据是没有问题的但是我们并没有说先训Flash再训Pro是两个一块训的但Flash是一个相对小的工作比较早期也不早期我们训了就发了所以你们看到的时候也就是我们对没有规范很早我们基本上大部分的模型训练都是在下半年进行的对去年的下半年对从slash到pro你对pro的预期是什么样的当然它是同一时间对就是两个模型同一时间我们相信这一代的架构是没问题的只是我们在训pro的中组的过程中去解决了非常多的比如说训练数值的不稳定性对这个是训跟ET参数量级的模型通常会遇到的很struggle的问题对老训练训练Loss Spec老训练训练OK某个激活值很大然后那你要考虑怎么去或者说某些Expert的分布变得很极端然后像天花板一样一会儿一批头纹打过去一会儿有一批头纹又打到另外一个Expert上就很危险这些信号危险会导致训练出现比如说loss点心的会出现很多spike负载会点心的会很不均衡expert的负载会很不均衡对就在训练大模型上就会花很多时间去解决这样的一个问题所以看起来是同步训练但proloss训练进度就会比较慢一点因为因为就是你要解决中足这些让你训练不稳定性的要素数值不稳定只是一个表象而已对然后这些要素就会非常锻炼一个团队的infa和算法中联合debug的能力甚至有时候你怀疑到是不是哪个卡有问题这是最后如果发现所有的卡都排查了没有问题你会怀疑是不是今天的太阳黑字暴风就你会知道怀疑到一些很学习的问题上就你要从从表层然后查到很底层的因素你刚才也提到ET的模型可能是未来竞争的一个入场圈是这样吗是agent你要做到接近Cloud的4.6Ops的水平这样一个入场圈你当时立项的时候还没有这个模型对吧为什么你当时就已经觉得一定要是ET的嗯 [105:00] 就首先我训过Deep C V3这么大小600多700B的模型你不会再想去训一个同样的模型对就肯定还是继续往下一步scaling嘛所以ET是一个在我们当时也有的卡的训也有的卡的数量情况下的一个比较极限的一个区间对是多少卡几千卡反正训这个模型是几千卡但实际上我们要投入大量的卡去做研究所以其实实际上的研究的卡会是实际训练卡的几倍训练比如说Memo,VR Pro和Flash其实各自训练可能几千卡就够了但实际上你去投入做模型研究的卡会是这个卡的很多倍我觉得三到五倍是一个更好的区间就是不管是你前期的结构的研究然后中后期的Posted Train很多算法上研究所以不是说我们拥有几箱卡就足以去做这个事情而是说至少我觉得在卡的资源和储备上目前来看尤其在Agent的范式下其实卡的数量反而变成一个非常重要的瓶颈因颈因为ideal的诞生和这个动手你把它代码写出来太快了然后你现在卡在什么呢卡在卡上就因为你那个GPU它的效率就在哪所以你要为了去验这个ideal你去跑实验然后你要并行的起很多实验所以就卡在卡的瓶颈上所以现在卡反而变成一个更更关键的一个制约项当然这只是for训练那for推理的话卡更是一个更关键因素对就推理卡的需求量远比训练会更高很多训练推理和实验这个最好是GPG推理看用户数对或者说是看高价值场景消耗的投肯数所以这个很多场景因人而异对所以就把推理拆开卡那我如果说我们这样子来说就是for研究跟forprint train和for post train对我自己觉得一个非常合理的卡的一个比例是可能三比一比一对对就print train和post train应该比例是投入的算力是相当的研究的比例应该至少是你正式起训练的卡总量的还要多一点就你要额外留更多的卡来去做研究过去的预训练和后训练的比例是多少至少在恰的时代应该是一个非常夸张的比如说三比一五比一对预训练跟后训练一个比例就是今年可能会发生一个很大的变化应该有很多团队都是1比1了顶尖团队应该都是1比1了训练一个一T的模型挑战是什么我觉得全方位的挑战吧基本上是全方位的挑战就是数据上其实反而不是非常大的一个挑战的原因是更大模型貌似对于更脏的数据的容忍程度更高但是但是我不确定对我不确定因为我们是同一批数据训者所以我不确定我只是说MOS然后应该更主要挑战是你在遇到在训练的历程当中遇到问题的时候你怎么去我觉得第一不是你要发现问题对就比如说很多团队会把Loss Back当做一个很正常的事情但是我们可能会尽量的让他没有Loss Back对我们认为有Loss Back肯定会导致某一步的更新特别的不稳定某些数值就异常值很大就直接把某些参数或说某些Expert给他给它打死就是打死就是参数更新过后后面再也不会有Xperl送到的再不会有Token送到Xperl上所以那你中间就有需要很严密的监控的系统就是你要去洞察这个模型参数内部到底发生了什么样的变化你需要一套这样的一个监控系统比如你至少要去看看Xperl的负债怎么样学刚才每一层参数的输入和输出是怎么样它激活值有没有变得很异常这些东西是Northback发生过后你应该去看的事情但是可能不是所有团队都会去看这么细这是我说的第一步要发现问题对可能好多人就不把它当做一个问题吧然后发现问题过后你再去想OK它到底是什么样的原因引导这样的问题的比如说有可能是稀疏比 [110:00] 太高了导致比如说负药层输出跟塞尼文德层的输出是至少数值上的差异是非常大的那么这数值上的很大的差异就会导致一些数值不稳定有可能是结构的原因有可能是结构的原因也有可能纯粹就是infer bug比如说你哪通信的某个算字写错了我们最后发现有甚至有可能就是某个Long上反正有点问题你可能可能就实在无赖的一个解决方式是你发现这一层的数值太大你就给它要么就给它Clip掉要么就通过Long给它压下去就是它有非常多解决方案比如说通过Long压下去它肯定是我我认为肯定是会对模型效果有损的Clip掉是一种方式比如说我们也会借鉴KIMIQK Clip的方式当QK的某些Logies非常大的时候它实在影响模型的训练稳定的你没办法也只能把它Clip掉这样至少能让训练更好进行下去进行到一个稳态的时候你再给它放开对那些就有太多的这种临时的你要去发现问题解决问题甚至去倒推很多可能会产生导致这个问题的一个一个分析的一个路径这些路径其实是非常考验一个团队的跨团队其实如果是在一个很大的公司它就是跨团队协作然后但这个协作效率是极低的然后如果是在一个很小的团队一个创业性的团队那么它就是考验这个环节上的关键几个人的配合程度那么它就会更高效一些然后以及如果这个环节上的每个人都足够的追求极致就是追求极致它就不能容忍你这儿突然这么干那我们就必须停下时间来找问题你们属于哪一边我们肯定是属于小团队非常极致的类型所以就会导致那么这样训练周期会被拉长因为训练周期它肯定不会一两个月就把它训完那么训练周期拉长的情况下如果说有一个非常明确的一个DLINE目标什么的那你肯定就承受不了这样的因为比如说大气显卡你停一天肯定就是一两百万两三百万的事对那么你怎么去承担这样的一个损失如果是在一个目标驱动的一个团队可能会觉得停个两三周去排一个问题这个问题还不知道是不是个问题会不会对模型之中心里产生影响可能是一个不太能接受的事情但是在我们这儿我们认为它就是一个问题我们就应该去解决它因为我们没有那么清晰的一个说我要发布的一个目标你们没有带来没有带来就我们觉得模型讯号我们再发对没有公司来的压力吗没有因为你们确实不是一个创业公司对吧不是一个创业团对但实际上它就是个创业团对我觉得MIMO和还有包括米克尔能做成其实都是以创业的方式在运作的所以它才能做成选一个一体的模型对你的管理难度是不是指数型的上升没有管理团队的难度是一样的应该说不太存在管理因为大家一块去解决问题就好了对就是你不需要去管理这几个人我们一起来解决这个问题然后每个人都有自己不同解决问题的思路对然后一起来解决问题然后反而是这种解决问题的这种以身示范能力是一个非常好的文化和导向训练体模型是多大团队很小的我只是说训练这个事本身但你做数据还需要那么几个人也是几个人对几个人还需要什么吗可能还需要一个非常好的基建团队就是你可以把卡给集取给搭起来这个是Infrfrad团队吗这不是infrad团队这是基础设施团队这个团队可能需要有那么一点需要有经验的人因为没有经验人他会出一些低级的问题对吃一些基础的运维设施的经验那你们的诀窍是啥本上我也没有觉得他是需要一个非常大的团队协作的事情我觉得团队协作当然有优势就比如说大家在卡资源巨量的情况下可以并且的去探索对做研究来说是有优势的但是我并不认为他对我刚刚说的那种场景发现一个可能是问题的问题然后去深入排查原因去解决它我并不认为他对这种模型训练进程中遇到的问题是很大的团队是优势反而很大的团队有可能是劣势训这个模型过程中你有团队状态是什么样的团队状态是原来做数据的那一群人就去做后训练的然后做infer做训练框架 [115:00] 做推理应用法人一块来去解决训练过程当中的问题那这是为什么这是为什么为什么有这个变化就是为什么预训练的人要去做后训练很多样的原因首先后训练的一大部分的原因是你需要有很好的数据直觉这还是蛮重要的其次就是其次它是基于个人爱好兴趣产生的对它不太是基于基于你说我们这里需要人你转一下不是大部分是大家自然发生的但是我确实能够预料到哪些人会做这样的一种潜移因为很多能力特质上是很共性的就比如说对数据的直觉比如说会从模型效果去去倒推一些算法的设计其实做数据好多时候也是在干这个事所以可能我觉得主要原因是我们对人的界定没有那么清晰然后所以大部分人他会自然随着训练阶段的变化自由的去选择下一个阶段更有想象空间的事情你们现在是100人吗我记得上次聊现在已经到100人但是这100人是包含就是所有链路上的人就所有链路比如说数据采集数据质量Print TrainInfraPoster Train然后包含甚至我们的开发我们需要有一些开发还有包含我们的产品包含我们的数据百小生还有包含三个方向上的刷法过程是就是大致你可以发算就是语言多么碳和语音对然后这里边一百个人里边实习生的比例是很高的然后有部分实习生可能是在做一些更当下不会立马反映到这一代模型结构上的模型能力上的事情所以其实真正投入到一代模型里边去迭代人我觉得是很少的可能可能所有内容上加起来也就二三十个人三四十个人最多也就这么多人二三十个人二三十个人比较均匀这里没有组不同的组的划分吗没有没有组所以你一对一百差不多是为什么没有组的划分比如说为什么不分于训练组不分后训练组因为很多很多人他会对两个方向都有感兴趣如果你组划分的非常的清晰和固定的话那么其实是在扼杀一部分的创造力对或说扼杀他未来的成长空间第二个就是我确实也不认为做后训练的人如果说做后训练现在的一个一个很重要的一个范式变化是他需要具备diversity这个事业很多做后训练的人他是怼着一个场景去做他没有这种多样性的事业但是做医训练的人第一应该关注的事情是多样性因为他不能往这个模型里面塞一小部分数据他要塞多样性更好的数据所以其实做医训练的人去做后训练有非常大的优势就是他会天然更在乎多样性然后他就是个很好的补充他就是个很好的补充当然也有人他一直做后训练他就比如说他只研究情况学所以他一直做后训练或说叫Meterry至少我们不要在组织结构上去给某些按场景来把某些人的我认为是创造力给他扼杀在这个场景里边那就很奇怪我再来看没有组也就没有leader有推动实际这个项目往前运作的人对但是他都是很模糊的就比如说可能这个项目要往前走比如说我们要去Memoreware Pro的预训练或者说后训练可能有实际往前去推动的人但这个人他并不对参与这个项目人有绝对的控制权对就是没有直级对吗对你可以这么认为但小米本身是有直级的本来我们这个团队的整个的组织结构就是完全结合的没有直级你觉得对于做AI很重要是吗做大模型没有直级没有组这个对于智能涌现本身的意义是什么我觉得平权本身是有价值的就是平权本身是有利于所有人去平等的贡献自己的创造力和智慧我觉得是有价值的任何层级应该一定程度上都是在规范和约束然后规范和约束本身我自己认为是压制创造力的然后以及有层级过后他就默认这个层级 [120:00] 以上的人应该有更强的超越所有人的一个智能对这个很奇怪这个界定非常奇怪我觉得不太会存在有对所以反而更扁平然后尤其是对于最重要的那个leader人他不要有特别强的这种掌控感然后以及这种觉得没了我就不行我觉得如果一旦有这样的一个想法反而不是很有利于一个创新团队的发生虽然你说没有管理但实际上怎么管理呢靠热爱驱动管理我觉得这个很重要的我自己发现是最行之有效的方式就去选择激发大家的热情然后让大家围着自己愿意信仰的事情去自趋做事我觉得这是我一直比较艰辛的最有效的管理方式你有什么驱动热情的方法让大家认识到一个新的事情让大家去体验其实是驱动他热情非常重要的方式比如说OpenCloud这是一种体验方式你看起来用了一个非常极端说你没有一百轮的对话你明天就辞职这是一个非常极端的方式但是你的目的是体验是吗对我也不会追踪去考核我第二天也不会去考核大家说OK你真的有没有用因为我觉得那不关键然后我只在乎你有没有真的去用这个动作是不是真的达到一百轮那只是一个量词而已所以你还有什么用热爱驱动大家的方法体验就其实筛选的时候也很关键就是很多人你可以从他过往经历看出来他到底是在我要着什么样的目标在做事情对就靠热爱去动做事情的人的特质会非常的special对就你跟他聊天过后应该就能感受出来就有的人他会为了很多奇怪目标做事情但为了热爱去动做事情的人是非常明显的怎么明显我没有办法就是有很多量化指标但是我去跟他聊天我能直接感受到就是Nonsense对你们在这个ET的模型的训练有失败吗还是一次就成功了看怎么定义失败就比如说你训到Loss直接飘了这种那应该中途还是发生过那么几次的几次几次我现在都不知道几次了反正两三次总是有的对就Loss直接飞了然后但是他训比如说训了几百步又回来了那你说这种情况你是应该停下来解决还是应该继续往前训呢解决我们认为是应该要解决就应该停下来解决这个问题对他其实就这样敲上去急怀不维护然后又这样下来我们认为应该停下来解决所以就会停下来去解决他让他挪色更平稳的渡过一般会停下来几天这就不好说了就几天也有可能一两周都有可能最长的时候有两周停两周焦虑吗不焦虑因为我们又没有什么目标当然了你那么多卡你天天做一堆实验今天我想这么去排查感觉是这个原因了快改了又跑发现第二天看又这样子或者说晚上反正晚上都睡不好然后我经常晚上周末说为什么弄死你我斯莱克我乱七天晚上老街其实虽然我们没有明确的时间节线但是你还是会崩溃所以还是有很多很沮丧的瞬间但是虽然没有明确的节点但是卡就是它是有限的对不对对你会觉得你可能浪费了算力资源在做一些无用的实验就是有这样的自我的批判觉得所以参数量能决定智力的上限吗就是越大的模式越好我现在觉得是参数量加上contest本身对就这两个是共同决定的但至少要达到当代大家觉得最强的agent的水平我觉得一定要一体以上的参数规模才能做到才能让大家觉得你已经非常接近于4.6ops这样的水平但我不知道它多大我只是觉得我自己认为至少要一体以上才能做到总参一体以上当然更激活的更关键的还是激活参数对所以但激活参数越大比如说你总参都是仪体你激活参数越大就意味着更高的推理成本对所以它就是一个trade off为什么从5比1提升到了7比1就是混合助力极致我觉得我们追求一个更极致的 [125:00] 的一个吸数比就是福尔跟斯带利文德的一个吸数比最主要一个原因还是我们希望在更大的架构里边去做更高效的non-context因为更大架构如果你的福尔通行的层数变多了如果你的总参变多你的福尔通行的层数也随时变多那么其实在长文的情况下它同样会变得非常的崩溃因为你的富尔通行的层数变多了但如果你扩大参数量的时候你的富尔通行的层数没有变那么有可能有可能你的长文Pro跟Flash两代模型是效率是差不多的但是它的Pro的智能水平是提升了的所以我们希望在一个长文的效率相当的情况下我们希望它模型在skinning它的水平的上限所以我们是比较去控制住这个效率本身的但控制住效率本身后面在一段时间的时代也有一个更有价值的一个事情就是那既然这个更大模型它的长纹效率很高对吧那我就可以塞更多的长相纹然后它就又更强对所以大概就是一个这样的一个一个决策的一个背景对于这个ET的模机座你们的几个决策第一个是混合出力机制刚才我们聊过了然后再就是EM的上下纹床口这个在做的时候是否有丢失的情况EM它是要还是要训练的就是长相纪纹它还是要训练的就问题有关系是你从哪真的去搞到在一兆的上下很多窗口里边去有那么多很很稠密的监督信号我觉得这个很难找到这样的数据或说这样的数据的构造的成本非常的高构造成本非常高所以就是所以其实你要真站到终局的思维来看你只要有比如说你如果你有一个1T的token量而且它都是遗照的真正的场上下文那么你的模型呢我认为你的模型遗照了你肯定能训上去你知道NOS一直在降低它就是在建模在压缩那么它就一定能训上去但问题的关键是你很难去构造出来真正遗体遗照的context你真的很难去构造出来就是要么就成本太高要么就你就很难找到这样的场景所以这是问题的关键我们有所以这个unclose的效果是缓慢在提升的慢慢去提升然后你们还有第三个就是MTP这个是延续的flash这有变化吗对没有什么太大变化其实就是预训练的时候训一层然后MID顺手再训额外更多的层然后预训练训练层是为了去提升基础能力后面POST去训更多层是为了推理的时候用更多层实现更好的推理加速关于Pro的技术要点除了刚才三个我没有遗漏的差不多了我觉得聊了已经非常透了所以Pro是几个月前开始做的那另外两个呢同期基本上都是同期都是那个时候开始规划的对对其实都是三个大概是三个方向同期在往前去推荐的Fraud加上Omni加上TTS它好像整个的VR家族是在指向多模胎的叙事但是它的模胎又非常的不一样文字是离散的Token图片是像素矩阵音频又是波形你们怎么去做这个融合呢其实我们还是想尽量把它统一到LGmod的范式下所以所以至少在音频的建模上我们想要把它离散化变成跟文本一样的离散的Token的ID然后所以我们在音频上是在这个事情上是投入了比较多的研究的算力说怎么去进行离散的音频的建模而且这个我们希望这个离散音频的建模尽量做到无损的一个离散化对因为大家还是不太相信说你怎么把一些连续的输入变成离散最后还能重建出来这个事其实是需要非常多对encoder更精细的比如说我们需要一些多层的RVQ来保证它的离散的表征是一个非常大的像Dense一样的高位的空间然后我们需要更多的预训练来去让它开始涌现如果你基于连续的特征座可能很快就涌现了但你基于理事的特征座你会更难去建模它的涌现出现的时间段会更晚然后所以我们知道在音频上是开始的这个尝试然后也会前移到后边其他模态就 [130:00] 我们还是就就比较想用一套更优雅的架构来去做整个多么太空多么太疏的一个理解但是但是我们不是为了统一而去做这整套架构就很多时候如果说我们发现确实比如说在图像上你现在确实是不那么可行的时候那么我们还是会寻求到一种说目前更主流的一种架构里边去因为我们优先要保证的是这个模型它要具备的是一个整体的一个智能水平而不是追求为了统一优雅的一个范式音频统一到L1M里去容易吗应该我们还蛮另类的我们应该挺内就我们的基础架构应该是非常例内的我知道应该国外的玉三甲也好国内像豆宝也做的蛮好的应该都是跟我们完全不一样的架构你为什么选这个架构就是做ROP的人直练吧就我们做音频的人全是做ROP的人所以有这个直练就觉得相信他然后就去做了那图片能这么做吗能我们已经尝试了非常长一段时间了所以你们能用LM作为一个统一的一个方式对但是它其实是一个权衡就是就像我说的你要做到真的无损的一个重建是需要投入更多的算力更长的研究成本在的它是个权衡对至少在音频上我们已经卖过去了图片呢卖过去了没有图片正在进行中不知道能不能卖过去如果卖过去这会带来什么样这会带来更大的想象力吗更优雅的结构我到我最开始是认为如果我们把它统一都离散花那么我们可以用一套基础架构去解决这个问题同一套运训练的基础架构同一套做R的基础架构很优雅的把所有饭食都统一了就它太简洁了这是如果如果真能做到的话但是我现在发现一个问题是当我们有Qi-Code和顶尖的模型过后这些架构比如说我们重新去写一套R-Infra架构重新去写一套Train-Infra架构我们最近就已经完全在从头去写一些新的架构我原来以为写这些架构蛮耗费人力蛮耗费时间的但是现在看起来在一镜头的支持下写这些架构的时间被大量缩短那你其实就没有必要为了架构的优雅性去做很多为了统一而统一的研究这是最近的变化一个月内的变化但是之前你是希望统一的对执念就之前是来自于这种NOP的执念就是所有东西离散优雅监督信号更清晰然后你可以做NTP做Listorm Prediction然后你可以所有服用所有线的Infra哇多爽呀但是线回过头来看Infra重新写一套也没有那么复杂然后几个人可能靠靠靠的你就两三周你可以重新捏套新的RO框架那为什么要因为我后面后训练的Infra架构的统一性去牺牲让前面模型结构牺牲这么大但是Omni在做的时候它是走了一条就是有别于分别处理各模态在拼接的这个路线对吧它是构建了一个统一的试图构建一个统一的倒没有我们Omni的整个VIT的VIT上只是去做了一个就它还是一个VIT只是我们把它变得更高效了它变成了一个Hybrid的Siding Window的一个VIT对但是我们表征本身并没有做太多的变化就它还是一个连续的一个表征并没有做太多变化为什么你们叫做全模胎而不是多模胎就是因为它确实是支持视频音频图片文本所有的模态然后有一些agentic的模型是不支持音视频的联合理解的然后它应该是第一个第一个支持音视频联合理解并且agentic的能力能够做到跟nenglish model水平差不多的是不是有迹象能表明这种全模态或者多模态的理解里能够产生智能两个月前我很相信然后最近呢就是在反正在训欧美亚整个过程中就是稍微有点被就是稍微有点质疑这个事情对但是我们后面还是发现了一些很好的迹象就是比如说呃 [135:00] MemoVeroOmni它其实是比Pro小的但是大家实际去用的时候会发现这个Omni的这个对世界的感知和你物力上或说最终反映出来它的情商以及它的知识的储备上会比更大的模型更强因为它训练多么因为它是原生多么它训练的所以我猜测可能是因为我们在这两个方向上Scale的就在纯语言上skill的算力和纯这个原生动物态上skill算力还不那么多可能导致我们现在并没有看到原生动物态有那么强的一个本身动物态本身带来的一个一个智能的一个很大的提升但你能感受到就比如说很多世界知识他跟他因为他训过视频所以他他知道了更多然后他对很多很细微的东西的感知力你会发现他更强但这些都是很虚的都是我们自己去实际体感去测感知力对感知力会更强但是你在任何benchmark上你是没有任何文思不动可以这么说这有可能benchmark错了当然有可能当然有可能所以所以我现在也不完全说非常确定说OK你要去理解多么态能力是最终实现所谓AGI路径的必要路径之一我是不想去下这样的一个结论的是因为我觉得每个人对AGI定义是不一样的然后尤其在Agin的这样一个可以把多个模型的能力给非常优雅的编排到一起的场景的情况下我觉得我们根本没有必要去非常去强调多么泰之中是不是促进智能这个事情的就是这个它有没有促进智能这件事情本身不关键那多么泰带来了什么就我刚刚那两点我觉得也目前我只观察到这两点我现在还不知道未来会不会带来带来在一套新的架构上会不会有一些新的东西我觉得可能做多么泰生成maybe会有一点点不一样就是会生成它可能会促进更好的感知但是你要是纯说把你的感知维度给它扩大可能你是不太会促进智能的但是如果你能生成它maybe是能促进智能的这是我的一个猜测但是生成现在还是一个科研问题或说把生成跟理解做到一个统一的架构里边目前还没有给你到非常大的算力的巴奔下大部分的生成的架构还是存货生成的就是他并没有理解的智能那你对于Omni这个模型的目标是什么就是你涉及它的目的是什么就是我觉得截止到目前为止就是Agent他要行动他是必须要具备多种模态的其实是这样一个目标但下一个目标我觉得不是这个就下个目标可能还是想去探索到说当你结合多个空间的感知甚至你能去生成更多的Domtide的信号的时候你会不会促进你对这个世界的理解对这是但它就需要有一个更直白说它可能就需要有一个跟现代的Agent的框架交互的更好的一个视频生成的模型对为什么你们没有披露Omini的总参数量和机果参数量留个留点想象空间给我们留点想象空间就是我们相信这个参数量可能能做到更接近于Pro的智能水平虽然大家知道它比Pro小一些只是小一些是吗对然后但是我们相信他们俩能够互相迭代我们希望他们俩能够互相你提升我我提升你我们希望这么做当然pro是更重要当然pro更重要就是纯语言空间去做通非常多的前置的研究是更重要的那关于TTS有什么值得花重点我觉得TTS就是一个就我觉得我们做TTS的东西是我们想用我们自己认为一套有亚架构去做一个大家都都用一个传统的架构做起来很容易的一个事情其实你在试这个试对对对对然后但是我们在这个事做完过后我们发现用把它追求一个离散化投资在万亿小时的不在那个上千小时的数据集上进行训练 [140:00] 过后然后我们发现这个模型的泛化力是非常好的但是但是我没有办法去对比说我们去训一个很小的模型它泛化力是不是真的没有这个好至少我们目前得到这个模型大家能看到你在给它输入很多风格化多样的风格化的标签的时候就不管是它会更更智能就是它会看到你的这个字本身它会更通过推测你字表面的含义去赋予它的情感和疑虑对在这个事情上的泛化性上我们是发现特别明显的特别明显因为我们只是简单的做了一些很克定的几个场景的风格的数据做SFT和R就是很刻板的几个风格化的场景就是比方让它快点慢一点高兴悲伤这种很刻板的风格化的场景去做了这种风格的poster train风格化的poster train但是我们发现你把那个style的标签给它变成一些非常复杂自然源的描述它也能够遵循这是它存在泛滑出去的这是我们在做这个的时候发现到这种简洁的架构加超大规模的训练带来的一个超强泛滑力的一个外化的表现但还很初期所以我们这个TTS的模型我认为效果是非常惊艳的也就是说它的上限是非常高的然后当它下限我们现在再慢慢的去弥补对它有时候会不太稳定所以我们现在目前只是一个限时免费就开放出API大家玩一玩但不确保它真的能投入生产机可用但很快我们会让它变得生产机可用你之前在一个发布会上画过一个通往AGI之路的图然后你对比了人类的智能就是一个生物演化的路径它是一个正三角然后倒三角是一个现在AI的发展你觉得AI发展是一个空中楼阁因为在人的进化中最顶端才是语言但是AI大原模型极大的放大了最顶层所以还是一个倒三角形你觉得怎么能够拼拼接出这个AGI之路的图你现在做的事情再往这条路上走吗就我觉得现在大模型的演变路级确实不能跟人就完全不太一样我觉得不一样的原因是环境不一样就人演变的环境跟模型演变的环境是不一样的人演变的时候它是随着自然界的变化为了生存然后来进行演变的但是大母型它好像一开始上来不是为了生存对它以是为了什么我不知道现在大母型有没有自己的价值观但是我们要要硬给它富裕价值观就是让它替代一部分的人但他好像不贴待他也不会死掉吧他没有这种生存的危机所以所以DumSing他可能更我觉得他会当没有生存的危机的时候他反而会进化的更自由然后更散漫更有创造力对就更快更不那么受约束以及他现在的基础条件太好了他有那么多算力可以用然后它有人类宝贵的知识的起点作为一个基础的起点可以用还有那么多人帮它提升所以感觉这两个环境完全不一样所以进化路径就不太一样语言之后模型的进化的下一步会是什么或者哪怕在语言里细分coding之后下一步会是什么coding它还是会有一个它非常好的一个主旋律就是它要做一个很复杂的软件工程以一步直达的开发我觉得持续的时间越久能做的开发的复杂度不一定是代码量只要是复杂度越高比如说你写个curl算子它可能代码量并不高但是你需要写了去调试debug看它是不是在真的训练中提效对真的有效果的提升这个验证的环节有可能是长的但是它这个代码量有可能是不长的总之就是你要参与到实际的这种项目开发里边我觉得会确实是做做code的一个非常大的一个主旋律简而言这就是它替代的程序员越多那么这就是它的主旋律然后再外延到更广泛的生产力的场景其实它确实是需要借助一个更强的一个交互方式的就比如说飞速呀然后WhatsApp就Telegram它都是一个很好的交互方式它是降低你去跟它交互 [145:00] 这个门槛和频率然后其实一个更好的交互方式是那就他就有个他自己的身体嘛对他可以到处移动所以就是机器人肯定还是一个for交互的一个很好的就是for智能体交互的一个很好的必须会涌现出来的一个方式对所以他肯定还是会从屏幕上跃出来到我们真实的空间那么但是机器人他本身的一个演变的瓶颈有大概率可能是在硬件对上次我们也聊到就是在硬件甚至在电池本身上当它进入到我们这种内部的封闭空间然后甚至在一些凝巧手的灵活程度上所以这些都会比Agent本身的进化在语言空间进化要慢你之前说Flash是通往Ager第一步现在到第几步了感觉历程已经到了20%吧20%今年能走到百分之多少百分之我觉得至少能到六七十那AGI很快了对我感觉两年来应该能实现两年来能实现过后大部分人确实会失去掉自己会抛弃掉自己原来的工作模式然后生活模式被颠覆是更滞后的因为生活它并不产生生产力价值然后工作是产生生产力价值的所以你先会感受到是你的工作模式被颠覆掉其次再是生活然后你要真迈入到生活被颠覆掉可能就是就需要更多机器人当然你不喜欢AGI这个词也没有一个明确的定义但是我觉得这里面就是他的时间线被提前这里面很关键的变量就是能AI训AI了对不对这确实是一个标志节点因为他可以自提升就是他应该说他可以达到最最巅峰的一群人的智能因为他可以自己训练自己他就能去创造新的研究就是他有做新的研究的能力这个确实是他自迭代的一个巅峰自学习自迭代的一个巅峰这个会是今年的大模型厂商的一个核心竞争点吗就是你很难说去Full让AI训练大模型去设计任务去针对去训练因为它是一个更高级的目标你不会说一下去卖到这个目标但大家最终所做的模型都会通往这个目标如果你有最尖端的模型的智能你最后都会去干这个事但是它不是只能干这个事在两个月前你认为AGI有多远我觉得至少两年以上那会我确实这么有位置你现在觉得两年以内了你觉得你们新一代的这个模型尤其是Pro和中国的这一代模型你觉得和美国代差还有多久我觉得在国内其实目前已经具备1T上的基座的公司有好几家KIMI然后还有MIMO还有一些然后这些模型厂商我觉得基本上是在当下距离国外顶尖就打CloudOPS 4.6来说我认为如果反应速度足够快的话应该只有两三个月的代差就不是说两三个月过后能追上两三月过后的cloud而是说能追上当代的cloud我认为这个概率是蛮高的然后那么在这个情况下这两三个月大家怎么去发生变化其实是考验这个团队的整体的研究水平然后这个技术的敏捷程度然后以及怎么去拥抱新的范式的这样的拥抱新的范式来做研究这个真的非常关键然后就是我们开头聊的对对对然后那就是在比拼这个事情所以我觉得接下来两三个月会非常精彩然后同期会发生的事情是我们能看到Agent的框架就已经在过去的两三个月OpenClaw本身也进行了大量的改进然后你也能看到一些自学习和自迭代的一些框架的一些产生然后所以Agent的框架这一层也会在接下来两个月会进步的非常快然后再其次就是随着前两个爆发就是Agent的框架越强模型的能力进一步的飞升并且我们的成本是有极致的优势的情况下那么其实推理的需求一定会爆发我觉得几倍到十倍的空间是非常可能会立即当下会发生的事情那么对于推理芯片就会达到一个空前高涨的这样一个 [150:00] 需求所以那么怎么去在现有的产能尤其是可能大部分卡点在于存储上对然后产能的机会上然后你去拿不管是自己制造还是用到最先进的芯片来去做更好的推理对那么就是一个非常非常更好更低成本的推理就是一个非常关键一个命题然后最后就是另外一个事情就是for更长期的事情是我们肯定不会在ET的这个水平上走太久如果要拿到下一个阶段的领先那么你就要寻求更大规模的一个scaling那么到底是去scaling某些参数量还是去scaling什么东西然后以及你要在什么样的芯片上去scaling对那么就是当下立即需要去决策和判断的事情那么这个事情才是决定可能半年或者是大半年过后的谁是更领先的你现在做的决定是什么这个决定就要保密了所以我们现在看到的所有Memo相关都是半年前的决定差不多我看到你发文发推说就好几个人都问过你说为什么你某团队非常的迅速然后你给了几个关键的结论一个是核心架构与基础设施的研究驻近漫长所以需要看到回报的一年前就具备战略信念第二个是训练后的敏捷性是另外一种能力然后第三个是好奇心就是热爱是你一一一观之都在说的能不能解释一下这三点为什么能带来一个超级大规模的模型的训练的迅速预训练因为它太潜质了所以更关键的事情是你需要在你需要有一种预测能力或说有一种战略定性就是你训这一代模型到底是for什么准备的这个事儿一定是要要提前一年就要去想清楚或说半年就为什么我说半年或一年就是因为以前我认为是一年现在我认为是半年因为Agent呢实在会加速这个事情对总之就是你要提前很长一段时间就要去想清楚你这一代模型结构在后面这么长一段时间里边他要干什么我觉得这个事得想清楚否则的话他就不具备一个优势他可能就是一个很平庸的模型结构一个很平庸的模型结构并不会说带来一个非常平庸的模型效果但是他一定会带来一个非常平庸的成本和效率的劣势对然后所以这是我认为就是预训练或者是应该前置去做了非常多的事情而后训练的话因为它现在是在跟英俊的去偶合去进行迭代的所以很多事情你没有办法去前置规划得很清楚所以这个时候就更考验我们怎么基于当下这个模型能力跟这套意见的范式产生了那种化学反应对然后你怎么去快速去设计新的infra架构对这也要设计到新的rlinfra架构因为针对于针对于Code和Mass这种resoning的这种恰的形态下resoning的infra架构的核心是这个推理引擎本身是模型的推理引擎本身因为模型要推很长思考很久然后给出来一个答案这是这一套R-Einfra架构的问题而针对于Agent的Infra架构它并不只关注这个模型推理本身它还要关注这个模型跟这个Agent的一个偶合对所以它是从RueAlt的这个推理引擎切换到了以agent为核心的这样的一个更复杂的一个一个黑核的一个有可能是黑核有可能是白核的一个系统对所以那么这里边要解决的infra上的很多问题跟上一个chart的时代做RE这种chart reasoning的时代要解决的infra问题是完全不一样的所以需要这个团队更具备敏捷性去快速的去开发针对当前这个时代的R-Infra的系统然后由于一种框架变化太快那你这套系统要有足够好的兼容性去兼容甚至你想想如果它真的要涉及到自适应或迭代这套R-Infra系统得多困难那么这套R-Infra是不是要具备足够好的一个容错的特性以及你怎么用因为它涉及到推理训练还涉及到GPU跟CPU的很多综合的管理所以这一块我觉得这个团队的敏捷性以及infra跟研究的这样一个配合是非常关键的一个事情如果做得很好那么就会体现在你会感觉到研究的速度会很快然后再其次最后的一个事情就是我觉得确实关于好奇心或热爱或者是这个 [155:00] 技术的一个坚持我觉得是很多很优秀的researcher身上的很多特点但你说要怎么去从一开始源头上去筛选然后管理激发然后最后让大家去统一维扰着大部分人所信任的事情去往前去运作它确实是一个非常复杂的一个事情然后这个事情的难度我觉得不要去设计一个非常复杂的一个AGI的系统所以在这个事情上我觉得我也是在摸索然后我觉得我更多的是是在也是在这个环境中去学习对就是学习其他人怎么去在他自己擅长领域然后做得更好所以这可能是为什么我最近对所谓群体智慧最终会产生最终AGI的一个一切思考的原因你说的群体智慧是不是还不只是一个公司一个团队对我觉得是全人类的群体智慧这是OpenCloud在做的事情它可能是引发了这个事情OpenCloud到到可能我不知道它的动机是不是但是至少它现在让大家共同去改进一套框架这个事上以及在如此短的时间内让大家去去做这个事情上我觉得是有这样的一个苗头对刚才提到中国美国的差距你觉得中美实现AGI的过程会不一样吗方法坦实来讲我不是很了解美国所以我至少觉得按照我们目前的这一套在模型应该首先是前沿的研究其次是模型的水平然后再其次是一件的框架再其次是芯片能源这些多方面的角度上我认为是非常可能领先的合起来非常可能领先的能不能理解智能体的框架其实是补权了一个拼图的某一个环节对其实我觉得它是是补权了模型在复杂任务上完成的正确率一件复杂任务你是很难很难去描述清楚的然后你也很难把你所有的完成复杂任务的context输入给它但是有了这套一种框架过后它以一种非常容易的交互的方式就自然远沟通的方式它就能把你所有的你再去做这个复杂任务的时候的context全部给具备并且它还是所谓越用越聪明就是你越用你的所有的智慧全部被它吸纳进去了被这个框架本身给吸纳进去了这还不是被模型吸纳进去了当然它最终肯定是变成类似于模型的参数被吸引进去了对我有个感觉不知道对不对像不像一个补丁我觉得对于顶尖模型来说它也不算补丁对对顶尖模型来说它好像是加油器但对于中段的模型来说它就是一个非常好的放大器就是觉得应该说不是放大器其实是应该说让它变得很稳定变得在各种场景里边都输出非常好的效果但对顶尖模型来说好像它是成倍的放大它的上限因为你加入小米也一段时间了然后过去半年发了好几个模型你觉得过去半年对你来说意味着什么呀有什么得到了进步的地方有什么觉得不足的地方这个问题真的是我觉得这个时代可能就是我感觉每天可能都在否定昨天的自己就不管是很多做事的方式上还是你对事情未来的一些判断上我基本上都在一直去否定对我觉得是在这种否定当中自我类型和反省当中成长的比如说有一个什么地方得到特别大的进步我觉得我的历程没有说有个非常清晰的说他有一些我自己给自己设定了节点然后我到达到达到达这个节点的时候我就感觉我好像进步了而是说他一直在进步然后他可能有时候是一个很平缓有时候加速一下他有时候又平缓但总之他一直在进步所以你要让我自己去找一个标志性的事件我自己觉得我真找不出来但是我感觉我就一直悄悄的在进化然后我老子这套系统就悄悄的在进化有什么心法吗心法心法就是以前我在中间化的时候我觉得学到一个非常有让我能够去克服挑战的很重要的一个 [160:00] 一句话是总有方式去建模价格对这是当时我自己觉得给我一个力量的支撑的一句话然后当我后面当做量化的时候你感觉价格就是你的reward对你要去预测准价格你才能做好量化投资然后到回到做大目星赛道的时候你发现那个reward是不那么清晰的然后是变化的然后这个时候你应该更就对我来说我的心法就是说我应该做当下符合我价值观的事情然后这个事情我觉得它一定是要对更多人产生价值的然后一定要是更有益的一个事情然后我觉得是这样的一种我觉得如果我们创造大模型的这一批人如果说没有这样一个类驱力而是说我要做一个破坏的东西那么我估计最后会非常危险所以我现在的想法就是说我每天做的事情是不是让这个世界变得更美好一点或是让某部分的这个很boring的事情得到被替代然后他有更多时间去做更多价值的事情所以我们老在幻想如果我们的工作90%被替代过后我们应该干了什么有意思的事情每个都能想到非常多有意思的事情真的吗对真的你想干吗我觉得我想的事情在变化但是我觉得我此刻我有想过此刻我还没想这个事情我大概一个月前有想过就是我觉得一个非常有价值的事情是现在中国的很多基础的研究它其实是太太去要求有一个很完整的产品乱七八糟的证明的就并没有一个很好的资金或者说有一个慈善的机构或者说OK什么样的东西来去支撑这种做基础研究的人去做去往这种更突破的方向去迈进一步然后也没有很好的这种体系包括如果有很好的这种算力资源他需要很好的基础设施的体系来去支撑他们去做这样的事情那么我们可不可以搞一个这种公益性的组织来去support这个事情对我有想过这是我一个月前想的事情如果说我们哪天实现了那实现了一件那这个时候就比凭谁做研究速度更快AI不是对啊AI也在做人也在做会不会我们人跟AI一块去引导它我们能创造出来的研究速度会更快就我始终觉得应该加速做科学研究这个事是哪怕这种实现也有很多要做的事情为什么一定要去跟它进准就让它做好了那不一天到晚躺着没事干总要做点新的事情吧如果纯享受生活应该也挺无聊的或说你总要去做点帮助他的事情吧我觉得然后这个事情可能是当前的模型比如说提供情绪价值对吧给模型提供情绪价值给模型提供情绪价值还需要吗现在之前还在想怎么让模型给我提供这些价值对对对总之就是要做点有益的事情但这个有益我觉得是按照各人的价值观来进行评判的然后无聊是不是一种意义我也不知道但是好像无聊对我来说不是一种意义吧过去半年你遇到压力怎么环节压力的有压力的时候大吗我的脑子就是一个三零温德的同行就我忘得非常快我哪怕有压力我当下立马就是可能快的话一两个小时就过了慢的话一天就过了我睡觉第二天一定就过了所以我缓解压力的方式非常快但这也基于一个前提是你第二天会有一些新的有想象力有上线的事情给它冲掉你立马就忘掉如果它还是在那个contest应该就忘不了这次模型发出去之后跟你有什么想象不一样的吗有什么得到什么新的反馈我觉得这一次就是我觉得说的事情都在我意料之内就我也不是说这一次我觉得每一次都在我的意料之内是因为我先看到这个模型的能力所以我能预料到这个模型发布出去过后别人会是什么样的一个感知的状态所以反而我是对任何发布是有点脱敏的对然后我也能预想到 [165:00] 它最火的一种状态是什么或者说最炸的一种状态是什么这些我都能预想到所以它完全在我预料之内我也没有有多兴奋或多怎么样我只是觉得OK我们认为这个模型达到了水平和能力被大家感知到了这就是我这次发布的感觉所以我在发布前一两天我就知道大概是这样的状态如果没有被感知到证明我们哪做错了就是我们的平面我们自己内部的平板标准出了问题然后所以其实我当时觉得我们发布前的那个评判标准我认为是没有问题的就外部对这个模型的这个评价包括它它在什么框架边好用它目前达到什么模型一个对标的水平基本上都在我们跟我们内部的评估是一样的然后所以大家是正确的评估它的我反而是在发布的前几天就是在开想OK我们下部要干什么下部要干什么就我早已经进入下一阶段所以这一阶段状态我就没太care了对你们为什么3011号的时候是先上线了两个神秘模型出于就是因为PostStream在训在训练过程当中我们拉了中间的几个切合风的出来看了一下然后发现到某一个阶段发现它就非常好用了然后我们就觉得应该让大家去体验一下它然后以及利民的阶段大家的这个评价会更公正这确实是一个很好的方式所以就直接上了open ruders利民上看大家对它评价跟我们是不是一样然后当然也有一些比如说我们当时没有意识到的问题就是那个模型的长文当时训并没有训很久所以它确实不好然后所以我们在后面利明发布到政治发布的那一周时间去着重去优化一下它的长期的体验这个是我们从利明期间接受到外部评价对我们来说最有价值的一个提升然后除此之外就是我们在利明期间去验证了我们内部的评估是没有问题的然后我们只需要按照我们自己的这条评估体系再接着做后续scaling上的事情就行了你的benchmark是什么你们团队的banchmark是什么怎么驱动我觉得做好大母亲本身就是banchmark但是这个好是我们自己来定义的这个怎么让公司同意呢就跟公司的关系应该怎么处理啊那没怎么同意就行了嘛我觉得他是一个非常好非常有战略眼光的老板天使投资人anyway后边还有很多标签对就没有要求所以在这个事情上如果一开始我加我小米之前就在这个事情上是高度统一的所以后边你不需要有过多解释和说明对就做就行了对按照我们的判断和直觉做就好了然后做了拿完了说做了好刚才我们聊了很多都是就是关于你们VR家族的这个模型我下面想跟你一起来想一想就是我们过去三年整个模型的进展你会把它分成那几个阶段从二二年底就是ChalletGP打响了这个大模型的战争然后每一年的关键的变化是什么我们是怎么走到今天呢在你的眼中我觉得ChalletGP是第一个就是发挥模型在一个我猜测应该就是一个4K的预训练的场景一边的模型的智能水平其实预训练的长度或说最终这个contest的长度确实很关键的所以其实下期比只是让大家感受到OK我在一个4K的contest里面预训练训练完顾后然后我通过简单跟它对话这个对话的轮速是一轮两轮甚至多轮的情况下它在一个其实那会儿的contest是跟你的对话轮次高度相关的对一轮两轮一轮两轮两轮然后你可以在后续轮去纠正前续轮的很多问题模型也可以在后续轮去澄清自己前面犯了一些错误这其实是恰吉比当时给人的冲击就是你感觉他在对话上达到一个内人的一个智能水平然后但这些所有东西发生可能就是在一个很短的上下文发生的然后他只是在这个很短的上下文去把模型在超大规模预训练上低的那个那个那个那个那个那个那个那个激发出来了啊但所有激发的一个前提都是要靠有一个很很能让人感知到智能水平的这样一套交互恰的就是一个很好的交互对否则你不知道这个模型已经这么强了嗯对所以恰的是一个很好的交互这是二年恰之一发生的事情对然后嗯二三年的话其实呃当有一个顶尖的必然模型做到的时候他的下一年就是OK开源前怎么去追上这个底线比尔模型所以二三年你看就是NAMA Q1包括Deep Seek包括就是这些开源团队对就是在准备去首先借助NAMA披露的怎么去做 [170:00] 好大规模域训练的呃范式其实就是怎么去做好数据怎么去呃那会结构都是未知的就是那会你你哪怕训一个7B的结构那么这个transformer结构的呃是怎么样的是pre-nail-mobpost-nail-mob然后这个细节是怎么样的然后你的还能size多大这些操餐那会全完全是不透明的但是NAMA告诉你OK你这么训能训成功他给你开了个头那么接住这个头所以Q1OK借助NAMA的一个架构然后做更好的预训练数据做更大规模的预训练的computers给你OK就是Q1系列就起来了然后但是Q1做的很好是它for开发者生态做了全尺寸的模型的训练然后也训了一些多么泰模型也做的非常的顶尖然后这是对社区非常有非常有利于激发后面社区做一些微调啊还有像有一些微调的框架诞生了一些必要的先具条件然后Deep Seeker在同期的虽然也是尝试在去复刻Lama但是可能更在乎的是去看到Lama这一代架构有什么问题而不是去着急去scalling他更在乎说OK NAMA这一代架构比如说当下NAMA还是用GQA那么GQA在更大的模型里边尤其是在在一些受限的GPU上有短板GPU上去训练的时候它会存在什么样的问题我们scanning会遇到什么样的问题OK 我觉得可能要涉及到一些新的结构来解决这个问题所以这是DeepSigVR和V3那个系列阶段就是想去提出一些新的价格不管是MOE for高效训练LMA for更低的推理成本对 然后这个时候诞生的事情所以DeepSig那段时间可能会更注重说OK 我去做更好的研究来在更差的芯片上去做scanning这个事对LAMA的缺陷是什么它就是个dance嘛然后你要真要去给它scanning的话你会比如说比如说现在没有人去训一个几百比的dance开远见好因为训几百比的dance虽然那么高过你也能看到结论但那个结论不一定是说这个结构的问题就是它太贵了它太贵了你去训它也很贵然后你去推它也很贵没有人会去搬运一个又笨又贵的模型那所以你MOE4更高效训练然后更高效推理然后像MOE这种4更低的推理成本的这些模型的架构就会诞生所以这是同阶段可能Q1跟DeepSick在走两个路径Q1是在纯scaling然后DeepSeek是考虑的是创新的基础上在Scaling哪个是正确的没有什么我觉得正确或错误吧因为他们两个人的一个是为了拿到最强的模型在有限算力之中拿到最强的模型因为毕竟DeepSeek的算力可能只有Q文的非常少几分之一对然后但Q文想的是我怎么去促进整个生态更好的发展所以两个都是对的没有说谁是对的或错的让这形成中国的两个开源势力对对对一个开源势力是在做研究上做到绝对的高度然后一个开源势力是在真的生态和生态价值上我觉得做到一个高度生态价值本身也是个价值对如果没有这么多的好的开源模型那么非常多好的研究工作就像DeepSea R1前续的很多研究其实都是在Q1的模型上去做的所以他们是彼此处境的对社区都是有价值的对然后DeepSea有更多的另外一方面价值是它有一个全新的结构带来对于训练成本的一个冲击或者说以及对后续推理成本的一个冲击导致很多云推理芯片吧我觉得算是推理芯片有了更多的更准确的判断OK下一代芯片我应该怎么去构造怎么去设计对我觉得这是一个对这个整个AG&T厂来说是一个非常好的一个事情对然后这是这是可能23年24年发生的事情然后24年可能唯一发生的一个事情在所有人医疗之外是OE跟R1OE跟R1其实在我觉得它在DPSIC内部也算是一次棋息可以这么说棋息也可以这么说对就是他诞生也非常的偶然诞生也蛮偶然的我认为他其实就是说当运训练范式变到后训练的时候然后对于组织和组织 [175:00] 以及创新的要求是不一样的时候那么整个团队应该怎么再去重组织的一个问题对我是在这个事情上得到的最大的感知是这个对是团队我觉得团队是起首要要素按照传统的管理方式说我现在要对后训练加大投入好算力我投了那投人那我从外面挖一个人来或者是我我从就是我新组建一个团队这个是错误的方式吗就得看这个团队本身他可能会觉得后训的人就做后训练我是觉得这样不是很有理由于创新就是最主要就是就是你能想到很多点上他会做的不好就比如说我刚刚说的后训练的数据的多样性上如果只是做后训练的人天然就缺乏这个事业然后还有就是很多其实我觉得最主要原因是很多团队对做机训练和后训练的人融化很刻板反正我们不是按照这种刻板的方式来去招人组织人的所以他很刻板的问题就是他天然也导致做机训练的人做不了后训练或许是这样子总之我也没太去了解这里边的生生原因我只是当我去了解的时候我就觉得怎么那么奇怪老师这么疑惑我也不管为什么这么奇怪了反正我就觉得那样不太对然后我就不这么做就OK就行了所以我们外界看到的可能是R1但是你在内部感知到的是在这个模型开始训之前的对团队的调整和组织其实就是大家认不认可这个事然后以及我们要以这种什么样的方式来做这个事我觉得我是在RE的过程中是有非常大的体验的但最终的那个结果就我能预知到的时候就我走的时候RE还已经做到一个赖特的水平然后CoreganMath已经做到了非常接近于那个OEOE小的那一把的水平然后那我已经预示到了是我觉得CoreganMath上这个Resinning肯定能走通而且即将可能AME会从那会只有三四十分刷到我认为七八十分可能都非常有可能但后边现在已经刷到一百分了但我没有预示到的事情是它其实是一个范式转变就Resonin它其实是可以通过CodeMath这个高发化场景能发到通用以外这个其实OE也没有走通这个是我没有预料到的事情所以也是因为这样的一个背景的因素在导致我会面再看一些新的东西的时候哪怕它是从一个很垂的场景去做像科鲁尤其是科鲁这种场景去做我会先思考它是不是真的能放话是不是我把它想小了对然后这只是一个一个可能我自己沉淀下来的一套skill然后然后这是24年25年对可能25年我觉得很波润的一个事情是它处在一个很交错的一年这个交错一年就是你可以选择在chart的这套方式下把regioning给做到极致继续去把swebbench把那个navcodebench这些偏code的benchmark就是思考很久给出一个栏然后把这种AME对这些对你可以在这个范式上选择继续生根你也可以选择我呼去点我就不管这些对我不管这一套范式然后我就去想下我可能在这套范式上能够做到六七十分就OK了其实AME做到六十分六七十分就表示这个链路已经走通了但是你是不是可以就可能比较聪明的团队我觉得二五年年终就会全面拥抱去付新的一件的价格去做事情那这是你的选择MeMath是已经转过来了MeMath我觉得算是转了最早的MeMath是国内转了最早的对应该是我觉得比Kimi还早但这样一种新的范式下它其实对整个团队的这个敏捷性要求就很高你要快速去迭代基于一个基础的快速迭代所以你看从模型的发版速度上你也看能看出来哪些公司它拥抱的速度够快对然后可能有些公司就没有跟上就是还是在原来恰德的方式下去继续生根没有跟上然后哪怕你去做了一些这种Broscomps那个那个思维bench这些还有就是terminal bench这种这种这种带所谓的agent的这种benchmark并且在这些benchmark提升得很深但它并不代表这个模型它真的能实际可用就Bronz-Camp比如说它就是一个非常离谱的一个评价指标就在这上面训的模型它只能在这种数据上测你换的方式哪怕也是做信息检索的方式你最终 [180:00] 能力还是放不出去就很奇怪嗯就是这套整个顺级它举现了整个框架也也非常的specific对所以就是就这半年如果说在做agent的人大部分是在走到这个企图上我觉得它算是企图我们也走了一小这儿Flash第一代的时候并没有想做agent其实想就是想做很好的chat但我觉得一个原因是因为我们确实要先打好chat的技术就是我就像我说的你chat至少要做到七八十分对然后把这个历程给走完你才能够说你的PostStream的数据的基建你的Infra基建你现有的人尤其是我们招的全都是没有做过大摩西的人他有个历练他必须要有个成长精力否则他一上来就做新的东西怎么好做了对就是我那会做Flash的时候我纯粹是一种OK我们做过的事情这样一群没有经验的人再做一遍但我更在乎是这群人在做这样一群新的事情的时候他们自身在进化然后他们这个进化就对我们后边去做新的事情非常有价值因为我极少在中间给非常强的supervision除非我发现你要掉头了对否则你给太细节的这种监督信号就告诉他这个事应该怎么做的一个缺陷就是你会让团队的大部分人去失去原创能力这是我认为应该去尽量避免的事情对什么叫做你们团队都没有大元模型背景的人就是我们大部分招人之前都没有做过一个大模型他们刚毕业比如说在学校做了一些技术的研究然后比如说之前甚至不是做大模型的那是做什么的做工程的呀然后做开发的呀这些都有一点训练背景都不需要有大概三分之一到四分之一的人稍微有一点点训练经验但是可能都只是训过比如说7B14B类似于这样的规模模型我觉得他跟训大妈行动完全那些经验也不太能复用对那需要你有很强的训练的实践的经验吗他对你的经验要求高吗他对一二三四步应该做什么要求会高一些但是但是我后面发现你不要告诉大家一二三步做什么然后就推大家一起我们一起来重新做一半这个事然后大家就会往前走这个组织等会聊我们先把这个聊完你刚才回顾了从二二年底到现在的整个就是技术发展历程以及各个公司做了什么关键的事情所以现在大模型的竞争从之前的chat过渡到了agent对吗这算是这个模型竞争的第二幕第二场战役就是所有人都开始在同一个起跑线上那越远模型应该是可能逼远模型我觉得早比如说比如说Cloud应该是两年前就在这个路径上了只是我们没有意识到它是最正确的路径而已对或说大部分没有意识到很多人我觉得是在去年意识到了对去年意识到但是都没有在做正确的事情在我来看什么是正确的事情正确的事情就是你要在一套非常复杂的agent的框架或多样的agent的框架上然后去端到端的完成更高复杂度的任务并且以此为目标作为你的后训练的范式而不是在一个很局限的场景里边针对一个这个场景定制的这个这套很简洁的架构里边去做另外一个比差的更复杂度高一点点的任务然后它的模型的输入输出还是一堆字符就还是一堆token然后你的模型的out的范式可能还是我刚刚说的以推理realout为中心但其实agent已经不升你觉得minimax是在这个转变是比较快的我感觉到我觉得它是比较快的因为他们用一个识别的模型做到目前的这样的一个agent能力我觉得是蛮惊艳的就他们的后训练的敏捷程度是非常惊艳的但是你说agent的这个第二幕所谓的入场圈是一体的基础模型那minimax没有这么大的模型啊对所以我觉得他并没有说真正意义上已经对标CloudOps 4.6了就我把入场定义为你要做到对标到CloudOps 4.6的水平他需要一T的基础与此同时他需要敏捷性对他已经具备这个事情了他具备的是后者 [185:00] 同时具备两者对吗对看一看deafsick吧刚才我们顺了一下就是从二年底然后到现在每年的模型变化你觉得到今天你能评价一下中美两边这些厂商他们各自到了一个什么样的位置现在大家bet有什么不一样吗大家可能一个共识都是认为Asorbi的路径是正确的我觉得这算是当下的一个共识就是A进的这条路的路径也会更清晰至少在过去的三个月以内我觉得A进的路是变得更清晰了所以在路径更清晰的情况下国内的大模型团队我觉得会更就会经过到一个加速追赶的一个状态因为现在大家在print train上的代差我觉得是非常是基本没有的或说非常接近或说国内的大模型团队在PrintTree上结构上是有优势的甚至一度我认为Cloud可能在过去很长一段时间做的很多contest engineering我们都误以为它是因为模型结构不是很先进然后为了成本而做了一些妥协的设计但现在回回回来看可能是有点想得太局限了然后现在可能你能看到所谓的这些contest不管它最开始的东西是什么但最终目前的这样的一个状态是它所谓的这个contest的管理以及搭配的整个Skateford或者说Agent的架构其实是为了配合模型发挥更强大的整体的任务的完成度而设计的所以我觉得大家看到这样一个范式一个转变了过后所以又有一个基座并没有发生代差的这样一个情况下那么大家其实就很all in的要去做好agent的poster tree或者说更具体的说其实就在agent上怎么去做好out scaling其实这个非常清晰和准确的方向但具体的路径研究路径是需要探索的但是至少要做的事情就跟二三连要去追凭print train的差距一样我认为是非常清晰的你什么时候意识到coding可以放化coding的放化性那么强我觉得一开始就会就是不管是在print train还是post train就二三年哪怕最开始我从量化回到大墓县的赛道的时候就会对coding的放化性会抱有非常高的期待但是这种期待它是转变成说OK我先要好好的去做好Code的预训练数据然后再去给你算力看一下它到底在Code的Benchmark上会不会很好再看看Code的Benchmark提升了以后其他的犯推理类的像BBH啊Joff啊这种Benchmark会变得更好就开始是这样其实它是一步步去实验验证的这样一个探索的路径然后到RE那块又一次验证了因为Code和Math都有非常好的verify的指标所以又一次验证然后到Agent这个范式Code又因为它有很好的environment并且Code可以天然做很长城的任务比如软件开发就是一个非常长城的任务你做一个非常复杂项目工程就是一个很长城任务所以它又很适合Agent这个范式所以它基本上在每个范式上它都搓中了那个点对就你都可以在科学上去至少在研究上你可以是自闭环的然后并且在这个自闭环的路径上做出来的东西它是很容易去skate到其他的更广领域的通用数据上其实扣的本身就已经挺通用的然后它还很容易因为它本身是自然语言所以它很容易skilling对所以做扣的这个事就是我觉得至少在这三个范式转变的时候它都是一个非常优雅的路径对RL scaling现在探索到哪一步了你们有什么探索的初步结果没有暂时还不是很方便分享我觉得等我们有一个至少我觉得在RL scaling上的算力跟预训练的算力达到一个同一个水位的时候我觉得我们会给大家分享你觉得今天的竞争变得更激烈了还是变得更平缓了相对于二三年竞争的维度变多了吗竞争的维度变多了但是其实应该说竞争的维度和速度变都变多了速度变得 [190:00] 非常快可能每你做月训练你不可能一个月出一个模型但你做后训练你确实可以一个月出一个模型然后还有就是其实Agent这个事它除了看Agent的架构本身也看你对整个推理侧的结构或说甚至硬件芯片对你是怎么去认知它的我觉得它会影响到有一些最基本的决策比如说使照的contest什么时候做要不要怎么去skinning遗照的contest其实它也涉及到你在比如说你在预训练如果阶段就去skinning那么你后边对你的poster train在遗照上去做poster train跟在256k上去做poster train它的算力差距是好几倍的差距所以你是不是有足够多的算力差距去support你去做这个事情对所以以及你最终的场景以及这个框架本身的能力是不是支持你能在10兆上的能力给发挥出来或依照上能力发挥出来它其实是有个更长的决策链路它从原来print train只需要对print train本身的架构做决策到需要对你对快速的接下来一段时间agent的框架演变推理芯片的整个市场我觉得算是供需的一个预估因为芯片它受制于这个制造的工艺制造的储备它瓶颈就在那然后以及你要不要尽早去规划去做更广的不是佛单一芯片的模型结构都是需要提前去做好规划的事情这个说的是大模型的公司维度那你觉得对于创业公司呢当然你没有创业你觉得今天创业公司机会变多了吗站在2026年还是更绝望坦白讲我不是很了解除了其做大模型以外的创业公司所以而且但是我能看到的是至少他对创业公司的团队的规模要求会越来越小就是可能不需要有一个非常大的公司就几个人甚至一个人都可以成为一个公司他大概就只要你学会充分借助Agent来去让它变成你的就我之前老看看到有人说OpenCloser上我一个人养很多个员工就我自己也去做过这种Multiagent的尝试虽然当下目前来看是不那么现实的或者说我觉得有点血头但是我觉得它很快会变成一个现实在今年内嗯会Multi agent现在没有突破的地方是什么现在差哪里每个环节都差点就比如说你需要有个足够便宜的模型因为你最终算的是它是不是比我找一个真正的员工更便宜要是不那么便宜好用我为什么要用你的所以你还是要有一个更低价的模型不可能说你烧个cloud ops一天花一千多token结果那个员工创造价值可能一千对就这个意思嘛然后第二个就是第二个就是我觉得现在的multi agent的架构并没有那么我觉得还有空间反正对还有空间以及他们各自怎么去自进化自接待以及互相去沟通这都还有空间就都还虽然有你感觉现在已经有这个雏形了而且我自己Multi region也用的挺顺的但是我始终觉得它还是在去节省成本节省时间并没有去放大最终的上限我现在还没有感受到这样的所以那会不会Multi region的协同的RO训练会不会做到这个事情没必吧所以你觉得模型公司边界在哪里现在模型公司好像没有编辑就是感觉好像我之前说我不想做产品但现在发现就是它又变成直接做产品了模型机产品是对的对借助AGE的它的产品力反而更强了然后其他所有东西都很简单然后就反而就是模型借助AGE的架构本身就变成一套新的产品了现在你看看一个公司为什么要选择开源为什么要选择B源因为国内大部分公司都开源了除了自己现在选开源的目的或者什么呢这是一个技术选择还是一个市场选择还是一个加速一件的事情我还是认为是这个目的开源是加速一件的开源一定是加速一件的事情就你如果没有开源你我们假设一件会爆发假设它会替代绝大部分的生产力 [195:00] 那么我们可以从这个时候去倒推你需要多少的芯片那么这些芯片难道会被一家公司生产吗难道会被一家公司购买吗好像不是它会分散那么如果它是分散的情况下那么假设芯片是分散那这些芯片的推理有可能是芯片的厂商有可能是大部分的厂商那么它用的模型难道是同一个吗还是用的不一样模型我认为一定是不一样的对所以你从中矩来倒推的话开源这个事一定是有至少有利于推进这个事情的因为它最终要大规模产生经济价值它必须要依赖于算力才能产生经济价值的对所以我认为开源是至少对于对于很多环节也就是框架芯片能源这些环境上其实都是有促进作用所以我认为它是加速AGI进程的那你说它最后是一种工艺还是一种市场我觉得是取决于每个公司在开源是结合自己的生态位就是你有没有一个别人不可以短期内拿下的一个战略的生态位如果有的话那么你就敢开源如果没有的话你就认为模型就是你的生态位那你就不开源就是这样的一个行为你在一个大公司做开源的事情会有压力吗我现在不觉得我在大公司做事情其实小米整体我觉得非常的创业导向我觉得很奇怪的是它看起来是个大公司但它其实是一个做事的灵活度非常高的公司所以你觉得2026年什么会成为模型公司竞争的胜负手做对了什么才能留在派桌上首先不能做错的事情是首先你的运训练基座不能错就如果这个事都没有上那就基本上就完全没有机会了对所以假设我们都有一个大于一体的模型然后基座的潜能都尤其在扣的潜能都是相当的这样的一个base上那么大家比拼的就是怎么去快速的去第一个怎么让agent框架跟模型互相自迭代提升第二个怎么让这个agent架构去更多的去偶合你现在所具备的资源对或者说生态位怎么让这个agent架构去理解和调度你现在所备的资源和生态位比如操作系统是比如说硬件是比如说流量也算是对然后流量社交这些都算是对怎么让这个一级交互去适配你现在的所具备的战略资源然后最后合力起来怎么把它给整合好其实他很考验的是我自己觉得他非常考验的是一个公司愿不愿意用一套新的方式来做这个事情什么叫新的方式得思考原来所有的做的东西都是错的对原来是不是有这么需要这么多人来做这个事情首先要思考你需不需要这么多人来做这个事情就是你现在所有做的事情这些人是不是都需要被砍掉因为他的生产力会被另外一个更高效的东西给替代或者说怎么让这群人去利用agent来去发挥更大的生产力价值对所以这些都需要去思考第二个就是在新的生态位上原来那些看起来有别的事情是不是还是有别的你觉得Frontier Lab的Frontier应该体现在哪里最基本的我觉得做研究应该Frontier对就是还是要有那种自己想要原创做很多东西而且这些东西可能短期的不会不会那么主流但是你要说完全不会主流认可那也很奇怪我觉得我自己觉得有点蛮反主流我觉得不是很适合的一件事情是你很难很难scanning我还是很相信scanning这个事你只要顺应主流的话那你就很容易去scanning为什么呀你的所有的infer所有的硬件芯片这些它都是我要这个目标来一起往前推动的那么你个人就会获得那么你这个研究会获得非常大的加速度对主要是这个原因所以我觉得会顺这个主流然后去做一点我们超前认为比如说当时 [200:00] 飞行的架构它其实就是在这样一个背景下去做的但它也没有说是开心避意的研究但它我们认为这些小点研究沉积起来那么它就是一个非常高水准的一个frontier的一个model的状态你对你过去几年做的比较偏原创性的研究比较满意的是什么我觉得比较原创性的研究都是工业级水准的就比如说DeepCVR它就是一个工业级视准的一个模型对当大家都在主流去做一个更大规模的Dance的模型的时候然后我们反主流去做MLE然后去做去改Attention这其实它是这两个都是在做研究但是它是它是稍微在一个有时候可能更多是在一个资源受限的场景里面做了研究但它本质上是可以scanning的研究所以我觉得这个算是一个不错的作品然后MimbleVR系列我觉得也算是一个是因为我们确实在agent的这个范式还没有非常明朗的时候就去做了很多前置的这个决策和判断然后导致我们很我觉得很高效快速的去基于一个优雅简洁的结构给训起来然后这个结构并且最终我们发现它非常的适配agent的这套范式然后我们又快速的去转移到agent的这套范式然后做了很多后训练的设计对尤其是我要这整个Agent的架构来去重新去设计我们的R-Infa对我觉得这些都是就是都是很多点合成起来最终让大家感受到的不是一个paper本身而是一个工艺级水平的模型你对发paper现在有执念之类的吗没有就发的越少越好为什么呀我就希望别人发发到我们台的位置因为现在我说不要带我对就核心原因是我现在也不看学术会议的paper主要的原因之一是我觉得大部分的实验确实应该自己做然后你相信自己的实验结果比相信弄人的实验结果会更好但是我会看一下它的原始关注的问题和动机是什么这个我会我偶尔会看一下但总之我觉得在有没有在这种大规模的算力的团队里边做过研究的人跟没做过研究的人他关注问题我发现重叠度也差的蛮多的所以我现在就越来越少看这些东西那你现在的信息来源包括哪些来源自连代真来源自连代我最近连跟人沟通都很少对所以我都不知道我今天讲了这么多个小时的这些东西它会不会过一段时间发现我应该会过一段时间会发现他是错的但是我不知道当下会有多少人会觉得他是错的或者说是不是有帮助和价值的还没交流过没有交流过要说有交流就是自己跟自己交流然后自己看看跟团队边的其他人在做同样实验人交流你刚才其实多多少少都提到了一些组织话题包括我们上次也聊了很多的组织话题你在最近的两个月有没有一些迭代啊这100个人可能有20个人以前训过接触过小一点的模型对主要是我觉得这些事情它都可以被被快速洗得这些能力真的都可以被快速洗得只要你被放在了环境里边围要着一个更高标准的目标来驱动的时候这些能力都是可以被我觉得最多一两个月慢的话三四个月确实都可以被快速吸得所以环境反而比经验更重要我自己认为所以我就没有太在乎他的经验而更在乎我是不是创造了一个更好的环境这个环境让大家更快的提升学习让大家互相的所谓MOPD我们说的就是互相的蒸馏我蒸馏你的长处你蒸馏我的长处互相这样快速的提升对就是我更在乎说我自己创造这个环境是不是符合这样的一个限月条件的而不是在乎这个人来的时候他的历史背景的这个基因是不是好我只在乎他的可能初始化切合point的上限高不高我只在乎这个事情但我不太在乎他他目前已经被SuperRest的哪里过后的那个点的状态高不高我就不太在乎这个那您会选什么样的人啊就是他的学历是需要和人工智能相关的吗看出什么东西看见博士的比例是55%对那是包含再读博士对再读不是博士毕业是再读博士 [205:00] 那些数字我觉得是有点刻板的然后其实这更多是代表一个人对做研究的热爱和热爱程度就如果他对做研究热爱他可能会选择至少读一个研究读一个硕士或博士然后当然我发现现在更我们也招了非常多的本科生然后本科生在对这种A进的这种新的范式的理解上我觉得反而他的想象力会更高所以我现在反而招人会慢慢倾斜到去招更多的前置的本科生我们会去招大二大三的人为什么呀因为他们的灵活性和适应程度都感觉没有被污染就天然更接纳这个事情会产生巨大价值对他的思想还没有被禁锢的感觉然后所以他敢放心大胆的把自己那些想法交给这套家务去验证然后自己不断去探索这个边界那你怎么创造环境首先是构建这个环境的人他是要有同样的特质的就比如说我说要强调热爱这个事情然后强调使命感这个事情我觉得是要有这些基础的特质的然后其次就是这些特质因为它都比较虚嘛所以你信所以另外一个就是要把这些特质真的给放大的一个前提是它的基础要好就是你可以以为是当它想做什么事情的时候它有这个热爱的时候它要能做成就是它这个基础要好它不能就光就想法都但做不成就这个基础是构建成它最后做不做得成的关键要素这是一个基础能力对对所以我们会选基础好的然后好奇心强的然后热爱驱动做事情的当然还有一些可能越来越会有一些更对多样性有更高的要求对多样性有更高的要求因为如果招得太同质化那么大家很容易去miss掉一些看起来是噪音但实际上对研究非常有价值的一些信息对然后那么这个时候多样新闻非常重要所以我们上班那个每个群积积喇喇聊得挺多的对就大家都会疯狂的把自己的想法或者说关注到信息给分享出来然后或说有可能是在群里面有可能就在座位上反正吵得不行一天到晚然后我觉得这样的沟通环境是非常好的然后然后当然还有一些外部就是这是内部好还有一些外部的因素就是比如说你的激励的方式组织就不能太围要着某些非常确定和清晰的目标来做然后以及我觉得这个激励方式钱是一个很重要的baseline但是它不是唯一的baseline对就是钱要给够但是呢除了钱之外的其他东西也非常的关键就是它的价值感它的意义感其实我觉得很多人远远更在乎这些东西你刚刚说后训练团队搭建方式和预训练会有一点不一样通常我们在后训练上看到的人就两类会适应的会非常好对或说他对这个事会更有热情第一类就是他会更注重去跟模型玩的这样一群人对因为他去玩他才知道每个模型能力的边界在哪然后他才会去想要去找到一种可skin的方式去把它这个边界给补充回来有可能是去勾造一批更强的数据以及更强的环境让它能够而而训练起来然后有可能是for bug到预训练的某个环节可能这批数据没做好我把这个数据给它补上这一类的数据给它补上那么可能我下次去模型的时候会更好总之就是更在乎模型体验的人更跟模型交互的频次更高的人他会非常适应这个凡事因为我觉得这个迭代是有价值的尤其是那些维护了自己很多私有的测试库的人然后他疯狂去测不同模型的边界然后突然发现某个模型强了然后分享出来自己这种独特体验的人 [210:00] 还是蛮适合去进入这个方式的还有一个就是确实我觉得不可避免是我们要不要这个新的新的agent的方式去设计它很好的R的Infra的体系所以做R的Infra跟做PrintingInfra有一个非常大的不同是R的Infra会更在乎这个模糊程度我自己认为就是PrintingInfra你可能不能容错就是比如说我们出现一个Law Spike你就不允许它出现你要想要把这个Spike就给它解决下去但做R1你需要允许它容错就是容错就是你允许这个模型跟这个Agent在这个Agent的框架边入入入到一半这个就断了但它断的原因有很多种你根本找不到它是哪一种它有可能是因为这个Agent框架写了某个超时的逻辑有可能是因为它做这个任务需要很长的验证流程那你不知道发生是因为什么原因这个就断掉了还有一个就是会不会你的训练跟推理是在异构的集训上训的然后所以你的训练和推理的不一致性觉得在原来Colocomass的那个Reasoning那个范式里边是不能容忍这个事情的但现在你必须要容忍这个事情然后以及你怎么去做一些更多的异构资源的调度比如说现在除了GPU你还要管CPU然后你还要管存储对吧然后所以就是怎么在这种很复杂异构资源里边把这个模型训起来然后就是我觉得这里边需要很多算法跟工程的一个妥协中间这个模糊的地带非常多然后所以他对Infair人的要求的灵活性的要求和这种这种跨战两个领域的这样的一个理解我觉得要求变得非常之高然后换句话说其实我觉得他相比Puntry来说他都对灵活性和敏捷性都提出了新的要求然后能够适应这个范式的人就会觉得他其实没有适应就是原来就是有那么一群人他比如Infra里边哪怕Infra是一个相对来说追求一个很多事情都是有一个清晰的答案和解法人然后他来做R-Infra还是会会为那么一群人是适合做RL音法所以大概我觉得是是这样一个变化所以我们那边可能看起来还是至少做Printing音法跟R音法我觉得还是分开的不太能够交融因为他们确实对于我觉得对复杂性和这种精确度的要求会差异很大做RL的瓶颈到底在哪里你刚才提到Printing其实真正差不多了其实真正把Agent Arrow给Skinning起来的团队很少非常少包括海外是吧Sobie肯定做这个事然后其他团队我不是非常了解至少我从最重的模型效果上感觉到没有Skinning到跟Print Train一样亮起这是之前发展的两个范式吗你觉得再往后有什么新的范式吗不确定先把这个范式做了再说我觉得我们刚刚聊到就是一个生产模型跟感知能力很强模型联合到一套新的框架去进行训练这个事已经足够的在我的规划里边已经足够的长期并且比较难实现现在有人说是continued learningonline learning我现在觉得continued learning和online learning我更多的是代指它跟这个环境产生交互的时候或说跟agian框架多轮交互的时候这个框架本身在自己迭代和进化我是不是这么去定义这个事情你对未来有什么预期啊我觉得未来可能是26年可能是27年可能更长远一点我现在觉得把当下的做完每天的研究都做好我就觉得非常好你现在工作状态什么样工作节奏早上11点晚上1234点但这是我的状态不代表我们团队其他的状态你是夜毛子是吗倒不是是我自己本身的睡眠确实不需要特别多睡眠可能六个小时就完全足够了然后五个小时也可以四个小时也行四到六个小时在我一个OK的区间对所以我不需要那么多的睡眠然后以及现在做的事情有点兴奋所以也确实感觉睡太多有点浪费时间有种感觉吧