亚马逊查晟称软硬件割裂保护英伟达护城河

亚马逊查晟称软硬件割裂保护英伟达护城河 大模型预训练正面临数据污染与超算电力瓶颈的工程挑战，而未来三到五年内AI若实现自主学习将彻底瓦解传统职业生涯规划并冲击宏观经济调控机制。 访谈深入探讨了大模型训练作为经验科学的内核，指出追求 50% 失败率的实验最能带来信息增量，并强调了私有评估集在防范行业数据欺诈中的关键性。同时，查晟揭示了超算底座在电力和硬件损耗上面临的严峻考验，以及既懂底层硬件又懂高层模型的稀缺人才瓶颈。面对未来，AI 的自主学习与自我改进（Self-Improvement）将在三到五年内迎来突破，这不仅会彻底瓦解传统的职业生涯规划，也将让生产力彻底脱离劳动力，迫使普通人以更具反脆弱性的心态直面科技海啸。 在大模型研究中，成功率在50%左右的混沌方向能带来最大的信息增量，比起追求高成功率的渐进式研究能更有效地加快迭代速度。 (0:00) NVIDIA 的核心护城河在于其底层编译器与深度学习框架之间厚重的定制化软件层，这导致非 CUDA 生态因缺乏软件共享而难以打破垄断。 (0:26) 针对数据厂商通过改写公开测试集制造的隐蔽数据欺诈（刷榜），大模型公司必须构建绝对不向外透露的内部私有评估基准进行防范。 (0:47) 大模型基础训练逻辑虽纯粹，但属于极度依赖经验科学的系统工程，全行业赖以预测成本的尺度定律（Scaling Laws）并无坚实理论基础，且常遭遇模型不 scale 的负面陷阱。 (3:00) 大模型分布式训练在反向传播（backward）阶段会导致 GPU 高度同步抽取海量电量，超出数据中心额定功率的设计盲区常导致节点大面积崩溃。 (9:00)

亚马逊 AGI 高级经理查晟指出，前沿大模型训练是一门依赖严苛纪律的经验科学，其成败取决于工程细节与科研诚信，而非单纯堆砌算力或迷信公开发表的基准指标。未来 AI 的核心颠覆点在于突破自主寻找环境与奖励的持续学习，这不仅将彻底重塑模型迭代范式，也将对传统职业路径与宏观经济分配带来深远冲击。 信息增量与经验科学的纪律性 (0:00) 查晟认为，大模型研究最有效的切入点是成功率在“一半一半”的混沌状态，这类探索缺乏强先验假设，无论成败都能带来最大的信息增量并加速迭代。相比之下，追求极高成功率的实验往往只是确认已知偏见。这种方法论打破了传统的量化考核，能以更短时间覆盖更广的技术空间。 大模型训练本质是经验科学，全行业依赖的尺度定律（scaling laws）尚无坚实理论支撑。各实验室在切分实验空间和处理因子协同作用时极易产生分歧，既要警惕未能显现的“涌现能力”，更需防范模型在特定尺度突然偏离曲线的陷阱。严苛的纪律要求团队在小规模实验中密切监控 loss 以外的多维变量，而非盲目推断学术论文中基于特定设置得出的普适性结论。 基础设施极限与跨硬件软件鸿沟 (9:00) 超大规模训练对系统工程的要求极为严苛。同步优化机制下，反向传播（backward）瞬间全集群 GPU 会产生高度集中的计算激增，瞬时抽取的电量甚至超过显卡额定功率，常因电力缓冲不足引发大面积节点崩溃。此外，硬件随着规模膨胀常出现不报错却输出错误数字的“隐性数据损坏”，这对从传统云服务转向高性能超算（HPC）的基础设施构成了实质挑战。 在软硬件协同上，行业极度短缺既懂模型底层又懂硬件网络的高性能计算人才。为减少矩阵乘法等算子后续的访存开销，需要采用算子融合等极端优化手段。硬件厂商间的真正护城河并非芯片本身，而是深度学习框架与底层硬件之间的定制编译器。由于非 CUDA 生态各厂商闭门造车且软件共享不足，加之 NVIDIA 推出 Tile Language 并尝试用 AI Agent 编写 Kernel，行业竞争壁垒被进一步拉大。 数据清洗的艺术与评测基准的陷阱 (15:07) 数据质量直接决定训练稳定性。以网络上模拟微波炉噪音（如满屏“MMMMM……ding~”）的低质无意义文本为例，若混入语料库可能直接引发训练 loss 爆炸。在动辄数十万亿 token 的量级下，使用语言模型进行清洗与合成虽引发“左脚踩右脚”的内生质疑，但在工程上成立：文本鉴赏与理解的难度远低于高质量生成，模型奖励端包含的信息通常多于生成端，核心在于利用不对称性过滤出稀疏的高价值数据。 评测层面，知识过拟合与数据泄露会严重误导模型优化方向，使其倾向死记硬背而非有效压缩。部分数据厂商甚至将公开 benchmark 改写后混入训练集刷榜。查晟以“人类最后的考试”（Humanity's Last Exam）为例，指出其官方答案中逾 40% 存在错误，若模型跑出超高分恰恰坐实了数据泄露。建立严格保密的私有评估基准，成为抵抗 KPI 导向和维护科研诚信的必备防线。 算力精算与团队打包激励机制 (31:40) 即便是顶尖实验室也面临算力约束，查晟团队以“Cost-to-Accuracy”作为核心衡量标准，即对比不同季度在达到相同准确率时所节省的计算开销。日常探索中研究员使用少量机器自由迭代，季度末再集中申请算力完成跨越 $10^{23}$ FLOPs 门槛的尺度放大，以验证模型在多任务推理上的真实能力。 在管理上，团队将不同周期、不同性质的研究成果（如短期内不见直接数据收益但支撑全局的深度学习理论）统一“打包”汇报，避免拆分个人算力收益导致团队内耗。主管则需深入理解优化器设计等垂直技术细节，基于工作本身的实质突破而非表层 KPI 进行能力评估，以此维系高人才密度下的协同效率。 自主改进预测与宏观社会的脱钩冲击 (39:24) 针对未来演进，查晟不保守地预测：未来 3 到 5 年内有 70% 的概率实现模型自主寻找环境并生成奖励信号（类似于开放环境下的 AlphaZero）。届时持续学习的成本将呈数量级下降，AI 将彻底摆脱目前高度依赖人类标注与意图挖掘的“劳动密集型”后训练模式。 技术的跃迁同时对宏观社会带来深刻挑战。初级岗位（entry level）被 AI 挤压，导致传统意义上的职业晋升阶梯面临瓦解；资金大量涌入资本密集而非劳动密集的 AI 产业，导致央行传统的就业与利率调节机制承压。尽管受制于复杂的传感器与控制器工艺，物理世界中对原子的控制相较于数字世界仍存在“复杂度天花板”，但资本绕过人力直接产出结果的趋势，正迫使个体必须以直面风险的态度应对不确定性。 当前大模型研发正处于从人工驱动向自主学习过渡的转折点。尽管物理世界的工程控制依然存在天然壁垒，但算法迭代与资本聚集的速度正在加速侵蚀传统就业结构，如何在高度工程化的试错中保持科研诚信并拥抱系统性风险，是技术团队与个体共同面临的长期课题。

[39:24] 查晟: 如果模型它会自己去找新的environment，去找新的reward...那么他的学习就会不再依赖于人。 [48:18] 课代表: 把火箭发射到月球上是一个简单问题，它不是一个complex问题...但是你拿铁拉花，甚至你拿一个杯子，它是一个complex问题。 [21:00] 查晟: 你要是给我刷出个 70% 的高分来，那你肯定是通过数据泄露见过错误答案。老师一改卷子，发现怎么错的都一样嘛。 [21:00] 查晟: 至少在内部开发的时候不要去 overfit benchmark，之后 marketing 的时候你再 overfit 说吧。 [17:07] 课代表: 这感觉就像女生跟男生谈恋爱的时候，设置一些奇怪的 test 那种……回答对了，说明你小子有潜力。

[0:00] 为什么做失败率高(口误)的东西 [0:01] 反而更容易走向成功 [0:02] 成功率太高 [0:03] 还是成功率太低的这些 [0:04] 你其实已经有一个很强的prior [0:06] 你知道它大概会work或者它大概不work [0:08] 更多的是去confirm [0:10] 你已经有的一些经验直觉或者bias [0:12] 但如果是成功率 [0:14] 正好是一半一半的时候 [0:15] 说明你对这个方向其实了解的比较少 [0:18] 不管在这个方向上 [0:19] 是成功了还是失败了 [0:20] 你都会获取非常有用的信息 [0:22] 试错迭代的速度会快的多 [0:24] 你也就很快的能够cover一个更大的空间 [0:26] NVIDIA其实很努力 [0:27] 一直是在继续推进 [0:28] 和保护它的这个护城河的 [0:30] 你觉得它有明显的competitor吗 [0:32] 这个的难点是这样子的 [0:33] 不同的硬件厂家 [0:35] 有了硬件之后 [0:36] 其实才完成了一小部分 [0:38] 从深度学习框架一直到下面的compiler [0:40] 再到那些硬件什么的 [0:41] 这个中间其实还有很厚的一层 [0:43] 针对自己硬件的那个compiler那一层 [0:45] 大家的software的sharing其实是不够的 [0:47] 有一个数据厂商 [0:48] 他跑过来说 [0:49] 我这边有一份非常强大的数据 [0:51] 它可以让你模型能力大幅提升 [0:53] 但是他可能实际做的事情是说 [0:55] 在他猜测你会测的那些benchmark上面 [0:58] paraphrase一些数据进去 [1:00] 相当于是没有exact match但是有leakage嘛 [1:02] 模型如果只测那些benchmark [1:04] 我当然会大幅提升了 [1:05] 解决这样的问题 [1:06] 其实最重要的还是 [1:07] 公司得有一份自己的secret的 [1:09] evaluation的benchmark [1:10] 这个东西是永远不能disclose出来的 [1:14] 我是查晟 [1:15] 现在是在Amazon AGI [1:18] 我的title是senior manager [1:20] 我之前是在Alex Smola的组 [1:23] 做深度学习的框架 [1:25] 做了一段时间框架之后 [1:27] 参与了基本上 [1:29] Amazon的第一批的大模型的开发 [1:32] 从那个时候开始 [1:33] 就基本上一直在做大模型 [1:35] 始终是偏pre-training这边的 [1:37] 你跟李沐共事过 [1:38] 对我原来就是在沐哥组下面 [1:41] 你当时是第一线参与的 [1:44] 包括亚马逊训练第一代大模型 [1:47] 及失败的经历 [1:48] 并且你在这里边秉持着在我看起来 [1:51] 正确的一个技术路线 [1:53] 现在呢 [1:54] 你也是在深度参与亚马逊现有的这些 [1:57] 它的Frontier的模型训练 [1:59] 邀请你来讲一下技术吧 [2:00] 训练模型到底是怎么回事儿 [2:02] 为什么它这么难 [2:03] 看起来DeepSeek [2:04] 大家说 [2:04] 你看中国一个公司用了1%的成本 [2:07] 也都可以训练出来一个很好的东西 [2:09] 然后中国有很多 [2:10] 包括KIMI MiniMax都有很多好的模型 [2:12] 但亚马逊 [2:13] Microsoft, Meta [2:14] 都很难去搞出来自己的模型 [2:15] 虽然有海量的资源和人才 [2:17] 那到底是咋回事儿 [2:19] 起码模型训练到底是个怎么回事 [2:20] 和为什么看起来又难又不难的样子 [2:23] 嗯好的 [2:23] 现在大模型的训练 [2:25] 基本上用next-token prediction [2:27] 预测下一个字符的这个方式 [2:30] 去给模型一个压缩很多信息的机会 [2:34] 这些压缩进去的信息 [2:36] 会通过一些额外的步骤 [2:38] 中间训练和后训练 [2:40] 去把信息变得对于那些task更有用 [2:43] 我要做好这些事情 [2:44] 其实 [2:45] 因为这里天然的就有很多环节嘛 [2:48] 要训练好一个像DeepSeek那样的模型 [2:52] 每一个环节基本上都是要搞对 [2:54] 基本上搞对了之后 [2:55] 就可以有正向的一个迭代的循环 [2:58] 那这里有哪些方面要搞对呢 [3:00] 一个是实验的方法论上 [3:02] 其实它是一个经验科学嘛 [3:04] 这个东西大家要怎么做好 [3:06] 其实machine learning基本的那些东西 [3:09] 都得做好做对 [3:10] 包括我们训练的数据 [3:12] 不应该有leak一些 [3:14] 比如说benchmark上的信息对吧 [3:16] 这个我们不说什么厂家了 [3:18] 可能也已经有过这样的情况 [3:20] 包括预训练过程当中 [3:22] 因为每个模型它的训练成本都会很大 [3:25] 现在模型规模都很大嘛 [3:27] 所以研究迭代的过程 [3:29] 本身就是是有成本的一个挑战的 [3:32] 大家基本上现在做法 [3:34] 都是利用好scaling laws [3:36] 通过scaling laws [3:37] 去看我在小的规模上面去做的实验 [3:41] 它在大规模上会有什么样的能力 [3:44] 会有什么样的效果 [3:46] 这一步做好了之后 [3:47] 就会大大的节省模型迭代的成本 [3:50] scaling laws 就数据量和表现的这么一个xy轴 [3:54] 然后随着数据量上升 [3:55] 它的表现就会越来越好 [3:56] 所谓的理解这个scaling laws [3:58] 是对这个曲线有个比较好的拟合 [4:00] 所以它能从更小的数据量判断出来 [4:02] 当它数据量变大的时候的效果 [4:04] 是这样吗 [4:04] 基本上就是这个意思 [4:06] scaling laws 它是一个经验率 [4:08] 至少目前为止 [4:09] 并不是一个有理论基础的规律 [4:12] 那这个经验是大家通用的 [4:14] 还是每家都有各自的secret sauce [4:17] 就是有秘方 [4:18] 一开始大家应该是都是会用 [4:21] 通用的那一些 [4:22] 当然因为这个design space特别大 [4:24] 所以大家在具体怎么去切分这个space [4:27] 怎么去理解他们的各种factor的interaction的时候 [4:31] 可能各家的做法就会diverge就会不一样 [4:34] 他这里其实是你用一定的规律 [4:36] 投入更多的compute模型 [4:39] 这个compute可以反映成是 [4:41] 你用更多的训练数据 [4:42] 或者是你用更大的模型去训练 [4:45] 投入compute的方法做对的情况下 [4:47] 这个模型会给diminishing returns的一个回报 [4:51] 这个回报就是这个模型的 [4:53] 可以说是accuracy吧 [4:54] 所以scaling laws 基本上就是这个样子 [4:56] 可以用在实验设计上的一个方法 [4:59] 其实就是说 [5:00] 我们可以用小规模的实验 [5:02] 去预测大规模的模型的效果会是怎么样 [5:06] 那这样子的话 [5:07] 我的实验迭代就可以在小规模去做嘛 [5:09] 但是这个大家现在也其实知道 [5:11] 大模型有emergent properties [5:14] 就是有一些本来小规模做不了的 [5:16] 大规模上看起来可以做了 [5:18] 突然piu～对突然就可以做了 [5:20] 当然大家看到的是positive [5:22] 也有一些negative的情况 [5:23] 是来自于我的模型在某个规模下面 [5:27] 突然就不scale了 [5:28] 它fall off scaling laws [5:30] 这个是非常常见的一个坑嘛 [5:31] 所以很多lab都必须踩过一遍这个坑 [5:34] 知道碰到这个问题的话 [5:35] 我应该怎么样去克服它 [5:37] 我在小规模上面 [5:38] 我应该去看 [5:40] 除了loss之外的其他什么变量的趋势 [5:42] 我才能够避免这样的坑 [5:44] 所以就是说 [5:45] 虽然概念上 [5:46] 用scaling laws 做实验设计 [5:48] 是一个听起来很简单的事情 [5:50] 但是依然会有在scale up过程当中踩坑的这么一个情况 [5:54] 这里还是需要很多discipline吧 [5:56] 另外就是作为一个经验科学 [5:58] 其实很多research [6:00] 至少过去的research有很多一个不好的趋势是说 [6:04] 大家会不由自主的有一点over-generalize一些结论 [6:08] 我想到的这个方法在这个case上work [6:11] 我就说这个方法是work的 [6:12] 但其实empirical science不是这么work的 [6:15] 但大家发论文的时候就必须要这样 [6:17] 不然的话 [6:18] 大家就觉得这个发现没有意义 [6:19] 这个反过来也会碰到一些问题 [6:22] 就是说有些人在一个setting下 [6:24] 试了一个idea [6:25] 他说这个东西不work [6:26] 然后他就说这个idea不work [6:28] 其实很多时候也不是的 [6:30] 想在这方面提高的话 [6:31] 是需要提高researcher对research的taste吗 [6:34] 就是你看到一个论文 [6:35] 你大概知道哦 [6:36] 他说的其实不是真实的情况 [6:38] 他只是一个case而已 [6:40] 主要首先是要意识到这个问题 [6:42] 其次在意识到这个问题之后 [6:44] 去消化论文的时候 [6:45] 重要的也就不是去看 [6:47] 他给的结论是什么 [6:49] 而是说他的实验是什么 [6:51] 每一个实验的setting要看得很仔细 [6:54] 就是它到底对于我现在关心的 [6:57] 这个场景 [6:57] 是不是applicable的 [6:58] 这个我觉得是很重要的一点 [7:00] 毕竟实验造假还是少数 [7:03] Cherry pick可能会有一些 [7:05] 但是总的来说 [7:06] 实验数据还是更可信的那一部分 [7:08] 刚刚说了3个点 [7:10] 一个是你实验的方法论research integrity [7:13] 第二个是scaling law对吧 [7:15] 对这个方法的掌握怎么样子 [7:17] 用更小的成本得到更有效的信息 [7:19] 第三个是你在看别人的research [7:21] 在学习的时候 [7:22] 其实现在有很多坑 [7:23] 所以说要避开这些坑 [7:24] 并能更有效地在research里边学到信息 [7:27] 对是的是的 [7:28] 这个似乎只是方法上的点 [7:30] 咱们上次其实聊你讲说 [7:32] 一个team要optimize for information gain [7:35] 所以说你要去做那些高失败率 [7:37] 但是能最有效得到信息的东西 [7:39] 但你如果说像某些团队 [7:41] 是把时间压上来 [7:43] 只能做90%成功率的东西 [7:45] 那其实反而更容易失败 [7:46] 请你帮我解释这个吧 [7:47] 这个可能对很多人来说 [7:49] 是一个很反直觉的做法 [7:50] 为什么做失败率高(口误)的东西 [7:52] 反而更容易走向成功 [7:53] 因为不管是成功率太高 [7:56] 还是成功率太低的这些 [7:58] 你其实已经有一个很强的prior [8:00] 你知道它大概会work或者它大概不work [8:03] 对于在做科学研究的时候 [8:05] 这个东西 [8:06] 就相当于是比较incremental的吧 [8:08] 更多的是说 [8:09] 你已经大概率能预测 [8:12] 这个结果会是什么样 [8:13] 可能更多的是去confirm [8:15] 你已经有的一些经验直觉或者bias [8:18] 但如果是成功率 [8:20] 正好是一半一半的时候 [8:21] 那就是有一半可能成功 [8:23] 有一半失败 [8:24] 不管是什么情况 [8:25] 这个都说明 [8:26] 你对这个方向其实了解的比较少 [8:28] 那也就是说 [8:29] 不管是在这个方向上 [8:31] 是成功了还是失败了 [8:32] 你都会获取非常有用的信息 [8:34] 试错迭代的速度会快的多 [8:37] 相当于你在不断的去 [8:39] 在自己不熟悉的方向上面 [8:41] 当然 [8:42] 你选这个方向肯定是因为它有价值嘛 [8:44] 你在不熟悉的方向上面去挖掘 [8:46] 那么你也就很快的能够cover一个更大的空间 [8:49] 嗯 这个是 [8:50] 这里maximize information gain的一个主要的motivation [8:53] 嗯这也是一个实验的方法论 [8:55] 然后你上次也提到过 [8:56] 就是有好多个团队需要合作 [8:58] 然后这些团队可能都需要work才行 [9:00] 比如他需要哪些团队的配合 [9:02] 首先这个东西要大规模的训练的话 [9:05] 肯定infra团队得靠谱 [9:07] cluster首先这么多机器得能跑起来 [9:09] 这个事情本身 [9:11] 其实已经会有一些它的challenge嘛 [9:13] 规模大了之后 [9:14] 可能会有一些意想不到的bug [9:16] 有一个简单例子是 [9:18] 因为我们现在optimization [9:20] 都是synchronous optimization [9:22] 在backward的时候 [9:23] 会有大量的compute同时发生 [9:25] 在同一刻 [9:27] 所有的GPU都会开始算backward的gradients [9:30] 那个synchronization以及这个compute的surge [9:33] 会导致所有的GPU在同时draw很多的power [9:37] 那么这个cluster的power [9:40] 它的buffer够不够大 [9:41] 就是在它data center design上面 [9:43] 做的是不是够好 [9:44] 就会受到考验嘛 [9:46] 得多大是不是一下得十倍那种感觉 [9:49] 可以大很多 [9:49] 比idle的时候肯定会大很多 [9:51] 甚至有时候 [9:52] GPU可能会在peak compute的时候 [9:55] 他draw的power [9:56] 比他卡上面标定的power是要高的 [9:59] 那data center设计的人 [10:01] 甚至都不一定知道 [10:02] 这个事情 [10:02] 经常会有一些诡异的 [10:04] 比如说backward突然node就crash了 [10:07] 因为一个node它的电量不足然后它就挂了 [10:10] 首先这个data center clustered management这边 [10:14] 这个就是一大块 [10:15] 包括这些GPU [10:16] 它也会坏嘛 [10:17] 规模一上去之后 [10:18] 有很多GPU它可能会出错 [10:20] 它memory bank可能会坏 [10:22] 可能会有一些silent data corruption [10:24] 虽然没有报错 [10:25] 但是给了错的数字 [10:27] 这种事情都会有 [10:28] 这里面其实就是有一个在规模化之后 [10:31] 怎么样保证compute的质量的 [10:33] 一个很高的要求 [10:34] 大家从一个abstract的理解 [10:37] 就是搞数据center是亚马逊的强项 [10:39] 毕竟他们有AWS那么多年的积累 [10:41] 实际上不知道是不是这样 [10:42] 我觉得对于哪一家云厂商 [10:45] 都是有学习的一个过程的嘛 [10:47] 毕竟这个东西本来没有 [10:48] 并且它性质上可能更接近超算 [10:51] 云服务的 [10:52] 他的做法其实更多的是规模化 [10:55] 然后再零售少量的计算 [10:57] 这个方式他的各种设计的思路啊 [11:00] 各种运作的方式之类的 [11:02] 更倾向于那个 [11:03] 而不太会像超算那样 [11:06] 所以超算呢是一个比较独特的 [11:08] workload的一个场景吧 [11:10] 然后data center这一层搞稳了 [11:13] 然后fault tolerance做好了之后 [11:16] 分布式训练它的性能和效率 [11:18] 怎么样做好 [11:19] 其实有很多东西要做 [11:21] 包括你这个模型怎么样去并行的去做 [11:24] 这个计算 [11:25] 哪些东西分块分到哪里 [11:27] 你这么分块之后 [11:28] 它这个通信 [11:30] 是在什么速度的network上面发生的 [11:33] 是GPU上NVLink发生的 [11:35] 还是在机器与机器之间的connection [11:37] 去发生的 [11:38] 它的latency带宽什么就都很不一样嘛 [11:41] 然后包括很多系统细节上的优化 [11:44] 比如你GPU你要让它一直能够保持busy [11:48] 能够尽量算更多的东西 [11:51] 那你就要尽量减少这个访存 [11:53] 那减少访存一个很常用的方式 [11:55] 就是把算子去融合起来 [11:58] 所谓算子融合就是 [11:59] 比如说我算完了一个Matrix multiplication [12:02] 然后我接下来要算一个activation function啊 [12:05] 一个Tanh或者Sigmoid的之类的 [12:08] 我如果这个中间 [12:09] 需要把这个结果写回去 [12:11] 再读回来 [12:12] 再做那个内部计算 [12:14] 那我就会多一次访存嘛 [12:16] 我如果把这两步同时做 [12:17] Matrix multiplication之后 [12:19] 我的epilogue [12:20] 就是结尾加一步Sigmoid这个function [12:24] 那么我就省去了一次访存 [12:25] 所以我的计算性能就会变高 [12:28] 但是做这件事的人 [12:29] 就需要既懂模型 [12:30] 又能改模型的那些计算 [12:32] 又要懂硬件 [12:34] 且他要懂network [12:35] 那这个人一般是什么样的人呢 [12:37] 这样的人就其实非常非常少 [12:39] 比如像Google这样的大厂 [12:41] 他们其实更多的 [12:42] 是把这个角色单独分开的 [12:44] 他可能非常懂分布式训练 [12:46] 然后他在帮助优化的时候 [12:48] 去理解一下这个模型怎么做 [12:50] 然后再去优化它 [12:52] 当然这个也是依赖于他们强大的 [12:55] infra和compiler的 [12:56] 这个基础设施嘛 [12:57] 这个其实是长期投资 [12:59] 体现出来的回报 [13:00] 我听一个rumor啊 [13:02] 就是其实像在DeepSeek这样的公司 [13:05] 反而模型data做数据的人 [13:07] 互相之间的工作很了解 [13:09] 所以说 [13:09] 他们可能合作上是可以很紧密的 [13:11] 但听起来就在一个传统大厂 [13:13] 尤其他之前没有做超算 [13:15] 不去解决这些问题 [13:16] 他没有对应的业务的时候 [13:18] 他很难凑齐这样的人 [13:19] 对是的 [13:20] 其实最重要的点 [13:21] 还是这个大模型要做出来 [13:24] 必须所有的 [13:25] 这些方面都做对 [13:26] 前面说数据中心分布式训练 [13:29] 包括后面预训练的时候怎么做实验设计 [13:32] 怎么做模型框架设计什么的这些 [13:35] 包括后训练的那些方法 [13:38] inference的那些框架什么的 [13:40] 除了这个之外 [13:41] science上面还有evaluation要怎么做对 [13:44] 这个其实是最重要的嘛 [13:45] 只有这些全部搞对了 [13:47] 才有可能做出一个好模型 [13:50] 做出来的几率有多大 [13:51] 就全都搞对了 [13:52] 全都搞对就一定能做出来 [13:53] 这个事情并不难 [13:55] 能做这个事情的人其实很多 [13:57] 就是需要知道 [13:58] 怎么样把它组成一个团队 [14:00] 然后把它能够结合起来 [14:02] 让大家一起deliver [14:03] 这个东西 [14:04] 大厂可能会存在一个问题是说 [14:06] 这些东西就可能分给不同的director去做 [14:09] 每一个director他自己都有自己的团队 [14:12] 一个小culture [14:13] 他的人才密度可能不一定够 [14:15] 把那个东西做对 [14:16] 小而精的团队 [14:17] 大家虽然没有办法 [14:19] 很快的把某些东西都铺开 [14:21] 马上把所有task都做了 [14:23] 但是他至少做的东西都是对的 [14:25] 而且这个做对的速度也会更快 [14:27] 对吧小的团队没有很多交流的overhead [14:30] 不光有交流的overhead [14:31] 还有大家自己的scope politics [14:33] 互相拖后腿拆台 [14:35] 确实会有 [14:36] 就哪怕大家都是well intended [14:38] 然后大家都努力在做这个事情 [14:40] 依然不能避免的是 [14:42] talent density 不够的情况下 [14:44] 就没有办法把一个重要方向完全做对 [14:46] 那小团队的优势就是我可以快速迭代 [14:49] 我发现错了我就赶紧做对 [14:51] 更可怕的还是Google那种模式嘛 [14:52] 就是他的团队大 [14:54] 但是大家的culture都是非常technical [14:57] 非常science driven [14:58] 不同团队的人才密度确实也够 [15:00] 把每个方向都做对 [15:02] 那你也就会看到 [15:03] 他不但能快速的catch up [15:05] 而且他会有非常快的迭代速度 [15:07] 确实 所以说是data center [15:10] 分布式计算 [15:10] 然后pre-training的人 [15:12] 应该还有data的人对吧 [15:13] 就pre-training和post-training [15:15] 其实都需要data的人 [15:17] data这一块需要的就是好的常识 [15:20] 好的taste [15:21] 一般数据如果有问题的话 [15:23] 足够聪明的人 [15:24] 知道要把控质量的人 [15:26] 只要愿意花时间去努力 [15:28] 都可以迭代出一版比较好的数据来 [15:31] 数据有问题怎么看出来 [15:32] 然后怎么叫从不好的数据 [15:34] 迭代成一个好的数据 [15:35] 就比如说 [15:37] 之前AI2他们讲过一个比较有意思的例子 [15:40] 就Reddit上面有一个subreddit叫做microwave gang [15:44] 那个subreddit里面的人不干别的 [15:46] 就他的所有comment [15:47] 都是用text去模拟那个microwave的声音 [15:51] 然后你就会发现有很多MMM...... [15:54] 然后突然可能会来一个ding~ [15:56] 这个文本就哈~跟其他的文本 [15:59] 完全不是一个domain的嘛 [16:00] 这个会导致很多这种loss爆炸之类的 [16:04] 这种情况出现 [16:05] 之前AI2他们就是碰到这个问题 [16:07] 也讲出来了 [16:08] 像这种就显然是低质量 [16:10] 没有用的一些数据嘛 [16:12] 包括网上 [16:13] 其实很多网站都是为了search engine optimization存在的 [16:17] 它的这个里面有很多垃圾文本 [16:19] 那些都得过滤掉 [16:20] 这样子这种低质量文本就只要去看了 [16:24] 一定能找到 [16:25] 也一定知道怎么样去掉它嘛 [16:27] 去看了这件事说起来容易 [16:29] 做起来很难吧 [16:30] 因为它的文本太海量了 [16:32] trillion级别的文本是吧 [16:33] 怎么可能看（的）过来呢 [16:35] 这个的话这么说吧 [16:38] 你不管什么文本 [16:39] 那Google它能够index多少文本对吧 嗯 [16:42] 这个search的那一套technology [16:44] 其实现存的已经是能够做这个事情 [16:47] 做得很好了 [16:48] 所以就是说 [16:49] scalable的工具想要有都是现成的 [16:51] 那大家就是得问这个问题 [16:53] 然后知道要用这个工具 [16:55] 要把这个工具做好 [16:57] 就可以做这个事情 [16:58] 你说的所谓的愿意去做这件事 [17:00] 不是说他愿意自己去看了以后 [17:02] 人为的决定 [17:02] 而是说他知道有这个问题 [17:04] 他想解决这个问题 [17:05] 然后用工程的方式去解决它 [17:06] 对对对对 [17:07] 甚至很多人洗数据 [17:08] 用language model去洗嘛 [17:10] 用language model看 [17:11] 这套文本里面有没有什么质量问题 [17:13] 这就有一个巨大的debate了 [17:15] 就是用language model去evaluate language model [17:18] 用language model去清洗language model的数据 [17:21] 包括合成数据 [17:22] synthetic data [17:23] 我觉得从信息增量的角度来说 [17:25] 这个不是特别make sense [17:27] 你都是endogenous的信息没有exogenous的信息 [17:29] 所以说你没有什么新的信息 [17:31] 就按道理 [17:32] 你就是改变一下你的方程 [17:33] 就可以去得到那样的(结果） [17:35] 这样做你觉得他本质上是有意义的吗 [17:37] 然后我猜 [17:38] 他肯定是有一些现实的意义的 [17:40] 那这些现实意义在哪 [17:41] 和他的边界在哪 [17:42] 用language model洗language model的数据 [17:45] 你说的这个点 [17:46] 就是说它并没有增加信息 [17:49] 我觉得从overall来看确实是这个样子的 [17:52] 但前面我们讲language model [17:53] 数据库抽象的时候 [17:55] 也讲了不同的granularity [17:56] 以及它组合的这么一个东西嘛 [17:58] 这里还有一个技术点 [18:00] 其实是说生成文本本身 [18:03] 是比理解这个文本好不好 [18:06] 要更难的一件事情 [18:08] 所以如果说已经生成出来了之后 [18:11] 很多时候可能生成的时候 [18:12] 这个模型生成的并不好 [18:14] 但是这个模型知道这个生成的不好 [18:16] 那他就可以过滤掉 [18:17] 所以就是说somehow这个 [18:19] 他还是能够让数据质量变得更好的 [18:22] 还有一个思考这个的角度 [18:24] 就之前有那个猴子打字机 [18:27] 随机的打打出莎士比亚那个 [18:29] 就是他的point是在你虽然只有26个字母 [18:32] 你的combination [18:33] 其实是cover了所有的信息嘛 [18:35] 也就是说这个space下面你要的信息 [18:38] 它其实是已经存在了嘛 [18:39] 就是你得知道去怎么样找出它 [18:42] 然后找比生成更简单 对 [18:45] 就是找比生成更简单对 [18:47] 有这个asymmetry [18:48] 那合成数据这件事呢 [18:49] 就是用合成数据训练模型 [18:51] 这种左脚踩右脚可行吗 [18:53] 这个也会有用 [18:56] 最近有一些distillation类的工作 [18:58] 其实都是往这个方向去推的嘛 [19:00] 不过确实可能更多的 [19:03] 不是说他能够无限的左脚踩右脚 [19:06] 然后模型还不崩 [19:07] 而是说你可以做那么一两步 [19:09] 但边界怎么样 [19:10] 现在大家还要再去探索一下 [19:13] 我对合成数据的理解啊 [19:14] 一直是它是其实是在改变权重 [19:16] 我原来这部分的数据比较稀疏 [19:19] 然后我generate很多数据了以后 [19:21] 它其实没有带来增量信息但是它 [19:23] 可能这部分的数据它的权重就提升了 [19:26] 对确实可以是这个样子 [19:28] 这个也是前面说的 [19:30] 用不同的granularity把数据提出来 [19:32] 然后重新组合一下 [19:34] 看看有没有用 [19:34] 再放回去的 [19:35] 另一种表现形式嘛 [19:37] 我还看到这两天还有一些paper [19:39] 是说self-distillation [19:41] 它其实相当于是 [19:42] 希望模型自己左脚踩右脚 [19:44] 但是它的reward那一头 [19:46] 这个模型 [19:47] 其实会拥有比生成这一头更多的信息 [19:51] 通过这个方式 [19:52] 哦～让你猜 对 [19:54] 通过这个方式自己去调和自己吧 [19:56] 有点像啊 [19:57] 人好坏啊 hhh [19:58] 但是是有道理的 [19:59] 就感觉女生跟男生谈恋爱的时候 [20:01] 设置一些奇怪的test那种 [20:04] 哈哈哈对吧 [20:05] 回答对了 [20:06] 那说明你小子有潜力 [20:08] 对对对看看是不是能开悟 [20:11] 啊 有意思 [20:13] 嗯希望他们能找到这种有灵性的模型吧 [20:16] 选出来有灵性的模型 [20:17] 那做data的人是什么样的人 [20:20] 听起来不是data scientist们 [20:22] 嗯 [20:23] 可能他的专业训练本身不是那么重要 [20:26] 因为我前面讲到 [20:27] 这个数据看着好还是不好 [20:30] 会有什么问题之类的 [20:31] 其实很多是常识性的 [20:33] 更多的是说你要能够知道问什么问题 [20:37] 用好工具去把这个答案找出来 [20:40] 然后要enjoy这个过程 [20:42] 我觉得主要要的是这样的人 [20:45] 是不是data scientist我也不好说 [20:46] 因为我其实data science这个role那边 [20:49] interaction其实没有那么多 [20:51] 那你跟那些打交道的data [20:53] 他们的background是什么样子一般 [20:55] 其实有挺多是NLP或者machine learning的 [20:59] PHD这个样子 [21:00] 我们又讲了一个 [21:01] data, pre-training, post-training或者mid-training [21:03] 还有吗 [21:04] evaluation其实也是跟data有关 [21:07] 但evaluation其实是所有的东西里面最重要的 [21:10] 因为假如之前某些友商 [21:13] 他evaluation搞对的话 [21:14] 他是不会把那样的模型放出来的 [21:17] 对吧至少决策不会做错 [21:20] 一旦出现这样的决策错误呢 [21:22] 很明显就是evaluation这一步就是错的 [21:24] 那么evaluation [21:25] 通常又是大家不同团队 [21:27] 迭代的目标嘛 [21:28] 所以这一步搞错了就很容易出问题 [21:31] 这里面跟认知也有关系 [21:33] 有很多一开始做language model的人 [21:35] 他觉得evaluation这个东西 [21:38] 在language model里面 [21:39] 你overfit什么的其实没有关系 [21:41] 你有leakage可能不太要紧 [21:43] 这完全不是这么回事 [21:44] 为什么大家有那样的直觉 [21:46] 然后那个直觉为什么不对 [21:47] 因为很多人可能就觉得 [21:49] 模型的知识本来就是预训练里来的 [21:51] 然后预训练就是什么文本都放进去 [21:54] 对于知识类这些东西 [21:55] 你就是要他记住 [21:56] 要他记住最直接的方式就是这个 看答案 对 [22:01] 训练的时候就看到就overfit嘛 [22:03] 但这样子的话 [22:04] 会发生的问题是 [22:05] 其他跟数据不相关的那些design上面 [22:09] 它的迭代方向就会错 哦 [22:12] 比如说我做预训练方法 [22:14] 我如果数据里面有leakage那我优化出来的模型 [22:17] 其实是更偏向于memorize的 [22:20] benchmark被overfit了之后 [22:22] 这个benchmark本身就不能用来指示说 [22:26] 我这个模型在这个事情上 [22:27] 做的好不好了 [22:28] 我也并不知道 [22:29] 这个知识跟其他的知识的 [22:31] 它的compression发生了没有 [22:33] 做的怎么样 [22:34] 那这个就很难去衡量预训练的效果 [22:37] 所以这个evaluation其实是非常难 [22:40] 非常重要的一点 [22:41] 你说的evaluations呢 [22:42] 和现在市面上大家教的那些AI Evals [22:45] 是不一样的 [22:45] AI Evals [22:46] 那些是拿一个AI产品做一些work flow [22:48] 然后就衡量一下整个东西的质量 [22:50] 你说的是LM本身在训练的过程中 [22:53] 那在这种情况下 [22:54] 本身这方面的人就已经是很少的啊 [22:57] 就不要说市面上做AI Evals的 [22:58] 和这个没有半毛钱关系 [23:00] 那这些人主要也是NLP [23:02] machine learning scientists们是吧researcher 对 [23:04] 也主要是这样的角色 [23:06] 而且evaluation [23:07] 一般来说一个团队要把evaluation做成功 [23:11] public的那些benchmark [23:12] 其实大家模型都见过 [23:14] 然后也很难去衡量嘛 [23:16] 如果只依赖public benchmark去做 [23:19] 自己的模型evaluation [23:20] 其实是一件很危险的事情 [23:22] 比如我举一个简单的场景 [23:24] 有一个数据厂商 [23:25] 他跑过来说 [23:26] 我这边有一份非常强大的数据 [23:28] 它可以让你模型能力大幅提升 [23:30] 但是他可能实际做的事情是说 [23:33] 在他猜测你会测的那些benchmark上面 [23:37] 他去paraphrase一些数据进去 [23:39] 它相当于是没有exact match但是有leakage嘛 [23:43] 那在这个情况下 [23:44] 这个模型如果只测那些benchmark [23:47] 我当然会大幅提升了 [23:48] 所以解决这样的问题 [23:50] 其实最重要的还是 [23:51] 每个公司自己得有一份自己的secret的 [23:55] 一个evaluation的benchmark [23:57] 然后这个东西是永远不能disclose出来的 [23:59] 嗯～都很有意思哦 [24:01] 听起来应该也都是 [24:02] 很多这个厂商受过骗的真实教训 [24:05] 对肯定是有的 [26:03] 还有问题就是大家是诚实的啊 [26:06] 然后大家都是想把这个模型给做的更好 [26:08] 可是我们现在发现 [26:09] 就是衡量模型到底好还是不好 [26:11] 我们看benchmark已经不适用了 [26:13] 而且我们还不断的发明新的 [26:15] 更好用的benchmark的情况下 [26:17] 这个感觉是对的吗 [26:18] 还是其实现在有一些benchmark [26:20] 已经非常好的告诉大家 [26:21] 模型的效果了 [26:23] 普通人吧 [26:23] 想要去了解模型效果 [26:24] 我们不去看那种这个文章发 [26:26] 今天这个爆了 [26:27] 明天那个爆了 [26:28] 我们应该怎么样子去衡量一个模型 [26:30] 好还是不好呢 [26:31] 可能还是实际使用体感为准吧 [26:34] 我想要实际使用也是需要投入时间的嘛 [26:36] 我想有一个大概的 [26:37] 就是它不是一个垃圾这种感觉 [26:39] 它值得我投入时间 [26:40] 我怎么判断 [26:42] 我见过的一些power user [26:44] 基本上自己有那么几个example [26:47] 是相当于是自己的小benchmark [26:49] 然后不管什么新模型来了 [26:51] 都会把这几个试一下 [26:53] 看一看这些能力对不对 [26:55] 效果好不好 [26:55] 其实跟前面说的比较像 [26:57] 可能就是规模小一点 [26:58] 一个是看模型效果 [27:00] 一个是看跟自己是不是relevant我的实际工作 [27:02] 然后他能完成的好那OK [27:03] 那你完全没有提任何一个benchmark [27:06] 难道任何一个benchmark都不值得看 [27:08] benchmark现在更多的会成为各个lab [27:11] 做marketing的一个工具 [27:12] 当然这里面要把它作为marketing工具也要小心一点 [27:16] 比如我知道这个Humanity's Last Exam那个benchmark [27:20] 它数据本身错误率就很高 [27:21] 可能有40%多 [27:23] 所以你要是给我刷出个70%的分来 [27:25] 那你肯定是对吧 [27:27] 再讲这么几个我们不知道的 [27:29] 让我很震惊的东西 [27:32] What the fuck? [27:32] 我完全不知道 [27:33] 好多模型的这个分都很高啊 [27:36] 啊 对 [27:37] 就是如果刷的很高呢 [27:38] 肯定会有问题嘛 [27:39] 我觉得这个是最典型的一个例子 [27:41] 是什么问题 [27:42] 主要是那个数据本身 [27:43] 他给的答案是错的 [27:45] 不是我是说他如果刷的分很高 [27:47] 证明了这个模型有问题 [27:48] 证明的是这个模型产生了数据leakage的问题 [27:51] 还是产生了什么问题 [27:53] 说明他见过错误答案 [27:54] 嘿嘿就是嘿嘿 [27:56] 嘿嘿嘿嘿嘿嘿嘿嘿嘿嘿(≖‿≖) [27:58] 给了你一套这个小抄 [27:59] 小抄竟然是错的 [28:00] 对啊老师一改卷子 [28:01] 发现怎么错的都一样嘛 [28:03] 呃哇塞 [28:04] 再说一个得罪人的 [28:05] 当时腾讯小马哥说我们3D模型已经是SOTA了 [28:10] 然后我还问了一些内部人员 [28:12] 这个是怎么来的 [28:13] 他说是在一个很靠谱的benchmark上 [28:16] 确实得分最高 [28:18] 然后那个benchmark [28:18] 我记得是说 [28:19] 大家在真实使用场景下去进行投票 [28:22] 你可能不了解背后的每个机制 [28:24] 但是你的直觉 [28:25] 你觉得这件事可信吗 [28:26] 有针对性的优化过的话 [28:28] 很多时候可能这个地方犯错 [28:31] 并不是说 [28:32] scientist真的故意要去直接刷这个分 [28:35] 因为直接刷这个分的话 [28:36] 应该可以刷的很高嘛 [28:38] 很多时候更多的是 [28:40] 我就是急着要赶deadline [28:42] 上面指标下来了 [28:43] 我要把它做上去 [28:44] 然后我可能在选我的数据的时候就没有像 [28:48] 我应该那么小心的去做这个事情 [28:51] 那么可能更多的会有一些间接的 [28:53] 这种contamination啊之类的问题 [28:56] 就是反而你想不得高分 [28:58] 有的时候是一个更难的做法 [29:01] 得高分反而是一个简单的做法 [29:03] 如果有做模型的商家在看这个的话 [29:06] 我会觉得就是 [29:07] 你至少在内部开发的时候不要去overfit benchmark [29:11] 之后marketing的时候你再overfit再说吧 [29:13] 不要影响内部团队的开发进度嘛 [29:16] 非常的反人性 [29:17] 实际啊在我看来就是一个 [29:19] KPI衡量versus science精神的这么一个PK [29:24] 就是你试图用偷懒的方式 [29:27] 去管理这种科研团队 [29:29] 你试图去把它用各种quantifiable的东西 [29:32] 去衡量 [29:33] 然后不管是deadline还是你的这个score [29:36] 甚至包括你的什么研发进度也好啊 [29:39] 薪酬也好啊 [29:40] 所有这些东西 [29:41] 其实都反而会导致你这个科研精神的损害 [29:45] 最后导致整个事情是不好的 [29:47] 对是的 [29:47] 长期来看 [29:48] 这个市场一定会纠错嘛 [29:51] 因为毕竟你分刷的再高 [29:52] 你放到customer手里他不好用 [29:55] 那还是不行 [29:57] 嗯好 [29:57] 那关于这个模型训练 [29:59] 你觉得我还有什么地方没有问到的 [30:01] 你觉得一些 [30:02] 你在过去的工作中的 [30:03] 一些实际的感受啊 [30:05] 见闻啊或者说你的领悟啊 [30:08] 我可以讲一下我这边 [30:10] 因为我自己带的 [30:11] 相当于是预训练的research的团队嘛 [30:13] 我是怎么设计我们的这个incentive的 [30:16] 来来来please [30:17] 当然首先 [30:18] 我们整个team还是比较秉承 [30:21] 大家要做好science这个事情 [30:23] 倒是convince大家说不要overfit [30:25] 要尽量用干净的data什么 [30:27] 这些还比较容易 [30:28] 然后我们在有了干净的data之后 [30:31] 其实相当于是 [30:32] 要在pre-training [30:34] 这么一个很大的space里面 [30:35] 去make各种bets [30:37] 然后去看 [30:38] 怎么样能够快速的 [30:39] 迭代出更好的模型来 [30:41] 那当然我们会用skinny layer什么的这些方法去降低成本 [30:44] 但就是说我们能scale off的机会 [30:46] 本来就还是比较少 [30:47] 那么我们现在怎么样去衡量 [30:50] 我们自己team的research的progress呢 [30:52] 我们相当于平时是所有的researcher [30:56] 在自己专长的那个领域里面 [30:58] 会自己去迭代 [30:59] 去探索最新的那些方法 [31:01] 用前面说的information gain那个方式 [31:03] 尽量去学更多的东西 [31:05] 然后看哪些方法是promising的 [31:08] 然后每一个quarter [31:09] 会去要一批更大量的计算来 [31:12] 让我们实际的去试着scale up一次 [31:15] 多大 [31:16] 不能说我们这边的多少 [31:18] 但是一般来说 [31:19] 比如10-23次方FLOPs之后 [31:22] 各种benchmark [31:23] 包括一些reasoning benchmark [31:24] 也都可以看到非0的数字了嘛 [31:26] 这个大家其实基本都用的那个规模 [31:28] 然后每一次这个scale up [31:30] 都是给我们测试一次 [31:32] 我们自己的各个方向上的design [31:35] 做得好不好的一个机会 [31:36] 相当于是一个实战的一个演练吧 [31:39] 这样子的话 [31:40] 我们其实每一个quarter都可以知道 [31:42] 我们相比上一个quarter [31:44] 我这个模型训练出来到同样的accuracy [31:47] 我可以节约多少compute [31:49] 然后我们这个 [31:50] 其实相当于就是用cost-to-accuracy bar [31:55] 这么一个方式去衡量我们训练的这个研究进度的 [31:59] 这其实让我意外的点在于 [32:01] 你们是没有算力支持的 [32:03] 作为一个这样的研究团队 [32:06] OpenAI也是这样吗 [32:07] 其实在不同的企业 [32:08] 可能都会有这样的情况 [32:11] production会需要大量的计算 [32:13] hosting需要大量的计算 [32:14] 所以怎样能够保持compute的allocation [32:18] 这个其实是一个难点吧 [32:20] 我们也不说没有计算 [32:21] 我们其实平时计算还是挺多的 [32:23] 就至少每个人跑一些 [32:25] 中小规模的实验什么（的）都是没有问题 [32:28] 但等到比如说 [32:30] 真的要跑大规模训练的时候 [32:32] 那可能需要的机器会更多一些 [32:34] 那我们就会去对应的要一些 [32:36] 然后去做这样的事情 [32:38] 我发现包括我大多数观众 [32:40] 对于大模型训练到底需要多大的数据 [32:43] 缺乏概念 [32:45] 甚至包括很多machine learning scientist [32:46] 也有这种感觉 [32:47] 就是他没有内化这个区别 [32:48] 帮大家visualize一下 [32:50] 你说训练的文本量会需要多少是吧 [32:53] 或者需要的算力的差别 [32:55] 平时是可能每个人几台机器 [32:59] 做一些小规模实验 [33:00] 这个其实迭代就已经很快了 [33:01] 就可以做很多东西 [33:03] 真的要到scale up的时候 [33:05] 可能一整个data center都得用到一起 [33:07] 去跑一个job这样子 [33:08] 总之就是 [33:09] 你们会得到一个data center的这种piu～ [33:11] 给你们一下 [33:12] 嗯 对 [33:13] 然后训练的过程中用的文本 [33:16] 可能几十个trillion的token吧 [33:19] 那就是可能几百个terabytes的 [33:21] 就光文本 [33:23] 嗯 哼哼哼哼～ [33:24] 还是能想象出来的 [33:26] 刚刚有说你平时有一套的evaluation方式 [33:30] 然后你会去拉到这个实战上 [33:32] 你的具体的这个标准 [33:33] 比如说对老板汇报的时候的标准 [33:35] 这个算力to accuracy的这样的一个ratio [33:39] 对 这样子做有一个好处是 [33:41] 相当于我整个team每隔一段时间 [33:44] 都可以去出这样可量化的 [33:46] 一个跟直接business相关的结果 [33:49] 对自己team内部的incentive有一个好处 [33:52] 是因为不同的方向research都需要发生 [33:56] 但是不同的方向上可以得到的gain [33:59] 它的周期又都不一样 [34:01] 那我还会有一个需要去权衡不同的人 [34:04] 他可能做的方向 [34:06] expected gain不一样的这么一个问题 [34:08] 但如果大家都是打包一起去做 [34:10] 就不需要说变成我去justify [34:12] 每一个人save了多少这样的问题 [34:15] oh yeah [34:16] 因为刚刚的这个本质就是 [34:18] 你需要每一步都做对 [34:20] 他才有可能整体有效果 [34:22] 但确实你如果拆开的话 [34:23] 你就会说这个点他有贡献了80% [34:26] 那个点贡献20% [34:27] 但其实20%也是必要的 [34:29] 对包括有一些可能 [34:31] 比如深度学习理论做的比较多 [34:33] 它告诉我们 [34:35] 某一些初始化某一些scaling应该怎么做 [34:38] 但是这个本身 [34:39] 可能它并不能直接反映出gain [34:42] 但是它enable了everything else [34:44] 这样的情况下 [34:45] 我依然需要去encourage这样的research [34:47] 那么最好的方式 [34:48] 就是一个team整体打包 [34:50] 去做出一个新的recipe来 [34:52] 然后大家就衡量那个recipe [34:54] 那你自己衡量individual researcher的时候 [34:57] 你怎么衡量呢 [34:58] 更多的是说看 [35:00] 比如他做的这个工作 [35:02] 跟他现在所在的那个方向去比吧 [35:05] 比如现在外面大家在用的optimizer怎么样 [35:07] 然后我们自己做的optimizer怎么样 [35:09] 这个其实就可以看到 [35:11] 他在自己的方向上推的有多远 [35:13] 这件事很难 [35:14] 因为要求你对每一个方向都了解 [35:17] 且你能从这个工作本身去判断 [35:20] 而不是从一个结果数据去判断 [35:23] 对是的 [35:23] 我更多的是把这个看成对于我来说 [35:27] 是个学习机会吧 [35:28] 因为我就需要确保每一个方向上 [35:31] 他做到什么程度 [35:33] 我都要有能力去深入了解 [35:35] 所以你看现在大模型相关的 [35:37] 大多数这些方向 [35:39] 你都能对这个人的水平有一个了解 [35:43] 大致应该至少有一个认识吧 [35:45] 可能不同的人 [35:46] 技术路线 [35:47] 那你以你看起来 [35:49] 评论一下市面上的著名人物的水平 [35:52] 呃 [35:54] 这个就我觉得不说了吧 [35:56] 哈哈哈 [35:57] 还有没有什么没有touch到的点你觉得 [35:59] 技术上的话 [36:01] 我会希望比如说现在还在学校的PhD [36:04] 尽量多去接受一些工程训练嘛 [36:06] 做一些不scale的事情把比如说那种高性能计算里面 [36:11] 常见的一些technique啊 [36:12] communication pattern啊什么的 [36:14] 这些即便可能跟自己的machine learning [36:17] 研究方向不一定相关 [36:18] 但现在这个东西搞懂其实挺重要 [36:20] 之后的所有的research [36:23] 基本上也都需要好的implementation skill去drive [36:26] 所以在一个实现的throughput [36:29] 赶不上idea生成的速度的情况下 [36:32] bottleneck其实在实现上大家应该更重视一些这个skill [36:35] 你有没有什么具体的field [36:37] 你觉得他很重要但是人才不够多的 [36:40] 包括做kernel的优化 [36:42] 包括做分布式的 [36:43] 模型的训练的设计啊 [36:45] 还有就是networking communication的一层 [36:48] 怎么去实现好的高性能的pattern [36:50] 现在到处都还是挺缺的吧 [36:52] 利好NVIDIA [36:53] sounds like还是算力不够 [36:55] 或者是算力利用的不够好 [36:56] 对算力的利用率可能是一个大问题 [36:59] 你觉得NVIDIA可以解决这个问题吗 [37:01] 就是他一直其实也都在搞自己的超算 [37:04] 嗯 显卡是越造越大了 [37:06] 我觉得他肯定是试图解决 [37:08] 并且通过这个去抢占更多市场吧 [37:11] 而且他也正在做很多 [37:13] 那种应用性上面的改进 [37:15] 包括他们那个tile language [37:17] 那个就是用更高层的语言 [37:19] 去写kernel这个东西 [37:21] 这个是相当于填补了Triton compiler [37:24] 在可能最近两代的这个GPU上 [37:27] 效果不够好的 [37:28] 一些feature gap啊之类的 [37:30] 相当于填了那个坑 [37:31] NVIDIA其实很努力 [37:32] 一直是在继续推进 [37:34] 和保护它的这个护城河的 [37:36] 你觉得它有明显的competitor吗 [37:38] 明显的competitor [37:39] 大家都想做competitor吧 [37:41] 我觉得 [37:41] 这个的难点是这样子的 [37:43] 不同的硬件厂家 [37:45] 他有了硬件之后 [37:47] 其实才完成了一小部分 [37:49] 从深度学习框架一直到下面的compiler [37:52] 再到那些硬件什么的 [37:54] 这个中间其实还有很厚的一层 [37:56] 中间针对自己硬件的那个compiler那一层 [37:59] 大家的software的sharing其实是不够的 [38:02] 那一层并没有太多的什么标准 [38:05] 然后导致说不同的硬件厂家 [38:07] 即便大家利益是一致的 [38:08] 大家都想去抢占市场 [38:10] compete这个NVIDIA对 [38:12] 但是因为底下硬件这里 [38:15] 他会有一些比如proprietary的东西 [38:18] 或者怎么样 [38:19] 就导致可能到instruction这里 [38:20] 并不一定都是放开的嘛 [38:22] 这个就导致说 [38:23] 中间这一层很难有有效的 [38:26] 比如说open source啊 [38:27] 或者其他类似的 [38:28] software sharing的这种strategy [38:30] 当然这个问题 [38:30] 我觉得现在可能会变得好一点 [38:33] 因为现在software便宜了 [38:35] 所以还是希望现在已经有的硬件厂家 [38:39] 抓住这个机会 [38:40] 把自己compiler做做好 [38:42] 但听起来不太容易构成竞争威胁 [38:44] 对这个东西是挺难的 [38:46] 本来就是挺难的 [38:47] 而且另一方面 [38:48] 就前面说的NVIDIA很勤奋嘛 [38:50] 他们也会用agent去写自己的kernel [38:53] 他们的CUDA Library improvement的速度也变快了很多 [38:56] 对就不要说他们本身就是最卷 [38:58] 然后人才最集中 [39:00] 资金最集中 [39:01] leadership vision最好的公司 [39:02] 可能没有之一 [39:03] 就抛弃这些 [39:05] 他的那个护城河 [39:06] 其实远远比大家想象的大 [39:07] 不是在于这个硬件本身 [39:09] 而是在于他的生态 [39:10] 且这个生态 [39:12] 似乎听起来就是一个马太效应很强 [39:14] 因为他这个生态其实是个标准 [39:16] 所有的其他的上面的东西 [39:17] 只能跟着这个标准来 [39:18] 你compete一个标准 [39:20] 对于第2名到100名加起来 [39:22] 也很难搞定这件事 [39:24] 我们接下来就聊第二个话题 [39:26] 你对一些未来trend的看法 [39:28] 我觉得可以先讲一个技术上 [39:31] 我们接下来 [39:33] 可能能看到什么样的disruption [39:35] 这件事情我觉得可以先讲吧 [39:37] 因为前面正好都在讲技术 [39:39] 我们前面用了database这个抽象 [39:41] 然后Frontier Labs都在通过劳动密集型的方式 [39:45] 去给这些表去做完善 [39:47] 然后去填表 [39:48] 用大量的人手去找各个方向的数据 [39:51] 然后放到模型里面去 [39:53] 希望大家能用起来 [39:54] 还有就是已经有很多用户的那些厂家 [39:57] 他会从用户那边得到很多新鲜的 [40:00] 有趣的一些intent [40:02] 这个也就给了他们信号 [40:03] 说这个填表应该填什么 [40:05] 不是给他们具体的填表所用的数据 [40:07] 而是给他们信号 [40:08] 填表用来填什么 [40:10] 也可以是用数据 [40:11] 肯定他们有团队 [40:12] 去从用户的prompt里面去挖 [40:15] 哪些是有意思的 [40:16] 应该去填的 [40:17] 应该去收集数据的 [40:18] 那这里面其实模型的改进 [40:20] 它的bottleneck还是在人 [40:22] 因为你要cover一个新的domain [40:25] 你依然需要人去找这些intent [40:28] 然后在post-training [40:29] 找到对应的environment和对应的reward [40:32] 把它program出来 [40:34] 然后再通过模型训练放回到表里去 [40:36] 但是 [40:37] 如果模型它会自己去找新的environment [40:42] 去找新的reward [40:45] 知道做什么样的事情是对的 [40:47] 做什么样的事情会是错的 [40:49] 那么他的学习就会不再依赖于人 [40:52] 这个bottleneck [40:54] 你说模型找reward是找新的reward function [40:58] 嗯对 [40:58] 可以是找reward function [41:00] 可以是找其他reward信号 [41:02] reward function是把人类都干掉怎么办 [41:05] 呃...这个可以作为下一个话题说 [41:09] 就是自己如果能生成reward的话 [41:11] 那他可能形式上就会更接近像Alpha Zero这样的情况 [41:15] 对 只不过这个environment [41:17] 不再是一个简单的close的environment [41:19] 而是说开放式的一个environment [41:22] 包括前面讲 [41:23] 有些lab在做singularity在做self improvement什么的 [41:27] 我觉得很有可能 [41:28] 他也会需要依赖把continue learning [41:31] 把自己去找signal [41:34] 自主的去学习这个能力先去解决了 [41:37] 那么他才可能会在这个新的domain上 [41:39] 能够快速的去改进它 [41:42] 你看我理解对不对 [41:43] 就是模型现在非常善于答题 [41:45] 但是他不善于出题 [41:46] 然后你刚刚说的就是模型能自动化的出题 [41:49] 对而且出的题 [41:50] 可能并不是说是跟前面形式很像的 [41:53] 可以通过排列组合这个已经见过的东西去解决的 [41:57] 而是说比如 有灵性的题目 [42:00] 有一些新的环境 [42:01] 比如说我在火星上面 [42:02] 我要这个模型帮我去做一些planning啊 [42:05] 怎么样的 [42:06] 就可能gravity不一样了 [42:07] 很多东西不一样 [42:08] 这个新环境它能不能做对 [42:10] 包括如果是做self improvement [42:12] 那就是AI改进AI的这一部分里面相关的问题 [42:17] 他能不能自主的快速的去学习 [42:19] 所以从这个角度来看 [42:20] 其实从技术上来说 [42:23] 如果我们想说他是下一个突破点的话 [42:26] 可能就是他能够自己去做这个学习 [42:29] 那么对于用户的体感来说 [42:31] 更多的是 [42:31] 要不然就是他是非常personalized [42:34] 只要给了他context之后 [42:36] 他马上知道我需要什么 [42:37] 他能够很快的去做那些只有我知道的 [42:40] 或者是只跟我相关的一些task [42:43] 然后他能做的很好 [42:44] 或者说是像self improvement啊 [42:47] 或者其他的什么他目前不太擅长的domain [42:51] 他可能能够快速的学会那些domain [42:54] 就不会像现在这样 [42:56] 再觉得是好像最近碰到了一个瓶颈 [42:59] 模型进步速度没有那么快了 [43:00] 可能再也不会有那种感觉 [43:02] 因为他一旦能self improve的话呢 [43:04] 就再也没有人这个bottleneck [43:06] 而且听起来这完全是可以做的到的 [43:09] 对 这个一旦解决了 [43:10] 那其实还是回到填表的抽象的话 [43:13] 那就是填表的成本 [43:15] 会降10倍100倍或者是就降到基本没有 [43:18] 假设这步解决了 [43:19] 它到底这个模型它是什么样子 [43:22] 可能我们不管是什么 [43:25] 现在必须要靠人做的任务 [43:27] 他都是可能一两天之内他就学会了 [43:30] 再也不需要人去做了 [43:32] 而且他自己会提问 [43:34] 对 yaeh～ [43:34] 我现在跟他说 [43:35] 你如果给我出一个视频脚本 [43:37] 他确实bottleneck是在提问这一步 [43:39] 只要我能问正确的问题 [43:40] 他都基本上能给好的答案 [43:42] 但是他不知道提什么正确问题的话 yeah～ [43:45] 你觉得这个东西的实现可能性有多大 [43:48] 个人觉得三五年应该能解决吧 [43:52] 100%？ 99%？ [43:55] 我还是比较conservative [43:56] 我会比如说70%在五年之内解决 [43:59] 70%非常的不conservative吧 [44:01] 哈哈哈 [44:02] 主要体感的区别是在于 [44:04] 我不会像现在这样子 [44:06] 每一个session跑完了 [44:07] 相关的task我还得重新prompt一遍 [44:10] 如果这个模型deploy到机器人上 [44:12] 我真的可以教会他马上做一些东西 [44:14] 教会了之后他以后就一直会了 [44:16] 包括新的一些场景新的任务 [44:18] 他可能解决的会比我更好 [44:20] 都不要说什么模型天网统治了 [44:23] 就简单的我 [44:24] 我说我特别讨厌一个人 [44:26] 你去帮我搞他 [44:27] 或者说你去帮我 [44:27] 对他做点无伤大雅的恶作剧 [44:29] 但是让他难受一下 [44:30] 那机器人就会去做各种恶作剧 [44:32] 这听起来就有点可怕 [44:34] 反正肯定是会进一步加强这个power的concentration嘛 [44:40] 哎 我昨天看窦文涛的一个节目嘛 [44:42] 他请的是那个冯时 [44:45] 他讲我们中国的道德或者文明里边 [44:49] 其实一直aware of你什么样的智慧是不应该有的 [44:54] 就不是所有的物质都对人有好处 [44:56] 然后知识是应该是有局限的 [44:58] 一个无限的知识其实很可能带来的是一个bane [45:01] 但是没办法 [45:02] 我的观点一直就是说 [45:03] 当这件事情要发生的话 [45:04] 人是阻止不了的 [45:05] 就没有什么机制可以阻止 [45:07] 嗯对 [45:08] 从人的角度来讲 [45:10] 就即便我说的这个技术变革没有发生 [45:13] 那接下来对于人来讲 [45:14] 这个趋势是什么样子的 [45:16] 可能24年25年开始 [45:19] 很多 [45:19] 比如LinkedIn上有些刚毕业的学生来 [45:22] 会问我一些职业上的问题嘛 [45:24] 我也会尽量想办法就能回答就回答 [45:27] 他们那个时候开始给的问题就是 [45:29] 我发现现在entry level job非常难找了 [45:32] 当然这个这两天可能情况会更加剧嘛 [45:35] 不只是entry level [45:36] 你会发现因为AI能替代的这个技术水平越来越高 [45:40] 先是entry level开始从入口卡死 [45:42] 接下来是越往上的job level [45:44] 也是越来越少 [45:45] 这个情况 [45:46] 其实就相当于是 [45:48] 基本就否定了以前说的 [45:50] 这种传统的career的这一条路线了 [45:53] 前几天一个嘉宾 [45:53] 他发现career这个词呢 [45:55] 其实是工业革命造出来 [45:56] 然后为了让大家可以有一个这样目标 [45:59] 然后他想了以后觉得哇 [46:00] 是不是自己疯掉了 [46:01] 自己怎么可以做这么叛经离道的 [46:02] 后来去看乔布斯写了一模一样的东西 [46:04] 就是career这件事其实是个假的东西 [46:07] 对 那现在career这件事情是假的 [46:10] 这个体验大家体感就会非常的真实嘛 [46:13] 因为它就是不存在 [46:15] 那既然是career这个东西不存在了 [46:18] 那么大家现在面临的主要的一大问题 [46:20] 其实是怎么样去继续参与经济活动嘛 [46:23] 所以我个人觉得啊 [46:25] 课代表你现在做的这个事情 [46:26] 是大家应该效仿的 [46:27] 谢谢 [46:28] 我在2023年的时候出了一期视频 [46:32] 我就说给大学生的三个建议 [46:34] 因为我怕大家说我爹味 [46:35] 然后我说给那个工作的人听 [46:37] 他们觉得不好听 [46:38] 说你要去寻找一个公司之外的价值 [46:41] 你要在公司之外能创造价值 [46:42] 然后你要去 对 看看人生的意义 [46:44] 我说是说给大学生听的 [46:46] 但是我是说给所有人听的 [46:47] 从那个时候就意识到了 [46:48] 就是打工这件事不会再持续特别久 [46:50] 那个时候为什么我要去说给大学生听 [46:52] 因为我说出来就被人骂 [46:54] 然后到24年的时候我说然后又被人骂 [46:56] 然后说贩卖焦虑bulabulabula [46:57] 你怎么怎么样 [46:58] 很多时候人面对一个新的变化的时候 [47:01] 就是不愿意去动作 [47:03] 嗯 这个也确实没办法 [47:05] 人有人的局限性嘛 [47:07] 不过另一方面来讲这个现实 [47:09] 它其实并不care [47:11] 我们的feeling到底是怎么样的 [47:13] 这里的matter point更多的是说 [47:15] 我觉得接下来会有一段 [47:17] 可能比较困难的 [47:19] 重新figure out组织形式的这么一个过程 [47:23] 拿美联储举个例子 [47:24] 他调利率的时候他看什么 [47:27] 他看通胀 [47:28] 他看就业率对吧 [47:29] 但我如果把利率降低了之后 [47:33] 我资金都是流向比如说AI的这些产业 [47:37] 我都是投到这个 [47:38] 尽量发展AI [47:39] 从而保持美国在国际上的竞争力 [47:43] 那这个过程当中它又不是劳动密集的 [47:46] 那么也就是说 [47:48] 大部分这个资金的流向 [47:50] 并不会反映到就业率上去 [47:53] 那也就是说本来调利率的这个工具 [47:56] 其实在这个情况下就失灵了嘛 [47:58] 同样的你如果因为就业率没上去 [48:00] 大家income没有上去 [48:02] 那你inflation也不会上去对吧 [48:04] 呃...那不一定 [48:05] income不上去 [48:06] inflation有也可能上去 [48:08] 啊 那确实是对 [48:09] 这里可能主要会有的一个变化是在于 [48:12] 生产力发展如果脱离于这个劳动力了 [48:15] 那么很多原来有的机制会失灵嘛 [48:18] 我稍微说一下啊 [48:19] 这个在经济里边倒不是一个新问题 [48:21] 十几年前吧我记得当时 [48:22] Krugman在New York Times就写了他的OPS [48:25] 经济学也有很多讨论 [48:25] 就是我们似乎所有的东西都是favor capital [48:29] 但是在经济学的宏观经济模型里边 [48:31] 就是labor和capital本身是一个 [48:32] trade off [48:33] 越资本密集的企业就越不labor intensive [48:36] 如果说 [48:37] 我们的目标是要create more jobs的话 [48:39] 你去把所有的policy去favor capital [48:42] 这个好像不合理 [48:43] 所以这确实是一个长期以来的趋势 [48:46] 但问题是什么呢 [48:47] 就是capital的influence [48:48] 对这些policy的influence是非常强的 [48:51] 所以说他们就会去把更多的资源 [48:53] 放到自己身上 [48:54] 现在AI可能就是加剧了 [48:56] 还有另外一个文章我觉得也很重要 [48:58] 就是说本来啊 [48:59] 你在AI之前 [49:00] 你是所有的capital [49:02] 想要达成一个东西 [49:03] 你是需要人的 [49:04] 就比如说SpaceX [49:05] 那为什么Blue Origin花了那么多钱 [49:08] 他没有办法像Elon Musk那样学 [49:10] 因为Elon Musk懂得怎么管人 [49:12] 懂得怎么把这些科学家们work [49:14] 但是未来AI无所谓的 [49:15] 人的智能commoditize了 [49:17] 所以说 [49:17] 你capital就可以直接作用到结果上 [49:19] 这对有钱人来说是好事 [49:21] 但是对于labor [49:22] 就是打工人来说是个非常不好的事情 [49:24] 对是的 [49:25] 而且即便民众 [49:27] 比如说更希望其他的policy [49:30] 去至少确保人的welfare [49:32] 但这个事情 [49:33] 在有国际竞争的这个情况下 [49:36] 也很难实现 [49:37] 因为不管是国与国之间竞争 [49:40] 还是企业之间的竞争 [49:41] 其实大家都是希望生产力进步嘛 [49:43] 这个压力始终是存在的 [49:45] 这个动力是确保他怎么样持续下去 [49:48] 持续存在的这么一个根本动力嘛 [49:51] 那这样的情况下 [49:52] 就会导致说 [49:53] 大家不得不把资源 [49:55] 投到更容易提高生产力的方向上去 [49:58] 那么反映在现在这个阶段就是我投了很多资源 [50:03] 可能最终发了很多电 [50:04] 那这些电得给AI用 [50:06] 不能给人用 [50:07] 即便每个人能源消耗增加 [50:09] 可以增加他的生活标准 [50:11] 所以这个是已经开始发生的事情 [50:13] 我对宏观还是相对乐观的 [50:15] 我对尤其科技公司打工人 [50:18] which is我频道前面观众的个体的命运 [50:20] 非常不乐观 [50:21] 但是我觉得宏观来说还是相对乐观的 [50:24] 因为你看就是我们这些knowledge worker啊 [50:26] 被AI取代工作的这些人 [50:28] 其实不是主流 [50:29] 我觉得大多数人 [50:30] 他们的工作 [50:31] 没有被AI那样子的去消灭掉 [50:34] 举个例子啊 [50:35] 就比如说我的娃去daycare [50:37] 然后他的老师 [50:38] 绝大多数时间是在照顾他 [50:40] 嗯 但是老师要干一件事 [50:41] 就是每天要log他吃了什么 [50:43] 然后我就看他老师log肯定很不仔细了 [50:45] 因为他要log好几个娃 [50:46] 这件事他是在照顾娃过程中去做的 [50:49] 那AI可以帮助他更快的做这件事 [50:51] 让他能更好的照顾娃 [50:52] 这个过程中 [50:53] 似乎也没有导致任何人损失工作 [50:56] 除了那个不称职的那个软件公司 [50:58] 也都还好 对 [51:00] 那如果带娃这个事情 [51:02] 变成了仿生机器人去做的呢 [51:04] 这就是我不知道的 [51:06] 就是我自己没有那么看好机器人 [51:08] 它可以那么快的应用 [51:11] 然后原因是什么呢 [51:12] 原因不是说它的算法不ready [51:14] 我相信算法这件事是可以解决的 [51:16] 但是sensor和控制 [51:19] 其实并不是一个(容易)解决的问题 [51:21] 就是我们手上的这个sensor啊 [51:23] 就是一个手上的神经元 [51:24] sensor这些东西是非常非常敏感 [51:26] 就是把火箭发射到月球上是一个简单问题 [51:30] 它不是一个complex问题 [51:32] 你算好了以后你可以发射了 [51:34] 但是你拿铁拉花 [51:35] 甚至你拿一个杯子 [51:36] 它是一个complex问题 [51:38] 就是它的系统的复杂度非常非常高 [51:40] 比如我们化学可以合成钻石 [51:42] 但是我们合成不了翡翠 [51:43] 合成不了蓝宝石 [51:44] 是因为化学物稍稍复杂一点就不行 [51:47] 所以说我们能produce可乐 [51:48] 不能produce红酒 [51:49] 因为红酒上有几千种chemical compound [51:51] 就是我们人类科技水平在这 [51:53] 我们想让这个仿生机器人 [51:55] 做到任何一个科技水平 [51:56] 其实都在这 [51:57] 从这到这 [51:58] 我觉得好像没有大家想象那么快 [52:00] 解决了算法以外 [52:01] 就像你说的硬件啊 sensor啊 控制器啊 [52:04] 这些东西好像还差得远 [52:07] 我们大多数的控制器 [52:08] 现在还是六轴电机啊 [52:09] 就没有那么容易的控制 [52:11] 对现在是 [52:11] 就主要是解决了 [52:13] 持续学习之后会怎么样 [52:16] 这些问题 [52:16] 本质上没有比其他的问题更复杂 [52:20] 可能space稍微大一点 [52:22] 嗯...我觉得理论上 [52:24] 你在地球上盖一个1,000层的楼 [52:28] 没有更复杂吧 [52:29] 但是盖不出来 [52:30] 但是你在digital world盖一个1,000亿层的楼 [52:34] 都是盖得出来的 [52:35] 就是digital world是非常scalable [52:37] 我们现在去解决的这些数字的问题 [52:40] 是我们有很强的复杂性 [52:42] 因为在数字过程中它太精确了 [52:45] 所以说我们可以非常好的deal with [52:46] 这些复杂性 [52:48] 但是在物理世界中 [52:49] 我们对这个原子的control [52:51] 其实不是那么精确 [52:52] 所以说我们想要去做一个复杂的东西 [52:55] 在我看来啊 [52:56] 就是人类科技现在还有一个很大的一个天花板 [52:59] 对我也可以理解这个perspective 是的 [53:03] 这是我的perspective了 [53:03] 我还是希望人类的科技可以piu⇗ [53:06] 我觉得是有这么一个天花板在的 [53:08] 甚至我觉得人类智能相比machine的智能其实很小 [53:11] 原来在机器出来之前 [53:13] 我以为我很聪明 [53:14] 现在我就觉得我的智能其实非常的薄 [53:17] 我能很明显的感觉到机器想要超过我 [53:19] 就比如说解锁了你说的那个东西 [53:21] 我在他面前 [53:21] 我的智能就非常渺小的存在 [53:23] 就是我们人类这么多年的历史 [53:25] 所积累下来的那些智能 [53:26] 都是很薄的一层存在 [53:28] 嗯 即便现在的这一代的机器人 [53:31] 他的包括对知识的 [53:33] 不说理解吧 [53:34] 至少了解上已经超过所有人了 [53:37] 好 这是未来的趋势 [53:39] 你还有没有什么你觉得很想跟大家分享的 [53:41] 关于未来的趋势的一些想法判断 [53:43] 这段我说的有点多啊 [53:44] 不好意思 [53:45] 哈哈哈没关系没关系 [53:46] 我是觉得反正现在是不确定的时代 [53:49] 大家还是要 [53:50] 可能这个还是反脆弱那一套嘛 [53:52] 现在是take risk的时候 [53:54] 大家应该要积极勇敢的去take risk [53:57] 嗯好的好的好的 [53:59] 非常感谢今天来访谈 [54:01] 今天聊得很高兴 [54:03] 非常谢谢 谢谢课代表提供这个平台 [54:06] 大家回头有什么问题的话也欢迎来问 [54:08] 我们可以有机会再请你 [54:10] 不管是来节目还是来社区里边 [54:12] 再跟大家互动一下