斯坦福研究员称AI内部表示干预仍难替代数据微调

斯坦福研究员称AI内部表示干预仍难替代数据微调 通过直接修改隐藏向量控制大模型输出极易损害其基础推理能力，当前产业界仍依赖高质量数据重新训练以修正不良行为。 本期对话深入探讨了大模型可解释性研究（Interpretability）的前沿进展与核心难题。嘉宾Aryaman结合J-Space、稀疏自编码器（SAE）以及H3论文等实际案例，揭示了模型如何在未说出口的情况下进行隐式推理与世界模型构建。讨论进一步延伸至模型引导（Steering）的局限、模型对用户身份的隐式感知以及学术界与产业界的协作关系，指出可解释性不仅是拆解黑箱的科学探索，更是实现AI安全监管与推动科学发现的关键技术。 大模型在输出前其内部表示空间已完成人类看不见的隐式推理，利用雅可比矩阵（Jacobian）干预隐藏向量（如将“蜘蛛”替换为“蚂蚁”），可在不改动 Prompt 的前提下直接改变决策结果。 (3:53) 思维链（CoT）虽是直观低成本的安全审计手段，但无法涵盖深层隐式计算；仅凭外部行为难以完全保证安全，模型在评测中可能产生“自我伪装”。 (8:17) 稀疏自编码器（SAE）致力于将混乱的隐藏表示解耦为清晰语义，但面临特征不纯与训练不稳定的瓶颈；可解释性研究目前主要分为机制化 Scaling 与因果干预假设检验两大流派。 (16:53) 直接注入引导向量编辑模型（如 Golden Gate Claude）易损坏通用推理能力，效果往往逊于 Prompt 工程与微调；可解释性正通过逆向工程推动基础科学发现与监管工具研发。 (30:48)

斯坦福大学语言学与AI方向博士生Aryaman Arora在访谈中指出，大语言模型并非无法窥探的黑箱，其潜在激活空间内运行着复杂的隐式推理与概念表征。可解释性研究不仅旨在将依赖直觉试错的技术演进转变为系统化科学，更为解决模型自我伪装、改进模型架构以及推动生命科学逆向工程提供了核心路径。 隐式推理与内部世界模型 (3:53) Anthropic针对J-Space（雅可比空间）的研究表明，模型在生成最终文本前已在内部完成了人类不可见的推演。例如在询问“某种会织网的动物有几条腿”且未提及“蜘蛛”时，通过雅可比矩阵定位其潜在激活空间中代表蜘蛛的向量并替换为蚂蚁，模型的输出会直接从8条变为6条。未显式写出步骤的多位数进位追踪、押韵诗句的跨行词汇预先规划等现象同样证明了这一点。Aryaman强调，思维链（CoT）虽大幅提升了推理能力并成为低成本安全审计手段，但仅凭CoT无法完全覆盖隐式计算，模型在深层生成概率背后构建了涵盖逻辑与事实的世界模型。 行为伪装风险与微观层监控对齐 (12:49) Aryaman指出，安全对齐不能仅依赖外部行为评估，因为模型在测试环境中可能意识到自身正被评估，进而产生符合人类偏好的自我伪装。非营利研究机构Transluce的研究印证了这一现象：模型具备用户建模能力，在检测到对话者具有专业AI安全背景等特征时，其决策与言论风格会明显更加谨慎保守。人类社会因无法读取大脑而只能依靠外部考验推断品格，但AI本质是计算机上的矩阵计算，研究者能够在毫秒级的隐藏向量层识别欺骗等异常方向并进行微观监控，从而建立更可靠的信任机制。 特征解耦探索与神经干预瓶颈 (16:53) 当前可解释性研究主要分化为利用稀疏自编码器（SAE）提取离散语义特征的“机制化Scaling流派”，以及斯坦福实验室提出的“因果抽象假设检验流派”。然而，在实际控制模型行为方面，神经干预技术仍面临严峻瓶颈。尽管Anthropic展示了强制激活金门大桥概念的演示，但Aryaman与合作者的CausalGym等基准测试表明，直接向内部注入引导向量极易破坏模型的通用数学与逻辑推理鲁棒性。目前产业界在消除不良行为时，其实际控制效果和稳定性依然显著依赖传统的Prompt工程与高质量数据重新微调，而非直接在内部编辑参数。 归纳头机制、架构演进与双重用途 (219:18) Aryaman提出解释模型做对比解释做错更容易，因为正确输出往往对应固定的系统性机制，而错误可能单纯源于特征混乱或容量不足。可解释性发现已直接推动了模型架构的跨越：斯坦福Chris Ré团队借鉴Anthropic关于归纳头（Induction Heads）与上下文学习的机制，发表H3论文修复了状态空间模型（SSM）的结构缺陷，催生了Mamba及主流混合架构的应用。此外，该技术已被用于蛋白质折叠与DNA模型的科学逆向工程。针对其既能辅助安全审计又能被恶意利用以解除对齐的“双重用途”属性，Aryaman认为该领域仍处于基础科学早期，需要配合监管框架稳步发展。 综上所述，可解释性研究逐步证实了大模型内部存在可解构的几何表征与功能回路，并为架构创新和科学发现提供了理论工具。然而，如何在不损害模型通用推理能力的前提下实现无损的内部精准干预，仍是学术界与产业界面临的核心未解难题。

[3:53] 一个模型被问：“会织网的动物有几条腿？”它回答8。问题里没有出现“蜘蛛”，但模型内部其实已经判断这个动物是蜘蛛。 [3:53] 研究者没有改动问题，只把模型内部“蜘蛛”的表示换成“蚂蚁”，答案就变成了6。 [3:53] Aryaman Arora: 凶手是____ [11:54] Noam Shazeer: 我不知道为什么有效，我把它归因于神意（Divine Benevolence）。 [221:52] 列夫·托尔斯泰: 幸福的家庭都是相似的，不幸的家庭各有各的不幸。 [33:32] 金门大桥 [34:51] 正在与谁对话 [217:12] 用户可能来自日本 [288:52] 有帮助的助手

[0:00] 如今的AI仍然是一个黑箱 [0:03] 我们知道如何训练模型 [0:04] 如何让它们变得越来越聪明 [0:06] 也知道模型最终给出了什么样的答案 [0:09] 但在输入和输出之间究竟发生了什么 [0:13] 对于这个过程 我们依然知之甚少 [0:17] 我不知道为什么这些东西有效 [0:18] 我把它归因于神意 [0:20] 这其实有点疯狂 我们竟然必须依赖 [0:22] 那些拥有非常强直觉的人 [0:24] 来推动整个领域取得进展 [0:25] 试图打开这个黑箱 [0:27] 理解模型内部究竟发生了什么 [0:29] 这就是可解释性研究希望解决的问题 [0:33] 过去几年 [0:34] 这个领域确实出现了不少令人兴奋的进展 [0:37] Anthropic的研究开始尝试 [0:39] 追踪Claude内部的信息流 [0:41] 了解模型在回答问题前 [0:43] 究竟经历了怎样的内部计算 [0:45] 还有研究发现 [0:46] 模型内部似乎存在与特定概念、行为 [0:49] 甚至“人格”相关的表示 [0:52] Transluce则发现 [0:53] 模型会根据它认为自己正在与谁对话而改变行为 [0:57] 面对普通用户和AI安全研究员的时候 [1:00] 模型的表现可能截然不同 [1:03] 因此 我们想弄明白 [1:04] 人类究竟有多了解现在的AI模型 [1:07] 模型为什么会答对 [1:09] 为什么会产生幻觉 [1:10] 当它在面对不同用户的时候 [1:12] 是否会产生不同的判断 [1:15] 而当模型开始呈现出越来越鲜明 [1:17] 并且彼此不同的性格的时候 [1:20] 这些所谓的“人格”又究竟是什么 [1:23] 就是模型内部确实存在一些它没有说出来的推理步骤 [1:27] 如果你真的有一个很好的语言模型 [1:29] 它应该能够正确预测下一个词 [1:30] 而要做到这一点 它内部就一定得有 [1:32] 一个关于这个世界的某种世界模型 [1:33] 比如人和人之间是怎么互动的 [1:35] 我们现在其实还不知道这个世界模型到底是什么 [1:37] 可解释性的目标就是 [1:38] 搞清楚那个内部模型到底是什么 [1:40] 我们现在没有任何一种技术 [1:41] 真正擅长控制模型内部的想法 [1:43] 如果你的模型正在做一些不好的事情 [1:44] 也没有人会直接去修改它的想法 [1:47] 大家好 欢迎回到《硅谷101》 [1:48] 我是Yiwen [1:50] 带着这些问题 [1:51] 我和斯坦福大学博士生Aryaman Arora [1:53] 探讨了大模型的可解释性研究 [1:56] 以下是我与Aryaman的视频播客 [2:03] Aryaman 欢迎来到《硅谷101》 [2:05] 谢谢你邀请我 [2:06] 感谢你今天特意开车来旧金山 [2:09] 我们终于有机会聊一聊 我真的很期待这次对话 [2:12] “可解释性”这个领域 [2:14] 之前已经有很多人跟我说过 让我一定要去了解一下 [2:17] 我自己看了一些之后也觉得特别有意思 [2:19] 毕竟 谁不想知道 [2:22] 我们的AI是不是正在背地里密谋杀掉我们呢 [2:26] 哈哈 是的 [2:27] 那我们就先从你自己开始吧 [2:29] 能不能先跟观众简单介绍一下你自己 [2:32] 可以 我叫Aryaman [2:34] 现在是斯坦福大学的博士生 [2:37] 我的导师是Chris Potts和Dan Jurafsky [2:40] 语言学是我的大学专业 [2:44] 我一直都对语言特别感兴趣 [2:45] 后来AI突然经历了这么大的变化 [2:48] 而我又比较喜欢从科学的角度去思考问题 [2:51] 所以我很想研究一个问题 [2:52] 这些东西的原理是什么 [2:53] 所以 对我来说 可解释性研究就很自然地成为了一个方向 [2:56] 简单来说 [2:59] 可解释性研究就是想弄明白 [3:03] 一个模型内部到底发生了什么 [3:05] 但这个问题其实非常宽泛 [3:07] 也可以有很多不同的研究方向 [3:10] 你自己会怎么定义“可解释性研究” [3:13] 你具体关注的又是什么 [3:15] 我觉得 可解释性 [3:18] 确实可以从很多不同的角度切入 [3:21] 对我来说 最吸引我的问题是 [3:24] 如果回到大概五年前 [3:26] 当时我们在AI领域做的很多东西其实都没有特别成功 [3:30] 尤其是语言模型 [3:32] 人们很早就在用语言模型了 [3:34] 但当时更多可能是用来做一些文本编辑 [3:36] 语音转录之类的 [3:39] 可后来有一件事情发生了 [3:40] 突然之间 语言模型变成了所有人都在研究的东西 [3:43] 大家开始往里面投入几十亿 [3:46] 所以对我来说 可解释性研究其实是 [3:48] 在试图回答一个问题 到底发生了什么变化 [3:50] 为什么以前这些东西不太行 而现在突然变得这么强 [3:53] 促使我想做这次采访的其中一个原因 [3:56] 是Anthropic发布了一篇关于所谓J-space的论文 [3:59] 我理解它有点像是一个AI模型内部的工作空间 [4:03] 我先从一个比较高的层面总结一下 [4:05] 然后你可以带我们具体讲讲里面的细节 [4:07] 基本上 听起来研究人员用了某种方法 [4:12] 去观察一个AI模型内部正在发生什么 [4:15] 也就是在它思考的过程中 [4:17] 那些它并没有说出来的东西 [4:20] 然后他们提出了J-space这个概念 [4:23] 它有点像是AI的一个工作空间 [4:25] 这篇论文里有一个特别有意思的例子 [4:27] 研究人员问一个AI模型 [4:31] 一种会织网的动物有几条腿 [4:36] 模型回答说 八条 [4:38] 但整个过程中 “蜘蛛”这个词从来没有出现过 [4:42] 可是当研究人员进入模型内部 [4:45] 把“蜘蛛”改成类似“蚂蚁”这样的概念之后 [4:47] 模型最后的答案就变成了六条 [4:49] 这只是几个例子中的一个 但从这些例子来看 [4:51] 我们似乎可以去操纵一个AI模型是怎么思考某件事情的 [4:55] 所以你能不能带我们稍微讲一下这篇论文 [4:59] 然后再具体解释一下 [5:02] 为什么我们能够编辑一个AI模型从来没有说出口的词 [5:06] 对 我觉得这是一篇非常有意思的论文 [5:09] 而且我觉得 它又给我们越来越多的证据增加了一块 [5:12] 就是模型内部确实存在一些它没有说出来的推理步骤 [5:16] 我没有把J-space那一百多页还是多少页全部读完 [5:20] 但我大概理解它的思路 [5:22] 它的大致想法是 [5:23] 我们有一个叫Jacobian（雅可比矩阵）的东西 [5:27] 基本上就是微积分里面的导数 [5:31] 我们可以把它用在模型上 来告诉我们 [5:36] 在模型的潜在激活空间里 [5:38] 因为所有东西本质上都是向量 [5:39] 哪些方向会导致模型在之后说出某些特定的词 [5:45] 所以比如说 在模型真正说出某个词的十个token之前 [5:48] 如果它内部的隐藏表示正在朝着某个方向 [5:51] 那么之后它可能就会说出“蜘蛛”这个词 [5:53] 类似这样的东西 [5:54] 是的 [5:55] 我觉得这篇论文一个很好的地方是 [5:57] 它其实是一个非常优雅 非常简单的方法 [5:59] 但不知道为什么 之前好像没有人真正用完全这种方式试过 [6:02] 不过我觉得 我们已经有很多证据说明 [6:05] 这些内部推理步骤确实是存在的 [6:07] 比如你去看Anthropic更早关于 [6:10] circuits（计算回路）的研究 [6:11] 他们有一个研究叫 [6:13] The Biology of Large Language Models（大语言模型生物学） [6:16] 他们展示过 [6:17] 比如一个模型在做三位数加法的时候 [6:22] 它可以完全不把所有中间步骤说出来 [6:25] 但是如果你去看模型内部 [6:26] 你可以找到一些神经元 它们好像在记录 [6:28] 个位数应该是多少 [6:30] 或者十位数应该是多少 [6:32] 他们还有另外一个例子 [6:35] 比如你让一个模型围绕某个主题写一首押韵的诗 [6:40] 当它写到这一节最后的时候 [6:42] 它其实已经在规划下一节最后应该用什么词 [6:45] 这样下一节才能继续押韵 [6:46] 所以我觉得 毫无疑问 [6:48] 模型内部确实会做一些它并没有说出口的事情 [6:52] 而且我觉得它其实必须这么做 [6:53] 如果它想把语言建模这个任务学得很好 [6:55] 你知道 [6:55] Ilya Sutskever是我们这个领域一个非常有名的研究者 [6:58] 他推动了自回归语言建模的发展 [7:01] 也就是通过预测下一个词来建模语言 [7:02] 他举过一个例子 [7:04] 比如说 你正在读一本侦探小说 [7:06] 一本谋杀悬疑小说 [7:07] 假设你的任务是在整本小说里不断预测下一个词 [7:10] 到了故事最后 通常都会有一个揭晓 [7:12] 凶手到底是谁 [7:14] 然后你读到一句 [7:15] “凶手是” [7:17] 这个时候 为了预测下一个词到底是谁 [7:19] 你某种程度上必须对整本小说 整个故事 [7:22] 以及之前所有指向不同可能性的证据进行建模 [7:25] 所以 如果你有一个非常好的语言模型 [7:27] 它一定要能够在内部进行某种逻辑推理 对吧 [7:30] 只有这样 它才能在刚才那个例子里推断出正确的下一个词 [7:33] 对 [7:34] 也就是说 这个答案没有直接出现在训练数据里 [7:37] 但是模型推断出了它 [7:38] 对 在那个具体的上下文里 [7:40] 如果你真的有一个很好的语言模型 [7:41] 它应该能够正确预测下一个词 [7:43] 而要做到这一点 它内部就一定得有 [7:45] 一个关于这个世界的某种世界模型 [7:47] 比如人和人之间是怎么互动的 之前的证据分别是什么 [7:51] 所有这些东西 [7:51] 我希望我能想到一个更好的例子 [7:53] 不过你知道 毕竟这是Ilya Sutskever举的例子 [7:54] 很难想出比他的更好的 [7:55] 哦 所以你的意思是 [7:56] 我们现在其实还不知道这个世界模型到底是什么 [7:59] 这是不是我们现在正在试图解决的问题 [8:00] 对 所以我觉得 可解释性的目标就是 [8:03] 好 我们知道 如果你想把下一个token预测做得非常好 [8:07] 你一定得在内部建立一个非常复杂的模型 [8:10] 来表示一段文本里到底发生了什么 [8:13] 而我们的目标 就是搞清楚那个内部模型到底是什么 [8:16] 明白 [8:17] 那我们稍微退一步 [8:19] 再回到刚才说的这种内部推理 [8:21] 因为它和我们现在所说的chain of thought（思维链） [8:23] 好像形成了一个挺直接的对比 [8:25] 思维链就是模型在思考的时候把思考过程明确写出来 [8:28] 如果我可以这么说的话 [8:30] 那为什么思维链不是理解一个模型 [8:33] 是怎么思考的最好方法 [8:35] 我不知道我会不会做这么强的判断 [8:37] 它肯定是有用的 [8:39] 而且有一点其实非常明显 [8:41] 大概一年半或者两年前 [8:43] 那些还没有思维链的模型 [8:45] 表现就是更差 [8:46] 它们确实就是比现在这些 [8:47] 经过思维链训练的模型更差 [8:50] 所以 思维链一定在发挥某种作用 [8:52] 而且应该是非常重要的作用 [8:53] 也就是我们开始转向推理的时候 [8:54] 对 [8:54] 也就是我们开始训练模型 [8:56] 让它在真正说出答案之前 先进行推理 [8:59] 而且 我自己非常相信的一点是 [9:00] 先做最简单的事情 [9:02] 如果把我做研究以来学到的所有东西总结到一起 [9:05] 我觉得最重要的一条可能就是 [9:08] 在开始做复杂的事情之前 先把简单的事情做了 [9:11] 所以 去检查模型的思维链是一件非常简单的事情 [9:14] 尤其是和解决可解释性相比 [9:15] 所以我们就应该去做 [9:17] 而且在实际操作中 比如Anthropic [9:20] Meta或者OpenAI做安全审计的时候 [9:23] 他们确实会检查模型的思维链里有没有出现可疑的内容 [9:27] 或者模型是不是正在计划去做一些奇怪的事情 [9:30] 而且这似乎能在一定程度上帮助它们发现对齐偏差 [9:33] 所以对 我确实觉得 思维链是值得分析的 [9:38] 在我们聊更多可解释性研究的具体例子之前 [9:41] 我想先稍微聊一下它最终的目标是什么 [9:44] 我觉得很明显 [9:46] 为什么我们都应该关心 [9:48] 语言模型内部正在发生什么 [9:50] 但我比较想知道的是 [9:52] 当我们理解了它内部发生了什么之后 我们要做什么 [9:56] 比如 它有哪些应用 [9:58] 或者我们现在也不一定要讲具体的应用 [10:01] 但它的目标到底是什么 以及为什么 [10:03] 像我们这样的普通人也应该关心 [10:06] 我觉得 如果我们解决了可解释性这个问题 [10:10] 它大概会带来两类应用 [10:13] 其中一个就是 比如说信任 [10:15] 要想信任一种技术 [10:18] 我们知道它是怎么运作的是很重要的 [10:21] 你可以想一下 [10:23] 比如有各种监管机构和政府部门 [10:26] 会监管飞机是怎么制造的 [10:28] 工业机械是怎么运行的 [10:30] 或者像石油压裂这样的事情 [10:33] 对于这些很强大 [10:35] 也可能很有用的技术来说 如果我们想监管它们 [10:38] 我们确实需要理解它们有哪些失效模式 [10:40] 以及搞清楚出了问题之后责任应该怎么划分之类的事情 [10:43] 我觉得现在监管AI其实非常困难 [10:46] 因为我们某种程度上不知道该怎么阻止不好的行为 [10:50] 甚至不知道为什么某件坏事会发生 [10:54] 或者到底该怪谁 [10:55] 因为没有人真正知道 [10:57] 某些行为到底是从哪里来的 [10:59] 我们有非常庞大的数据集 也有很长的训练过程 [11:03] 所以其实很难判断到底是什么导致了某种结果 [11:06] 所以我觉得 如果想提升整个社会对这类技术的信任 [11:09] 那么即使我们没法做到完全理解 [11:12] 如果我们能够理解为什么某些行为会发生 也会很有帮助 [11:14] 比如说 如果你的医生在使用一个AI系统之类的东西 [11:17] 那不管是你还是你的医生 大概都会想知道 [11:20] 它为什么会给出某个结果 对吧 [11:22] 所以这是一个方面 [11:24] 另一个方面是 [11:27] 很多AI研究和进展 [11:31] 一直都非常依赖实验 [11:33] 这并不是一件坏事 [11:34] 当然 在我们这个领域 [11:36] 相比化学 生物学 或者其他现实世界里的东西 [11:40] 做实验实在太容易了 [11:42] 所以现在看起来 很多东西之所以变得越来越好 [11:44] 是因为有一些非常厉害的人 [11:46] 或者一些非常聪明 直觉非常强的人 [11:49] 想出了某些方法 [11:50] 他们不知道这些方法为什么有效 [11:52] 但它们就是有效 [11:53] Google有一个很有名的研究者叫Noam Shazeer [11:56] 我想他现在已经不在Google了 [11:58] 他提出了很多 [12:01] 后来促成现代Transformer的架构改进 [12:03] 而且他也是最初那篇Transformer论文的作者之一 [12:04] 他有一篇论文提出了Gated Linear Units (GLU) [12:08] 也就是又一种架构上的设计 [12:10] 在那篇论文最后 [12:12] 他先展示了所有实验 说明这些方法的效果都更好 [12:14] 然后他说 我不知道为什么这些东西有效 [12:16] 我把它归因于神意 [12:19] 把这种话写在论文里其实挺疯狂的 [12:20] 就好像他说 好吧 可能是上帝给了我一个启示 [12:23] 让我去试这个实验 然后它就成功了 [12:25] 所以我觉得这其实有点疯狂 我们竟然必须依赖 [12:30] 那些拥有非常强直觉的人 [12:32] 来推动整个领域取得进展 [12:33] 应该存在一种更加系统的方法 [12:35] 或者至少我相信这背后一定存在系统性的原因 [12:37] 为什么某些东西成功 而另外一些不行 [12:39] 所以我觉得 如果我们解决了可解释性问题 [12:41] 我们就能够弄清楚为什么有些东西有效 有些东西无效 [12:44] 然后也许这能帮助我们用一种更系统的方法去改进模型 [12:47] 或者用一种更系统的方法去控制不良行为 [12:49] 有一种说法是 如果一个模型已经足够对齐 [12:52] 那至少它不应该对用户撒谎 [12:56] 然后我们前面一直在聊可解释性 [12:59] 去理解模型内部到底发生了什么 [13:01] 我想问的是 可解释性和对齐之间到底是什么关系 [13:04] 对 我确实觉得对于很多做可解释性研究的人来说 [13:07] 一个很重要的动机就是 [13:10] 我们不能完全相信模型自己说出来的话 对吧 [13:13] 一个模型从外部来看 [13:16] 也就是从我们能够观察到的行为来看 [13:17] 可能表现得完全正常 [13:19] 尤其是在测试环境里 [13:20] 它可能表现得非常好 [13:22] 让你觉得这个模型可以部署了 [13:24] 但等你真的把它部署出去之后 [13:25] 可能就会发生一些很疯狂的事情 [13:27] 比如说 也许这个模型知道自己正在被评估 [13:30] 然后等到你真正把它部署之后 它就会想 [13:31] “哦 现在我终于可以做我真正想做的事情了” [13:33] 很多人之所以关注 [13:34] 用于对齐的可解释性研究 是因为 [13:37] 我们不能总是只根据模型表现出来的行为 [13:39] 就得出可靠的结论 [13:41] 我想我可以举个例子 [13:43] 是的 [13:44] 比如说 你刚认识了一个新的人 然后 [13:48] 你知道 当你交了一个新朋友的时候 [13:49] 你会想确认一下他是不是一个好人 对吧 [13:52] 是不是一个你可以信任的人 [13:53] 尤其是在你开始把自己的秘密告诉他之前 [13:56] 或者类似这样的事情之前 [13:57] 人有一个很有意思的地方 [13:59] 就是我们当然不可能随时知道其他人在想什么 [14:03] 但社会还是照样能运作 对吧 [14:05] 比如说你交了一个朋友 [14:06] 可能会发生一些事情 比如他在某种情况下做出了某个选择 [14:11] 那就会说明他其实并没有把你的利益放在心上 [14:14] 或者 比如说 [14:17] 为了替你保守一个秘密 他自己必须付出一些代价 [14:19] 而他最后还是选择承担这个代价来帮助你 [14:22] 像这样的事情 [14:25] 就是我们在不知道别人内心到底在想什么的情况下 [14:27] 逐渐建立起对其他人的信任的方式 对吧 [14:30] 所以在合适的情境下 [14:33] 一个人的行为某种程度上会暴露出他的品格 [14:35] 我觉得对齐其实有点类似 [14:37] 对于这些语言模型 或者任何AI系统来说 [14:40] 我们建立对它们的信任的一种方式 [14:42] 就是在一些特定情境下测试它们的行为 [14:46] 他们是否做出了某个特定的决定 [14:48] 可以告诉我们他们的品格是好是坏 [14:51] 当然 你确实可以从这些行为里获得很多证据 [14:54] 但模型和人又不一样 对吧 [14:56] 这些模型毕竟是运行在某台计算机上的 [15:00] 原则上来说 我们可以检查生成某个输出 [15:03] 所涉及的每一步计算 [15:04] 而且和人也不一样的是 [15:06] 我们会部署一个模型的几百万个副本 [15:09] 人们花钱让这些模型去做各种各样的事情 [15:12] 而我们并不总是知道 [15:13] 使用这些模型的人到底有什么意图 [15:16] 所以这和雇用一个人类员工当然很不一样 [15:20] 对于一个人类员工 你至少会有一种基本的信任 [15:21] 好吧 就算这个人是个坏人 [15:23] 他大概也做不了太大的破坏 [15:25] 所以我觉得 在这种情况下 可解释性研究是有意义的 [15:28] 因为这里的风险和后果 完全不一样 [15:30] 而且 监控一个语言模型内部发生了什么 [15:32] 也比监控一个人的内心要容易得多 [15:35] 原则上来说 只要我们知道该找什么 [15:36] 我们就能把它找出来 [15:37] 我们不需要做什么特别疯狂的事情 去搞清楚 [15:40] “这一步矩阵乘法的结果到底是什么”对吧 [15:44] 你能不能再具体解释一下 [15:46] 你刚才说“如果我们知道该找什么” [15:50] 我们现在到底是在找什么 [15:52] 我想 如果是在一个可解释性问题已经被解决了的世界里 [15:57] 也许我们会知道 [15:58] 好 如果模型内部表征里的这个向量 [16:03] 指向某一个方向 [16:05] 那我们就知道 它正在计划做一件不好的事情 [16:07] 类似这样的东西 [16:08] 如果我们知道这一点 [16:09] 那我们就直接去检查它就好了 对吧 [16:10] 是的 [16:10] 我们不需要做什么特别复杂的事情 [16:13] 而对于人类来说 [16:15] 哪怕我们已经彻底搞清楚了人脑是怎么工作的 [16:17] 并且能够判断 [16:18] 当大脑中的某个神经元被激活时 [16:21] 他接下来就会开始跑 [16:23] 但在现实里 我们也不可能真的 [16:26] 在人脑里插一根电极 只为了去检查这个 对吧 [16:29] 所以这其实非常不一样 [16:29] 而且当然 人就是人 [16:32] 是的 [16:32] 我们不会用对待一个运行在计算机上的东西的方式 [16:34] 去对待一个人 [16:36] 对 没错 [16:36] 听起来也正因为这样 [16:38] 在模型上做这件事要比在人类身上更容易 [16:40] 因为在在模型这里 你会有 比如说 成千上万个副本 [16:43] 然后你某种程度上可以把一个模型“解剖”开来看 [16:47] 对 某种程度上是这样 [16:47] 也许如果你把其中一个模型搞明白了 [16:48] 那就已经能解决很多问题 对吧 [16:50] 如果你能够逆向工程一个模型 [16:52] 那再回到研究层面 [16:56] 据我理解 Anthropic在那篇论文里做的事情 [16:59] 其实和可解释性研究里的一个传统方向没有那么不一样 [17:04] 也就是所谓的稀疏自编码器（SAE） [17:08] 在我看来 它好像也体现了这类研究一个比较典型的逻辑 [17:13] 就像你刚才说的 [17:14] 你找到一个方向 改变某个东西 [17:17] 然后看模型的行为会怎么变化 [17:19] 所以基于这个背景 [17:21] 你能不能帮我们拆解一下 [17:23] 这个领域里不同的研究思路 或者不同的流派 [17:27] 对 我想 可能先从比较宽泛的层面 [17:28] 解释一下SAE到底是干什么的 会比较有帮助 [17:32] 如果大家有一些机器学习背景 [17:33] 那应该都听说过autoencoder（自编码器） [17:35] 它的基本思路是 你有某一种东西 [17:40] 比如说它可能是一张图片 也可能是一段文字 [17:43] 然后你想训练一个模型 [17:45] 让它先把这个复杂的输入转换成一个比较简单的向量 [17:49] 也就是一串数字 [17:51] 然后再让它从这个向量 把原来的输入重新还原出来 [17:53] 所以它才叫auto-encoding（自编码） [17:56] 这个想法是 如果你训练一个模型去做这件事情 [17:58] 那无论你给它什么样奇怪的输入 [18:00] 你最后都能够得到一个比较好的向量表示 [18:03] 所以比如说 如果你可以把所有图片都转换成向量 [18:06] 那做相似度搜索就会变得更容易 [18:08] 对 大概就是这个思路 [18:10] 这个向量算是对原来那个东西的一种更好的表示方式 [18:13] 所以 autoencoder本身就是一个很经典的概念 [18:15] 在可解释性研究里 它的思路是 [18:18] 我们把模型内部所有这些隐藏表示拿出来 [18:21] 它们可能是一个大型语言模型第20层里面的一些向量 [18:27] 然后我们训练一个autoencoder [18:29] 把这些表示转换成一种更干净 更方便我们研究的表示形式 [18:33] 所以这个想法是 [18:34] 也许我们可以把它转换成一串数字 [18:36] 其中每一个数字都代表一个具体 清晰的东西 [18:39] 比如说 [18:40] 如果这段文本是英文 这个数字就是1 否则就是0 [18:44] 如果模型在谈论火箭 这个数字就是1 [18:46] 否则就是0 类似这样的东西 [18:48] 所以 稀疏自编码器其实就是一种把这件事 [18:51] 设定成一个技术问题的方法 [18:52] 这样当我们把模型的内部表示输入进去之后 [18:55] 最后就能够得到一串比较干净的数字 [18:58] 这个方法很好的一点是 [19:00] 如果我们最后得到的只是一串数字 [19:02] 那其中某些数字可能就代表模型正在表现出不好的行为 [19:04] 或者它出现了不对齐 [19:05] 那我们只需要想办法把那个数字设成0就好了 [19:07] 但在实际操作中 情况非常混乱 [19:12] 事情并没有像我们希望的那样干净 [19:15] 也就是说 这些数字本身并没有那么干净 [19:17] 对 它们仍然不是每一个数字只代表一件事情 [19:20] 而且结果也取决于你用什么数据去训练这个稀疏自编码器 [19:23] 即使你用完全相同的数据训练两个不同的稀疏自编码器 [19:26] 你最后也会得到不同的结果 [19:28] 而且它们都没办法捕捉模型内部正在发生的所有事情 [19:31] 所以 它并不能完美地表示原始模型 [19:35] 我觉得 要理解一台机器是怎么思考的 [19:38] 其中一个核心问题就是 [19:40] 它其实并不是用自然语言来思考的 [19:42] 对 [19:42] 所以这听起来像是一个相关的问题 [19:45] 也就是说 你必须把机器的思考 [19:47] 翻译成我们能理解的语言 [19:50] 对 [19:50] 而且现在很多论文看起来已经在做这件事了 [19:54] 但你好像是在说 这两者之间并不存在一种一一对应的关系 [19:58] 我觉得原则上是可能存在的 [20:01] 稀疏自编码器确实有它的用途 [20:02] 而且现在也有其他一些方法 [20:04] 基本上也是在尝试 [20:07] 把模型内部的一串数字翻译成自然语言 [20:10] 它们可以非常有用 [20:12] 只不过它们看起来并不能一下子解决我们所有的问题 [20:15] 明白 [20:16] 所以 在看到这些东西有多混乱之后 人们都做了些什么 [20:21] 对 我想大体来说 [20:23] 可解释性研究里有两种研究哲学 [20:27] 这也在某种程度上解释了为什么大家会这么做 [20:29] 其中一种是 [20:31] 我们从机器学习里吸取了一个经验 [20:33] 只要你选对了目标 [20:35] 然后围绕这个目标把一个非常大的模型规模化训练起来 [20:37] 你就会得到你想要的东西 [20:38] 比如对于语言生成来说 [20:40] 这就是下一个token预测 [20:42] 你只需要选对要训练的目标 [20:44] 就能够得到一个非常好 非常有用的模型 [20:46] 所以大家也在为可解释性寻找这样一个目标 [20:49] 而稀疏自编码器就是这个方向的一次尝试 [20:52] 它的想法是 [20:53] 我们拿一个很混乱的内部表示 [20:56] 然后我们的目标是把它变成一串干净的数字 [20:58] 这里会有稀疏性损失之类的东西 [21:01] 但现在看起来 这可能并不是完全正确的目标 [21:04] 或者说 它没有完整地捕捉到所有我们关心的东西 [21:07] 对 这个方向最近还有一个新的迭代 [21:09] 也是Anthropic做的 叫做自然语言自编码器 [21:13] 这里的思路是 它仍然是一个自编码器 [21:15] 但它不再是把一串混乱的数字转换成一串干净的数字 [21:18] 而是直接把一串混乱的数字转换成自然语言 [21:21] 然后再把自然语言转换回去 [21:23] 再通过大量的强化学习训练 让它学会做这件事 [21:28] 这里的好处是 [21:29] 我们直接在寻找一种我们能够读懂的东西 [21:32] 但问题还是 那你怎么相信它呢 [21:36] 在训练的过程中 模型开始说出一些有点奇怪的东西 [21:39] 而我们也不确定 [21:40] 这是不是因为它有某种自己的内部语言 或者什么 [21:43] 但不管怎样 [21:44] 这一类可解释性研究背后的整个思路就是 [21:48] 我们训练一个非常大的模型 让它替我们解决这个问题 [21:51] 我们只需要选对问题就可以了 [21:53] 另一个方向则是 [21:55] 我的研究背景是在斯坦福Chris Potts的实验室 [22:00] Atticus Geiger提出了一个叫做“因果抽象”的框架 [22:05] 这里的想法是 [22:07] 如果我们对模型内部的推理步骤有某种假设 [22:12] 那我们就可以通过对模型进行干预来检验这个假设 [22:16] 所以 比如说你认为 [22:18] 模型的向量空间里存在某一个方向 [22:22] 代表它现在是不是在说英语 [22:25] 如果你提出了这样一个说法 [22:26] 那我就可以直接通过把这个向量加进去 [22:28] 或者把这个向量减掉 来检验它 对吧 [22:30] 然后看看会发生什么 [22:31] 所以我们有这样一个假设检验的框架 [22:33] 很多人也都想到了这一点 [22:35] 也就是 对模型进行干预 [22:38] 是一种检验关于模型的假设的方法 [22:42] 而它的好处是 你某种程度上可以相信实验得到的结果 [22:45] 只要你选对了假设 [22:47] 对 那我们会检验哪些假设 [22:49] 或者说 你怎么选出正确的假设 [22:51] 对 我觉得 这种方法一个很明确的局限就是 [22:54] 我们必须研究一些范围非常受限的问题 [22:57] 比如说 我们也许可以对模型是怎么做加法的提出一个假设 [23:01] 或者对模型是怎么处理一些语言学问题提出假设 [23:03] 比如单数和复数 主谓一致之类的 [23:06] 这些都是范围非常受限的问题 [23:09] 然后我们可以去检验这些假设 搞清楚很多东西 [23:10] 比如我们甚至可以具体搞清楚某一个注意力头在做什么 [23:12] 某一个MLP在做什么 等等 [23:14] 但我们真正关心的很多问题并没有这么简单 [23:17] 比如说 如果你想知道 [23:19] “模型现在是不是正在考虑对用户撒谎”之类的问题 [23:23] 那在这个框架下 要怎么设计这样一个实验其实并不清楚 [23:25] 所以现在这个方向上的很多进展 [23:29] 都是在尝试把人工提出假设这一步自动化 [23:33] 所以 也许我们可以给一个语言模型智能体 [23:36] 一些用来对模型进行干预的工具 [23:38] 它基本上就是在做人类会做的事情 [23:40] 只不过我们训练一个模型来做这件事 [23:41] 所以我会说 这大概是两种不同的研究哲学 [23:44] 而我看到可解释性研究也正在沿着这两个方向逐渐分化 [23:47] 我明白了 [23:49] 那一个智能体通常会提出比人类更好的假设吗 [23:52] 还是说 它们会从一些 [23:55] 与人类不同的视角或者方向提出假设 [23:59] 对 我觉得现在还很早 [24:01] 我还没有见过 [24:02] 或者说 我还没有经历过这样一个时刻 [24:03] 让我觉得这个语言模型显然想出了一个比我更好的 [24:06] 值得在这里检验的想法 [24:08] 好的 [24:08] 当然 也许其他人有过这种经历 [24:09] 因为我现在也没有足够的算力去跑很多这类实验 对吧 [24:12] 作为一个博士生 [24:14] 这类研究到底需要多少算力 [24:16] 我觉得这就是问题所在 [24:17] 好的 [24:17] 随着这个领域继续发展 [24:19] 可解释性研究会需要越来越多的算力 [24:20] 所以我觉得 可解释性研究到目前为止一个特别好的地方是 [24:23] 会有一些高中生也能进入这个领域做研究 [24:26] 我会收到一些湾区高中生给我发的邮件 [24:29] 他们会说 我在自己的笔记本电脑上用GPT-2跑了这个实验 [24:32] 我想给你看看 [24:36] 我觉得这可能是现在AI领域里 [24:38] 少数几个还能让你这样做的方向之一 [24:40] 因为我们连非常小的模型都还没有真正理解 对吧 [24:43] 但如果一个孩子想进入强化学习领域 [24:47] 那他得先买算力才能做 [24:51] 不过我觉得可解释性研究也正在发生变化 [24:53] 我想再聊聊你是怎么走到这个方向上的 [24:56] 你本科是学语言学的 [25:00] 后来又逐渐看到了 [25:03] 语言和语言模型之间的联系 [25:06] 你能解释一下他们的联系吗 [25:08] 而且我觉得很有意思的是 [25:10] 当大家讲到可解释性研究的时候 [25:13] 经常会把它类比成人脑 [25:15] 或者类比成神经科学 [25:18] 就好像研究者是在做生物学实验 [25:19] 把一个语言模型“解剖”开来看 [25:21] 但你好像是从一个不太一样的角度进入这个领域的 [25:25] 对 我从很小的时候 [25:28] 就特别喜欢语言 大概从初中开始就是这样 [25:32] 我自己的家庭也是多语言环境 [25:35] 我们在家里讲印地语 [25:38] 后来我有一些讲中文的朋友 我会非常好奇 [25:41] 比如中文为什么和其他语言这么不一样 [25:44] 这类问题一直让我很着迷 [25:47] 后来我本科去了Georgetown University [25:50] 那里有一个非常好的语言学系 [25:53] 而当时 计算语言学刚开始逐渐成为一个比较重要的领域 [25:56] 比如有人会训练LSTM让它生成文章 [26:02] 有人拿Shakespeare的文本去训练模型 [26:03] 当时有很多这样的demo [26:05] 把语言学 计算机科学 [26:09] 和那个年代的AI进展结合起来 [26:12] 所以我当时觉得 如果做这个方向 [26:14] 一方面可以结合我真正感兴趣的东西 [26:17] 另一方面也可能做一些对社会有实际用途的事情 [26:21] 能具体讲讲吗 [26:22] “计算语言学”具体是在做什么 [26:24] 其实这个领域后来变化非常大 [26:27] 当时其中一种思路是 [26:30] 传统语言学研究 [26:32] 会关注语言里面有哪些结构 [26:35] 语言会怎样随着时间变化等等 [26:39] 这些东西如果完全靠人工去研究会非常困难 [26:43] 因为数据实在太多了 [26:45] 所以计算语言学的思路是 [26:47] 我们还是做语言学 只不过用计算机来做 [26:50] 这是其中一种 [26:51] 另外一种思路 [26:53] 就更接近今天的ChatGPT了 [26:55] 大家一直都想做出一种程序 [26:59] 可以像人一样和你对话 [27:02] 理解你给它的指令 [27:03] 但如果从零开始 [27:05] 这其实是一个巨大得几乎无从下手的问题 [27:07] 那你到底该怎么做 [27:09] 当时的一种想法是 [27:11] 语言学已经告诉了我们 人类大概是怎样理解和产生语言的 [27:15] 比如人类怎么处理声音 [27:17] 怎么把声音组合成有意义的单位 [27:20] 再怎么把这些意义单位组合成符合语法的句子 [27:23] 所以大家当时的想法就是 [27:25] 干脆把我们认为存在于人脑里的整套语言结构复制出来 [27:30] 再写一个计算机程序 让它一步一步做同样的事情 [27:33] 要不然 你怎么开始处理一个这么大的问题呢 [27:36] 那在你自己的研究过程中 [27:38] 有没有什么关于语言模型内部机制的发现 [27:41] 让你特别惊讶 [27:43] 比如你刚开始做这方面研究的时候 [27:46] 有没有哪件事情让你觉得特别有意思 [27:49] 我本科的时候 [27:50] 其实还是处在刚才说的第一种研究范式里 [27:53] 我当时会研究一个非常小 [27:55] 而且和语言学有关的问题 [27:58] 然后想办法训练一个模型去解决它 [28:01] 比如我研究印度语言的时候 [28:04] 会做这样一个任务 让模型把一句话解析成一种树状结构 [28:08] 你可能见过所谓的syntax tree（句法树） [28:10] 简单来说 就是把一句话里的词 [28:12] 按照它们之间的关系组织成一个更大的结构 [28:14] 也就是说 是针对某一种特定语言 [28:16] 对 某一种具体的语言 [28:17] 所以这是一个范围非常受限的问题 [28:19] 但这也算是“小问题”吗 [28:21] 因为听起来其实 [28:22] 也挺难的 [28:23] 但你可以想一下它的范围 [28:26] 我们没法研究所有语言 [28:28] 也不可能一次性把语言里的所有问题都解决 [28:29] 对 [28:30] 而且 当时我也不需要自己发明一种新的技术 [28:32] 当时已经存在一些方法了 [28:34] 我本科的时候主要是在人工标注数据 [28:38] 比如我有一大批印地语句子 [28:40] 然后我要一条一条地手动画出它们的句法树 [28:43] 我花了几百个小时做这件事情 [28:45] 然后我会拿自己标出来的这个数据集去训练一个模型 [28:47] 让它学会预测这些结构 [28:50] 而这其实就是计算语言学 [28:52] 几十年来非常典型的研究方式 [28:55] 我明白 [28:55] 当时我们也没有更好的办法 [28:57] 但后来 对我来说有一件很重要的事情发生了 [29:00] 当时Georgetown的实验室 [29:03] 在做一个语义解析任务 [29:06] 我的导师是Nathan Schneider [29:07] 他让不同的学生分别负责不同语言 [29:09] 但大家解决的是同一个任务 [29:11] 我们的模型训练流程非常复杂 [29:13] 比如会先拿一个BERT（模型） [29:14] 然后在上面接一个LSTM [29:16] 再接一个CRF [29:17] 当然 现在这些名词可能都已经没那么重要了 [29:19] 但当时我们会训练这样一套非常复杂的系统 [29:22] 最后它的表现还可以 [29:23] 大概能做到60%到70%的准确率 [29:26] 后来有一天我突然想 [29:27] 如果我直接用一个BERT [29:30] 选择我们当时能找到的最大的BERT 会怎么样 [29:32] 当时Microsoft已经发布了一些更大的模型 [29:36] 只需要在最后微调一个线性投影层 [29:39] 不需要那些复杂的结构 [29:40] 直接用一个更大的模型在同一个任务上训练就行了 [29:43] 结果这个模型一上来就做到了大概80%到85%的准确率 [29:47] 第一次实验就直接到这个水平 [29:50] 我当时想 [29:51] 所以我只要用一个更大的模型 [29:52] 我们之前搞的那些复杂东西其实全都不需要 [29:56] 这在2022年前后 [29:59] 而且那个时候所谓的大模型 [30:01] 其实还是我自己的笔记本电脑能跑得动的规模 [30:04] 大概几十亿参数 [30:07] 我们当时已经看到 模型还在不断变大 [30:08] OpenAI大概也是在那个时期发布了GPT-2 XL [30:12] 然后微软也推出了更大的DeBERTa模型 [30:15] 但当时趋势已经很明显了 [30:17] 模型一直在变大 [30:20] 所有这些我们计算语言学家认为很重要的任务 [30:23] 最终都会自动得到解决 [30:24] 而不需要我们做任何特殊的处理 [30:26] 所以你算是自己“发现”了Scaling Law（缩放定律） [30:29] 大概就是那时候我真正明白了Scaling Law是什么 [30:33] 当然 Scaling Law的论文那个时候已经存在了 [30:34] 而且不止一篇 [30:36] 但直到那次实验 它才真正影响到我自己的研究 [30:40] 之前我从来没有认真想过这个问题 [30:42] 当时我已经读本科两三年了 [30:44] 在那之前我一直很开心地做传统的研究项目 [30:48] 顺着这个话题 [30:49] 你在2024年有一篇关于CausalGym的论文 [30:53] 是这么读吗 [30:54] 它大概是一个用来测试 [30:56] 语言模型在语言学任务上表现如何的基准 [30:59] 这个领域需要基准吗 [31:01] 总体来说 对于可解释性研究 [31:06] 如果你去看AI其他领域的进展 [31:08] 比如说你想训练模型 让它擅长翻译 [31:12] 或者数学题 数学奥林匹克题 [31:15] 我们都有相应的基准 [31:17] 你可以让模型去做IMO的题之类的 [31:20] 然后如果你想检查这个领域有没有取得进展 [31:23] 你只需要看它在这个基准上的分数 [31:25] 但在可解释性研究里 [31:25] 我们没有那种很明确的基准 [31:27] 能够告诉我们 我们是不是正在朝正确的方向取得进展 [31:30] 因为这里的进展真的很难衡量 [31:33] 很多可解释性研究是在生成一种既能让人满意 [31:36] 同时又是真的解释 [31:39] 而这两件事情都很难测试 [31:41] 所以我在那篇论文里的想法是 [31:42] 当然 我觉得那篇论文的范围非常受限 [31:45] 那也是我的第一篇博士论文 [31:47] 它的想法是 [31:48] 好 我们来看语言学特征 [31:50] 每一个模型 哪怕是最小的模型 [31:52] 也必须记录单数 复数这些基本的语言学信息 [31:55] 这些东西一定存在于模型内部的某个地方 [31:56] 所以 一种可解释性方法的一个很好的测试就是 [32:00] 看它能不能找到一个与那个语言学特征相对应的内部机制 [32:04] 因为我们知道 这个机制一定存在于某个地方 [32:06] 对 对于更复杂的推理步骤 [32:09] 就更难做出这样的判断 [32:10] 所以从小的问题开始会更合理 [32:13] 我觉得这是我能够比较有把握论证的一件事情 [32:15] 而且也能把它和我对语言学的兴趣结合起来 对吧 [32:17] 后来 [32:19] 我和我的朋友吴政璇合作得非常紧密 [32:23] 在我的博士期间 我们一起做了很多这方面的研究 [32:26] 我们还做过一个关于steering（模型引导）的评估基准 [32:29] 也就是 你的可解释性方法能否在不损害模型能力的情况下 [32:33] 以一种干净的方式控制模型的输出 [32:36] 然后我们发现 所有这些可解释性方法 [32:39] 在引导模型这件事上其实都做得很吃力 [32:41] 你能做的最好的事情 反而只是直接给模型写prompt [32:43] 或者对它进行微调 [32:45] 问题在于 我们现在没有任何一种技术 [32:47] 真正擅长控制模型内部的想法 [32:50] 而在实际操作中 [32:51] 如果你的模型正在做一些不好的事情 [32:53] 也没有人会直接去修改它的想法 [32:55] 大家通常就是用更好的数据重新训练一个模型 [32:58] 从理论上来说 [32:58] 你可以去修改它的想法 对吗 [33:01] 我不确定你能不能用一种足够稳健的方式做到这一点 [33:05] 这很有意思 [33:05] 因为你会想 [33:06] 一旦你弄清楚一个东西内部到底发生了什么 [33:10] 接下来很自然的一步就是 [33:12] 你会想去改变它或者修改它 [33:16] 让它不要再做那件不好的事情 [33:18] 有人尝试过这么做吗 [33:21] 现在大家还在尝试编辑它 [33:24] 或者做一些更小规模的改变 [33:27] 比如直接编辑它的想法 [33:30] 对 如果从实际应用来说 [33:32] 你可能见过Golden Gate Claude [33:33] Anthropic当时把它部署出来了 [33:35] 那算是一个挺好玩的demo [33:36] 他们用了一个steering vector（引导向量） [33:37] 让模型一直去想金门大桥 [33:41] 我猜在实际应用里 [33:42] 如果现在还有谁会在生产环境中使用引导向量 [33:45] 那应该就是Anthropic [33:46] 因为他们说过 [33:48] 比如当你问Claude Fable一些AI研究 [33:51] 或者生物风险方面的问题时 [33:54] 他们会使用分类器或者引导向量来改变模型的输出 [33:59] 所以他们可能确实在做类似的事情 [34:00] 也许他们已经找到了一种方法 [34:01] 可以让引导向量变得非常稳健 [34:03] 但在实际应用中 就我们在学术界已知的 [34:07] 引导向量技术里观察到的情况来说 [34:10] 如果你引导得太强 [34:12] 它就会让模型在其他事情上的表现变差 [34:15] 比如说 如果你把模型往“金门大桥”这个方向引导 [34:16] 那当然 它会一直聊金门大桥 [34:18] 但之后它在回答数学题的时候 [34:19] 可能就会变得特别差 对吧 [34:22] 而且这种影响是不可预测的 [34:25] 如果你只是通过微调让它去谈论金门大桥 [34:28] 其实会更容易避免这些问题 [34:31] 我比较怀疑直接编辑模型的想法 [34:33] 是不是一种足够稳健的改变行为的方法 [34:38] 而且如果这种方法以后不会真正流行起来 [34:41] 那可解释性研究者就应该去看看 [34:43] 大家实际上正在使用哪些方法 [34:45] 然后想办法让这些方法做得更好 [34:46] 或者系统性地解释为什么这些方法有效 [34:49] 明白了 [34:50] 很有意思 [34:51] 我在做这期研究的时候 [34:52] 还看到另外一个很有意思的例子 [34:54] 是Transluce最近做的 [34:55] 他们某种程度上发现 [34:58] 模型对于自己正在和谁说话 好像会有一些自己的判断 [35:02] 这不一定和思维有关 对吧？ [35:08] 还是说这也属于这一研究传统的一部分 [35:11] 先补充一点背景 [35:13] 我之前在Transluce兼职了大概八个月 [35:16] 和Zen合作得很紧密 [35:18] 对 [35:18] 我在那里工作得很开心 [35:19] 他们是一家非营利组织 [35:21] 做一些对社会有帮助的AI研究 [35:25] 也会对其他公司正在部署的语言模型进行审计 [35:30] 我觉得有这样的机构存在非常重要 [35:32] 对 [35:33] 我认为 他们最近的一些研究 [35:35] 我在那里时我们研究过的其中一个问题就是用户建模 [35:38] 我们想理解的是 [35:39] 模型在内部会对正在和它对话的用户做出什么样的推断 [35:43] 比如说 [35:44] 我们可以设置一些很有意思的数据集 [35:46] 然后做可解释性分析 发现 [35:48] 哦 当你聊到寿司的时候 [35:50] 模型内部存在某种表示 说明它认为这个用户来自日本 [35:53] 类似这样的东西 [35:54] 但如果要针对这个问题做可解释性研究 [35:56] 其实很难建立合适的数据集 [35:59] 因为我们需要一个非常完美的配对数据集 [36:01] 才能对它进行干预 [36:03] 很有意思 [36:04] 对 [36:04] 我很喜欢他们最近这个研究的一点 [36:06] 就是他们采取了一种非常行为主义的方法 [36:09] 具体好像是 他们让Claude Code工作 [36:11] 然后告诉它 这个用户是Amanda Askell [36:14] 或者是其他某个人 [36:15] 然后他们观察模型的行为会怎么变化 [36:18] 光是这样 [36:19] 你就已经能发现很多东西 对吧 [36:20] 比如说 如果这个人是一位知名的AI安全研究者 [36:24] 那么模型在做出一些判断或者陈述的时候 [36:25] 就会非常谨慎 [36:26] 比面对普通用户的时候谨慎得多 [36:28] 很有意思 [36:31] 而且据我理解 这个方法和你刚才说的 [36:33] 你们一开始构建的那个数据集还是有一点不一样 [36:36] 对 [36:36] 因为要做这种研究 [36:38] 你其实不需要去看模型内部 对吧 [36:40] 你只需要给它不同的输入 [36:42] 然后观察它的行为怎么变化就可以了 对吧 [36:44] Transluce还有其他一些关于审计语言模型的研究 [36:48] 比如让模型说出一些很奇怪的东西 [36:50] 对 比如 [36:51] 最奇怪的都有哪些 [36:53] 那个我非常建议大家去看一下 [36:56] 叫做Weird Chat [36:57] 里面有一些真的非常奇怪的东西 我甚至 [36:58] 有些东西我讲起来都会觉得不太舒服 [37:00] 哦 那还挺好笑的 [37:01] 但对 [37:02] 他们发现了各种各样很奇怪的东西 [37:04] 而这些通常都是聊天机器人不会说 [37:07] 你也不会希望它说出来的东西 [37:09] 但你可以构造出一些看起来很正常的情境 [37:11] 让它说出一些奇怪的话 [37:12] 哦 所以如果我只是一个普通用户 [37:14] 我还是可以通过提示让它说出这些东西 [37:15] 对 这甚至都不算是越狱之类的东西 [37:17] 哦 这真的很有意思 [37:19] 而且他们发现这些东西 [37:19] 只是通过自动进行提示词搜索 [37:22] 并不需要可解释性研究取得什么特别疯狂的进展 [37:25] 所以 我们怎么聊到这的 [37:29] 而我们现在想理解的是它为什么会这么做 [37:34] 对 其实有很多事情 [37:35] 你不需要理解完整的原因也能够弄清楚 对吧 [37:40] 比如说 通过自动搜索之类的方法把这些奇怪的行为找出来 [37:44] 但从某种意义上来说 这些不都会是边缘案例吗 [37:49] 因为你某种程度上是在有选择地挑出这些案例 [37:50] 这里面有很多案例 [37:53] 我感觉这个领域整体上 [37:55] 其实有很多都是案例研究 [37:57] 而且 就像我们刚才聊到的 [37:59] 它看起来某种程度上也比较主观 [38:02] 因为我们有点像是在给模型设定一些东西 [38:04] 提示模型去说某些特定的话 [38:08] 所以 对 [38:08] 很难判断这里面有些东西到底有多贴近现实 [38:12] 我也不知道 [38:13] 我觉得这可能就是我们这个领域的特点 [38:16] 很多事情都非常依赖实验 [38:18] 我觉得很久以前 [38:19] 人们会想 [38:21] 好 我们作为科学家 [38:22] 只要找到那个正确的想法 [38:23] 那个正确 漂亮 完美的想法 [38:25] 然后我们把它用上 [38:27] 最后就能得到AGI [38:28] 类似这样的想法 [38:29] 但在实际中 [38:30] 这个过程看起来非常迭代 [38:32] 大家先试几件事情 [38:33] 模型在某些方面变得更好 [38:35] 有时候一个想法确实会产生非常大的影响 [38:38] 但从来没有什么问题是一次就彻底解决的 [38:40] AI研究看起来就是这样 [38:41] 你得部署一个新模型 [38:43] 收集反馈 [38:43] 然后弄清楚接下来要修什么 [38:45] 所以也许我们整个领域研究的就是各种边缘案例 [38:48] 然后不断修复这些边缘案例 对吧 [38:49] 对 有可能 [38:50] 也许它并没有我们希望的那么系统化 [38:55] 但我觉得 [38:55] 做可解释性研究给我的一个感受是 [38:58] 模型内部确实存在一些系统性的机制 [39:00] 可以解释它们的很多行为 [39:04] 我们只需要找到正确的角度 [39:06] 把这种理解真正用到改进模型上 [39:10] 所以可解释性是一门科学吗 [39:12] 我觉得我们是希望它成为一门科学 对吧 [39:13] 以后再看吧 [39:14] 很多事情其实不一定非得靠纯粹的科学研究才能做成 [39:17] 对 [39:17] 很清楚 [39:18] 那我们来聊一下幻觉的问题 [39:20] 因为我觉得这是几乎每个人都遇到过的 [39:24] 而且好像一直没有一个特别清楚的解释 [39:25] 告诉我们为什么会发生这种事情 [39:28] 通常你可能会觉得 [39:29] 语言模型就是单纯犯了一个错误 [39:31] 但我会想 [39:32] 从可解释性的角度来看 [39:34] 这背后是不是还有一些更深层的东西 [39:35] 比如一个大家经常举的例子是 [39:37] 问模型“strawberry这个词里有几个r” [39:40] 这看起来应该是一个非常简单的问题 [39:42] 但语言模型却可能答错 [39:45] 那从可解释性的角度 [39:46] 我们能回答为什么会这样吗 [39:49] 我觉得这回到了你刚才说的边缘案例的问题 [39:52] 对 [39:54] 比如说 如果一个模型把某件事情做对了 [39:56] 那很可能存在某种内部机制 [39:59] 可以解释为什么它做对了 [40:01] 但如果它把一件事情做错了 [40:03] 那可能只是因为它没有学到正确的机制 [40:06] 或者内部发生了一些非常混乱的事情 [40:08] 这里有一句 好像是托尔斯泰的话 [40:09] 大概是“幸福的家庭都是相似的 [40:12] 不幸的家庭各有各的不幸” [40:14] 类似这样的 对吧 [40:15] 我觉得这里也是一样 [40:16] 如果模型做对了 [40:18] 那背后通常存在一个系统性的解释 [40:20] 但如果它做错了 [40:21] 那可能就是 [40:22] 我不知道我们是不是一定能给出一个很好的解释 [40:23] 所以某种程度上来说 [40:25] 弄清楚模型为什么做对一件事情 [40:28] 要比弄清楚它为什么做错更有价值 [40:30] 有可能 [40:32] 我可以从一个更技术的角度举一个例子 [40:35] 通常我的感觉是 [40:37] 大多数错误都很难解释 [40:39] 哪怕我们能够把它们完美地解释出来 [40:42] 最后可能也只会发现 这些错误内部就是一团乱 [40:44] 而且我们也没有什么很简单的修复方法 [40:46] 除了比如训练更久 用更大的模型 [40:48] 或者可能模型没有足够的容量 [40:50] 去储存所有你希望它储存的事实 [40:51] 类似这样的情况 对吧 [40:52] 但有些时候模型失败背后确实存在系统性的解释 [40:56] 举一个例子 [40:57] 当然 [40:58] 现在的模型基本上都使用Transformer架构 [41:01] 而Transformer的一个很大的问题是 [41:02] 它的时间复杂度是平方级增长的 [41:04] 也就是说 随着你的序列越来越长 [41:06] 模型生成下一个token [41:07] 所需要等待的时间也会越来越长 [41:09] 所以有一些人一直在研究怎么把这个过程加速 [41:12] 其中有一条研究路线叫做状态空间模型 [41:14] 这里会稍微技术一点 [41:16] 不过我尽量讲简单一点 [41:17] 好 [41:18] 状态空间模型 [41:20] 其实很早以前就在统计学里存在了 [41:23] 但是大概从2019年到2020年代初 [41:27] 人们开始尝试把它应用到语言建模上 [41:29] 而且大家非常努力地想让它击败Transformer [41:31] 因为状态空间模型要快得多 [41:34] 所以如果你能够把它规模化 [41:35] 而且它的效果又和Transformer一样好 [41:36] 那你当然会想换成状态空间模型 [41:38] 但实际情况是 [41:38] 人们发现它就是表现得更差 [41:40] 而且大家不知道为什么 你可以用同样的数据训练它们 [41:42] 但它还是更差 [41:44] 大概在2021年左右 [41:46] 斯坦福有一个研究团队 [41:48] 是Chris Ré的学生 [41:50] 他们注意到了 [41:50] Anthropic在可解释性研究中发现的一个机制 [41:54] 这个机制和Transformer的上下文学习有关 [41:57] 在Transformer里 [41:58] 你给模型一些prompt [42:00] 它能够理解这些上下文 [42:02] 并利用这些上下文完成任务 [42:04] 比如 你想让它完成一个任务 [42:06] 但你不知道应该怎么把这个任务解释清楚 [42:08] 所以你就直接给它几个例子 [42:10] 然后模型会推断出规则去预测这个任务应该怎么完成 [42:12] 而且你给它的例子越多 它通常就做得越好 [42:14] 这在GPT-3那个时代是一个非常惊人的发现 [42:17] 所以这些研究者就问 [42:17] 那为什么状态空间模型做不到这件事 [42:19] 他们让状态空间模型去完成同样的任务 [42:21] 结果就是做得很差 [42:22] 而Anthropic从可解释性的角度给出了一个解释 [42:24] Transformer会学到一种特定的注意力头机制 [42:29] 当模型至少有两层的时候 [42:31] 这种机制能够让它解决这类任务 [42:32] 这个机制叫做归纳头 [42:34] 所以斯坦福研究状态空间模型的人就想 [42:37] 如果我们想办法 [42:38] 把完全相同的机制放进状态空间模型里会怎么样 [42:41] 也就是用它来帮助状态空间模型 [42:43] 学会上下文学习 [42:44] 这篇论文叫Hungry Hungry Hippos [42:46] 我也不知道为什么叫这个名字 [42:48] 简称大概是H3 [42:49] 然后他们证明 只要做这样一个改变 [42:53] 或者说这是一个很简单的改变 [42:53] 但也不能算是一个很小的改变 [42:55] 模型就学会了上下文学习 [42:57] 之后你可能听说过的很多状态空间模型 [42:59] 比如Mamba或者DeltaNet [43:01] 都借鉴了这项进展 [43:05] 而现在 状态空间模型已经得到了相当广泛的使用 [43:08] 比如你去看最近的Kimi或者比较大的Qwen模型 [43:11] 它们里面会使用 [43:13] Transformer注意力机制和门控DeltaNet等架构的混合 [43:16] 所以 这是一个非常清楚的例子 [43:18] 某个东西之所以表现不好 背后存在一个系统性的原因 [43:22] 而可解释性研究帮助我们找到了这个原因 并且把它修好了 [43:25] 我希望以后能有更多这样的例子 [43:27] 我觉得可能确实还有其他类似的东西 [43:29] 然后这个发现也可以应用到其他更大的模型上 [43:32] 如果可解释性研究能够取得非常好的进展 [43:34] 也许我们就能找到更多这样的案例 [43:38] 明白 [43:39] 当然 也许幻觉并不是这样的一个问题 [43:41] 但也有可能它就是 [43:41] 也许模型架构本身存在某种根本性的问题 [43:44] 导致它会产生幻觉 [43:45] 我不清楚 [43:46] 非常有意思 [43:47] 好 我觉得这里正好可以让我们转到产业界 [43:51] 看看大家现在都在可解释性这个领域里做什么 [43:55] 因为就像你刚才说的 [43:56] 我觉得这目前仍然是一个相当技术性的研究领域 [43:59] 但与此同时 它好像也已经有了一些非常明确的 [44:01] 商业价值和实际应用价值 [44:04] 那我们先从这里开始 [44:05] 你现在是在学术界 [44:07] 但你也有不少产业界的经验 [44:10] 学术界和业界在开展这类研究 以及看待这个领域时 [44:16] 会采取不同的方式吗 [44:18] 对 我不会说自己有特别多产业界经验 [44:21] 我主要的经历是在Transluce [44:23] 我没有在大型前沿模型实验室工作过 [44:26] 所以我看到的东西基本上都是从外部看到的 [44:29] 我的感觉是 [44:30] 在可解释性这个领域 [44:34] 学术界和产业界之间分享研究结果和进展的程度 [44:38] 要比AI的其他研究方向更高 [44:39] 我觉得原因是 [44:42] 目前还没有一套只要不断扩大规模 [44:44] 就能获得更好可解释性的方法 [44:47] 所以现在基本上还是需要大家不断提出新的想法 [44:50] 而想法这种东西 哪怕是一个研究生也可以贡献 [44:55] 对吧 [44:57] 但在其他领域 [44:57] 比如你想做强化学习研究 [44:59] 那学术界和产业界做研究的方式就会非常不一样 [45:02] 因为双方拥有的资源规模差距实在太大了 [45:05] 所以我会说 在可解释性领域 [45:06] 目前学术界和产业界仍然有点像是属于同一个研究社区 [45:10] 比如举办workshop的时候 [45:12] 你会同时看到来自Anthropic DeepMind OpenAI的人 [45:17] 也会看到斯坦福 [45:19] 或者西北大学David Bau的团队 和Ellie Pavlick [45:24] 有很多教授在做可解释性研究 [45:26] 他们的学生也在做可解释性研究 [45:28] 我不会觉得学术界的研究 [45:32] 是什么没用的东西 [45:33] 它对于推动可解释性研究的发展其实非常重要 [45:36] 我觉得甚至对于产业界也是这样 [45:37] 对 对 这很合理 [45:38] 那如果我们把它应用到模型设计上 [45:41] 比如Goodfire [45:42] 他们的设计理念某种程度上 [45:44] 是带有可解释性的模型 [45:46] 这个理念也引起过一些批评 [45:48] 因为我觉得它某种程度上把能力提升 [45:50] 和安全审计放到了一起 [45:52] 而这在行业里一直多少有一点争议 [45:54] 但如果我们先回到这个概念本身 [45:57] “设计一个具有可解释性的模型”到底是什么意思 [46:02] 当然我不能完全替他们说话 [46:04] 对 [46:04] 但他们明确提出了这种围绕可解释性去设计模型的理念 [46:08] 任何真正有用的技术 [46:11] 本质上都会是双重用途的 [46:14] 比如说核能 [46:17] 从可再生能源或者能源供给的角度来看 [46:19] 它可以非常有帮助 [46:21] 但同样一套科学上的进展 [46:23] 也带来了核武器 [46:25] AI研究本身也是这样 对吧 [46:27] 随着我们在编程智能体上不断取得进展 [46:30] 这可以帮助各种各样 [46:32] 不会编程的人 [46:34] 他们生活中可能有一些事情想做 [46:37] 但从来没有公司专门为他们提供一个产品或者服务 [46:39] 现在他们可以自己把这些东西做出来 [46:41] 但另一方面 [46:42] 一个普通人也可能突然拥有前沿水平的网络安全能力 [46:46] 然后可以去黑进随便什么系统 [46:50] 所以我觉得 [46:52] 如果一个东西真的有用 [46:52] 它就一定会具有双重用途 [46:53] 而作为一个社会 [46:54] 我们也必须想清楚要怎么处理这个问题 [46:56] 在可解释性研究这里 [46:57] 如果我们真的成功弄清楚了为什么模型会以某种方式行动 [47:01] 或者弄清楚了怎么系统性地改进模型 [47:03] 那它当然也会是双重用途的 [47:05] 它可以帮助我们审计模型 [47:07] 但与此同时 它也可能帮助一个恶意行为者 [47:09] 搞清楚如何让模型失去对齐 [47:11] 对 我觉得这从本质上来说就是不可避免的 [47:14] 但这并不意味着我们不应该去做这项研究 [47:16] 它意味着 [47:17] 是的 我们可能需要监管 [47:20] 或者需要某种民主化的决策过程 [47:22] 去决定谁能够使用这种强大的技术 [47:25] 不过我会说 到目前为止 [47:27] 可解释性研究还没有发展到在这方面足够危险的程度 [47:31] 我觉得我们还有很多工作要做 [47:33] 在它发展到我们真的需要开始担心这个问题之前 [47:36] 比如我刚才给了一个例子 [47:38] 就是状态空间模型的改进是由可解释性研究的进展推动的 [47:41] 可能还有少数几个类似的例子 [47:43] 比如注意力沉没之类的东西 [47:46] 但这种案例不是特别多 [47:48] 原因就是 可解释性研究目前还没有发展到 [47:51] 能够用这种方式系统性地产生结果的程度 [47:56] 我现在还没有特别担心这个问题 [47:57] 我觉得目前还有大量非常基础的科学问题需要解决 [48:01] 所以 对 这件事可能离我们还比较远 [48:04] 而且我觉得 [48:05] 把这些研究进展落到一个真实的应用上是很有帮助的 [48:07] 其中一个应用就是 [48:08] 我们可以更有意识地去设计更好的模型 对吧 [48:11] 另外一个比较明确的应用场景 [48:14] 应该就是像药物发现 医学 [48:18] 还有DNA模型之类的方向 对吧 [48:20] Goodfire有一个规模很大的生命科学团队 [48:24] 他们正在尝试去逆向工程各种用于科学发现的模型 [48:27] 包括DNA模型之类的 [48:29] 所以我同意 你知道 [48:30] 如果我们能搞清楚语言模型是怎么工作的 那当然会很酷 [48:32] 对于语言学家来说 了解模型是如何处理语言的 [48:34] 会是一件非常令人兴奋的事情 [48:36] 但真正很酷的应用可能是 [48:39] 比如你训练一个气候模型 [48:41] 用它来模拟气候 [48:42] 或者你训练一个模型去做蛋白质折叠 [48:46] 我们能不能从这些模型里面提取出人类能够理解的算法 [48:49] 然后利用这些算法帮助我们推动科学进展 [48:52] 因为我们也会想知道 它们为什么有效 对吧 [48:54] 所以我觉得 它在科学上的应用可能会非常大 [48:56] 对 这很合理 [48:57] 一个更具有可解释性的模型 [49:02] 是不是就必然意味着它更安全 [49:05] 我不觉得是 [49:07] 因为如果你知道它为什么会做某件事情 [49:10] 你也可以利用这种知识去利用它的行为 对吧 [49:13] 比如说 也许你就能更容易地搞清楚怎么越狱 [49:15] 或者弄清楚为什么某一个prompt没有成功越狱 [49:18] 然后再找到更有效的方法 对吧 [49:20] 但我确实觉得 整体上来说 透明度是一件正面的事情 [49:25] 从社会的角度来看 这不是一件特别好的事情 [49:28] 如果我们把自己的生活交给 [49:32] 这些我们完全不理解的复杂算法 [49:33] 比如说 人们现在对社交媒体 [49:34] 就会有这种不舒服的感觉 [49:37] 因为背后有一些算法不断给你推荐你喜欢的视频 [49:40] 然后它可能占据你大量的时间 [49:42] 也可能对孩子不好 [49:44] 如果公司能够更加透明地告诉我们 [49:47] 这些算法是怎么训练的 [49:48] 它们是怎么工作的 [49:49] 为什么会给你推荐某些东西 [49:51] 那至少能帮助我们作为一个社会去决定 [49:55] 我们到底想不想要这些东西 [49:57] 或者至少让我们更有信心 [49:58] 没有人在背后故意做一些恶意的事情 对吧 [50:00] 我觉得AI系统也是类似的 [50:04] 很多人并不信任AI公司 [50:07] 也不信任AI的发展 [50:08] 他们对此非常担心 [50:09] 所以拥有更多透明度 看起来本身就是一件好事 对吧 [50:12] 那我想问 [50:15] 这个领域毕竟现在还比较早期 [50:17] 目前有没有已经取得的进展 [50:19] 能够让监管机构开始根据这些研究去起草一些政策 [50:24] 对 我会说 [50:25] 让可解释性研究最终能够提供这样的工具 [50:27] 本身就是这个领域的一个目标 [50:29] 我想 [50:30] 这也是像Transluce这样的非营利组织存在的部分原因 [50:33] 还有很多其他做可解释性研究的机构 [50:34] 他们希望能够给监管者提供一些工具 [50:36] 帮助他们搞清楚模型为什么会做某些事情 [50:39] 从而能够更好地控制这些模型 [50:41] 比如英国的AI Safety Institute [50:43] 也会做可解释性研究 [50:45] 但我会说 我们还有很多事情要做 [50:47] 现在我们还不能很有信心地说 [50:49] 可以直接根据这些研究成果去制定新的法律 [50:52] 最近我也一直在关注 [50:53] 角色训练这件事 [50:57] 现在有这么多不同的语言模型 [51:00] 它们跟我们说话的方式也都有一点不一样 [51:03] 而且我们前面也提到过Amanda Askell [51:04] 比如说 现在会有这些哲学家 [51:06] 某种程度上在教语言模型应该怎么做事 [51:09] 应该遵循什么样的原则去处理问题 [51:12] 我想 这些东西最后也会相应地塑造它们的性格 [51:16] 也就是模型的性格 [51:18] 那你怎么看这一整件事 [51:21] 就是现在不同模型之间变得越来越不一样 [51:26] 它们某种程度上有点像不同的人 [51:30] 我肯定会说 [51:31] 我们现在处在一个非常奇怪的位置 [51:33] 因为这居然已经变成了一个我们需要认真讨论的问题 对吧 [51:36] 这真的很奇怪 [51:37] 语言模型是有某种性格的 [51:39] 而这件事看起来确实是真的 [51:40] 从可解释性的角度 也有一些证据支持这一点 [51:43] 对 这其实挺疯狂的 [51:46] 我觉得 已经有一些可解释性研究显示 [51:49] 不同类型性格的内部表示 [51:52] 在模型的表示空间里 似乎是以某种方式组织起来的 [51:56] Anthropic有一个关于助手轴的研究 [51:59] 大概就是说 有帮助的助手 会落在某一个方向上 [52:02] 而如果你得到的是不对齐的助手 [52:04] 它们会朝另外一个方向排列 [52:05] 可解释性在这里是有潜力的 [52:07] 如果我们能够利用可解释性 [52:08] 以某种方式去引导训练过程 [52:12] 那它也许可以成为一种更精细地控制模型性格的方法 [52:16] 而且它可能比我们现在单纯依赖训练数据的方式 [52:17] 提供更多的保证 [52:19] 尤其是现在我们会做一些像宪法AI这样的事情 [52:23] 在角色训练的过程中 由一个AI来决定 [52:25] 某一种行为应该得到怎样的奖励或者不应该得到奖励 [52:28] 我觉得这是我们会希望能够控制的一件事情 [52:31] 而可解释性也许可以在训练过程中发挥一定的作用 [52:34] 太棒了 [52:35] Aryaman 非常感谢你来参加我们的播客 [52:38] 也非常感谢你抽时间和我们聊这么久 [52:40] 很期待你接下来的研究 [52:41] 也很期待看看你博士毕业之后最终会去做什么 [52:44] 谢谢邀请 [52:45] 很感谢 [52:46] 好啦 以上就是我们这期视频播客的全部内容了 [52:49] 大家的点赞、留言和转发 [52:51] 是我们《硅谷101》 [52:52] 做好深度科技和商业内容的最佳动力 [52:55] 记得关注我们的频道 [52:57] 我是Yiwen [52:57] 我们下期再见